vetkastar/lora-train-xl | Run with an API on Replicate

vetkastar / lora-train-xl

(Updated 1 year ago)

Cold

Public
27 runs
A100 (80GB)

Iterate in playground

Run with an API

Playground API Examples README Versions

Input

pretrained_model_name_or_path

string

Выберите базовую модель Stable Diffusion

Default: "juggernautXL_version6Rundiffusion.safetensors"

pretrained_model_url

string

Shift + Return to add a new line

URL базовой модели Stable Diffusion только XL модели

dataset_path

file

Локальный путь к архиву с данными для обучения

dataset_url

string

Shift + Return to add a new line

URL архива с данными для обучения

network_module

string

Имя модуля для LoRA

Default: "networks.lora"

network_dim

integer

Размерность LoRA

Default: 128

network_alpha

integer

Коэффициент альфа для LoRA

Default: 128

dataset_repeats

integer

Количество шагов на каждое изображение

Default: 75

resolution

string

Shift + Return to add a new line

Максимальное разрешение изображений в формате 'ширина,высота'

Default: "1024,1024"

lora_output_name

string

Shift + Return to add a new line

Имя файла обученной LoRA модели

Default: "Lora"

save_safetensors

boolean

Сохранять ли модель в формате safetensors

Default: true

max_train_steps

integer

Максимальное число шагов обучения

Default: 9999

save_every_n_epochs

integer

Сохранять модель каждые N эпох

Default: 1

learning_rate

number

Скорость обучения

Default: 0.000002

unet_lr

number

Скорость обучения U-Net

Default: 0.0001

text_encoder_lr

number

Скорость обучения Text Encoder

Default: 0.00005

lr_scheduler

string

Shift + Return to add a new line

Тип планировщика скорости обучения

Default: "constant_with_warmup"

lr_warmup

integer

Количество шагов разогрева скорости обучения

Default: 10

lr_scheduler_num_cycles

integer

Количество циклов планировщика скорости обучения

Default: 1

lr_warmup_steps

integer

Количество шагов разогрева скорости обучения

Default: 20

max_grad_norm

number

Максимальная норма градиента

Default: 1

cache_latents

boolean

Кэшировать скрытые представления

Default: true

no_half_vae

boolean

Не использовать половинную точность для VAE

Default: true

noise_offset

number

Смещение шума

Default: 0

optimizer_type

string

Shift + Return to add a new line

Тип оптимизатора (AdamW8bit, AdamW, Lion)

Default: "AdamW8bit"

train_batch_size

integer

Размер батча для обучения

Default: 8

max_train_epochs

integer

Количество эпох обучения

Default: 1

gradient_accumulation_steps

integer

Количество шагов аккумуляции градиента

Default: 1

mixed_precision

string

Shift + Return to add a new line

Точность вычислений (bf16, fp16)

Default: "bf16"

save_precision

string

Shift + Return to add a new line

Точность сохранения модели (bf16, fp16)

Default: "bf16"

clip_skip

integer

Количество слоев CLIP для пропуска

Default: 1

max_token_length

integer

Максимальная длина токена

Default: 150

seed

integer

Начальное значение для генератора случайных чисел

Default: 1

prior_loss_weight

number

Вес функции потерь Prior

Default: 1

caption_dropout_rate

number

Вероятность dropout для текстовых описаний

Default: 0

caption_dropout_every_n_epochs

integer

Применять dropout каждые N эпох

Default: 0

max_data_loader_n_workers

integer

Максимальное количество процессов загрузки данных

Default: 0

persistent_data_loader_workers

boolean

Использовать постоянные процессы загрузки данных

Default: false

bucket_no_upscale

boolean

Не увеличивать разрешение при batching

Default: false

bucket_reso_steps

integer

Шаги разрешения при batching

Default: 32

keep_tokens

integer

Количество токенов для сохранения

Default: 1

color_aug

boolean

Использовать цветовую аугментацию

Default: false

flip_aug

boolean

Использовать аугментацию отражением

Default: false

gradient_checkpointing

boolean

Использовать gradient checkpointing

Default: true

shuffle_caption

boolean

Перемешивать текстовые описания

Default: false

full_fp16

boolean

Использовать полное FP16 для обучения

Default: false

full_bf16

boolean

Использовать полное BF16 для обучения

Default: false

xformers

boolean

Использовать xformers

Default: true

save_model_as

string

Shift + Return to add a new line

Формат сохранения модели (safetensors, ckpt, pt)

Default: "safetensors"

save_state

boolean

Сохранять состояние модели

Default: false

scale_weight_norms

number

Масштабировать нормы весов

Default: 0

Run this model in Node.js with one line of code:

npx create-replicate --model=vetkastar/lora-train-xl

or set up a project from scratch

Install Replicate’s Node.js client library:

npm install replicate

Set the REPLICATE_API_TOKEN environment variable:

export REPLICATE_API_TOKEN=<paste-your-token-here>

Find your API token in your account settings.

Import and set up the client:

import Replicate from "replicate";
import fs from "node:fs";

const replicate = new Replicate({
  auth: process.env.REPLICATE_API_TOKEN,
});

Run vetkastar/lora-train-xl using Replicate’s API. Check out the model's schema for an overview of inputs and outputs.

const output = await replicate.run(
  "vetkastar/lora-train-xl:4bb7eb6fe40dc596d8c9984085cf442e9509edb322466f76a29de9807baac409",
  {
    input: {
      seed: 1,
      unet_lr: 0.0001,
      flip_aug: false,
      xformers: true,
      clip_skip: 1,
      color_aug: false,
      full_bf16: false,
      full_fp16: false,
      lr_warmup: 10,
      resolution: "1024,1024",
      save_state: false,
      keep_tokens: 1,
      network_dim: 128,
      no_half_vae: true,
      lr_scheduler: "constant_with_warmup",
      noise_offset: 0,
      cache_latents: true,
      learning_rate: 0.000002,
      max_grad_norm: 1,
      network_alpha: 128,
      save_model_as: "safetensors",
      network_module: "networks.lora",
      optimizer_type: "AdamW8bit",
      save_precision: "bf16",
      dataset_repeats: 75,
      lr_warmup_steps: 20,
      max_train_steps: 9999,
      mixed_precision: "bf16",
      shuffle_caption: false,
      text_encoder_lr: 0.00005,
      lora_output_name: "Lora",
      max_token_length: 150,
      max_train_epochs: 1,
      save_safetensors: true,
      train_batch_size: 8,
      bucket_no_upscale: false,
      bucket_reso_steps: 32,
      prior_loss_weight: 1,
      scale_weight_norms: 0,
      save_every_n_epochs: 1,
      caption_dropout_rate: 0,
      gradient_checkpointing: true,
      lr_scheduler_num_cycles: 1,
      max_data_loader_n_workers: 0,
      gradient_accumulation_steps: 1,
      pretrained_model_name_or_path: "juggernautXL_version6Rundiffusion.safetensors",
      caption_dropout_every_n_epochs: 0,
      persistent_data_loader_workers: false
    }
  }
);

// To access the file URL:
console.log(output.url()); //=> "http://example.com"

// To write the file to disk:
fs.writeFile("my-image.png", output);

To learn more, take a look at the guide on getting started with Node.js.

Install Replicate’s Python client library:

pip install replicate

Set the REPLICATE_API_TOKEN environment variable:

export REPLICATE_API_TOKEN=<paste-your-token-here>

Find your API token in your account settings.

Import the client:

import replicate

Run vetkastar/lora-train-xl using Replicate’s API. Check out the model's schema for an overview of inputs and outputs.

output = replicate.run(
    "vetkastar/lora-train-xl:4bb7eb6fe40dc596d8c9984085cf442e9509edb322466f76a29de9807baac409",
    input={
        "seed": 1,
        "unet_lr": 0.0001,
        "flip_aug": False,
        "xformers": True,
        "clip_skip": 1,
        "color_aug": False,
        "full_bf16": False,
        "full_fp16": False,
        "lr_warmup": 10,
        "resolution": "1024,1024",
        "save_state": False,
        "keep_tokens": 1,
        "network_dim": 128,
        "no_half_vae": True,
        "lr_scheduler": "constant_with_warmup",
        "noise_offset": 0,
        "cache_latents": True,
        "learning_rate": 0.000002,
        "max_grad_norm": 1,
        "network_alpha": 128,
        "save_model_as": "safetensors",
        "network_module": "networks.lora",
        "optimizer_type": "AdamW8bit",
        "save_precision": "bf16",
        "dataset_repeats": 75,
        "lr_warmup_steps": 20,
        "max_train_steps": 9999,
        "mixed_precision": "bf16",
        "shuffle_caption": False,
        "text_encoder_lr": 0.00005,
        "lora_output_name": "Lora",
        "max_token_length": 150,
        "max_train_epochs": 1,
        "save_safetensors": True,
        "train_batch_size": 8,
        "bucket_no_upscale": False,
        "bucket_reso_steps": 32,
        "prior_loss_weight": 1,
        "scale_weight_norms": 0,
        "save_every_n_epochs": 1,
        "caption_dropout_rate": 0,
        "gradient_checkpointing": True,
        "lr_scheduler_num_cycles": 1,
        "max_data_loader_n_workers": 0,
        "gradient_accumulation_steps": 1,
        "pretrained_model_name_or_path": "juggernautXL_version6Rundiffusion.safetensors",
        "caption_dropout_every_n_epochs": 0,
        "persistent_data_loader_workers": False
    }
)
print(output)

To learn more, take a look at the guide on getting started with Python.

Set the REPLICATE_API_TOKEN environment variable:

export REPLICATE_API_TOKEN=<paste-your-token-here>

Find your API token in your account settings.

Run vetkastar/lora-train-xl using Replicate’s API. Check out the model's schema for an overview of inputs and outputs.

curl -s -X POST \
  -H "Authorization: Bearer $REPLICATE_API_TOKEN" \
  -H "Content-Type: application/json" \
  -H "Prefer: wait" \
  -d $'{
    "version": "vetkastar/lora-train-xl:4bb7eb6fe40dc596d8c9984085cf442e9509edb322466f76a29de9807baac409",
    "input": {
      "seed": 1,
      "unet_lr": 0.0001,
      "flip_aug": false,
      "xformers": true,
      "clip_skip": 1,
      "color_aug": false,
      "full_bf16": false,
      "full_fp16": false,
      "lr_warmup": 10,
      "resolution": "1024,1024",
      "save_state": false,
      "keep_tokens": 1,
      "network_dim": 128,
      "no_half_vae": true,
      "lr_scheduler": "constant_with_warmup",
      "noise_offset": 0,
      "cache_latents": true,
      "learning_rate": 0.000002,
      "max_grad_norm": 1,
      "network_alpha": 128,
      "save_model_as": "safetensors",
      "network_module": "networks.lora",
      "optimizer_type": "AdamW8bit",
      "save_precision": "bf16",
      "dataset_repeats": 75,
      "lr_warmup_steps": 20,
      "max_train_steps": 9999,
      "mixed_precision": "bf16",
      "shuffle_caption": false,
      "text_encoder_lr": 0.00005,
      "lora_output_name": "Lora",
      "max_token_length": 150,
      "max_train_epochs": 1,
      "save_safetensors": true,
      "train_batch_size": 8,
      "bucket_no_upscale": false,
      "bucket_reso_steps": 32,
      "prior_loss_weight": 1,
      "scale_weight_norms": 0,
      "save_every_n_epochs": 1,
      "caption_dropout_rate": 0,
      "gradient_checkpointing": true,
      "lr_scheduler_num_cycles": 1,
      "max_data_loader_n_workers": 0,
      "gradient_accumulation_steps": 1,
      "pretrained_model_name_or_path": "juggernautXL_version6Rundiffusion.safetensors",
      "caption_dropout_every_n_epochs": 0,
      "persistent_data_loader_workers": false
    }
  }' \
  https://api.replicate.com/v1/predictions

To learn more, take a look at Replicate’s HTTP API reference docs.

Output

No output yet! Press "Submit" to start a prediction.

Run time and cost

This model runs on Nvidia A100 (80GB) GPU hardware. We don't yet have enough runs of this model to provide performance information.

Readme

This model doesn't have a readme.