😀 学习了一段时间的ComfyUI了，今天借助腾讯云CloudStudio（每月免费提供10000分钟T4显卡资源以及50000分钟CPU资源）平台训练一个自己的专属LoRA。

1 📝 通过ComfyUI工作流生成一致性素材（其他训练内容也可以自备）

1.1 导入工作流

1. 下载1.生成人物形象.json工作流到本地 https://pan.itq5.com/d/%E5%B7%A5%E4%BD%9C%E6%B5%81/2.LoRA%E8%AE%AD%E7%BB%83/1.%E7%94%9F%E6%88%90%E4%BA%BA%E7%89%A9%E5%BD%A2%E8%B1%A1.json

2. 将1.生成人物形象.json拖拉到ComfyUI中加载。

1.2 安装缺失节点

1. 在ComfyUI的管理器中点击安装缺失节点,将缺失的节点选中安装

2. 安装完成后重启ComfyUI.

1.3 导入姿势图

1. 下载姿势图.png到自己电脑。 https://pan.itq5.com/d/%E5%B7%A5%E4%BD%9C%E6%B5%81/2.LoRA%E8%AE%AD%E7%BB%83/%E5%A7%BF%E5%8A%BF%E5%9B%BE.png

2. 上传姿势图.png到工作流。

1.4 下载模型

1. 点击管理器，选择模型管理。

2. 搜索Shakker-Labs/FLUX.1-dev-ControlNet-Union-Pro并下载。

3. 搜索face_yolov8m (bbox)并下载。

4. 下载其他放大模型、UNET模型等，不一一列举。

1.5 选择模型

1.6 Python 3.11.11版本torch规避

1. ComfyUI-AdvancedLivePortrait节点很长时间没更新版本，torch在新版本中默认开启了weights_only，需要手动关闭。

2. 编辑/root/miniforge3/envs/python-3.11.11/lib/python3.11/site-packages/ultralytics/nn/tasks.py文件的857和837行，将ckpt = torch.load(file, map_location="cpu")修改成 ckpt = torch.load(file, map_location="cpu", weights_only=False)

1.7 在禁用框中开启第一个

1. 开启1 按姿势图生成多角度图

2. 正向提示词参考：

3. 点击执行

4. 观察出图是否满足要求

1.8 达成效果后开启后续任务

1. 在禁用框中开启剩余节点。

2. 点击执行

3. 待执行结束。

1.9 所有图保存导出

1.10 多余片段裁剪

2 🤗 fluxgym篇

项目地址cocktailpeanut/fluxgym: Dead simple FLUX LoRA training UI with LOW VRAM support

2.1 安装部署fluxgym

1. 打开终端。

2. 执行如下命令克隆项目。

3. 防止和Comfyui项目冲突，执行conda create -n fluxgym python=3.11.11 -y创建虚拟环境。

4. 执行/root/miniforge3/envs/fluxgym/bin/pip install --upgrade pip更新pip

5. 执行如下命令安装sd-scripts的依赖

6. 执行如下命令安装fluxgym的依赖

7. 最后，安装 pytorch Nightly

2.2 模型地址修改

1. 所有的模型大小加起来大致在30GB左右，如果你当前的内存不够存储，那我们可以先修改模型的存储路径到其它地方：打开 app.py文件，找到下图的两部分代码并将其修改为想变动的路径：
修改前：





修改后：

2. 修改flux-dev下载地址和文件名称
修改前：



修改后：

2.3 启动项目

1. 执行如下命令启动程序。

2.4 访问项目

1. 网页访问项目

3 📓开始训练LoRA

3.1 配置基本参数

1. 在The name of your LoRA输入LoRA名称。

2. 在Trigger word/sentence输入触发词

3. 在Base mode中选择基础模型flux-dev（按实际选择）

4. 在VRAM中选择20G(按实际显卡选择)

3.2 上传预训练图

1. 在Step 2.Dataset中上传处理后的预训练图。

2. 点击Add AI captions with Florence-2

3.3 开始训练

1. 点击Step 3. Train中的Start training开始训练

3.4 训练监控

1. 训练进行中，检查显卡占用情况
运行中观察Volatile GPU-Util的值，需要大于0，一般是99%或100%。 如果是0，说明停止训练了。



训练中，会在/root/fluxgym/outputs/wdw/ 生成对应的lora模型。

4 📎 测试LoRA

1. 将/root/fluxgym/outputs/wdw/wdw-000004.safetensors训练的模型，复制到/workspace/ComfyUI/models/loras目录下。

2. 将2.使用LoRa生成统一的人物形象.json下载到电脑并拖拉到ComfyUI上进行加载。 https://pan.itq5.com/d/%E5%B7%A5%E4%BD%9C%E6%B5%81/2.LoRA%E8%AE%AD%E7%BB%83/2.%E4%BD%BF%E7%94%A8LoRa%E7%94%9F%E6%88%90%E7%BB%9F%E4%B8%80%E7%9A%84%E4%BA%BA%E7%89%A9%E5%BD%A2%E8%B1%A1.json

3. 在LoRA加载器中加载wdw-000004.safetensors

4. 在正向提示词中输入触发词，并执行后查看结果。

免责声明：

• 笔者水平有限，尽管经过多次验证和检查，尽力确保内容的准确性，但仍可能存在疏漏之处。敬请业界专家大佬不吝指教。

• 本文所述内容仅通过实战环境验证测试，读者可学习、借鉴，但严禁直接用于生产环境。由此引发的任何问题，作者概不负责！