LoRA 微調實戰指南:從資料準備到模型部署
完整流程教學:資料集製作、訓練參數調整、評估與實際部署的每一步。
📌 本篇文章重點
- LoRA 只訓練一小部分參數,消費級 GPU 就能把模型「個人化」成你的風格。
- 4 步流程:資料準備 → 訓練參數 → 評估調整 → 部署測試。
- 決定成敗的關鍵是「資料品質」,不是訓練時間。
- 照流程走,LoRA 就是一條可重複的水管線。
一、為什麼這篇值得看?
想要「這個模型畫得出我自己的角色/風格」,不用重訓整個模型。LoRA(Low-Rank Adaptation)透過低秩矩陣近似,只訓練一小部分參數就能學到新概念,消費級 GPU 也跑得動——這是個人化模型最划算的做法。
這篇把 LoRA 的四個流程步驟一次講完,照著走就能產出可以上網分享的模型。
二、核心概念,3 分鐘搞懂
LoRA 的做法是:不更動原有模型參數,而是在旁邊加上一組「小 adapter」。訓練時只更新這組小參數,就能影響整張圖的風格。成本低、速度快、且原本模型不變,也方便疊加多個風格。
💡 一句話總結
LoRA = 在已訓練好的模型上「貼」一個小補丁,只練補丁,學到你的專屬風格。
三、動手實作:4 步訓練出你的風格模型
資料準備
資料品質決定成敗,準備時注意:
- 收集 20–50 張高品質、主題一致的圖片
- 統一分辨率(512×512 或 1024×1024)
- 每張圖準備精確的文字描述(trigger word 一致)
- 清洗掉重複、低解析、帶浮印的圖
⚠️ 資料陷阱
「多就是好」是錯的。50 張精選圖優於 200 張雜訊——雜訊會讓模型學到錯誤關聯,訓練時間還翻倍。
標註規則統一格式:
[trigger_word], 主體描述, 構圖, 光線條件, 風格關鍵字
例如:wh_style, 水墨山水長卷, 遠景留白, 濃淡墨色, 宣紙材質, 東方美學
設定訓練參數
learning_rate: 1e-4 # 太大易崩潰,太小學不動
rank: 16 # 容量,風格類 8–32 足夠
alpha: 32 # 通常為 rank 的 1–2 倍
epochs: 10-20
batch_size: 1 # 消費級顯卡的常見選擇
network_dim: 16
network_alpha: 8
💡 關於 rank / alpha
rank 越高容量越大,但也越容易過擬合。想快速驗證時,先從 rank 8 開始,確認能捕捉到風格再往上調。
評估與調整
- 用「未進訓練」的驗證圖檢查泛化力
- 過擬合跡象:訓練損失降,但驗證圖「學死」、細節僵化
- 適時早停——多跑幾輪只是浪費時間
| 症狀 | 原因 | 對策 |
|---|---|---|
| 圖像模糊 | LR 過高崩壞 | 降至 5e-5 重跑 |
| 風格不像 | rank 太低 | 提升到 32 |
| 過擬合 | 資料太少或 epoch 過多 | 加資料、縮 epoch |
部署與測試
把訓練出的 LoRA(.safetensors)放進 ComfyUI 的 loras 資料夾,透過 LoRA 節點載入並設定強度(0.6–1.0 之間最穩定),就能在既有工作流中套用。
四、常見問題(FAQ)
Q1至少要幾張圖?
品質優先,20~50 張主題一致的精選圖就足夠。低於 15 張容易學不到重點。
Q2rank 怎麼選?
風格類 8–32 就夠。先 8 起步快速驗證,確定能捕捉風格再提高。
Q3過擬合救得回來嗎?
可以。縮小 epoch 或加訓練資料,別只調 LR——多半問題出在資料量與迭代次數。
Q4那台電腦夠嗎?
消費級 GPU(8GB 以上 VRAM)跑 LoRA 通常可行,用 batch_size 1、低解析度開局。
五、總結
資料品質 → 參數合理 → 及早停止 → 實戰測試,照這四步走,LoRA 就是一條可重複的水管線。把每次訓練的參數與圖集存好,就能持續迭代出屬於你自己的風格庫。