2026-07-28 25 min read -- 次瀏覽

LoRA 微調實戰指南:從資料準備到模型部署

完整流程教學:資料集製作、訓練參數調整、評估與實際部署的每一步。

大語言模型 LoRAFine-tuningTraining 問小墨這篇的內容
訓練資料與 LoRA 微調示意
LoRA 微調:用小成本把模型個人化。

📌 本篇文章重點

  • LoRA 只訓練一小部分參數,消費級 GPU 就能把模型「個人化」成你的風格。
  • 4 步流程:資料準備 → 訓練參數 → 評估調整 → 部署測試。
  • 決定成敗的關鍵是「資料品質」,不是訓練時間。
  • 照流程走,LoRA 就是一條可重複的水管線。

一、為什麼這篇值得看?

想要「這個模型畫得出我自己的角色/風格」,不用重訓整個模型。LoRA(Low-Rank Adaptation)透過低秩矩陣近似,只訓練一小部分參數就能學到新概念,消費級 GPU 也跑得動——這是個人化模型最划算的做法。

這篇把 LoRA 的四個流程步驟一次講完,照著走就能產出可以上網分享的模型。

二、核心概念,3 分鐘搞懂

LoRA 的做法是:不更動原有模型參數,而是在旁邊加上一組「小 adapter」。訓練時只更新這組小參數,就能影響整張圖的風格。成本低、速度快、且原本模型不變,也方便疊加多個風格。

💡 一句話總結

LoRA = 在已訓練好的模型上「貼」一個小補丁,只練補丁,學到你的專屬風格。

三、動手實作:4 步訓練出你的風格模型

Step 1

資料準備

資料品質決定成敗,準備時注意:

  • 收集 20–50 張高品質、主題一致的圖片
  • 統一分辨率(512×512 或 1024×1024)
  • 每張圖準備精確的文字描述(trigger word 一致)
  • 清洗掉重複、低解析、帶浮印的圖

⚠️ 資料陷阱

「多就是好」是錯的。50 張精選圖優於 200 張雜訊——雜訊會讓模型學到錯誤關聯,訓練時間還翻倍。

標註規則統一格式:

標註格式
[trigger_word], 主體描述, 構圖, 光線條件, 風格關鍵字

例如:wh_style, 水墨山水長卷, 遠景留白, 濃淡墨色, 宣紙材質, 東方美學

Step 2

設定訓練參數

YAML
learning_rate: 1e-4      # 太大易崩潰,太小學不動
rank: 16                 # 容量,風格類 8–32 足夠
alpha: 32                # 通常為 rank 的 1–2 倍
epochs: 10-20
batch_size: 1            # 消費級顯卡的常見選擇
network_dim: 16
network_alpha: 8

💡 關於 rank / alpha

rank 越高容量越大,但也越容易過擬合。想快速驗證時,先從 rank 8 開始,確認能捕捉到風格再往上調。

Step 3

評估與調整

  • 用「未進訓練」的驗證圖檢查泛化力
  • 過擬合跡象:訓練損失降,但驗證圖「學死」、細節僵化
  • 適時早停——多跑幾輪只是浪費時間
症狀原因對策
圖像模糊LR 過高崩壞降至 5e-5 重跑
風格不像rank 太低提升到 32
過擬合資料太少或 epoch 過多加資料、縮 epoch
Step 4

部署與測試

把訓練出的 LoRA(.safetensors)放進 ComfyUI 的 loras 資料夾,透過 LoRA 節點載入並設定強度(0.6–1.0 之間最穩定),就能在既有工作流中套用。

四、常見問題(FAQ)

Q1至少要幾張圖?

品質優先,20~50 張主題一致的精選圖就足夠。低於 15 張容易學不到重點。

Q2rank 怎麼選?

風格類 8–32 就夠。先 8 起步快速驗證,確定能捕捉風格再提高。

Q3過擬合救得回來嗎?

可以。縮小 epoch 或加訓練資料,別只調 LR——多半問題出在資料量與迭代次數。

Q4那台電腦夠嗎?

消費級 GPU(8GB 以上 VRAM)跑 LoRA 通常可行,用 batch_size 1、低解析度開局。

五、總結

資料品質 → 參數合理 → 及早停止 → 實戰測試,照這四步走,LoRA 就是一條可重複的水管線。把每次訓練的參數與圖集存好,就能持續迭代出屬於你自己的風格庫。

問小墨 AI