LoRA 工程化:peft + QLoRA 实战

LoRA 工程化:peft + QLoRA 实战

第二课课件。

内容概要

  • Part 1 — 原理升级:PEFT 家族全景、QLoRA 一页纸(NF4 + 双重量化 + Paged Optimizer)、显存账(16GB → 5GB)
  • Part 2 — 数据与对齐:Alpaca-style 外贸 QA 500 条、ChatML 模板、Loss Mask 让模型「学答不学问」
  • Part 3 — peft 三板斧:LoraConfig / get_peft_model / merge_and_unload、Kaggle T4 上 3-5 min 跑完 3 epochs
  • Part 4 — 评测与部署:BLEU + ROUGE-L(jieba 分词)、HF Hub / Ollama / 微信云函数三种部署形态、Kaggle vs Mac 对比

配套资源

  • 📓 Notebook: lesson2/notebook_qlora_kaggle.ipynb(Kaggle T4 + QLoRA 一键 Run All)
  • 📊 Eval: lesson2/eval.py(BLEU + ROUGE-L 中文评测脚本)
  • 📁 Data: lesson2/data/(500 条训练 + 50 条课堂盲测)
  • 📝 作业: lesson2/homework.md(100 + 20 bonus 分)

系列导航