ๆ่ฟๅจๅ่ๆ่ฏ่กฃ๏ผVirtual Try-On๏ผ้กน็ฎ่ฟ็งปๆถ๏ผๅไบไธไธช้่ฆๅณ็ญ๏ผๅบๅบงไป FLUX-dev.1 ๅๅฐ Qwen-Image-Editใๅๅ ๅพ็ฎๅโโFLUX-dev.1 ๆฏ้ๅ็จๅ่ฎฎ๏ผ่ฎบๆ่ฝๅไฝไบงๅไธไธไบ็บฟใ่ Qwen-Image-Edit ๅ จ็ณปๅ้ฝๆฏ Apache-2.0๏ผไธๆก่ทฏ่ตฐๅฐๅบ๏ผๅญฆๆฏไบงๅบๅๅไธไบคไปๅฏไปฅๅ ฑๆฏใ
ไบๆฏๆ่ฑไบไธคๅจๆถ้ด็ ็ฉถๆไนๅจ Qwen-Image-Edit ไธ่ฎญ็ป VTON LoRAใ่ธฉไบไธๅฐๅ๏ผไนๅ่ไบ็คพๅบ้ๅทฒ็ป่ท้็ๆกไพใ่ฟ็ฏๆ็ซ ๆๆดไธช่งๅ่ฟ็จ็ณป็ปๅฐ่ฎฐๅฝไธๆฅ๏ผไฝไธบๅ็ปญๅฎ้ ๅจๆ็่ทฏ็บฟๅพใ
๐ก ๅฆๆไฝ ่ฟไธไบ่งฃ Qwen-Image-Edit ๆฏไปไน๏ผๅปบ่ฎฎๅ ่ฏปๆ็ๅฆไธ็ฏๆ็ซ ๏ผQwen-Image-Edit ๅฎๅ จๆๅใๅฆๆไฝ ๅฏนไผ ็ป VTON ๆถๆๆๅ ด่ถฃ๏ผๅฏไปฅ็ JCo-MVTON ๅฎๅ จๆๅใ
็ฎๅฝ
- ไธบไปไน้ Qwen-Image-Edit ๅ VTON๏ผ
- ๆๆฏ้ๅ๏ผ2511 vs 2.0 vs ๅ ถไป
- ๆดไฝๆถๆ๏ผไธค้ถๆฎต Pipeline
- ๆฐๆฎ้ๅๅค๏ผๆๅ ณ้ฎ็ไธๆญฅ๏ผ
- ่ฎญ็ป็ฏๅขๆญๅปบ
- LoRA ่ฎญ็ปๅฎๆ
- ๆจ็ไธ้จ็ฝฒ
- ่ฏไผฐไธไผๅ็ญ็ฅ
- ๅทฒ้ช่ฏ็ๅ่ๆกไพ
- ๅฎๆด Roadmap ไธ Checklist
ไธบไปไน้ Qwen-Image-Edit ๅ VTON๏ผ
ๅ ่ฏด็ป่ฎบโโไผ ็ป VTON ๆนๆก๏ผIDM-VTONใCatVTON ็ญ๏ผๅๅบไบ Qwen-Image-Edit ็ LoRA ๆนๆก๏ผ่งฃๅณ้ฎ้ข็ๆ่ทฏๅฎๅ จไธๅ๏ผ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ ไผ ็ป VTON vs LoRA-based VTON โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ โ
โ ไผ ็ปๆนๆก (IDM-VTON / CatVTON / JCo-MVTON): โ
โ โโโโโโโโโโโโ โโโโโโโโโโโโโโโ โโโโโโโโโโโโ โโโโโโโโโโโ โ
โ โ ่กฃๆๅพ็ โ โ โ ๅ ไฝๅๅฝขๆจกๅ โ โ โ ่ฏญไนๅๅฒ โ โ โ ๅๆ่พๅบ โ โ
โ โ ไบบไฝๅพ็ โ โ โ (TPS/Flow) โ โ โ (Parsing) โ โ โ โ โ
โ โ ๅงฟๆไผฐ่ฎก โ โ โ โ โ โ โ โ โ โ โ
โ โโโโโโโโโโโโ โโโโโโโโโโโโโโโ โโโโโโโโโโโโ โโโโโโโโโโโ โ
โ ็น็น๏ผ้่ฆๅฎๆด pipeline๏ผๆฏๆญฅๅ็ฌ่ฎญ็ป๏ผ็ปๆๅคๆ โ
โ โ
โ LoRA ๆนๆก (Qwen-Image-Edit + LoRA): โ
โ โโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โโโโโโโโโโโ โ
โ โ ่กฃๆๅพ็ โ โ โ โ โ โ ๅๆ่พๅบ โ โ
โ โ ไบบไฝๅพ็ โ โ โ ้ข่ฎญ็ป Edit ๆจกๅ + LoRA โ โ โ โ โ
โ โ ๆๅญๆไปค โ โ โ (็ซฏๅฐ็ซฏ๏ผไธๆญฅๅฐไฝ) โ โ โ โ โ
โ โโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โโโโโโโโโโโ โ
โ ็น็น๏ผๅฉ็จๅบๅบงๆจกๅ็ๅผบๅคง็่งฃๅ๏ผ็จ LoRA ๆๅฎ"ๆข่ฃ
"่ฟไธชๆ่ฝ โ
โ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
Qwen-Image-Edit ๅ VTON ็ไบๅคงไผๅฟ
| ไผๅฟ | ่ฏดๆ |
|---|---|
| ๐ง ่ฏญไน็่งฃๅๅผบ | 20B ๅๆฐ + Qwen2.5-VL ็ผ็ ๅจ๏ผๅคฉ็ถ็่งฃ"ๆ่ฟไปถ่กฃๆ็ฉฟๅฐ่ฟไธชไบบ่บซไธ"็ๆไปค |
| ๐ผ๏ธ ๅคๅพ่พๅ ฅ | 2509/2511 ็ๆฌๆฏๆ 1-3 ๅผ ๆงๅถๅพ๏ผๅฎ็พๅน้ VTON ้่ฆ็"ไบบ+่กฃๆ"ๅๅพ่พๅ ฅ |
| ๐ ๆไปค้ฉฑๅจ | ไธ้่ฆ็กฌ็ผ็ pipeline๏ผ็จ่ช็ถ่ฏญ่จๆ่ฟฐๆข่ฃ ๆๅพๅณๅฏ |
| โ๏ธ Apache-2.0 | ๅ จ็ณปๅๅผๆบๅ็จ๏ผไบงๅๅๆ ่ฎธๅฏ้็ข |
| ๐ ็ๆๅฎๅ | Diffusers/ComfyUI/Musubi Tuner ๅ จ้พ่ทฏๆฏๆ |
ๅ JCo-MVTON ็ๆ ธๅฟๅบๅซ
ๆไนๅ็จ JCo-MVTON๏ผๅบไบ FLUX๏ผๅ่ฟ VTON ็ ็ฉถ๏ผไธค่ ็ๆ นๆฌๅทฎๅผๅจไบ๏ผ
JCo-MVTON ็ๆ่ทฏ๏ผ
"ๆไธ้จ่ฎพ่ฎกไธไธช่ฏ่กฃๆถๆ๏ผ้้ขๆ Reference-NetใGarment Encoderใ
DensePose ๆกไปถ็ญ๏ผไธ้จ่งฃๅณ่ฏ่กฃ้ฎ้ข"
โ ไธๅฎถ็ณป็ป๏ผ่ฏ่กฃๆๆๅฅฝไฝๅช่ฝๅ่ฏ่กฃ
Qwen-Image-Edit + LoRA ็ๆ่ทฏ๏ผ
"ๆๆไธไธช่ถ
ๅผบ็้็จ็ผ่พๆจกๅ๏ผๆ็จ 20 ๅผ ๆฐๆฎๆๅฎๅญฆไผ่ฏ่กฃ่ฟไธชๆ่ฝ"
โ ้ๆ + ๆ่ฝๅ
๏ผ็ตๆดปไฝ้่ฆ็ฒพๅฟ่ฐๆ
ๆ็ๅคๆญ๏ผๅฏนไบๅไธ้กน็ฎ๏ผLoRA ๆนๆก็ๅฏ็ปดๆคๆง่ฟ้ซไบไธ็จๆถๆใๆจกๅๅ็บงๆถๅช้้่ฎญ LoRA๏ผไธ้่ฆ้ๅๆดไธช pipelineใ่ไธ Qwen-Image-Edit ๅจๆ็ปญๆดๆฐ๏ผๅบๅบง่ฝๅ็ๆๅๆฏ"ๅ ่ดน"็ใ
ๆๆฏ้ๅ๏ผ2511 vs 2.0 vs ๅ ถไป
ๆช่ณ 2026 ๅนด 2 ๆ๏ผQwen-Image ๅฎถๆๅฏ็จไบ VTON LoRA ่ฎญ็ป็็ๆฌๆ๏ผ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ Qwen-Image ๅฎถๆ็ๆฌๅฏนๆฏ (VTON ่ง่ง) โ
โโโโโโโโโโโโโโฌโโโโโโโโโฌโโโโโโโโโโโฌโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโค
โ ็ๆฌ โ ๅๆฐ้ โ ๅคๅพ่พๅ
ฅ โ LoRA ๅทฅๅ
ท้พ โ VTON ้ๅๅบฆ โ
โโโโโโโโโโโโโโผโโโโโโโโโผโโโโโโโโโโโผโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโค
โ Edit โ 20B โ โ ๅๅพ โ โ
ๅฎๅ โ โญโญ ๅ้ โ
โ Edit-2509 โ 20B โ โ
1-3 ๅพ โ โ
ๅฎๅ โ โญโญโญโญ ๆจ่ โ
โ Edit-2511 โ 20B โ โ
1-3 ๅพ โ โ
ๅฎๅ โ โญโญโญโญโญ ้ฆ้ โ
โ Layered โ 20B โ โ
ๅๅฑ โ โ
ๅฎๅ โ โญโญโญ ๅฏ้ โ
โ 2.0 (7B) โ 7B โ โ
็ปไธ โ โ ๏ธ ๅๅฑไธญ โ โญโญโญ ๆฝๅๅคง โ
โโโโโโโโโโโโโโดโโโโโโโโโดโโโโโโโโโโโดโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโ
ๆ็้ๆฉ๏ผEdit-2511
็็ฑๅฆไธ๏ผ
- ๅคๅพ่พๅ ฅๆฏๅ้๏ผVTON ่ณๅฐ้่ฆไธคๅผ ่พๅ ฅๅพ๏ผไบบ + ่กฃๆ๏ผ๏ผEdit ๅ็ๅชๆฏๆๅๅพ๏ผๅฟ ้กปๆพๅผ
- 2511 ๆฏ 2509 ่ดจ้ๆดๅฅฝ๏ผไธ่ดๆงๆดๅผบใไผชๅฝฑๆดๅฐ๏ผ่ฟๅฏน่ฏ่กฃๆๆ่ณๅ ณ้่ฆ
- ๅทฅๅ
ท้พๆๆ็๏ผMusubi Tuner ๅ AI-Toolkit ้ฝๆ
edit-2511็ไธๅฑๆฏๆ - 2.0 ่ฝ็ถๅๆฐๅฐไฝๅทฅๅ ท้พๅฐๆช็จณๅฎ๏ผQwen-Image 2.0 ๅชๆ 7B ๅๆฐ๏ผๆ็่ฏฑไบบ๏ผไฝๆช่ณ 2026 ๅนดๅ LoRA ่ฎญ็ปๆฏๆไปๅจๅฎๅไธญ
โ ๏ธ ๅ ณไบ Qwen-Image 2.0๏ผ7B ๅๆฐ + Qwen3-VL ็ผ็ ๅจ + ๅ็ 2K ๅ่พจ็๏ผ็่ฎบไธๆฏๆดๅฅฝ็ๅบๅบงใไฝ Musubi Tuner ๅฏน 2.0 ็
model_versionๆฏๆ่ฟๅจ PR ้ถๆฎต๏ผๆช่ณๆฌๆๆฐๅๆถ๏ผใ็ญๅทฅๅ ท้พ็จณๅฎๅ๏ผ2.0 ๅพๅฏ่ฝๆไธบๆดไผ้ๆฉโโๅๆฐๅฐๆๅณ็่ฎญ็ปๆดๅฟซใๆจ็ๆดไพฟๅฎใ
ๆดไฝๆถๆ๏ผไธค้ถๆฎต Pipeline
่ฟๆฏๆดไธช VTON ็ณป็ป็ๆ ธๅฟ่ฎพ่ฎกๅณ็ญใๅ่ DigitalOcean ๆๆฏๅธ้ๅธ James Skelton ๅทฒ้ช่ฏ็ๆนๆก๏ผๆ้็จไธค้ถๆฎต Pipeline๏ผ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ VTON ไธค้ถๆฎต Pipeline ๆถๆ โ
โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ ็ฌฌไธ้ถๆฎต๏ผ่กฃๆๆๅ โ โ
โ โ โ โ
โ โ ่พๅ
ฅ LoRA #1 ่พๅบ โ โ
โ โ โโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโ โ โ
โ โ โ โ โ โ โ โ โ โ
โ โ โ ๐ฉ ็ฉฟ็ โโโโถโ Qwen-Image-Edit-2511 โโโโถโ ๐ ่กฃๆ โ โ โ
โ โ โ ่กฃๆ็ โ โ + Extract LoRA โ โ ็ฝๅบ็บฏๅ โ โ โ
โ โ โ ๆจก็น โ โ โ โ ๅนณ้บๅพ โ โ โ
โ โ โ โ โ Prompt: "็งป้คไบบไฝ๏ผ โ โ โ โ โ
โ โ โโโโโโโโโโโโโ โ ๅช็่กฃๆๅจ็ฝ่ฒ่ๆฏไธ" โ โโโโโโโโโโโโโโ โ โ
โ โ โโโโโโโโโโโโโโโโโโโโโโโโโโโ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ โ
โ โผ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ ็ฌฌไบ้ถๆฎต๏ผ่ๆ่ฏ็ฉฟ โ โ
โ โ โ โ
โ โ ่พๅ
ฅ (ๅๅพ) LoRA #2 ่พๅบ โ โ
โ โ โโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโ โ โ
โ โ โ ๐ง ็ฎๆ โ โ โ โ โ โ โ
โ โ โ ไบบ็ฉ โโโโถโ Qwen-Image-Edit-2511 โโโโถโ ๐งโโ๏ธ ็ฎๆ โ โ โ
โ โ โ โ โ + TryOn LoRA โ โ ็ฉฟไธไบ โ โ โ
โ โ โ ๐ ่กฃๆ โโโโถโ โโโโถโ ๆฐ่กฃๆ โ โ โ
โ โ โ ๅนณ้บๅพ โ โ Prompt: "ๆ่ฟไปถ่กฃๆ โ โ โ โ โ
โ โ โโโโโโโโโโโโโ โ ็ฉฟๅฐ่ฟไธชไบบ่บซไธ" โ โโโโโโโโโโโโโโ โ โ
โ โ โโโโโโโโโโโโโโโโโโโโโโโโโโโ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
ไธบไปไนๆฏไธค้ถๆฎต่ไธๆฏไธ้ถๆฎต๏ผ
ไฝ ๅฏ่ฝไผ้ฎ๏ผไธบไปไนไธ็ดๆฅ่ฎญไธไธช LoRA ๅฎๆ"ๆจก็น A ็่กฃๆ โ ็ฉฟๅฐๆจก็น B ่บซไธ"๏ผ
ไธ้ถๆฎตๆนๆก็้ฎ้ข๏ผ
่พๅ
ฅ๏ผๆจก็นA๏ผ็ฉฟ็่กฃๆA๏ผ+ ๆจก็นB
ๆๆ๏ผๆจก็นB ็ฉฟ็่กฃๆA
้ฎ้ข๏ผๆจกๅ้่ฆๅๆถ็่งฃ โ
1. ไปๆจก็นA่บซไธ"่ฑไธ"่กฃๆ๏ผๅ็ฆปไบบไฝๅ่กฃ็ฉ๏ผ
2. ็่งฃ่กฃๆ็็ๅใ้ข่ฒใ็ป่
3. ๅฐ่กฃๆ"ๅๅฝข"้้
ๆจก็นB็ไฝๅ
4. ไฟๆๆจก็นB็่บซไปฝ็นๅพไธๅ
โ ไธไธช LoRA ๆฟ่ฝฝๅคชๅคไปปๅก๏ผๆๆไธ็จณๅฎ
ไธค้ถๆฎตๆนๆก็ๅฅฝๅค๏ผ
Stage 1๏ผๅช่ด่ดฃ"่ฑ่กฃๆ"๏ผ้ไฝๅคๆๅบฆ๏ผไปปๅกๅไธ๏ผ
Stage 2๏ผๅช่ด่ดฃ"็ฉฟ่กฃๆ"๏ผ่พๅ
ฅๅทฒ็ปๆฏๅนฒๅ็่กฃๆๅพ๏ผ
โ ๆฏไธช LoRA ๅชๅไธไปถไบ๏ผๆๆๆดๅฅฝ๏ผไนๆดๅฎนๆ่ฐ่ฏ
ๅ ณ้ฎ่ฎพ่ฎกๅณ็ญ
| ๅณ็ญ็น | ้ๆฉ | ๅๅ |
|---|---|---|
| Pipeline ้ถๆฎตๆฐ | 2 ้ถๆฎต | ๅไปปๅก LoRA ๆด็จณๅฎ |
| ๅบๅบงๆจกๅ | Edit-2511 | ไธ่ดๆงๆๅผบ๏ผๅคๅพ่พๅ ฅ |
| LoRA ่ฎญ็ปๅจ | Musubi Tuner๏ผไธป๏ผ+ AI-Toolkit๏ผๅค๏ผ | ็คพๅบ้ช่ฏๆๅค |
| ่กฃๆๆๅๆนๅผ | LoRA ่้ไผ ็ปๅๅฒ | ็ซฏๅฐ็ซฏ๏ผไธไพ่ต้ขๅคๆจกๅ |
| ๆจ็ๆกๆถ | Diffusers | ๅฎๆนๆฏๆ๏ผload_lora_weights() ๅๆขๆนไพฟ |
ๆฐๆฎ้ๅๅค๏ผๆๅ ณ้ฎ็ไธๆญฅ๏ผ
โก ่ฟๆฏๆดไธช้กน็ฎๆ่ดฅ็ๅ ณ้ฎใ ็คพๅบ้ๅคง้"่ฎญไธๅบๅฅฝ LoRA"็ๅธๅญ๏ผ99% ็ๅๅ ้ฝๅจๆฐๆฎ้ไธใ
็่งฃ Edit ๆจกๅ็ๆฐๆฎไธๅ ็ป
Qwen-Image-Edit ็ LoRA ่ฎญ็ป้่ฆไธๅ ็ปโโ่ฟไธ็นๅๆฎ้็ text-to-image LoRA ่ฎญ็ปๅฎๅ จไธๅ๏ผ
ๆฎ้ LoRA ่ฎญ็ป๏ผๅฆ FLUXใSD๏ผ๏ผ
โโโโโโโโโโโโ โโโโโโโโโโโโโโ
โ ๅพ็ โ + โ ๆๅญๆ่ฟฐ โ = ไธไธช่ฎญ็ปๆ ทๆฌ
โโโโโโโโโโโโ โโโโโโโโโโโโโโ
Edit ๆจกๅ LoRA ่ฎญ็ป๏ผ
โโโโโโโโโโโโ โโโโโโโโโโโโโโ โโโโโโโโโโโโ
โ ๆงๅถๅพ็ โ + โ ็ผ่พๆไปค โ + โ ็ฎๆ ๅพ็ โ = ไธไธช่ฎญ็ปๆ ทๆฌ
โ (่พๅ
ฅ) โ โ (ๆๅญ) โ โ (่พๅบ) โ
โโโโโโโโโโโโ โโโโโโโโโโโโโโ โโโโโโโโโโโโ
ๆจกๅๅญฆ็ๆฏ๏ผ็ปๅฎ [ๆงๅถๅพ็] + [็ผ่พๆไปค] โ ็ๆ [็ฎๆ ๅพ็]
Stage 1 ๆฐๆฎ้๏ผ่กฃๆๆๅๅจ
็ฎๆ ๏ผๆๆจกๅ"ๆ่กฃๆไปไบบ่บซไธ่ฑไธๆฅ"
โโ ่ฎญ็ปๆ ทๆฌ็คบไพ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ โ
โ ๆงๅถๅพ็ ็ผ่พๆไปค ็ฎๆ ๅพ็ โ
โ โโโโโโโโโโโโ โโโโโโโโโโโโ โ
โ โ โ "็งป้คไบบไฝ๏ผๅชไฟ็ โ โ โ
โ โ ๐ฉ ๆจก็น โ ่กฃ็ฉใๅฐ่กฃๆๆพๅจ โ ๐ ่กฃๆ โ โ
โ โ ็ฉฟ็็บข่ฃ โ ็ฝ่ฒ่ๆฏไธใ" โ ็ฝๅบๅนณ้บ โ โ
โ โ โ โ โ โ
โ โโโโโโโโโโโโ โโโโโโโโโโโโ โ
โ โ
โ ๆฐๆฎๅฏน่ฆๆฑ๏ผ โ
โ โข ๆงๅถๅพ๏ผ็ไบบ็ฉฟ็่กฃๆ็็
ง็ โ
โ โข ็ฎๆ ๅพ๏ผๅไธไปถ่กฃๆ็็ฝๅบๅนณ้บ/ๆจกๅ็
ง โ
โ โข ๆไปค๏ผๆ่ฟฐ"็งป้คไบบไฝใไฟ็่กฃ็ฉ"็ๆๆฌ โ
โ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
ๆฐๆฎๆฅๆบๆนๆก๏ผ
| ๆนๆก | ๆฐๆฎ้ | ้พๅบฆ | ่ดจ้ |
|---|---|---|---|
| ๐ ็ตๅๅนณๅฐ้้ | ๅคง | ไธญ | ้ซ |
| ๐ธ ่ช่กๆๆ | ๅฐ | ้ซ | ๆ้ซ |
| ๐ค AI ็ๆ | ๅฏๆง | ไฝ | ไธญ |
| ๐ฆ ๅ ฌๅผๆฐๆฎ้ๆน้ | ๅคง | ไฝ | ไธญ |
ๆจ่ๆนๆก๏ผ็ตๅๅนณๅฐ้้
ๅคง้จๅ็ตๅ็ฝ็ซ็ๅๅ้กต้ขๅคฉ็ถๅ ๅซ๏ผ
- ๆจก็นไธ่บซๅพ๏ผๆงๅถๅพ๏ผ
- ๅๅๅนณ้บๅพ๏ผ็ฎๆ ๅพ๏ผ
่ฟๆฏๆ้ซๆ็ๆฐๆฎๆฅๆบใ
# ๆฐๆฎ้็ฎๅฝ็ปๆ็คบไพ
dataset_extract/
โโโ sample_001/
โ โโโ control.jpg # ๆจก็น็ฉฟ็่กฃๆ็็
ง็
โ โโโ target.jpg # ่กฃๆ็ฝๅบๅนณ้บๅพ
โ โโโ caption.txt # "remove the person from this image, but leave
โ # the outfit. the clothes should remain after
โ # deleting the person's body, skin, and hair.
โ # leave the clothes in front of a white background"
โโโ sample_002/
โ โโโ control.jpg
โ โโโ target.jpg
โ โโโ caption.txt
โโโ ...๏ผๅ
ฑ 20-50 ็ป๏ผ
Stage 2 ๆฐๆฎ้๏ผ่ฏ็ฉฟๅจ
็ฎๆ ๏ผๆๆจกๅ"ๆ่กฃๆ็ฉฟๅฐไบบ่บซไธ"
โโ ่ฎญ็ปๆ ทๆฌ็คบไพ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ โ
โ ๆงๅถๅพ็ (2ๅผ ) ็ผ่พๆไปค ็ฎๆ ๅพ็ โ
โ โโโโโโโโโโโโ โโโโโโโโโโโโ โ
โ โ ๐ง ๆจก็น โ โ โ โ
โ โ (็ฉฟA่กฃ) โ "ๆ่ฟไปถ่กฃๆ โ ๐ง ๆจก็น โ โ
โ โโโโโโโโโโโโ ็ฉฟๅฐ่ฟไธช โ ็ฉฟไธไบ โ โ
โ โโโโโโโโโโโโ ไบบ่บซไธ" โ B่กฃๆ๏ผ โ โ
โ โ ๐ B่กฃๆ โ โ โ โ
โ โ ็ฝๅบๅพ โ โโโโโโโโโโโโ โ
โ โโโโโโโโโโโโ โ
โ โ
โ ๆฐๆฎๅฏน่ฆๆฑ๏ผ โ
โ โข ๆงๅถๅพ1๏ผ็ฎๆ ไบบ็ฉ็็
ง็ โ
โ โข ๆงๅถๅพ2๏ผ่ฆ่ฏ็ฉฟ็่กฃๆๅนณ้บๅพ โ
โ โข ็ฎๆ ๅพ๏ผๅไธไบบ็ฉ็ฉฟ็่ฏฅ่กฃๆ็็
ง็ โ
โ โข ๆไปค๏ผๆ่ฟฐ"่ฏ็ฉฟ"็ๆๆฌ โ
โ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
ๆฐๆฎ้่ดจ้ๆฃๆฅๆธ ๅ
โ
ๆฐๆฎ่ดจ้ Checklist
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ ๅพ็ๅ่พจ็็ปไธ๏ผๅปบ่ฎฎ 1024ร1024 ๆ 768ร1024๏ผ
โ ๆงๅถๅพๅ็ฎๆ ๅพ็่กฃๆ็กฎๅฎๆฏๅไธไปถ
โ ่กฃๆ็ง็ฑปๆๅคๆ ทๆง๏ผไธ่กฃใ่ฃๅญใๅคๅฅ็ญ๏ผ
โ ไบบ็ฉไฝๅๆๅคๆ ทๆง๏ผ้ฟๅ
ๆจกๅๅชๅญฆไผๅไธไฝๅ๏ผ
โ ่ๆฏๅนฒๅ๏ผๆฒกๆๆไนฑๅ
็ด
โ ่กฃๆๅนณ้บๅพๆฏ็ฝๅบ๏ผๆฒกๆๆจก็น่บซไฝๆฎ็
โ ๆๅญๆไปค็ฎๆดๆ็กฎ๏ผๆ ผๅผไธ่ด
โ ๆฒกๆๆฐดๅฐใLOGO ็ญๅนฒๆฐไฟกๆฏ
โ ๅพ็ๆ ผๅผ็ปไธ๏ผๅปบ่ฎฎ JPG ๆ PNG๏ผ
โ ๆฐ้ๅค็จ๏ผๆฏไธช LoRA ่ณๅฐ 20 ็ป๏ผ50+ ๆดไฝณ๏ผ
Musubi Tuner ็ dataset.toml ้ ็ฝฎ
Musubi Tuner ไฝฟ็จ TOML ๆไปถๅฎไนๆฐๆฎ้ใๅฏนไบ Edit ๆจกๅ็่ฎญ็ป๏ผๅ
ณ้ฎๆฏ่ฆๆญฃ็กฎๆๅฎ control_content๏ผ
# dataset_extract.toml โ ่กฃๆๆๅๅจ LoRA ๆฐๆฎ้้
็ฝฎ
[general]
resolution = [1024, 1024]
batch_size = 1
enable_bucket = true
[[datasets]]
image_directory = "path/to/dataset_extract/targets"
control_directory = "path/to/dataset_extract/controls"
caption_extension = ".txt"
# dataset_tryon.toml โ ่ฏ็ฉฟๅจ LoRA ๆฐๆฎ้้
็ฝฎ
# ๆณจๆ๏ผ2509/2511 ๆฏๆๅคๆงๅถๅพ
[general]
resolution = [1024, 1024]
batch_size = 1
enable_bucket = true
[[datasets]]
image_directory = "path/to/dataset_tryon/targets"
control_directory = "path/to/dataset_tryon/controls"
caption_extension = ".txt"
# ๅฏนไบๅคๆงๅถๅพ๏ผไบบ+่กฃๆ๏ผ๏ผ้่ฆๅจๆงๅถ็ฎๅฝไธญๆญฃ็กฎ็ป็ป
โ ๏ธ ้่ฆๆ็คบ๏ผMusubi Tuner ็ Edit ๆฐๆฎ้้ ็ฝฎ่ฆๆฑๆงๅถๅพๅ็ฎๆ ๅพ้่ฟๆไปถๅ้ ๅฏนใ็กฎไฟ
control/001.jpgๅฏนๅบtarget/001.jpg๏ผcaption ๆไปถไธบ001.txtใ
ๅ ฌๅผๆฐๆฎ้่ตๆบ
ๅฆๆไธๆณไป้ถ้้๏ผๅฏไปฅๅฉ็จ่ฟไบๅ ฌๅผๆฐๆฎ้ไฝไธบ่ตท็น๏ผ
| ๆฐๆฎ้ | ่งๆจก | ๅ่พจ็ | ็น็น |
|---|---|---|---|
| VITON-HD | 13,679 ๅฏน | 1024ร768 | ๆไธปๆต๏ผไธ่บซ่กฃ็ฉ๏ผๅซ DensePose |
| Dress Code | 53,795 ๅฏน | 1024ร768 | ๅคๅ็ฑป๏ผไธ่กฃ+ไธ่ฃ +่ฃๅญ๏ผ |
| SAMP-VTONS | 21,104 ่ฎญ็ป | 786ร1024 | ๅคๅงฟๆ๏ผๅซๆๆฌๆ่ฟฐ |
| DeepFashion | 52,712+ | ๅค็ง | ไธฐๅฏ็ๆ่ฃ ๅฑๆงๆ ๆณจ |
ไฝๅ ฌๅผๆฐๆฎ้้่ฆๆน้ ๆ่ฝ็จไบ Edit ๆจกๅ่ฎญ็ปโโ้่ฆๆไผ ็ป VTON ๆฐๆฎ้็ (person, garment, result) ไธๅ ็ป่ฝฌๆขไธบ (control_image, caption, target_image) ๆ ผๅผใ
่ฎญ็ป็ฏๅขๆญๅปบ
ๅทฅๅ ท้ๆฉ๏ผMusubi Tuner vs AI-Toolkit
| ็ปดๅบฆ | Musubi Tuner (kohya-ss) | AI-Toolkit (Ostris) |
|---|---|---|
| Edit-2511 ๆฏๆ | โ
ๅ็ --model_version edit-2511 | โ ๆ้ ็ฝฎๆจกๆฟ |
| ็คพๅบๆดป่ทๅบฆ | ้ซ๏ผ1.7k+ stars | ้ซ๏ผJames Skelton (DigitalOcean) ้ช่ฏ |
| VRAM ไผๅ | Block swap๏ผๆไฝ 6GB VRAM | ๆ ๅ gradient checkpointing |
| ้ข็ผๅญ | โ Latent + Text Encoder | โ ๆฏๆ |
| Torch Compile | โ ๅ ้่ฎญ็ป | โ ๏ธ ้จๅๆฏๆ |
| GUI | SECourses ๆไพ 1-click ๅฎ่ฃ | RunComfy ๆไพ Web ็้ข |
| ๆ็้ๆฉ | โ ไธปๅ | ๅค้ |
Musubi Tuner ๅฎ่ฃ
# 1. ๅ
้ไปๅบ
git clone https://github.com/kohya-ss/musubi-tuner.git
cd musubi-tuner
# 2. ๅๅปบ่ๆ็ฏๅข
python -m venv venv
source venv/bin/activate # Linux/Mac
# venv\Scripts\activate # Windows
# 3. ๅฎ่ฃ
ไพ่ต
pip install -r requirements.txt
pip install accelerate
# 4. ไธ่ฝฝๆจกๅ๏ผ็บฆ 60GB ๆป่ฎก๏ผ
# DiT ๆจกๅ
huggingface-cli download Qwen/Qwen-Image-Edit-2511 --local-dir models/dit
# VAE ๆจกๅ
huggingface-cli download Qwen/Qwen-Image-Edit-2511 --include "vae/*" --local-dir models/vae
# Text Encoder (Qwen2.5-VL)
huggingface-cli download Qwen/Qwen2.5-VL-7B-Instruct --local-dir models/text_encoder
็กฌไปถ่ฆๆฑ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ ็กฌไปถ้ๆฑ้ๆฅ่กจ โ
โโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ โ ่ฎญ็ป ๆจ็ โ
โโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ VRAM (ๆไฝ) โ 6 GB (ๆ้ไผๅ) 6 GB (GGUF/NF4) โ
โ VRAM (ๆจ่) โ 24 GB (RTX 4090/5090) 12 GB (FP8) โ
โ VRAM (่้) โ 48 GB+ (A6000) 24 GB (BF16) โ
โ ็ณป็ปๅ
ๅญ โ 64 GB+ 32 GB+ โ
โ ๅญๅจ็ฉบ้ด โ 100 GB+ (ๆจกๅ+็ผๅญ) 60 GB (ๆจกๅ) โ
โ GPU ๅๅท โ RTX 4090 / H100 / A6000 RTX 3060+ โ
โโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ ไบๆๅกไปทๆ ผๅ่โ โ
โ RunPod โ RTX 4090: ~$0.44/hr โ
โ Lambda Labs โ H100: ~$2.49/hr โ
โ Vast.ai โ RTX 4090: ~$0.35/hr โ
โโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
VRAM ไผๅๆๅทง
ๅฆๆไฝ ๆๅคดๅชๆ 24GB ๆพๅก๏ผๆฏๅฆ RTX 4090๏ผ๏ผไปฅไธไผๅๅฏไปฅๅธฎไฝ ่ท้่ฎญ็ป๏ผ
# Block swap๏ผๅฐ้จๅ Transformer ๅไบคๆขๅฐ CPU ๅ
ๅญ
--blocks_to_swap 20
# FP8 ้ๅ Text Encoder
--fp8_vl
# ้ไฝๅ่พจ็๏ผไป 1024 ้ๅฐ 512/768๏ผ
# ๅจ dataset.toml ไธญ่ฎพ็ฝฎ resolution = [768, 768]
# ๅๅฐ LoRA rank
--network_dim 16 # ่ไธๆฏ้ป่ฎค็ 64 ๆ 128
# Gradient checkpointing
--gradient_checkpointing
LoRA ่ฎญ็ปๅฎๆ
Stage 1๏ผ่ฎญ็ป่กฃๆๆๅๅจ LoRA
# Step 1: ้ข็ผๅญ Latents๏ผไป
้่ฟ่กไธๆฌก๏ผ
python src/musubi_tuner/qwen_image_cache_latents.py \
--dataset_config dataset_extract.toml \
--vae models/vae \
--model_version edit-2511
# Step 2: ้ข็ผๅญ Text Encoder ่พๅบ๏ผไป
้่ฟ่กไธๆฌก๏ผ
python src/musubi_tuner/qwen_image_cache_text_encoder_outputs.py \
--dataset_config dataset_extract.toml \
--text_encoder models/text_encoder \
--model_version edit-2511 \
--fp8_vl # ็จ FP8 ่็ VRAM
# Step 3: ๅผๅง่ฎญ็ป
accelerate launch --num_cpu_threads_per_process 1 --mixed_precision bf16 \
src/musubi_tuner/qwen_image_train_network.py \
--dit models/dit \
--vae models/vae \
--text_encoder models/text_encoder \
--dataset_config dataset_extract.toml \
--model_version edit-2511 \
--output_dir output/extract_lora \
--output_name qwen_edit_extract_clothing \
--network_module networks.lora \
--network_dim 32 \
--network_alpha 16 \
--learning_rate 1e-4 \
--lr_scheduler cosine_with_restarts \
--max_train_steps 3000 \
--save_every_n_steps 500 \
--optimizer_type adamw8bit \
--mixed_precision bf16 \
--gradient_checkpointing \
--blocks_to_swap 20 \
--fp8_vl \
--seed 42
Stage 2๏ผ่ฎญ็ป่ฏ็ฉฟๅจ LoRA
# ้ข็ผๅญๆญฅ้ชคๅไธ๏ผๅช้ๆข dataset config
# ่ฎญ็ป่ฏ็ฉฟๅจ
accelerate launch --num_cpu_threads_per_process 1 --mixed_precision bf16 \
src/musubi_tuner/qwen_image_train_network.py \
--dit models/dit \
--vae models/vae \
--text_encoder models/text_encoder \
--dataset_config dataset_tryon.toml \
--model_version edit-2511 \
--output_dir output/tryon_lora \
--output_name qwen_edit_tryon_clothes \
--network_module networks.lora \
--network_dim 32 \
--network_alpha 16 \
--learning_rate 1e-4 \
--lr_scheduler cosine_with_restarts \
--max_train_steps 3000 \
--save_every_n_steps 500 \
--optimizer_type adamw8bit \
--mixed_precision bf16 \
--gradient_checkpointing \
--blocks_to_swap 20 \
--fp8_vl \
--seed 42
ๅ ณ้ฎ่ฎญ็ปๅๆฐ่งฃ่ฏป
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ LoRA ่ฎญ็ปๅๆฐ้ๆฅ โ
โโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ ๅๆฐ โ ๆจ่ๅผ โ ่ฏดๆ โ
โโโโโโโโโโโโโโโโโโโโผโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ network_dim โ 32 โ LoRA ็งฉ๏ผ่ถๅคงๅฎน้่ถๅคงไฝๆ่ฟๆๅ โ
โ network_alpha โ 16 โ ็ผฉๆพๅ ๅญ๏ผ้ๅธธ่ฎพไธบ dim ็ไธๅ โ
โ learning_rate โ 1e-4 โ ๅคช้ซ้่ก๏ผๅคชไฝๅญฆไธๅจ โ
โ max_train_steps โ 3000 โ 20 ๅผ ๆฐๆฎ็บฆ่ฎญ 3000 ๆญฅ โ
โ optimizer โ adamw โ AdamW 8bit ็ VRAM โ
โ blocks_to_swap โ 20 โ 24GB VRAM ๅปบ่ฎฎ 20 โ
โ fp8_vl โ ๅผๅฏ โ Text Encoder FP8 ้ๅ โ
โ seed โ 42 โ ๅบๅฎ็งๅญไพฟไบๅค็ฐ โ
โโโโโโโโโโโโโโโโโโโโผโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ ๆฐๆฎ้้
็ฝฎ โ โ โ
โ resolution โ 1024 โ 768 ๅฏ็ VRAM๏ผ1024 ๆๆๆดๅฅฝ โ
โ batch_size โ 1-4 โ VRAM ๅ
่ฎธๆถๅขๅคงๅ ้ๆถๆ โ
โ enable_bucket โ true โ ๆฏๆไธๅๅ่พจ็ๅพ็ โ
โโโโโโโโโโโโโโโโโโโโดโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
่ฎญ็ป่ฟ็จ็ๆง
# ไฝฟ็จ TensorBoard ็ๆง
tensorboard --logdir output/extract_lora/logs
# ๅ
ณๆณจ่ฟไบๆๆ ๏ผ
# 1. loss ๆฒ็บฟ๏ผๅบ่ฏฅ็จณๆญฅไธ้
# 2. ๅญฆไน ็ๅๅ๏ผcosine scheduler ๅบ่ฏฅๅนณๆป่กฐๅ
# 3. ๆฏ 500 ๆญฅ็ checkpoint๏ผ็จๆฅๅไธญ้ดๆๆๆต่ฏ
ๅธธ่ง่ฎญ็ป้ฎ้ขไธ่งฃๅณ
| ้ฎ้ข | ๅฏ่ฝๅๅ | ่งฃๅณๆนๆก |
|---|---|---|
| Loss ไธไธ้ | ๅญฆไน ็ๅคชๅฐ / ๆฐๆฎๆ ผๅผ้่ฏฏ | ๆฃๆฅๆฐๆฎไธๅ ็ปๆฏๅฆๆญฃ็กฎ้ ๅฏน |
| ่ฟๆๅ๏ผ่ฎญ็ปๅฅฝๆต่ฏๅทฎ๏ผ | ๆฐๆฎๅคชๅฐ / rank ๅคช้ซ | ้ไฝ network_dim๏ผๅขๅ ๆฐๆฎ้ |
| OOM (ๆพๅญไธ่ถณ) | ๅ่พจ็ๅคช้ซ / batch ๅคชๅคง | ๅขๅ blocks_to_swap๏ผ้ๅ่พจ็ |
| ่พๅบๆไผชๅฝฑ | ่ฎญ็ปๆญฅๆฐไธๅค / ๆฐๆฎ่ดจ้ๅทฎ | ๆฃๆฅๆฐๆฎ่ดจ้๏ผ้ๅฝๅขๅ ๆญฅๆฐ |
| ่กฃๆ็ป่ไธขๅคฑ | LoRA ๅฎน้ไธ่ถณ | ๅขๅ network_dim ๅฐ 64 |
| ไบบไฝๅๅฝข | ๆฐๆฎๅคๆ ทๆงไธ่ถณ | ๅขๅ ไธๅไฝๅ็่ฎญ็ปๆ ทๆฌ |
ๆจ็ไธ้จ็ฝฒ
ๅฎๆดๆจ็ไปฃ็
import torch
from PIL import Image
from diffusers import QwenImageEditPlusPipeline
# ๅ ่ฝฝๅบๅบงๆจกๅ
pipeline = QwenImageEditPlusPipeline.from_pretrained(
"Qwen/Qwen-Image-Edit-2511",
torch_dtype=torch.bfloat16
).to("cuda")
# ===== Stage 1: ่กฃๆๆๅ =====
# ๅ ่ฝฝ Extract LoRA
pipeline.load_lora_weights(
"path/to/extract_lora",
weight_name="qwen_edit_extract_clothing.safetensors",
adapter_name="extract"
)
# ่พๅ
ฅๆจก็น็
ง็
model_photo = Image.open("model_wearing_dress.jpg").convert("RGB")
# ๆๅ่กฃๆ
extracted = pipeline(
image=[model_photo],
prompt="remove the person from this image, but leave the outfit. "
"the clothes should remain after deleting the person's body, "
"skin, and hair. leave the clothes in front of a white background",
num_inference_steps=50,
generator=torch.manual_seed(42)
).images[0]
# ๅธ่ฝฝ Extract LoRA
pipeline.unload_lora_weights()
extracted.save("extracted_clothing.jpg")
# ===== Stage 2: ่ๆ่ฏ็ฉฟ =====
# ๅ ่ฝฝ TryOn LoRA
pipeline.load_lora_weights(
"path/to/tryon_lora",
weight_name="qwen_edit_tryon_clothes.safetensors",
adapter_name="tryon"
)
# ่พๅ
ฅ็ฎๆ ไบบ็ฉ + ๆๅๅบ็่กฃๆ
target_person = Image.open("target_person.jpg").convert("RGB")
# ่ฏ็ฉฟ๏ผ
result = pipeline(
image=[target_person, extracted],
prompt="dress the clothing onto the person",
num_inference_steps=50,
generator=torch.manual_seed(42)
).images[0]
# ๅธ่ฝฝ TryOn LoRA
pipeline.unload_lora_weights()
result.save("tryon_result.jpg")
print("่ๆ่ฏ็ฉฟๅฎๆ๏ผ")
ๆจ็ไผๅ
# ๆนๆก 1: FP8 ้ๅ๏ผ12GB VRAM๏ผ
from diffusers import BitsAndBytesConfig
import bitsandbytes as bnb
nf4_config = BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_quant_type="nf4",
bnb_4bit_compute_dtype=torch.bfloat16
)
pipeline = QwenImageEditPlusPipeline.from_pretrained(
"Qwen/Qwen-Image-Edit-2511",
quantization_config=nf4_config,
torch_dtype=torch.bfloat16
)
# ๆนๆก 2: Lightning LoRA ๅ ้๏ผ4 ๆญฅ็ๆ๏ผ
# ็คพๅบๆไพไบ 4-step Lightning LoRA๏ผๅฏไปฅๅฐ 50 ๆญฅๆจ็ๅ็ผฉๅฐ 4 ๆญฅ
# ไปฃไปทๆฏ่ฝปๅพฎ็่ดจ้ไธ้๏ผไฝ้ๅบฆๆๅ 10x+
# ๆนๆก 3: ไฝฟ็จ DiffSynth-Studio ็้ๅฑ offload
# ๆ็ซฏๆ
ๅตไธๅฏๅจ 4GB VRAM ไธ่ฟ่กๆจ็
้จ็ฝฒๆถๆ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ ็ไบง้จ็ฝฒๆถๆ โ
โ โ
โ โโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ โ โ GPU Server โ โ
โ โ Web App โ โโโถ โ โโโโโโโโโโโโโโโโโโโโโโโโโโโ โ โ
โ โ (Gradio/ โ โ โ FastAPI / Triton โ โ โ
โ โ React) โ โโโ โ โ โ โ โ
โ โ โ โ โ Pipeline (ๅธธ้ฉปๆพๅญ) โ โ โ
โ โโโโโโโโโโโโโโโ โ โ โโโ Extract LoRA (ๆ้) โ โ โ
โ โ โ โโโ TryOn LoRA (ๆ้) โ โ โ
โ โ โ โ โ โ
โ โ โ load/unload LoRA ~0.5s โ โ โ
โ โ โโโโโโโโโโโโโโโโโโโโโโโโโโโ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ
โ ่ฆ็น๏ผ โ
โ โข Pipeline ๅธธ้ฉป GPU๏ผๅชๅๆข LoRA ๆ้ โ
โ โข LoRA ๅๆขๆๅฟซ๏ผ<1 ็ง๏ผ๏ผไธ้่ฆ้่ฝฝๆจกๅ โ
โ โข ๅๆฌกๆจ็ ~30-60s๏ผ50 ๆญฅ๏ผ๏ผLightning LoRA ~5-10s๏ผ4ๆญฅ๏ผ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
่ฏไผฐไธไผๅ็ญ็ฅ
้ๅ่ฏไผฐๆๆ
| ๆๆ | ๅซไน | ็ฎๆ | ๅทฅๅ ท |
|---|---|---|---|
| FID โ | ็ๆๅพไธ็ๅฎๅพ็ๅๅธ่ท็ฆป | ่ถไฝ่ถๅฅฝ | pytorch-fid |
| SSIM โ | ็ปๆ็ธไผผๅบฆ | ่ถ้ซ่ถๅฅฝ | scikit-image |
| LPIPS โ | ๆ็ฅ็ธไผผๅบฆ | ่ถไฝ่ถๅฅฝ | lpips |
| CLIP Score โ | ๅพๆไธ่ดๆง | ่ถ้ซ่ถๅฅฝ | transformers |
ไบบๅทฅ่ฏไผฐ็ปดๅบฆ
โโ VTON ๆๆไบบๅทฅ่ฏไผฐ่กจ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ โ
โ 1. ่กฃๆไฟ็ๅบฆ (1-5 ๅ) โ
โ ่กฃๆ็้ข่ฒใๅพๆกใ็ๅๆฏๅฆไธๅๅพไธ่ด๏ผ โ
โ โ
โ 2. ไบบไฝ่ช็ถๅบฆ (1-5 ๅ) โ
โ ็ฉฟไธ่กฃๆๅไบบไฝๆฏๅฆ่ช็ถ๏ผๆๆ ๅๅฝขใ้ฎๆกไธๅฝ๏ผ โ
โ โ
โ 3. ่บซไปฝไฟๆ (1-5 ๅ) โ
โ ๆข่ฃ
ๅไบบ่ธ/ๅๅ/่ค่ฒๆฏๅฆๆนๅ๏ผ โ
โ โ
โ 4. ่พน็ผ่ดจ้ (1-5 ๅ) โ
โ ่กฃๆๅไบบไฝ็ๆฅ็ผๅคๆฏๅฆ่ช็ถ๏ผๆๆ ้ฏ้ฝฟ/ๆบข่ฒ๏ผ โ
โ โ
โ 5. ๆดไฝๅฎก็พ (1-5 ๅ) โ
โ ๆดๅผ ๅพ็่ตทๆฅๆฏๅฆๅ็ๅฎ็
ง็๏ผ โ
โ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
่ฟญไปฃไผๅ่ทฏๅพ
Round 1: ๅบ็บฟ้ช่ฏ
โโโ 20 ็ปๆฐๆฎ + 3000 ๆญฅ่ฎญ็ป
โโโ ้ช่ฏ Pipeline ๆฏๅฆ่ท้
โโโ ๆถ้็ฌฌไธๆน็ปๆ๏ผๆพๅบไธป่ฆ้ฎ้ข
Round 2: ๆฐๆฎไผๅ
โโโ ๆ นๆฎ Round 1 ็้ฎ้ข๏ผ้ๅฏนๆง่กฅๅ
ๆฐๆฎ
โโโ ๆฏๅฆ่กฃๆ็ป่ไธขๅคฑ โ ๅขๅ ็นๅๆฐๆฎ
โโโ ๆฏๅฆไฝๅๅๅฝข โ ๅขๅ ไฝๅๅคๆ ทๆง
Round 3: ๅๆฐ่ฐไผ
โโโ ๅฐ่ฏไธๅ rank (16/32/64)
โโโ ๅฐ่ฏไธๅๅญฆไน ็ (5e-5 ~ 2e-4)
โโโ ่ฐๆด่ฎญ็ปๆญฅๆฐ (2000 ~ 5000)
Round 4: ่ดจ้ๆๅ
โโโ ๅขๅ ๆฐๆฎๅฐ 50-100 ็ป
โโโ ๅผๅ
ฅๅๅค็๏ผSeedVR2 ่ถ
ๅใ้ข้จไฟฎๅค๏ผ
โโโ ๅค็ง่กฃ็ฉ็ฑปๅๆต่ฏ๏ผไธ่กฃ/่ฃคๅญ/่ฃๅญ/ๅคๅฅ๏ผ
ๅทฒ้ช่ฏ็ๅ่ๆกไพ
James Skelton ็ Clothing Try-On App (DigitalOcean)
่ฟๆฏ็ฎๅๆๅฎๆด็ Qwen-Image-Edit VTON ๅ่ๅฎ็ฐ๏ผ็ฑ DigitalOcean ๆๆฏๅธ้ๅธ James Skelton ๅๅธ๏ผ
| ้กน็ฎ | ่ฏฆๆ |
|---|---|
| ๅบๅบงๆจกๅ | Qwen-Image-Edit-2509 |
| ่ฎญ็ปๅทฅๅ ท | Ostris AI-Toolkit |
| ่ฎญ็ป็กฌไปถ | NVIDIA H100 (GPU Droplet) |
| ่ฎญ็ปๆญฅๆฐ | 3000 ๆญฅ / LoRA |
| Batch Size | 4 |
| ่ฎญ็ปๆฐๆฎ | 20 ็ป / LoRA |
| LoRA ๆฐ้ | 2 ไธช๏ผExtract + TryOn๏ผ |
| ๆจ็ๆกๆถ | Diffusers QwenImageEditPlusPipeline |
| ้จ็ฝฒๅนณๅฐ | HuggingFace Spaces (Gradio) |
| HF ๆจกๅ | JamesDigitalOcean/Qwen_Image_Edit_Extract_Clothing |
JamesDigitalOcean/Qwen_Image_Edit_Try_On_Clothes |
่ฟไธชๆกไพ่ฏๆไบ๏ผไป ้ 20 ็ป่ฎญ็ปๆฐๆฎ + 3000 ๆญฅ่ฎญ็ป๏ผๅฐฑ่ฝๅพๅฐๅฏ็จ็ VTON LoRAใ่ฟๅฏนไบๅฟซ้้ช่ฏ POC ๆฅ่ฏดๆฏๆๅฅฝ็ๆถๆฏใ
CivitAI ็คพๅบ VTON LoRA
Reddit ๅ CivitAI ็คพๅบไนๆๅคไฝ็จๆทๅไบซไบ VTON LoRA๏ผ
- ่กฃๆๆๅ LoRA + ่ฏ็ฉฟ LoRA ็็ปๅๆนๆก
- ๆณจๆ๏ผ็คพๅบๅ้ฆ้จๅ็ปๆๆ่ดจ้ไธ้๏ผๅปบ่ฎฎ้ ๅ SeedVR2 ่ถ ๅไฟฎๅค
Cu-VTON ๅญฆๆฏๆนๆก
EmergentMind ๆถๅฝ็ Cu-VTON ่ฎบๆๆๅบไบๆดๅญฆๆฏๅ็ๆนๆก๏ผ
- ๅคๆฆๅฟต LoRA ๆณจๅ ฅ๏ผไบบ็ฉ่บซไปฝ + ๆ่ฃ ้ฃๆ ผๅ ้ช๏ผ
- DensePose/ControlNet ๆกไปถ่พ ๅฉ
- BLIP2+CLIP ่ฏญไนๅขๅผบ
- ้ๅ่ฟฝๆฑๆ่ดๆๆไฝไธๆฅไบๅไธๅ็ๅบๆฏ
ๅฎๆด Roadmap ไธ Checklist
้กน็ฎๆถ้ด็บฟ
Week 1: ๅบ็ก่ฎพๆฝ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
Day 1-2: ็ฏๅขๆญๅปบ
โ ๅฎ่ฃ
Musubi Tuner + ไพ่ต
โ ไธ่ฝฝ Qwen-Image-Edit-2511 ๆจกๅ๏ผDiT+VAE+TextEncoder๏ผ
โ ้ช่ฏๅบๅบงๆจกๅๆจ็ๆญฃๅธธ
โ ๅฎ่ฃ
AI-Toolkit ไฝไธบๅค้
Day 3-5: ๆฐๆฎ้้ไธๆ ๆณจ
โ ็กฎๅฎ่กฃๆๅ็ฑป่ๅด๏ผไธ่กฃ/่ฃคๅญ/่ฃๅญ/ๅคๅฅ๏ผ
โ ้้ 30 ็ป Extract ่ฎญ็ปๆฐๆฎ๏ผๆจก็น็
ง + ่กฃๆๅนณ้บๅพ๏ผ
โ ้้ 30 ็ป TryOn ่ฎญ็ปๆฐๆฎ๏ผไบบ็ฉ + ่กฃๆ + ็ฉฟ็ๆๆ๏ผ
โ ็ผๅๆ ๆณจ่ๆฌ๏ผๆน้็ๆ caption.txt
โ ๆฐๆฎ่ดจ้ๆฃๆฅ + ๆธ
ๆด
Day 6-7: ๆฐๆฎ้ขๅค็
โ ็ปไธๅพ็ๅ่พจ็๏ผ1024ร1024๏ผ
โ ่ฟ่ก latent ้ข็ผๅญ
โ ่ฟ่ก text encoder ่พๅบ้ข็ผๅญ
โ ้ช่ฏ dataset.toml ้
็ฝฎๆญฃ็กฎ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
Week 2: ่ฎญ็ปไธ่ฟญไปฃ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
Day 8-9: Stage 1 ่ฎญ็ป๏ผExtract LoRA๏ผ
โ ่ฟ่ก 3000 ๆญฅ่ฎญ็ป
โ ๅจ 500/1000/1500/2000/2500/3000 ๆญฅๅไฟๅญ checkpoint
โ ้ไธๆต่ฏๆฏไธช checkpoint ็ๆๆ
โ ้ๅบๆไฝณ checkpoint
Day 10-11: Stage 2 ่ฎญ็ป๏ผTryOn LoRA๏ผ
โ ่ฟ่ก 3000 ๆญฅ่ฎญ็ป
โ ๅๆ ทไฟๅญๅคไธช checkpoint ๅนถๆต่ฏ
โ ้ๅบๆไฝณ checkpoint
Day 12-14: ่ๅๆต่ฏไธ่ฟญไปฃ
โ ๅฐไธคไธช LoRA ไธฒ่ๆต่ฏ็ซฏๅฐ็ซฏๆๆ
โ ๆถ้ๅคฑ่ดฅๆกไพ๏ผๅๆๅๅ
โ ่กฅๅ
ๆฐๆฎ / ่ฐๆดๅๆฐ๏ผ่ฟ่ก็ฌฌไบ่ฝฎ่ฎญ็ป
โ ้ๅ่ฏไผฐ๏ผFID/SSIM/LPIPS๏ผ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
Week 3: ไผๅไธ้จ็ฝฒ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
Day 15-17: ่ดจ้ไผๅ
โ ๅขๅ ่ฎญ็ปๆฐๆฎๅฐ 50-100 ็ป
โ ๅฐ่ฏไธๅ LoRA rank (16/32/64)
โ ๅผๅ
ฅๅๅค็ pipeline๏ผ่ถ
ๅใ้ข้จไฟฎๅค๏ผ
โ ๅคๅ็ฑป่กฃ็ฉ็ณป็ปๆต่ฏ
Day 18-19: ๆจ็ไผๅ
โ ๆต่ฏ FP8/NF4 ้ๅๆจ็
โ ๆต่ฏ Lightning LoRA 4 ๆญฅๅฟซ้ๆจ็
โ ไผๅๆจ็้ๅบฆ๏ผ็ฎๆ <30s/ๅพ
โ ็ผๅ Gradio Demo
Day 20-21: ้จ็ฝฒ
โ ๆๅ
ๆ FastAPI ๆๅก
โ ้จ็ฝฒๅฐไบ GPU๏ผRunPod/Lambda๏ผ
โ ๅๅๆต่ฏ
โ ็ผๅ API ๆๆกฃ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
ๅ็ปญ: ๆ็ปญๆน่ฟ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ ็ญ Qwen-Image 2.0 ๅทฅๅ
ท้พๆ็ๅ่ฟ็งป
โ ๆข็ดข Layered ๆจกๅๅๅๅฑ่ฏ่กฃ
โ ๅ ๅ
ฅ DensePose/ControlNet ๆกไปถ่พ
ๅฉ
โ ๆๅปบ่ชๅจ่ฏไผฐ pipeline
โ A/B ๆต่ฏไธ็จๆทๅ้ฆๆถ้
ๆ ธๅฟไพ่ตๆธ ๅ
ๆจกๅๆไปถ:
โโโ Qwen/Qwen-Image-Edit-2511 (DiT) ~40 GB
โโโ Qwen/Qwen-Image-Edit-2511 (VAE) ~400 MB
โโโ Qwen/Qwen2.5-VL-7B-Instruct ~15 GB
โโโ (ๅฏ้) Lightning LoRA (4-step) ~100 MB
่ฝฏไปถไพ่ต:
โโโ Python 3.10+
โโโ PyTorch 2.1+ (CUDA 12.1)
โโโ diffusers >= 0.36.0
โโโ transformers >= 4.57
โโโ accelerate
โโโ bitsandbytes (้ๅ)
โโโ musubi-tuner (่ฎญ็ป)
โโโ tensorboard (็ๆง)
็กฌไปถ:
โโโ ่ฎญ็ป: NVIDIA GPU 24GB+ (RTX 4090 / A6000 / H100)
โโโ ๆจ็: NVIDIA GPU 6GB+ (RTX 3060+)
โโโ ๅญๅจ: 200 GB+ SSD
ๅๅจๆๅ
ๅ่ฟๅคด็๏ผไป JCo-MVTON ๅฐ Qwen-Image-Edit + LoRA ็ๆนๆก่ฟ็งป๏ผๆฌ่ดจไธๆฏไธๆฌก่ๅผ่ฝฌๆข๏ผ
ๆง่ๅผ๏ผ่ฎพ่ฎกไธ็จๆถๆ่งฃๅณไธ็จ้ฎ้ข
โ ๆถๆๅคๆใ็ปดๆคๅฐ้พใๆ ๆณๅค็จ
ๆฐ่ๅผ๏ผ้็จๅคงๆจกๅ + ่ฝป้ๅพฎ่ฐ = ่งฃๅณ็นๅฎ้ฎ้ข
โ ๆถๆ็ฎๆดใ็ปดๆคๅฎนๆใๅบๅบงๅ็บงๅ
่ดนไบซๅ
Qwen-Image-Edit ็ LoRA VTON ๆนๆก็ฎๅๅทฒ็ป่ขซ็คพๅบ้ช่ฏๅฏ่ก๏ผJames Skelton ็ๆ็จ่ฏๆ 20 ๅผ ๅพ + 3000 ๆญฅๅฐฑ่ฝ็จ๏ผ๏ผ่ไธ้็ Qwen-Image 2.0๏ผ7B ๅๆฐใ2K ๅ่พจ็๏ผ็ๆ็๏ผๆชๆฅๅชไผๆดๅฅฝใ
ๆ่ฎฉๆๅ ดๅฅ็ไธ็นๆฏ๏ผ่ฟไธๅชๆฏๆข่ฃ ใๅๆ ท็ๆ่ทฏๅฏไปฅๆฉๅฑๅฐๅๅ่ฏๆดใ้ ้ฅฐ่ฏๆดใๅฆๅฎน่ฏๅฆโฆโฆๅช่ฆไฝ ่ฝๆ้ ๅบๅ้็่ฎญ็ปไธๅ ็ป๏ผLoRA ๅฐฑ่ฝๆๆจกๅๅญฆไผๆฐๆ่ฝใ
ไธไธๆญฅ่ฎกๅ๏ผๅ ็จ 20 ็ปๆฐๆฎๅ POC ้ช่ฏ๏ผ็กฎ่ฎค Pipeline ่ท้ๅๅๆฉๅคงๆฐๆฎ้ๅๆญฃๅผ่ฎญ็ปใๆฌข่ฟๅ ณๆณจๅ็ปญ็ๅฎๆๆดๆฐ๏ผ
ๅ่่ตๆบ๏ผ
- Qwen-Image GitHub โ ๅฎๆนไปๅบ
- Musubi Tuner โ ่ฎญ็ปๅทฅๅ ท
- James Skelton: Clothing Try-On with Qwen Image Edit 2509 (DigitalOcean) โ ๅทฒ้ช่ฏ็ๅ่ๅฎ็ฐ
- RunComfy Qwen 2511 LoRA Guide โ AI-Toolkit ่ฎญ็ปๆๅ
- SECourses Training Tutorial โ ็ปผๅ่ฎญ็ปๆ็จ
- VITON-HD Dataset โ ๅ ฌๅผ VTON ๆฐๆฎ้
- Dress Code Dataset โ ๅคๅ็ฑป VTON ๆฐๆฎ้