ๆ่ฟๅจๅ่ๆ่ฏ่กฃ๏ผVirtual Try-On๏ผ้กน็ฎๆถ๏ผๆๆทฑๅ ฅ็ ็ฉถไบ JCo-MVTON ่ฟไธชๅบไบ FLUX ็ๆฐไธไปฃๆถๆใ็ฝไธๅ ณไบ VTON ็่ตๆ่ฆไน่ฟไบๅญฆๆฏๅ๏ผ่ฆไนๅช่ฎฒๆงๆนๆก๏ผๅฏนไบๆๆฐ็ FLUX-based ๆนๆกๅ ไนๆฒกๆ็ณป็ป่ฎฒ่งฃใ
ไบๆฏๆๅณๅฎๅ่ฟ็ฏ"ๅฐ็ฝๅๅฅฝ"็ๅฎๅ จๆๅโโ็จๅคง้็็ฑปๆฏๆฅ่งฃ้ๅคๆ็ๆฆๅฟต๏ผ่ฎฉไฝ ๅณไฝฟๆฒกๆๆทฑๅบฆๅญฆไน ่ๆฏ๏ผไน่ฝ็่งฃ JCo-MVTON ๆฏไปไนใๆไนๅทฅไฝใๅฆไฝ่ฎญ็ปๅๆฉๅฑใ
๐ ็ฎๅฝ
- JCo-MVTON ๆฏไปไน๏ผ
- ่ๆ่ฏ่กฃ็ๅไธไป็
- JCo-MVTON ็ๆ ธๅฟๅ็
- JCo-MVTON ็ๆถๆ็ปๆ
- JCo-MVTON ๅฆไฝๅทฅไฝ
- JCo-MVTON ็่ฎญ็ป
- JCo-MVTON ็ๆฉๅฑไธๅบ็จ
- ๆป็ปไธ้ๆฅๅก
JCo-MVTON ๆฏไปไน๏ผ
ไธๅฅ่ฏ็ๆฌ
JCo-MVTON = ไธไธช่ถ ็บงๆบ่ฝ็"AI ๆข่ฃ ๅธ"๏ผ่ฝๆไปปๆ่กฃๆๅฎ็พ"็ฉฟ"ๅฐไปปๆไบบ่บซไธใ
๐ ็ฑปๆฏ๏ผๆณ่ฑกไธไธช็ฅๅฅ็่ฏ่กฃ้ด
ไผ ็ป็ฝ่ดญ๏ผ
โโโ ็ๆจก็น็ฉฟ็ๆๆๅพ
โโโ ็่ชๅทฑ็ฉฟไธไปไนๆ ท
โโโ ไนฐๅๆฅๅ็ฐไธๅ้
โโโ ้่ดง๏ผ๐ญ
JCo-MVTON๏ผ
โโโ ไธไผ ไฝ ็็
ง็
โโโ ้ๆฉๅๆฌข็่กฃๆ
โโโ AI ็ดๆฅ็ๆไฝ ็ฉฟไธ็ๆๆ
โโโ ๅฎ็พ๏ผไนฐไนฐไนฐ๏ผ๐
๐ฏ ๅๅญๆ่งฃ
JCo-MVTON = Joint Conditional Multi-View Try-On Network
Joint๏ผ่ๅ๏ผ: ไบบๅ่กฃๆไธ่ตทๅค็
Conditional๏ผๆกไปถ๏ผ: ๆ นๆฎๆกไปถ๏ผๅงฟๅฟใไฝๅ๏ผ็ๆ
Multi-View๏ผๅค่ง่ง๏ผ: ๆฏๆไธๅ่งๅบฆ
Try-On๏ผ่ฏ็ฉฟ๏ผ: ๆ ธๅฟๅ่ฝ
Network๏ผ็ฝ็ป๏ผ: ็ฅ็ป็ฝ็ป
่ๆ่ฏ่กฃ็ๅไธไป็
๐ ๆๆฏ่ฟๅๅฒ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ ่ๆ่ฏ่กฃๆๆฏ่ฟๅๅฒ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ โ
โ ็ฌฌไธไปฃ๏ผๅพๅๅๅฝข๏ผ2018-2020๏ผ โ
โ โโโ ไปฃ่กจ๏ผCP-VTON, VITON โ
โ โโโ ๆนๆณ๏ผๆ่กฃๆ"ๆญ"ๅฐไบบ่บซไธ โ
โ โโโ ้ฎ้ข๏ผๅ่ดด็บธไธๆ ท๏ผๅพๅ โ
โ โโโ ็ฑปๆฏ๏ผ็กฌๆ่กฃๆ่ดด็บธ่ดดๅจ็
ง็ไธ ๐ โ
โ โ
โ ็ฌฌไบไปฃ๏ผGAN็ๆ๏ผ2020-2022๏ผ โ
โ โโโ ไปฃ่กจ๏ผHR-VITON, VITON-HD โ
โ โโโ ๆนๆณ๏ผ็จๅฏนๆ็ฝ็ป็ๆ โ
โ โโโ ้ฎ้ข๏ผ่กฃๆ็ป่ไธขๅคฑ๏ผๅฎนๆๆจก็ณ โ
โ โโโ ็ฑปๆฏ๏ผ็ปๅฎถๅญ่ฎฐๅฟ็ป๏ผ็ป่ไธๅค ๐จ โ
โ โ
โ ็ฌฌไธไปฃ๏ผๆฉๆฃๆจกๅ๏ผ2023-2024๏ผ โ
โ โโโ ไปฃ่กจ๏ผIDM-VTON, LaDI-VTON, StableVITON โ
โ โโโ ๆนๆณ๏ผๅบไบSD/SDXL็ๆฉๆฃ็ๆ โ
โ โโโ ไผ็น๏ผ่ดจ้้ซ๏ผไฝ่กฃๆ็่งฃไธๅคๆทฑ โ
โ โโโ ็ฑปๆฏ๏ผ่ชๆ็ปๅฎถ๏ผไฝๅฏน่กฃๆไธๅคไธๆณจ ๐จโ๐จ โ
โ โ
โ ็ฌฌๅไปฃ๏ผFLUXๅขๅผบ๏ผ2024-2025๏ผ โ
โ โโโ ไปฃ่กจ๏ผJCo-MVTON๏ผๆไปฌ็ไธป่ง๏ผ๏ผ โ
โ โโโ ๆนๆณ๏ผFLUX + ไธ้จ็ไบบ็ฉ/่กฃๆๅๆฏ โ
โ โโโ ไผ็น๏ผไบบๅ่กฃๆๅๅซๆทฑๅบฆ็่งฃ๏ผๅฎ็พ่ๅ โ
โ โโโ ็ฑปๆฏ๏ผไธคไธชไธๅฎถๅไฝ๏ผไธไธชๆไบบ๏ผไธไธชๆ่กฃๆ ๐ฅ โ
โ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
๐ JCo-MVTON vs ๅ ถไปๆนๆก
| ็นๆง | ไผ ็ปๆนๆณ | IDM-VTON | JCo-MVTON |
|---|---|---|---|
| ๅบๅฑๆถๆ | GAN/SD | SDXL | FLUX (ๆดๅผบ) |
| ่กฃๆไฟ็ๅบฆ | โญโญ | โญโญโญ | โญโญโญโญโญ |
| ไบบไฝ้้ | โญโญ | โญโญโญโญ | โญโญโญโญโญ |
| ๅคๆๅพๆก | ๅฎนๆ็ณ | ่ฟ่ก | ๆธ ๆฐไฟ็ |
| ๆๅญLogo | ๅบๆฌไธ่ก | ๅๅผบ | ๅฏไปฅ๏ผ |
| ๆจ็้ๅบฆ | ๅฟซ | ไธญ็ญ | ไธญ็ญ |
JCo-MVTON ็ๆ ธๅฟๅ็
๐งฉ ๆ ธๅฟๆๆณ๏ผๅ่ๆฒปไน๏ผๅๅธๅ ถ่
็ฑปๆฏ๏ผไธไธ็ๆข่ฃ ๅข้
ๆณ่ฑกไฝ ๅปไธไธช่ถ ็บง้ซ็ซฏ็ๆข่ฃ ๅทฅไฝๅฎค๏ผ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ ไผ ็ปๆนๆณ vs JCo-MVTON โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ โ
โ ไผ ็ปๆนๆณ๏ผไธไธชไบบๅนฒๆๆๆดป๏ผ๏ผ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ ไธไธช่ฎพ่ฎกๅธ๏ผ โ โ
โ โ โโโ ็ไบบ โ โ
โ โ โโโ ็่กฃๆ โ โ
โ โ โโโ ๆณๆไนๆญ้
โ โ
โ โ โโโ ่ชๅทฑๅจๆๆข่ฃ
โ โ
โ โ ้ฎ้ข๏ผ็ฒพๅๅๆฃ๏ผ้กพๆญคๅคฑๅฝผ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ
โ JCo-MVTON๏ผไธไธๅข้ๅๅทฅ๏ผ๏ผ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ ๐ค ไบบ็ฉไธๅฎถ๏ผextra_to_q/k/v[0]๏ผ โ โ
โ โ โโโ ไธ้จ็ ็ฉถไบบ็ไฝๅ โ โ
โ โ โโโ ๅๆๅงฟๅฟๅ่บซๆ โ โ
โ โ โโโ ็กฎไฟไบบ็ฉ็นๅพๅฎๆด โ โ
โ โ โ โ
โ โ ๐ ่กฃๆไธๅฎถ๏ผextra_to_q/k/v[1]๏ผ โ โ
โ โ โโโ ไธ้จ็ ็ฉถ่กฃๆ็ป่ โ โ
โ โ โโโ ไฟ็ๅพๆกใlogoใ็บน็ โ โ
โ โ โโโ ็กฎไฟ่กฃๆไธๅๅฝข โ โ
โ โ โ โ
โ โ ๐จ ๆป่ฎพ่ฎกๅธ๏ผMain Attention๏ผ โ โ
โ โ โโโ ๅ่ฐไบบ็ฉไธๅฎถๅ่กฃๆไธๅฎถ โ โ
โ โ โโโ ๆดๅๆๆไฟกๆฏ โ โ
โ โ โโโ ่พๅบๆ็ปๆๆๅพ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
๐งฉ ๆ ธๅฟๆๆฏไธ๏ผๅบไบ FLUX ็ๅผบๅคงๅบๅบง
ไธบไปไน้ FLUX ่ไธๆฏ SDXL๏ผ
SDXL๏ผ่ๅๅทฅ๏ผ๏ผ
โโโ ็่งฃๅ๏ผๅๅ็๏ผๆๅญๅ่ฏๅพๅๆไน็ป
โโโ ๆ็๏ผ้่ฆๅพๅคๆญฅๆ่ฝ็ปๅฅฝ
โโโ ่ฝๅ๏ผๅทฒ็ปๅพๅผบไบ
FLUX๏ผๆฐๅๅทฅ๏ผ๏ผ
โโโ ็่งฃๅ๏ผๅๅ็๏ผๅพๅๅๆๅญไบ็ธ่ฎจ่ฎบ
โโโ ๆ็๏ผ่ตฐ็ด็บฟ๏ผๆดๅฟซๅฐ่พพ
โโโ ่ฝๅ๏ผๆดๅผบ๏ผ็นๅซๆฏๆๅญ็่งฃ
โโโ ้ขๅค็ฆๅฉ๏ผ่ฝ็ปๅฏน่กฃๆไธ็ logo ๅๆๅญ๏ผ
JCo-MVTON ้ๆฉ FLUX ๅฐฑๅ๏ผ
้ไธไธชๆด่ชๆใๆ็ๆด้ซ็ๅบ็กๅๅทฅ
๐งฉ ๆ ธๅฟๆๆฏไบ๏ผJoint Attention๏ผ่ๅๆณจๆๅ๏ผ
็ฑปๆฏ๏ผไธๆน่ง้ขไผ่ฎฎ
ๆณ่ฑกไธไธช่ง้ขไผ่ฎฎ๏ผไธๆนๅๆถๅจ็บฟ๏ผ
ๅไผ่
๏ผ
โโโ ๐ค ไบบ็ฉไปฃ่กจ๏ผๆ่ฟฐ่ฟไธชไบบ็็นๅพ
โโโ ๐ ่กฃๆไปฃ่กจ๏ผๆ่ฟฐ่ฟไปถ่กฃๆ็็ป่
โโโ ๐ ๆๅญไปฃ่กจ๏ผๆ่ฟฐๆดไฝ้ๆฑ
ไผ่ฎฎ่ฟ็จ๏ผ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ ็ฌฌ 1 ่ฝฎ โ
โ ไบบ็ฉไปฃ่กจ๏ผ"่ฟไธชไบบ่บซๆๅ็ฆ๏ผๅๆๅ่
ฐ" โ
โ ่กฃๆไปฃ่กจ๏ผ"่ฟไปถ่กฃๆๆฏ็ฝ่ฒTๆค๏ผ่ธๅๆ็บข่ฒlogo" โ
โ ๆๅญไปฃ่กจ๏ผ"้่ฆๆ่กฃๆ่ช็ถๅฐ็ฉฟๅฐไบบ่บซไธ" โ
โ โ
โ ็ฌฌ 2 ่ฝฎ โ
โ ไบบ็ฉไปฃ่กจ๏ผ"ๆ้่ฆ็ฅ้่กฃๆ็ๅ
ทไฝๅฐบๅฏธๆ" โ
โ ่กฃๆไปฃ่กจ๏ผ"ๆ้่ฆ็ฅ้ไบบ็่ฉๅฎฝๅ่ธๅด" โ
โ ๏ผไบ็ธไบคๆขไฟกๆฏ๏ผ โ
โ โ
โ ... โ
โ โ
โ ็ฌฌ 19 ่ฝฎ โ
โ ไธๆน่พพๆๅ
ฑ่ฏ๏ผ็ฅ้ๆไนๅฎ็พ่ๅไบ๏ผ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
๐งฉ ๆ ธๅฟๆๆฏไธ๏ผExtra Branches๏ผ้ขๅคๅๆฏ๏ผ
็ฑปๆฏ๏ผไธๅฑ้้
ๆฎ้ FLUX ็ๆณจๆๅ๏ผ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ ไธๆกไธป้้ๅค็ๆๆไฟกๆฏ โ
โ โโโ to_q: ๆ้ฎ โ
โ โโโ to_k: ๆพ็ญๆก โ
โ โโโ to_v: ่ทๅๅ
ๅฎน โ
โ ้ฎ้ข๏ผไบบๅ่กฃๆ็ไฟกๆฏๆททๅจไธ่ตท โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
JCo-MVTON ็ๆณจๆๅ๏ผ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ ไธป้้ + ไธคๆกไธๅฑ้้ โ
โ โ
โ ไธป้้๏ผๅๆ็๏ผ๏ผ โ
โ โโโ to_q, to_k, to_v โ
โ โโโ ๅค็้็จไฟกๆฏ โ
โ โ
โ ไบบ็ฉไธๅฑ้้๏ผ โ
โ โโโ extra_to_q[0]: ไบบ็ฉไธๅฑๆ้ฎ โ
โ โโโ extra_to_k[0]: ไบบ็ฉไธๅฑ็ดขๅผ โ
โ โโโ extra_to_v[0]: ไบบ็ฉไธๅฑๅ
ๅฎน โ
โ โ
โ ่กฃๆไธๅฑ้้๏ผ โ
โ โโโ extra_to_q[1]: ่กฃๆไธๅฑๆ้ฎ โ
โ โโโ extra_to_k[1]: ่กฃๆไธๅฑ็ดขๅผ โ
โ โโโ extra_to_v[1]: ่กฃๆไธๅฑๅ
ๅฎน โ
โ โ
โ ๅฅฝๅค๏ผไบบๅ่กฃๆๅๆไธๅฑ็่งฃ้้ โ
โ ไธไผไบ็ธๅนฒๆฐ๏ผ็่งฃๆดๆทฑ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
JCo-MVTON ็ๆถๆ็ปๆ
๐๏ธ ๆดไฝๆถๆๅพ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ JCo-MVTON Architecture โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ โ
โ ่พๅ
ฅๅฑ๏ผ4ไธช่พๅ
ฅ๏ผ โ
โ โโโโโโโโโโโโ โโโโโโโโโโโโ โโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโโ โ
โ โ Noise โ โ Person โ โ Garment โ โ Text Prompt โ โ
โ โ (้ๆบๅชๅฃฐ)โ โ (ไบบ็ฉๅพ) โ โ (่กฃๆๅพ) โ โ (ๆๅญๆ่ฟฐ) โ โ
โ โ latent โ โ1024ร768 โ โ1024ร1024 โ โ CLIP + T5-XXL โ โ
โ โโโโโโฌโโโโโโ โโโโโโฌโโโโโโ โโโโโโฌโโโโโโ โโโโโโโโโโฌโโโโโโโโโโ โ
โ โ โ โ โ โ
โ โ โโโโโโผโโโโโโ โโโโโโผโโโโโโ โ โ
โ โ โ VAE โ โ VAE โ โ โ
โ โ โ Encoder โ โ Encoder โ โ โ
โ โ โ (ๅ็ผฉๆบ) โ โ (ๅ็ผฉๆบ) โ โ โ
โ โ โโโโโโฌโโโโโโ โโโโโโฌโโโโโโ โ โ
โ โ โ โ โ โ
โ โ ไบบ็ฉlatent ่กฃๆlatent โ โ
โ โ โ โ โ โ
โ โโโโโโผโโโโโโโโโโโโโโผโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโผโโโโโโ โ
โ โ FluxTransformer2DModel (MM-DiT) โ โ
โ โ โ โ
โ โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ โ
โ โ โ 19ร FluxTransformerBlock (ๅๆตๆณจๆๅๅ) โ โ โ
โ โ โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ โ โ
โ โ โ โ Main Attention (ไธปๆณจๆๅ): โ โ โ โ
โ โ โ โ to_q, to_k, to_v โ ้็จ็่งฃ โ โ โ โ
โ โ โ โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ โ โ
โ โ โ โ Extra Branches (ไธๅฑๅๆฏ): โ โ โ โ
โ โ โ โ โข extra_to_q[0]: ไบบ็ฉQuery โโโ LoRA โ โ โ โ
โ โ โ โ โข extra_to_q[1]: ่กฃๆQuery โโโ LoRA โ โ โ โ
โ โ โ โ โข extra_to_k[0]: ไบบ็ฉKey โโโ LoRA โ โ โ โ
โ โ โ โ โข extra_to_k[1]: ่กฃๆKey โโโ LoRA โ โ โ โ
โ โ โ โ โข extra_to_v[0]: ไบบ็ฉValue โโโ LoRA โ โ โ โ
โ โ โ โ โข extra_to_v[1]: ่กฃๆValue โโโ LoRA โ โ โ โ
โ โ โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ โ โ
โ โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ โ
โ โ โ โ โ
โ โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ โ
โ โ โ 38ร FluxSingleTransformerBlock (ๅๆตๅ) โ โ โ
โ โ โ (ๅๆ ท็ extra_to_q/k/v ็ปๆ) โ โ โ
โ โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ โ
โ โโโโโโผโโโโโโ โ
โ โ VAE โ โ
โ โ Decoder โ โ
โ โ (่งฃๅๆบ) โ โ
โ โโโโโโฌโโโโโโ โ
โ โ โ
โ โโโโโโผโโโโโโ โ
โ โ Output โ โ
โ โ ็ฉฟไธ่กฃๆ โ โ
โ โ ็ไบบ็ฉๅพ โ โ
โ โ1024ร768 โ โ
โ โโโโโโโโโโโโ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
๐ง ๅ็ปไปถ่ฏฆ่งฃ
1๏ธโฃ ่พๅ ฅๅฑ๏ผๅๅคง้ๅ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ ๅๅคง่พๅ
ฅ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ โ
โ 1. ๐ฒ Noise๏ผๅชๅฃฐ๏ผ โ
โ โโโ ๆฏไปไน๏ผ้ๆบ็"้ช่ฑ็น" โ
โ โโโ ไฝ็จ๏ผไฝไธบ็ปๅธ็"ๅบ็จฟ" โ
โ โโโ ็ฑปๆฏ๏ผไธๅ่ฟๆฒก้ๅป็ๅคง็็ณ โ
โ โ
โ 2. ๐ค Person๏ผไบบ็ฉๅพ๏ผ โ
โ โโโ ๆฏไปไน๏ผ่ฆ่ฏ็ฉฟ่กฃๆ็ไบบ็็
ง็ โ
โ โโโ ๅฐบๅฏธ๏ผ1024ร768๏ผ็ซ็ไบบๅ๏ผ โ
โ โโโ ่ฆๆฑ๏ผๆธ
ๆฐใๆญฃ้ขๆไพง้ขใๆๅฅฝ่ๆฏ็ฎๅ โ
โ โโโ ็ฑปๆฏ๏ผ้่ฆๆข่ฃ
็ๆจก็น โ
โ โ
โ 3. ๐ Garment๏ผ่กฃๆๅพ๏ผ โ
โ โโโ ๆฏไปไน๏ผ่ฆ็ฉฟไธ็่กฃๆ็็
ง็ โ
โ โโโ ๅฐบๅฏธ๏ผ1024ร1024๏ผๆญฃๆนๅฝขๅฑ็คบๅพ๏ผ โ
โ โโโ ่ฆๆฑ๏ผๅนณ้บๆๆจก็นๅพใๆธ
ๆฐใๅฎๆด โ
โ โโโ ็ฑปๆฏ๏ผ่กฃๆถไธๅฑ็คบ็ๆฐ่กฃๆ โ
โ โ
โ 4. ๐ Text Prompt๏ผๆๅญๆ่ฟฐ๏ผ โ
โ โโโ ๆฏไปไน๏ผๅฏน็ฉฟๆญๆๆ็ๆๅญๆ่ฟฐ โ
โ โโโ ไฝ็จ๏ผๆๅฏผๆดไฝ้ฃๆ ผๅ็ป่ โ
โ โโโ ไพๅญ๏ผ"A woman wearing a white t-shirt, casual style" โ
โ โโโ ็ฑปๆฏ๏ผ็ปๆข่ฃ
ๅธ็ๅฃๅคดๆ็คบ โ
โ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
2๏ธโฃ VAE๏ผๅพ็็ๅ็ผฉ/่งฃๅๆบ
็ฑปๆฏ๏ผ่กๆๆๅ
ๅๅงๅพ็ๅคชๅคง๏ผ็ดๆฅๅค็ไผ็็ธ๏ผ
VAE Encoder๏ผๆๅ
๏ผ๏ผ
ๅๅพ 1024ร768ร3 = 236ไธไธชๆฐๅญ
โ ๅ็ผฉ
latent 128ร96ร16 = 19.6ไธไธชๆฐๅญ
๏ผไฝ็งฏ็ผฉๅฐๅฐ 1/12๏ผ๏ผ
VAE Decoder๏ผ่งฃๅ
๏ผ๏ผ
latent 128ร96ร16
โ ่งฃๅ
่พๅบๅพ 1024ร768ร3 = ่ฟๅๆ้ซๆธ
ๅคงๅพ
็ฑปๆฏ๏ผ
โโโ ไฝ ๆไธไธชๅทจๅคง็่กๆ็ฎฑ๏ผๅๅพ๏ผ
โโโ ็จ็็ฉบ่ขๅ็ผฉ๏ผVAE Encoder๏ผ
โโโ ่ฝปๆพๆฌ่ฟ๏ผๅจ latent ็ฉบ้ดๅค็๏ผ
โโโ ๅฐ่พพๅๆๅผ็็ฉบ่ข๏ผVAE Decoder๏ผ
3๏ธโฃ Text Encoder๏ผๆๅญ็ฟป่ฏๅฎ
JCo-MVTON ็ปงๆฟ FLUX ็ๅ็ฟป่ฏๅฎ้
็ฝฎ๏ผ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ ๆๅญ็ผ็ ๅจ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ โ
โ CLIP-L๏ผๅฟซ้็่งฃ๏ผ โ
โ โโโ ่พๅ
ฅ๏ผ"A woman wearing white t-shirt" โ
โ โโโ ่พๅบ๏ผ77ไธช่ฏ ร 768็ปด ็ๅ้ โ
โ โโโ ็น็น๏ผๅฟซ้ๆไฝๅคงๆ โ
โ โ
โ T5-XXL๏ผๆทฑๅบฆ็่งฃ๏ผ โ
โ โโโ ่พๅ
ฅ๏ผๅไธ โ
โ โโโ ่พๅบ๏ผ512ไธช่ฏ ร 4096็ปด ็ๅ้ โ
โ โโโ ็น็น๏ผ็่งฃๆฏไธช็ป่ใ่ฏญๆณๅ
ณ็ณป โ
โ โ
โ ไธค่
้
ๅ = ๆขๅฟซๅๅ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
4๏ธโฃ Extra Branches + LoRA๏ผJCo-MVTON ็็งๅฏๆญฆๅจ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ Extra Branches ่ฏฆ่งฃ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ โ
โ ๅ็ FLUX ็ Attention๏ผ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ to_q (Query) โโโ โ โ
โ โ to_k (Key) โโโผโโ ๆ ๅๆณจๆๅ โ โ
โ โ to_v (Value) โโโ โ โ
โ โ ๅ่ฝ๏ผ้็จ็ๅพๆ็่งฃ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ
โ JCo-MVTON ๆฐๅข็ๅๆฏ๏ผ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ ไบบ็ฉๅๆฏ [0]๏ผ โ โ
โ โ โโโ extra_to_q[0]: ไบบ็ฉไธๅฑๆ้ฎ โ โ
โ โ โ "่ฟไธชไบบ็่ฉ่ๅจๅช้๏ผ" โ โ
โ โ โโโ extra_to_k[0]: ไบบ็ฉไธๅฑ็ดขๅผ โ โ
โ โ โ "ไบบ็ฉ็นๅพๆ ็ญพๅบ" โ โ
โ โ โโโ extra_to_v[0]: ไบบ็ฉไธๅฑๅ
ๅฎน โ โ
โ โ "ไบบ็ฉ็ๅ
ทไฝๅ็ด ไฟกๆฏ" โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ ่กฃๆๅๆฏ [1]๏ผ โ โ
โ โ โโโ extra_to_q[1]: ่กฃๆไธๅฑๆ้ฎ โ โ
โ โ โ "่ฟไปถ่กฃๆ็logoๅจๅช้๏ผ" โ โ
โ โ โโโ extra_to_k[1]: ่กฃๆไธๅฑ็ดขๅผ โ โ
โ โ โ "่กฃๆ็นๅพๆ ็ญพๅบ" โ โ
โ โ โโโ extra_to_v[1]: ่กฃๆไธๅฑๅ
ๅฎน โ โ
โ โ "่กฃๆ็ๅ
ทไฝ็บน็ไฟกๆฏ" โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ
โ ไธบไปไน็จ LoRA๏ผ โ
โ โโโ ไธ้่ฆ้ๆฐ่ฎญ็ปๆดไธช FLUX๏ผๅคช่ดต๏ผ๏ผ โ
โ โโโ ๅช่ฎญ็ป่ฟไบๆฐๅข็ๅฐๅๆฏ โ
โ โโโ ๅๆฐ้ๅฐ๏ผ่ฎญ็ปๅฟซ โ
โ โโโ ๅฏไปฅ้ๆถ"ๆๆ"๏ผไธๅฝฑๅๅๆจกๅ โ
โ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
JCo-MVTON ๅฆไฝๅทฅไฝ
๐ฌ ็ฑปๆฏ๏ผไธๅบๅฎ็พ็ๆข่ฃ ็ง
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ JCo-MVTON ๅทฅไฝๅ
จๆต็จ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ โ
โ Step 1: ๅๅค้ถๆฎต๏ผ่พๅ
ฅๅค็๏ผ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ ๐ท ไบบ็ฉๅพ โ VAEๅ็ผฉ โ ไบบ็ฉlatent๏ผ่กๆๆๅ
๏ผ โ โ
โ โ ๐ ่กฃๆๅพ โ VAEๅ็ผฉ โ ่กฃๆlatent๏ผ่กๆๆๅ
๏ผ โ โ
โ โ ๐ ๆๅญ โ CLIP+T5 โ ๆๅญembedding๏ผ็่งฃๆๅพ๏ผ โ โ
โ โ ๐ฒ ็ๆ้ๆบๅชๅฃฐ โ ๅๅงlatent๏ผ็ฉบ็ฝ็ปๅธ๏ผ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ โ
โ Step 2: ๅผไผ้ถๆฎต๏ผ19่ฝฎๅๆตTransformer๏ผ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ ็ฌฌ1่ฝฎไผ่ฎฎ๏ผ โ โ
โ โ โโโ ไบบ็ฉไธๅฎถ via extra[0]๏ผ"ไบบ็ฉ่บซๆๆฏ่ฟๆ ท็..." โ โ
โ โ โโโ ่กฃๆไธๅฎถ via extra[1]๏ผ"่กฃๆ็ป่ๆฏ่ฟๆ ท็..." โ โ
โ โ โโโ ๆๅญๆๅฏผ via main๏ผ"ๆดไฝ้ฃๆ ผ่ฆไผ้ฒ..." โ โ
โ โ โโโ ไบ็ธไบคๆขไฟกๆฏ๏ผๅๆญฅ็่งฃ โ โ
โ โ โ โ
โ โ ็ฌฌ2่ฝฎไผ่ฎฎ๏ผ โ โ
โ โ โโโ ไบบ็ฉไธๅฎถ๏ผ"ไบ่งฃไบ่กฃๆๅฐบๅฏธ๏ผๆๆฅ่ฐๆดๅงฟๅฟ้้
" โ โ
โ โ โโโ ่กฃๆไธๅฎถ๏ผ"ไบ่งฃไบไบบ็ฉไฝๅ๏ผๆๆฅ่ฐๆด่กฃๆๅฝขๆ" โ โ
โ โ โ โ
โ โ ... ็ฌฌ3-19่ฝฎ ... โ โ
โ โ โ โ
โ โ ็ฌฌ19่ฝฎ๏ผๅคงๅฎถๅฎๅ
จ่พพๆๅ
ฑ่ฏ๏ผ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ โ
โ Step 3: ๆง่ก้ถๆฎต๏ผ38่ฝฎๅๆตTransformer๏ผ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ ๆไผ่ฎฎๅ
ฑ่ฏ่ฝฌๅไธบๅ
ทไฝๅ็ด ๏ผ โ โ
โ โ โโโ ็กฎๅฎๆฏไธชไฝ็ฝฎๅบ่ฏฅ็ปไปไน โ โ
โ โ โโโ ่ๅไบบ็ฉๅ่กฃๆ็็นๅพ โ โ
โ โ โโโ ้ๆญฅๅป้คๅชๅฃฐ๏ผๅพๅ่ถๆฅ่ถๆธ
ๆฐ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ โ
โ Step 4: ่พๅบ้ถๆฎต๏ผVAE่งฃ็ ๏ผ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ latent็ปๆ โ VAE่งฃๅ โ 1024ร768้ซๆธ
ๅคงๅพ โ โ
โ โ ๐ ๅฎ็พ็ๆข่ฃ
ๆๆ๏ผ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
๐ ๅปๅช่ฟ็จๅฏ่งๅ
ๆถ้ดๆญฅ t ไป 1.0 ๅฐ 0.0๏ผ
t=1.0 โโโโโโโโโโโโโโโโโโโโ ็บฏๅชๅฃฐ๏ผ็ต่ง้ช่ฑ๏ผ
t=0.8 โโโโโโโโโโโโโโโโโโโโ ๅผๅงๆ่ฝฎๅป
t=0.6 โโโโโโโโโโโโโโโโโโโโ ไบบๅ่กฃๆๅฝข็ถๅบ็ฐ
t=0.4 โโโโโโโโโโโโโโโโโโโโ ็ป่ๅผๅงๆธ
ๆฐ
t=0.2 โโโโโโโโโโโโโโโโโโโโ ่กฃๆ็บน็ๅบ็ฐ
t=0.0 โโโโโโโโโโโโโโโโโโโโ ๅฎ็พ็ๆข่ฃ
ๅพ๏ผ
ๆฏไธๆญฅ๏ผ
1. ๆจกๅ็ๅฝๅๅพ + ๆๆๆกไปถ
2. ้ขๆต"่ฟไธๆญฅๅบ่ฏฅๅพๅชไธชๆนๅ่ตฐ"
3. ๆ็ๆธ
ๆฐๅพ็็ๆนๅ่ตฐไธๅฐๆญฅ
JCo-MVTON ็่ฎญ็ป
๐ ่ฎญ็ป = ๆ AI ๆไธบๆข่ฃ ๅคงๅธ
็ฑปๆฏ๏ผๅนๅ ปไธไธชๆข่ฃ ๅธ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ JCo-MVTON ่ฎญ็ป่ฟ็จ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ โ
โ ๐ ๆๆๅๅค๏ผๆฐๆฎ้๏ผ๏ผ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ VITON-HD / DressCode ๆฐๆฎ้ โ โ
โ โ ๆฏไธชๆ ทๆฌๅ
ๅซ๏ผ โ โ
โ โ โโโ ไบบ็ฉๅๅพ๏ผ็ฉฟ็ๆไปถ่กฃๆ๏ผ โ โ
โ โ โโโ ่กฃๆๅ็ฌๅพ๏ผๅนณ้บๅฑ็คบ๏ผ โ โ
โ โ โโโ ไบบ็ฉ่งฃๆๅพ๏ผๅช้ๆฏๅคดใ่บซไฝใๆ...๏ผ โ โ
โ โ โโโ ๅงฟๅฟ้ชจๆถๅพ๏ผไบบ็ๅงฟๅฟ๏ผ โ โ
โ โ โโโ DensePose๏ผ3D่บซไฝ่กจ้ข๏ผ โ โ
โ โ โโโ ่กฃๆๆ่ฟฐๆๅญ โ โ
โ โ ๆฐ้๏ผ็บฆ 13,000 ๅฏน่ฎญ็ปๆฐๆฎ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ
โ ๐๏ธ ่ฎญ็ป่ฟ็จ๏ผๆฏไธๆญฅ๏ผ๏ผ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ 1. ๆฟไธๅฏน็ๅฎ็"ไบบ็ฉ-่กฃๆ"ๆฐๆฎ โ โ
โ โ 2. ็ป็ๅฎๆๆๅพๅ ้ๆบๅชๅฃฐ๏ผๆจกๆ"ๅผ่"๏ผ โ โ
โ โ 3. ่ฎฉ AI ็๏ผๆไนๅปๆๅชๅฃฐ๏ผ โ โ
โ โ 4. ๅฏนๆฏ AI ็็ๆตๅๆญฃ็กฎ็ญๆก โ โ
โ โ 5. ่ฎก็ฎ่ฏฏๅทฎ๏ผ่ฐๆด Extra Branches ็ LoRA ๅๆฐ โ โ
โ โ 6. ้ๅค 50,000+ ๆฌก โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ
โ ๐ ๆฏไธๆ ๅ๏ผ โ
โ โโโ ่ฝๅ็กฎ่ฟๅ่กฃๆ็ป่๏ผlogoใๅพๆกใ็บน็๏ผ โ
โ โโโ ่ฝ่ช็ถ้้
ไบบ็ฉไฝๅ๏ผไธๅๅฝขใไธ็ฉฟๅธฎ๏ผ โ
โ โโโ ่ฝๅค็ๅ็งๅงฟๅฟ๏ผๆญฃ้ขใไพง้ขใๅจๆ๏ผ โ
โ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
๐ ่ฎญ็ป้ ็ฝฎ็คบไพ
# JCo-MVTON ่ฎญ็ป้
็ฝฎ
training_config = {
# ๅบ็ก่ฎพ็ฝฎ
"base_model": "black-forest-labs/FLUX.1-dev",
"resolution": (1024, 768), # ไบบ็ฉๅพๅฐบๅฏธ
"garment_resolution": (1024, 1024), # ่กฃๆๅพๅฐบๅฏธ
# LoRA ่ฎพ็ฝฎ๏ผๅช่ฎญ็ป Extra Branches๏ผ
"lora_rank": 16, # ้ขๅคๅๆฏ็่กจ่พพ่ฝๅ
"lora_alpha": 16, # ็ผฉๆพๅ ๅญ
"target_modules": [ # ่ฎญ็ป็ฎๆ
"extra_to_q", # 6 ไธช้ขๅค็ Q ๆๅฝฑ
"extra_to_k", # 6 ไธช้ขๅค็ K ๆๅฝฑ
"extra_to_v", # 6 ไธช้ขๅค็ V ๆๅฝฑ
],
# ไผๅๅจ่ฎพ็ฝฎ
"learning_rate": 1e-4, # ๅญฆไน ็
"optimizer": "AdamW8bit", # 8bitไผๅๅจ็ๆพๅญ
"batch_size": 4, # ๆนๆฌกๅคงๅฐ
"max_steps": 50000, # ๆปๆญฅๆฐ
# ็ฒพๅบฆ่ฎพ็ฝฎ
"mixed_precision": "bf16", # ๆททๅ็ฒพๅบฆ
"gradient_checkpointing": True, # ๆฃๆฅ็น่็ๆพๅญ
}
๐ง ๆฐๆฎ้ขๅค็ๆต็จ
ๅๅงๅพ็
โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ 1. Human Parsing๏ผไบบไฝ่งฃๆ๏ผ โ
โ โโโ ๅทฅๅ
ท๏ผGraphonomy / SCHP โ
โ โโโ ่พๅบ๏ผๅๅฒๅพ๏ผๅคด=1, ไธ่กฃ=4, ่ฃคๅญ=6...๏ผ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ 2. Pose Estimation๏ผๅงฟๅฟไผฐ่ฎก๏ผ โ
โ โโโ ๅทฅๅ
ท๏ผDWPose / OpenPose โ
โ โโโ ่พๅบ๏ผ18/25ไธชๅ
ณ้ฎ็นๅๆ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ 3. DensePose๏ผๅฏ้ๅงฟๆ๏ผ โ
โ โโโ ๅทฅๅ
ท๏ผDetectron2 DensePose โ
โ โโโ ่พๅบ๏ผๆฏไธชๅ็ด ๅฏนๅบ่บซไฝๅชไธช้จไฝ็3Dๅๆ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ 4. Agnostic Mask๏ผ่กฃๆๆ ๅ
ณ่็๏ผ โ
โ โโโ ไฟ็๏ผ่ธใๅคดๅใๆใ่ฃคๅญ โ
โ โโโ ้ฎ็๏ผไธ่กฃๅบๅ๏ผๅพ
ๆฟๆข๏ผ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
ๅค็ๅฎๆ๏ผๅๅค่ฎญ็ป
JCo-MVTON ็ๆฉๅฑไธๅบ็จ
๐ ๅฏๆฉๅฑ็ๆนๅ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ JCo-MVTON ๆฉๅฑ็ๆ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ โ
โ ๐ ๅคๅ็ฑปๆฉๅฑ โ
โ โโโ ไธ่ฃ
่ฏ็ฉฟ๏ผTๆคใ่กฌ่กซใๅคๅฅ...๏ผโ
ๅทฒๆฏๆ โ
โ โโโ ไธ่ฃ
่ฏ็ฉฟ๏ผ่ฃคๅญใ่ฃๅญ...๏ผโ ๆทปๅ ไธ่ฃ
extra ๅๆฏ โ
โ โโโ ๅ
จ่บซๅฅ่ฃ
โ ๆทปๅ ๅฅ่ฃ
extra ๅๆฏ โ
โ โโโ ้
้ฅฐ๏ผๅธฝๅญใๅ
ๅ
...๏ผโ ๆทปๅ ้
้ฅฐ extra ๅๆฏ โ
โ โ
โ ๐ ๅงฟๅฟๆงๅถๅขๅผบ โ
โ โโโ + ControlNet๏ผ็ฒพ็กฎๆงๅถไบบ็ฉๅงฟๅฟ โ
โ โโโ + DensePose Conditioning๏ผๆด็ฒพๅ็่บซไฝ้้
โ
โ โโโ + ้ชจๆถๅผๅฏผ๏ผ่ฎฉๆจก็นๆๅบๆๅฎๅจไฝ โ
โ โ
โ ๐จ ้ฃๆ ผๆงๅถ โ
โ โโโ + IP-Adapter๏ผๅ่ๅพ้ฃๆ ผ่ฟ็งป โ
โ โโโ + LoRA ้ฃๆ ผ๏ผ็นๅฎๆๅฝฑ้ฃๆ ผ โ
โ โโโ + ๅบๆฏ่ๅ๏ผๆข่ๆฏ + ๆข่ฃ
ๅๆถ่ฟ่ก โ
โ โ
โ ๐ฌ ่ง้ขๆฉๅฑ โ
โ โโโ ๅๅธง โ ่ง้ข๏ผๆทปๅ ๆถๅบไธ่ดๆงๆจกๅ โ
โ โโโ ๅจๆ่ฏ็ฉฟ๏ผไบบ็ฉ่ตฐๅจๆถ็ๆข่ฃ
ๆๆ โ
โ โโโ 360ยฐ ๅฑ็คบ๏ผๅค่งๅบฆๆ่ฝฌๅฑ็คบ โ
โ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
๐ฏ ๅฎ้ ๅบ็จๅบๆฏ
| ๅบๆฏ | ๆ่ฟฐ | ไธๅกไปทๅผ |
|---|---|---|
| ็ตๅๅนณๅฐ | ็จๆทไธไผ ็ ง็่ฏ็ฉฟๅๅ | ๆๅ่ฝฌๅ็ 30%+ |
| ๆ่ฃ ่ฎพ่ฎก | ๅฟซ้้ข่ง่ฎพ่ฎกๆๆ | ่็ๆๆ ทๆๆฌ |
| ็คพไบคๅชไฝ | ่ๆๆข่ฃ ๆปค้ | ๅขๅ ็จๆทไบๅจ |
| ็ดๆญๅธฆ่ดง | ไธปๆญๅฎๆถๆข่ฃ ๅฑ็คบ | ๆๅ่ง็ไฝ้ช |
| ็บฟไธ้จๅบ | AR ่ฏ่กฃ้ | ๅๅฐ่ฏ่กฃ้ดๆ้ |
ๆป็ปไธ้ๆฅๅก
๐ JCo-MVTON ไธๅพ็ๆ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ JCo-MVTON ้ๆฅๅก โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ โ
โ ๐ฏ ๆ ธๅฟไปปๅก๏ผไบบ็ฉๅพ + ่กฃๆๅพ โ ็ฉฟไธ่กฃๆ็ไบบ็ฉๅพ โ
โ โ
โ ๐ง ๆ ธๅฟๅๆฐ๏ผ โ
โ โโโ ๅบไบ FLUX๏ผๆดๅผบ็ๅบๅฑ่ฝๅ โ
โ โโโ Extra Branches๏ผไบบ็ฉ/่กฃๆไธๅฑ็่งฃ้้ โ
โ โโโ Joint Attention๏ผไธๆน๏ผไบบ+่กฃ+ๆๅญ๏ผๆทฑๅบฆไบคๆต โ
โ โโโ LoRA ่ฎญ็ป๏ผ้ซๆใๅฏๆๆ โ
โ โ
โ ๐ง ๆถๆ็ปๆ๏ผ โ
โ โโโ VAE๏ผๅพ็ๅ็ผฉ/่งฃๅ๏ผ1/12 ไฝ็งฏ๏ผ โ
โ โโโ CLIP + T5๏ผๆๅญ็่งฃ โ
โ โโโ 19ร FluxTransformerBlock๏ผๅๆตๆทฑๅบฆไบคๆต โ
โ โโโ 38ร FluxSingleTransformerBlock๏ผๆง่ก็ๆ โ
โ โโโ Extra Branches ร 2๏ผไบบ็ฉๅๆฏ + ่กฃๆๅๆฏ โ
โ โ
โ ๐ ๅ
ณ้ฎๅๆฐ๏ผ โ
โ โโโ ่พๅ
ฅๅ่พจ็๏ผPerson 1024ร768, Garment 1024ร1024 โ
โ โโโ LoRA Rank๏ผ16๏ผ้ป่ฎค๏ผ โ
โ โโโ ๅญฆไน ็๏ผ1e-4 โ
โ โโโ ่ฎญ็ปๆญฅๆฐ๏ผ50,000+ โ
โ โโโ ๆจ็ๆญฅๆฐ๏ผ28-50 โ
โ โ
โ ๐ก ้็จๅบๆฏ๏ผ โ
โ โโโ ็ตๅ่ฏ็ฉฟ โ
โ
โ โโโ ๆ่ฃ
่ฎพ่ฎก้ข่ง โ
โ
โ โโโ ็คพไบคๆปค้ โ
โ
โ โโโ AR ่ฏ่กฃ้ โ
โ
โ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
๐ ๆนๆกๅฏนๆฏ้ๆฅ
| ๆนๆก | ๅบๅบง | ่กฃๆไฟ็ | ไบบไฝ้้ | ๅคๆๅพๆก | ่ฎญ็ปๆๆฌ |
|---|---|---|---|---|---|
| CP-VTON | ๅๅฝข็ฝ็ป | โญโญ | โญโญ | โญ | ๐ฐ |
| HR-VITON | GAN | โญโญโญ | โญโญโญ | โญโญ | ๐ฐ๐ฐ |
| IDM-VTON | SDXL | โญโญโญโญ | โญโญโญโญ | โญโญโญ | ๐ฐ๐ฐ๐ฐ |
| JCo-MVTON | FLUX | โญโญโญโญโญ | โญโญโญโญโญ | โญโญโญโญโญ | ๐ฐ๐ฐ๐ฐ |
๐ ๅญฆไน ่ทฏๅพๅปบ่ฎฎ
| ้ถๆฎต | ็ฎๆ | ๆจ่่กๅจ |
|---|---|---|
| ๅ ฅ้จ | ็่งฃ่ๆ่ฏ่กฃๆฏไปไน | ็ฉ็ฐๆ็่ฏ่กฃ Demo |
| ๅบ็ก | ็่งฃ FLUX ๅ็ | ๅ ็ๆ็ FLUX ๆๅ |
| ่ฟ้ถ | ็่งฃ JCo-MVTON ๆถๆ | ้ ่ฏปๆฌๆๅ + ๆบ็ |
| ๅฎ่ทต | ่ฝ่ท้่ฎญ็ปๆต็จ | ๅๅคๆฐๆฎใ่ฎญ็ป LoRA |
| ๆทฑๅ ฅ | ่ฝๆฉๅฑๆฐๅ่ฝ | ๆทปๅ ๆฐๅ็ฑปใไผๅๆง่ฝ |
ๅธๆ่ฟ็ฏๆๅ่ฝๅธฎไฝ ๅ จ้ข็่งฃ JCo-MVTON๏ผ่ๆ่ฏ่กฃๆฏไธไธช้ๅธธๆๅไธไปทๅผ็ๆนๅ๏ผๆๆกไบ่ฟไบๆ ธๅฟๆฆๅฟต๏ผไฝ ๅฐฑ่ฝๅจ่ฟไธช้ขๅๅฟซ้ไธๆใ
ๅฆๆๆไปปไฝ้ฎ้ข๏ผๆฌข่ฟๅจ่ฏ่ฎบๅบ่ฎจ่ฎบ๏ผ๐