ๆ่ฟๅจ็ ็ฉถ่ๆ่ฏ่กฃ๏ผVirtual Try-On๏ผ้กน็ฎๆถ๏ผๆๆทฑๅ ฅๅญฆไน ไบ FLUX ๆจกๅ็ๆนๆน้ข้ขใไฝไธบ 2024 ๅนด AI ็ป็ป้ขๅ็"ๅคฉ่ฑๆฟ"็บงๆจกๅ๏ผFLUX ็ๅผบๅคง่ฎฉๆๅฐ่ฑกๆทฑๅป๏ผไฝ็ฝไธ็่ตๆ่ฆไน่ฟไบๅญฆๆฏ๏ผ่ฆไน่ฟไบ้ถๆฃใ
ไบๆฏๆๅณๅฎๅ่ฟ็ฏ"ๅฐ็ฝๅๅฅฝ"็ๅฎๅ จๆๅโโ็จๅคง้็็ฑปๆฏๆฅ่งฃ้ๅคๆ็ๆฆๅฟต๏ผ่ฎฉไฝ ๅณไฝฟๆฒกๆๆทฑๅบฆๅญฆไน ่ๆฏ๏ผไน่ฝ็่งฃ FLUX ๆฏไปไนใๆไนๅทฅไฝใๅฆไฝ่ฎญ็ปๅๆฉๅฑใ
๐ ็ฎๅฝ
- FLUX ๆฏไปไน๏ผ
- ไธบไปไน้่ฆ FLUX๏ผ
- FLUX ็ๆ ธๅฟๅ็
- FLUX ็ๆถๆ็ปๆ
- FLUX ๅฆไฝ็ๆๅพ็
- FLUX ็่ฎญ็ป
- FLUX ็ๆฉๅฑ
- ๆป็ปไธๅญฆไน ๅปบ่ฎฎ
FLUX ๆฏไปไน๏ผ
ไธๅฅ่ฏ็ๆฌ๏ผFLUX = ไธไธช่ถ ็บง่ชๆ็"็ฟป่ฏๆบ"๏ผ่ฝๆไฝ ็ๆๅญๆ่ฟฐ็ฟป่ฏๆๅพ็ใ
ๅฐฑๅไฝ ๅฏนไธไธช็ปๅฎถ่ฏด"็ปๆ็ปไธๅช็ฉฟ่ฅฟ่ฃ ็็ซๅจๅผไผ"๏ผFLUX ๅฐฑ่ฝ็ปๅบๆฅใ
๐ ็ฑปๆฏ๏ผ่ชๅจไฝ็ปๆบๅจไบบ
ๆณ่ฑกไฝ ๆไธไธชๆบๅจไบบ็ปๅฎถ๏ผ
- ๐ ไฝ ๅไธๆณ่ฆ็็ป้ข๏ผๆๅญๆ็คบ่ฏ๏ผ
- ๐จ ๆบๅจไบบ็่งฃไฝ ็ๆๆ
- ๐ผ๏ธ ๆบๅจไบบไธ็ฌไธ็ฌ็ปๅบๆฅ
FLUX ๅฐฑๆฏ่ฟไธชๆบๅจไบบ็ปๅฎถ๏ผๅชไธ่ฟๅฎ๏ผ
- ็ปๅพๆดๅฟซ๏ผๅ ็ง้๏ผ
- ็ปๅพๆดๅฅฝ๏ผ1024ร1024 ้ซๆธ ๏ผ
- ็่งฃๅๆดๅผบ๏ผ่ฝ็่งฃๅคๆ็ๆ่ฟฐ๏ผ
ไธบไปไน้่ฆ FLUX๏ผ
๐ AI ็ป็ป็่ฟๅๅฒ
SD 1.5 (2022) โ SDXL (2023) โ FLUX (2024)
ๅฐๅญฆ็ ๅไธญ็ ๅคงๅญฆ็
512ร512 1024ร1024 1024ร1024+
็่งฃๅไธ่ฌ ็่งฃๅๆดๅฅฝ ็่งฃๅ่ถ
ๅผบ
๐ FLUX vs ่ไธไปฃๆจกๅ
| ็นๆง | SD 1.5 / SDXL | FLUX |
|---|---|---|
| ๆถๆ | UNet (่ๅผ่ฎพ่ฎก) | Transformer (ๆฐๅผ่ฎพ่ฎก) |
| ๆๅญ็่งฃ | ไธ่ฌ่ฌ | ่ถ ็บงๅผบ |
| ๅพๆไธ่ดๆง | ็ปๅธธ่ทๅ | ้ๅธธๅ็กฎ |
| ๅคๆๅบๆฏ | ๅฎนๆไนฑ | ๅค็ๅพๅฅฝ |
| ๆๅญๆธฒๆ | ๅบๆฌไธ่ก | ่ฝๅๅฏนๅญ |
๐ฏ ็ฑปๆฏ๏ผไป็ฟป็ๆๆบๅฐๆบ่ฝๆๆบ
- SD 1.5 = ็ฟป็ๆๆบ๏ผ่ฝๆ็ต่ฏ๏ผไฝๅ่ฝๆ้๏ผ
- SDXL = ๆฉๆๆบ่ฝๆๆบ๏ผๅ่ฝๅคไบ๏ผไฝ่ฟไธๅค่ชๆ๏ผ
- FLUX = ๆๆฐๆ่ฐๆบ๏ผ่ชๆใๅฟซใไปไน้ฝ่ฝๅนฒ๏ผ
FLUX ็ๆ ธๅฟๅ็
๐งฉ ๆ ธๅฟๆฆๅฟตไธ๏ผๆฉๆฃๆจกๅ๏ผDiffusion๏ผ
็ฑปๆฏ๏ผไฟฎๅค่ขซๆณผ่็็ ง็
ๆณ่ฑกไธไธ๏ผ
- ไฝ ๆไธๅผ ๆผไบฎ็็ ง็ ๐ท
- ๆไบบๅพไธ้ขๆณผไบๅพๅคๅขจๆฐด ๐ค
- ๅขจๆฐด่ถๆฅ่ถๅค๏ผ็ ง็ๅฎๅ จ็ไธๆธ ไบ
- ็ฐๅจ็ปไฝ ไธไธช็ฅๅฅๆฉก็ฎๆฆ๏ผไธ็น็นๆฆๆๅขจๆฐด
- ๆๅ็ ง็ๅๆธ ๆฐไบ๏ผ
่ฟๅฐฑๆฏๆฉๆฃๆจกๅ็ๅ็๏ผ
ๆญฃๅ่ฟ็จ๏ผๅ ๅชๅฃฐ๏ผ๏ผๆธ
ๆฐๅพ็ โ ๅ ๅชๅฃฐ โ ๅ ๆดๅคๅชๅฃฐ โ ็บฏๅชๅฃฐ๏ผ็ต่ง้ช่ฑ๏ผ
ๅๅ่ฟ็จ๏ผๅปๅชๅฃฐ๏ผ๏ผ็บฏๅชๅฃฐ โ ๅปไธ็นๅชๅฃฐ โ ๅปๆดๅคๅชๅฃฐ โ ๆธ
ๆฐๅพ็
FLUX ๅญฆไผ็ๅฐฑๆฏ๏ผๅฆไฝไธๆญฅไธๆญฅๅปๆๅชๅฃฐ๏ผ"ๆขๅค"ๅบๅพ็ใ
๐งฉ ๆ ธๅฟๆฆๅฟตไบ๏ผRectified Flow๏ผๆดๆตๆต๏ผ
็ฑปๆฏ๏ผ่ตฐ่ทฏ vs ๅ็ซ่ฝฆ
่ๆนๆณ๏ผDDPM๏ผ= ่ตฐๅฑฑ่ทฏ
ไป A ๅฐ B๏ผ่ฆ็ฟปๅฑฑ่ถๅฒญ๏ผ่ตฐๅพๅคๅผฏ่ทฏ
้่ฆ 50-100 ๆญฅๆ่ฝๅฐ
FLUX ็ๆนๆณ๏ผRectified Flow๏ผ= ๅ้ซ้
ไป A ๅฐ B๏ผ่ตฐ็ด็บฟ๏ผ
ๅช้่ฆ 20-30 ๆญฅๅฐฑ่ฝๅฐ
่ๆนๆณ: ่ตท็น ~~~ๆฒๆฒๆๆ~~~ ็ป็น
FLUX: ่ตท็น โโโโ็ด็บฟโโโโ ็ป็น
ๅ ฌๅผ๏ผๅ ถๅฎๅพ็ฎๅ๏ผ๏ผ
ไฝ็ฝฎ = ่ตท็น ร (1-t) + ็ป็น ร t
t=0 ๆถ๏ผ100% ่ตท็น๏ผ0% ็ป็น โ ๅจ่ตท็น
t=0.5 ๆถ๏ผ50% ่ตท็น๏ผ50% ็ป็น โ ๅจไธญ้ด
t=1 ๆถ๏ผ0% ่ตท็น๏ผ100% ็ป็น โ ๅจ็ป็น
๐งฉ ๆ ธๅฟๆฆๅฟตไธ๏ผTransformer
็ฑปๆฏ๏ผ่ถ ็บง็ฟป่ฏๅฎ
ๆณ่ฑกไธไธชไผ่ฎฎๅฎค้ๆไธค็งไบบ๏ผ
- ๐ ๆๅญไธๅฎถ๏ผ็่งฃไฝ ็ๆ่ฟฐ๏ผ
- ๐จ ๅพๅไธๅฎถ๏ผ่ด่ดฃ็ป็ป๏ผ
ๆฎ้็ฟป่ฏๅฎ๏ผUNet ๆถๆ๏ผ๏ผ
ๆๅญไธๅฎถๅ่ฏๅพๅไธๅฎถ่ฆ็ปไปไน
โ ๅๅๆฒ้๏ผๅพๅไธๅฎถๅช่ฝๅฌ
โ ๅฎนๆ็่งฃๅๅทฎ
่ถ ็บง็ฟป่ฏๅฎ๏ผFLUX ็ Transformer๏ผ๏ผ
ๆๅญไธๅฎถๅๅพๅไธๅฎถๅๅจไธ่ตท
โ ไฝ ไธ่จๆไธ่ฏญ๏ผไบ็ธ่ฎจ่ฎบ
โ "ไฝ ่ฏด็็ซๆฏไปไน้ข่ฒ๏ผ" "ๆฉ่ฒ็๏ผ"
โ "่ฅฟ่ฃ
ๆฏไปไนๆฌพๅผ๏ผ" "ไธไปถๅฅ๏ผ"
โ ๅๅๆฒ้๏ผ็่งฃๆดๅ็กฎ
่ฟๅฐฑๆฏ FLUX ไฝฟ็จ็ MMDiT๏ผๅคๆจกๆๆฉๆฃ Transformer๏ผ ็ๆ ธๅฟๆๆณ๏ผ
FLUX ็ๆถๆ็ปๆ
๐๏ธ ๆดไฝๆถๆๅพ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ FLUX ๆดไฝๆต็จ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ โ
โ ่พๅ
ฅๅฑ โ
โ โโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ ๅชๅฃฐ โ โ ๅพ็ โ โ ๆๅญๆ็คบ่ฏ โ โ
โ โ (้ๆบ็) โ โ (ๅฆๆๆ็่ฏ) โ โ "ไธๅชๆฉ่ฒ็็ซ..." โ โ
โ โโโโโโโโฌโโโโโโโ โโโโโโโโฌโโโโโโโ โโโโโโโโโโโโฌโโโโโโโโโโโ โ
โ โ โ โ โ
โ โ โผ โผ โ
โ โ โโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ โ VAE โ โ ๆๅญ็ผ็ ๅจ โ โ
โ โ โ (ๅ็ผฉๆบ) โ โ CLIP + T5-XXL โ โ
โ โ โโโโโโโโฌโโโโโโโโ โโโโโโโโโโโโฌโโโโโโโโโโโ โ
โ โ โ โ โ
โ โผ โผ โผ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ ๐ง FluxTransformer2DModel๏ผๅคง่๏ผ โ โ
โ โ โ โ
โ โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ โ
โ โ โ 19 ไธช FluxTransformerBlock๏ผๅๆตๆณจๆๅๅ๏ผ โ โ โ
โ โ โ ๆๅญๅๅพๅไธ่ตท่ฎจ่ฎบ๏ผไบ็ธ็่งฃ โ โ โ
โ โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ โ
โ โ โ โ โ
โ โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ โ
โ โ โ 38 ไธช FluxSingleTransformerBlock๏ผๅๆตๅ๏ผ โ โ โ
โ โ โ ๆ่ฎจ่ฎบ็ปๆๆดๅ๏ผๅๅค่พๅบ โ โ โ
โ โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ โ
โ โผ โ
โ โโโโโโโโโโโโโโโโ โ
โ โ VAE โ โ
โ โ (่งฃๅ็ผฉๆบ) โ โ
โ โโโโโโโโฌโโโโโโโโ โ
โ โ โ
โ โผ โ
โ โโโโโโโโโโโโโโโโ โ
โ โ ่พๅบๅพ็ โ โ
โ โ 1024ร768 โ โ
โ โโโโโโโโโโโโโโโโ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
๐ง ็ปไปถ่ฏฆ่งฃ
1๏ธโฃ VAE๏ผๅๅ่ช็ผ็ ๅจ๏ผโโ ๅ็ผฉ/่งฃๅ็ผฉๆบ
็ฑปๆฏ๏ผๅพ็็"ZIP ๅ็ผฉ"
ๅๅงๅพ็๏ผ1024ร768ร3 = 236 ไธไธชๆฐๅญ๏ผๅคชๅคงไบ๏ผ๏ผ
โ VAE ็ผ็ ๏ผๅ็ผฉ๏ผ
ๅ็ผฉ็ๆฌ๏ผ128ร96ร16 = 19.6 ไธไธชๆฐๅญ๏ผๅชๆๅๆฅ็ 1/12๏ผ๏ผ
โ VAE ่งฃ็ ๏ผ่งฃๅ็ผฉ๏ผ
ๆขๅคๅพ็๏ผ1024ร768ร3 = ๅๅๅ้ซๆธ
ๅพ็
ไธบไปไน่ฆๅ็ผฉ๏ผ
- ็ดๆฅๅค็้ซๆธ ๅพ็ โ ่ฎก็ฎ้็็ธ ๐ฅ
- ๅ็ผฉๅๅค็ โ ่ฎก็ฎ้ๅคงๅคงๅๅฐ โจ
- ๆๅๅ่งฃๅ็ผฉๅๆฅ โ ๅฎ็พ๏ผ
2๏ธโฃ ๆๅญ็ผ็ ๅจ โโ ็ฟป่ฏๅฎ
FLUX ไฝฟ็จไธคไธช็ฟป่ฏๅฎ๏ผ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ ๆๅญ็ผ็ ๅจๅข้ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ โ
โ CLIP-L๏ผๅฟซ้็ฟป่ฏๅฎ๏ผ โ
โ โโโ ็น็น๏ผ้ๅบฆๅฟซ๏ผๆๅคงๆ โ
โ โโโ ่พๅบ๏ผ77 ไธช่ฏ ร 768 ็ปด โ
โ โโโ ็ฑปๆฏ๏ผ็ไธ็ผๅฐฑ็ฅ้ๅคงๆฆๆๆ โ
โ โ
โ T5-XXL๏ผๆทฑๅบฆ็ฟป่ฏๅฎ๏ผ โ
โ โโโ ็น็น๏ผ่ถ
็บง่ฏฆ็ป๏ผ็่งฃๆทฑ โ
โ โโโ ่พๅบ๏ผ512 ไธช่ฏ ร 4096 ็ปด โ
โ โโโ ๅๆฐ๏ผ110 ไบฟไธช๏ผ โ
โ โโโ ็ฑปๆฏ๏ผ้ๅญ้ๅฅๅๆ๏ผ็่งฃๆๆ็ป่ โ
โ โ
โ ไธคไธช็ฟป่ฏๅฎ้
ๅ = ๆขๅฟซๅๅ๏ผ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
3๏ธโฃ FluxTransformer2DModel โโ ๆ ธๅฟๅคง่
็ฑปๆฏ๏ผ่ถ ็บงไผ่ฎฎๅฎค
ๆณ่ฑกไธไธชๅคงๅไผ่ฎฎๅฎค๏ผๆไธค็ปไบบ๏ผ
- ๐ผ๏ธ ๅพๅ็ป๏ผๆๅพ็ๅๆๅฐๅ๏ผๆฏๅๆดพไธไธชไปฃ่กจ๏ผ
- ๐ ๆๅญ็ป๏ผๆฏไธช่ฏๆดพไธไธชไปฃ่กจ๏ผ
ไผ่ฎฎ่ฟ็จ๏ผ19 ่ฝฎ FluxTransformerBlock๏ผ๏ผ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ ็ฌฌ 1 ่ฝฎไผ่ฎฎ โ
โ โโโ ๅพๅ็ปๅ
้จ่ฎจ่ฎบ๏ผ"ๆ่ด่ดฃๅทฆไธ่ง๏ผไฝ ่ด่ดฃๅณไธ่ง" โ
โ โโโ ๆๅญ็ปๅ
้จ่ฎจ่ฎบ๏ผ"'ๆฉ่ฒ'ๅ'็ซ'่ฆ้
ๅๅฅฝ" โ
โ โโโ ่ทจ็ป่ฎจ่ฎบ๏ผ"ๆๅญ็ป่ฏด่ฆๆฉ่ฒ๏ผๅพๅ็ป๏ผไฝ ไปฌๅฌๅฐไบๅ๏ผ" โ
โ โ
โ ็ฌฌ 2 ่ฝฎไผ่ฎฎ... โ
โ ... โ
โ ็ฌฌ 19 ่ฝฎไผ่ฎฎ๏ผๅคงๅฎถ่พพๆๅ
ฑ่ฏ๏ผ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
ๅ็ปญๅทฅไฝ๏ผ38 ่ฝฎ FluxSingleTransformerBlock๏ผ๏ผ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ ๆไผ่ฎฎ็ป่ฎบๆด็ๆๆ็ปๆนๆก โ
โ ๅพๅ็ปๅผๅงๆ็
งๅ
ฑ่ฏ็ป็ป โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
4๏ธโฃ Attention๏ผๆณจๆๅๆบๅถ๏ผโโ ไผ่ฎฎไธญ็"ไธพๆๅ่จ"
็ฑปๆฏ๏ผ่ฏพๅ ไธไธพๆๅ็ญ้ฎ้ข
Q (Query) = ้ฎ้ข๏ผ"่ฐๅ'ๆฉ่ฒ'ๆ็ธๅ
ณ๏ผ"
K (Key) = ๆ ็ญพ๏ผๆฏไธชไบบไธพ็่ชๅทฑ็ๆ ็ญพ๏ผ"ๆๆฏ็ซ"ใ"ๆๆฏ่ๆฏ"...๏ผ
V (Value) = ็ญๆก๏ผๆฏไธชไบบ็ๅ
ทไฝๅ
ๅฎน
่ฟ็จ๏ผ
1. ๆ้ฎ๏ผQuery๏ผ
2. ็่ฐ็ๆ ็ญพ๏ผKey๏ผๅ้ฎ้ขๆๅน้
3. ่ฎฉๅน้
็ไบบๅ็ญ๏ผValue๏ผ
4. ็ปผๅๆๆ็ญๆก
ๅจ FLUX ไธญ๏ผ
- Self-Attention๏ผๅพๅๅฐๅไน้ดไบ็ธ้ฎ็ญ
- Cross-Attention๏ผๅพๅ้ฎๆๅญ๏ผๆๅญ้ฎๅพๅ
FLUX ๅฆไฝ็ๆๅพ็
๐ ็ฑปๆฏ๏ผไป้ข็ฒๅฐ่็ณ
็ๆๅพ็ โ ๅ่็ณ
ๆญฅ้ชค 1๏ผๅๅคๅๆ
โโโ ๅชๅฃฐ๏ผ็บฏ้ๆบ๏ผ= ไธๅ ้ข็ฒ
โโโ ๆๅญๆ็คบ = ่็ณ่ฎพ่ฎกๅพ
โโโ ๆถ้ดๆญฅ = ๅฝๅๅๅฐ็ฌฌๅ ๆญฅ
ๆญฅ้ชค 2๏ผ้ๆญฅๅ ๅทฅ๏ผๅปๅช่ฟ็จ๏ผ
โโโ t=1.0๏ผ็บฏ้ข็ฒ๏ผ็บฏๅชๅฃฐ๏ผ
โโโ t=0.8๏ผๅผๅงๆๅฝข็ถไบ
โโโ t=0.5๏ผ่ฝ็ๅบๆฏ่็ณไบ
โโโ t=0.2๏ผ็ป่ๅบๆฅไบ
โโโ t=0.0๏ผๅฎ็พ็่็ณ๏ผ๏ผๆธ
ๆฐๅพ็๏ผ
๐ ๅฎ้ ้ๆ ท่ฟ็จ
# ็ฎๅ็ FLUX ้ๆ ทไปฃ็
def flux_generate(prompt, num_steps=28):
# 1. ็ผ็ ๆๅญๆ็คบ
text_embeds = encode_prompt(prompt) # "ไธๅชๆฉ่ฒ็็ซ"
# 2. ไป็บฏๅชๅฃฐๅผๅง
x = random_noise(shape=(1, 16, 128, 96)) # ้ๆบๅชๅฃฐ
# 3. ้ๆญฅๅปๅช
for i in range(num_steps):
t = 1.0 - i / num_steps # ๆถ้ดไป 1 ๅฐ 0
# ๆจกๅ้ขๆต๏ผๅฝๅๅบ่ฏฅๅพๅชไธชๆนๅ่ตฐ
velocity = model(x, t, text_embeds)
# ๅพ็ฎๆ ๆนๅ่ตฐไธๅฐๆญฅ
x = x + velocity * (1 / num_steps)
# 4. ่งฃ็ ๆๅพ็
image = vae_decode(x)
return image
๐ Guidance Scale๏ผๅผๅฏผๅผบๅบฆ๏ผ
็ฑปๆฏ๏ผๅฌ่ฏ็จๅบฆ
guidance_scale = 1.0 โ ็ปๅฎถ่ช็ฑๅๆฅ๏ผๅฏ่ฝ่ทๅ
guidance_scale = 3.5 โ ็ปๅฎถๅคง่ดๆไฝ ่ฏด็็ป๏ผๆจ่๏ผ
guidance_scale = 7.5 โ ็ปๅฎถไธฅๆ ผๆไฝ ่ฏด็็ป
guidance_scale = 15+ โ ็ปๅฎถๅคช็ดงๅผ ๏ผ็ปๅดฉไบ
ๅ็๏ผClassifier-Free Guidance๏ผ๏ผ
ๆ็ป็ปๆ = ๆ ๆกไปถ็ปๆ + scale ร (ๆๆกไปถ็ปๆ - ๆ ๆกไปถ็ปๆ)
็ฟป่ฏ๏ผ
ๆ็ป็ปๆ = ็ปๅฎถๆณ็ป็ + scale ร (ไฝ ๆณ่ฆ็ - ็ปๅฎถๆณ็ป็)
FLUX ็่ฎญ็ป
๐ ่ฎญ็ป = ๆ AI ็ป็ป
็ฑปๆฏ๏ผ็พๆฏๅน่ฎญ็ญ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ FLUX ่ฎญ็ป่ฟ็จ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ โ
โ ๆๆๅๅค๏ผๆฐๆฎ้๏ผ๏ผ โ
โ โโโ ๆถ้ๅคง้ ๅพ็ + ๆ่ฟฐ ้
ๅฏน โ
โ โโโ ไพๅฆ๏ผ[็ซ็ๅพ็] + "ไธๅชๆฉ่ฒ็็ซๅๅจๆฒๅไธ" โ
โ โโโ ่ถๅค่ถๅฅฝ๏ผ่ถๅคๆ ท่ถๅฅฝ โ
โ โ
โ ไธ่ฏพ่ฟ็จ๏ผๆฏไธๆญฅ่ฎญ็ป๏ผ๏ผ โ
โ โโโ 1. ๆฟไธๅผ ๅพ็๏ผๅ ไธ้ๆบๅชๅฃฐ๏ผๆจกๆๅผ่๏ผ โ
โ โโโ 2. ็ป AI ็ๅผ่็ๅพ็ + ๆๅญๆ่ฟฐ โ
โ โโโ 3. ่ฎฉ AI ็๏ผ่ฆๆไนๅปๆๅชๅฃฐ๏ผ โ
โ โโโ 4. ๅฏนๆฏ AI ็็ๆตๅๆญฃ็กฎ็ญๆก โ
โ โโโ 5. AI ๆ นๆฎ้่ฏฏ่ฐๆด่ชๅทฑ๏ผๅๅไผ ๆญ๏ผ โ
โ โ
โ ๆฏไธๆ ๅ๏ผ โ
โ โโโ AI ่ฝๅ็กฎ้ขๆตๅฆไฝไปๅชๅฃฐๆขๅคๅพ็ โ
โ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
๐ ่ฎญ็ป็ๆ ธๅฟๅ ฌๅผ
ๆๅคฑ = ||้ขๆต็้ๅบฆ - ็ๅฎ็้ๅบฆ||ยฒ
็ๅฎ้ๅบฆ = ๅชๅฃฐ - ๅๅพ๏ผๆนๅ๏ผไปๅๅพๅฐๅชๅฃฐ๏ผ
้ขๆต้ๅบฆ = AI ็็ๆนๅ
็ฎๆ ๏ผ่ฎฉ AI ็ๅพ่ถๆฅ่ถๅ
๐ฏ LoRA ่ฎญ็ป๏ผ่ฝป้ๅพฎ่ฐ๏ผ
็ฑปๆฏ๏ผ็ป็ปๅฎถๅ ไธช"ๅคๆๆ่ฝ"
ๆณๆ FLUX ็ป็นๅฎ้ฃๆ ผ๏ผๆฏๅฆไฝ ่ชๅทฑ็่ธ๏ผ๏ผๆไธค็งๆนๆณ๏ผ
ๆนๆณ 1๏ผ้ๆฐๅน่ฎญ๏ผFull Fine-tuning๏ผ
โโโ ่ฎฉ็ปๅฎถไปๅคดๅญฆ็ปไฝ ็่ธ
โโโ ่ฆๅญฆๅพไน
โโโ ๅฟ่ฎฐไนๅๅญฆ็ไธ่ฅฟ
โโโ ๆๆฌ๏ผ๐ฐ๐ฐ๐ฐ๐ฐ๐ฐ
ๆนๆณ 2๏ผๅ ๅคๆ๏ผLoRA๏ผ
โโโ ็ปๅฎถๅบๆฌๅไธๅ
โโโ ๅชๅญฆไธไธช"็ปไฝ ็่ธ"็ๅฐๆ่ฝ
โโโ ๅช้่ฆๅญฆไธๅฐไผๅฟ
โโโ ไธๅฝฑๅไนๅๅญฆ็
โโโ ๆๆฌ๏ผ๐ฐ
LoRA ๅฐฑๆฏ่ฟไธช"ๅคๆๆ่ฝ"๏ผ
LoRA ๅ็๏ผ่ถ ็ฎๅ็๏ผ๏ผ
ๅๅงๆ้ W๏ผ็ปๅฎถ็ๅบๆฌๅ๏ผไธๅจ๏ผ
ๅคๆ ฮW = B ร A๏ผๆฐๅญฆ็ๆ่ฝ๏ผๅพๅฐ๏ผ
ๆ็ป = W + ฮW
ๅ
ณ้ฎ๏ผฮW ๅ่งฃๆไธคไธชๅฐ็ฉ้ต B ๅ A
ๅๆฌ่ฆๅญฆ 1000ร1000 = 100 ไธไธชๅๆฐ
็ฐๅจๅชๅญฆ 1000ร8 + 8ร1000 = 1.6 ไธไธชๅๆฐ
๐ง LoRA ่ฎญ็ปๅฎๆๅฝไปค
# ไฝฟ็จ kohya-ss/sd-scripts ่ฎญ็ป FLUX LoRA
accelerate launch flux_train_network.py \
--pretrained_model_name_or_path="black-forest-labs/FLUX.1-dev" \
--network_module=networks.lora_flux \
--network_dim=16 \ # rank๏ผ่ถๅคงๅญฆไน ่ฝๅ่ถๅผบ
--network_alpha=16 \ # ็ผฉๆพๅ ๅญ
--learning_rate=1e-4 \ # ๅญฆไน ็
--optimizer_type=AdamW8bit \
--mixed_precision=bf16 \
--cache_latents_to_disk \
--max_train_steps=1000
๐ LoRA ๅๆฐ้ๆฉๆๅ
| ็จ้ | ๆจ่ Rank | Alpha | ่ฏดๆ |
|---|---|---|---|
| ้ฃๆ ผ่ฟ็งป | 8-16 | rank/2 ๆ rank | ่ฝป้็บง |
| ่ง่ฒ/ไบบ่ธ | 32-64 | rank/2 | ้่ฆๆดๅค็ป่ |
| ๅคๆๆฆๅฟต | 64-128 | rank/2 | ๅคงๅฎน้ |
| ๆพๅญๅ้ | 4-8 | rank | ๆๅฐๅ |
FLUX ็ๆฉๅฑ
๐ ๅฏไปฅๆฅๅ ฅ็"ๅค่ฎพ"
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ FLUX ๆฉๅฑ็ๆ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ โ
โ ๐ฎ ControlNet๏ผๅงฟๆ/่พน็ผๆงๅถ๏ผ โ
โ โโโ ่พๅ
ฅ๏ผ้ชจๆถๅพใ่พน็ผๅพใๆทฑๅบฆๅพ... โ
โ โโโ ่พๅบ๏ผๆ็
ง็ปๅฎ็ปๆ็ๆๅพ็ โ
โ โโโ ็ฑปๆฏ๏ผ็ป็ปๅฎถไธไธช่ๅพ๏ผ่ฎฉไปๆ็
ง่ๅพ็ป โ
โ โ
โ ๐ผ๏ธ IP-Adapter๏ผๅพๅๆ็คบ๏ผ โ
โ โโโ ่พๅ
ฅ๏ผๅ่ๅพ็ โ
โ โโโ ่พๅบ๏ผ้ฃๆ ผ/ๅ
ๅฎน็ฑปไผผ็ๅพ็ โ
โ โโโ ็ฑปๆฏ๏ผ็ป็ปๅฎถ็ไธๅผ ๅ่ๅพ๏ผ่ฏด"็ปๆ่ฟ็งๆ่ง" โ
โ โ
โ ๐ Virtual Try-On๏ผ่ๆ่ฏ่กฃ๏ผ โ
โ โโโ ่พๅ
ฅ๏ผไบบ็ฉๅพ + ่กฃๆๅพ โ
โ โโโ ่พๅบ๏ผ็ฉฟไธ่กฃๆ็ๆๆๅพ โ
โ โโโ ็ฑปๆฏ๏ผPS ๆข่ฃ
๏ผไฝๆฏๆฏ AI ่ชๅจ็ โ
โ โ
โ ๐ญ LoRA๏ผ้ฃๆ ผ/่ง่ฒ๏ผ โ
โ โโโ ่พๅ
ฅ๏ผ็นๅฎ้ฃๆ ผ็่ฎญ็ปๆฐๆฎ โ
โ โโโ ่พๅบ๏ผ่ฝ็ป่ฏฅ้ฃๆ ผ็ๆจกๅ โ
โ โโโ ็ฑปๆฏ๏ผๆ็ปๅฎถไธ็งๆฐ็ป้ฃ โ
โ โ
โ ๐ Inpainting๏ผๅฑ้จ้็ป๏ผ โ
โ โโโ ่พๅ
ฅ๏ผๅพ็ + ้ฎ็ฝฉ โ
โ โโโ ่พๅบ๏ผ้ฎ็ฝฉๅบๅ้ๆฐ็ๆ โ
โ โโโ ็ฑปๆฏ๏ผๅชๆฆๆไธ้จๅ้็ป โ
โ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
๐ง FLUX ๅไฝ
| ๅไฝ | ็น็น | ไฝฟ็จๅบๆฏ |
|---|---|---|
| FLUX.1-dev | ้่ฆ guidance๏ผ่ดจ้้ซ | ่ฟฝๆฑ่ดจ้ |
| FLUX.1-schnell | 4 ๆญฅๅบๅพ๏ผ่ถ ๅฟซ | ๅฎๆถๅบ็จ |
| FLUX.1-pro | ๅไธ็๏ผAPI ่ฐ็จ | ๅไธ้กน็ฎ |
๐ฏ JCo-MVTON ๆถๆ็คบไพ
ๅจๆๆ่ฟ็่ๆ่ฏ่กฃ้กน็ฎไธญ๏ผๅบไบ FLUX ๆฉๅฑไบไธ้จๅค็ไบบ็ฉๅ่กฃๆ็ๅๆฏ๏ผ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ JCo-MVTON Architecture โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ โ
โ ่พๅ
ฅ: โ
โ โโโโโโโโโโโโ โโโโโโโโโโโโ โโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโโ โ
โ โ Noise โ โ Person โ โ Garment โ โ Text Prompt โ โ
โ โ (latent) โ โ(1024ร768)โ โ(1024ร1024)โ โ (CLIP + T5-XXL) โ โ
โ โโโโโโฌโโโโโโ โโโโโโฌโโโโโโ โโโโโโฌโโโโโโ โโโโโโโโโโฌโโโโโโโโโโ โ
โ โ โ โ โ โ
โ โโโโโโผโโโโโโโโโโโโโโผโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโผโโโโโโ โ
โ โ FluxTransformer2DModel (MM-DiT) โ โ
โ โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ โ 19ร FluxTransformerBlock (Joint Attention) โโ โ
โ โ โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โโ โ
โ โ โ โ Main Attention: to_q, to_k, to_v โ โโ โ
โ โ โ โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โโ โ
โ โ โ โ Extra Branches (่ๆ่ฏ่กฃไธ็จ): โ โโ โ
โ โ โ โ โข extra_to_q[0]: ไบบ็ฉ Query โโโ LoRA โ โโ โ
โ โ โ โ โข extra_to_q[1]: ่กฃๆ Query โโโ LoRA โ โโ โ
โ โ โ โ โข extra_to_k[0]: ไบบ็ฉ Key โโโ LoRA โ โโ โ
โ โ โ โ โข extra_to_k[1]: ่กฃๆ Key โโโ LoRA โ โโ โ
โ โ โ โ โข extra_to_v[0]: ไบบ็ฉ Value โโโ LoRA โ โโ โ
โ โ โ โ โข extra_to_v[1]: ่กฃๆ Value โโโ LoRA โ โโ โ
โ โ โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โโ โ
โ โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โผ โ
โ ่พๅบ: ็ฉฟไธ่กฃๆ็ไบบ็ฉๅพ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
่ฎพ่ฎกๆ่ทฏ๏ผ
- ไธปๅนฒ็ฝ็ปไฟๆ FLUX ๅๆ่ฝๅ
- ๆทปๅ ้ขๅค็ Q/K/V ๅๆฏไธ้จๅค็ไบบ็ฉๅ่กฃๆ
- ็จ LoRA ๅช่ฎญ็ป่ฟไบ้ขๅคๅๆฏ๏ผๅฟซ้ไธ้ซๆ
- ไบบ็ฉๅ่กฃๆๅๅซ็่งฃ๏ผๆ็ปๅฎ็พ่ๅ
ๆป็ปไธๅญฆไน ๅปบ่ฎฎ
๐ ไธๅพ็ๆ FLUX
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ FLUX ้ๆฅๅก โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ โ
โ ๐ฏ ๆ ธๅฟไปปๅก๏ผๆๅญ โ ๅพ็ โ
โ โ
โ ๐ง ๆ ธๅฟๆๆฏ๏ผ โ
โ โโโ Diffusion๏ผๆฉๆฃ๏ผ๏ผไปๅชๅฃฐ้ๆญฅๆขๅคๅพ็ โ
โ โโโ Rectified Flow๏ผๆดๆตๆต๏ผ๏ผ่ตฐ็ด็บฟ๏ผๆดๅฟซๆด็จณ โ
โ โโโ Transformer๏ผๅพๆๅๅ็่งฃ๏ผๆดๅ็กฎ โ
โ โโโ MMDiT๏ผๅคๆจกๆๆททๅ๏ผๅค็ๅค็ง่พๅ
ฅ โ
โ โ
โ ๐ง ไธป่ฆ็ปไปถ๏ผ โ
โ โโโ VAE๏ผๅ็ผฉ่งฃๅ็ผฉๅพ็๏ผ็่ฎก็ฎ๏ผ โ
โ โโโ CLIP + T5๏ผ็่งฃๆๅญๅซไน โ
โ โโโ FluxTransformer๏ผๆ ธๅฟๆจ็ๅคง่ โ
โ โ
โ ๐ ๅ
ณ้ฎๅๆฐ๏ผ โ
โ โโโ Steps๏ผ20-50๏ผ่ถๅค่ถ็ฒพ็ป๏ผ โ
โ โโโ Guidance Scale๏ผ3.5-7.5๏ผ่ถ้ซ่ถๅฌ่ฏ๏ผ โ
โ โโโ Resolution๏ผ1024ร1024๏ผไธปๆต๏ผ โ
โ โโโ Precision๏ผbf16/fp16๏ผ่็ๆพๅญ๏ผ โ
โ โ
โ ๐ ่ฎญ็ปๆนๅผ๏ผ โ
โ โโโ Full Fine-tuning๏ผๅ
จ้ๅพฎ่ฐ๏ผๅ่ฑชไธ็จ๏ผ โ
โ โโโ LoRA๏ผ่ฝป้ๅพฎ่ฐ๏ผๆจ่๏ผ โ
โ โโโ DreamBooth๏ผๅญฆ็นๅฎไธปไฝ โ
โ โ
โ ๐ก ๆฉๅฑ่ฝๅ๏ผ โ
โ โโโ ControlNet โ ็ปๆๆงๅถ โ
โ โโโ IP-Adapter โ ๅพๅๅ่ โ
โ โโโ Inpainting โ ๅฑ้จ้็ป โ
โ โโโ VTON โ ่ๆ่ฏ่กฃ โ
โ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
๐ ๅญฆไน ่ทฏๅพๅปบ่ฎฎ
| ้ถๆฎต | ็ฎๆ | ๆจ่่กๅจ |
|---|---|---|
| ๅ ฅ้จ | ๆๅ FLUX ่ฝๅไปไน | ็ฉ ComfyUI/WebUI |
| ่ฟ้ถ | ๅฎๅถ่ชๅทฑ็้ฃๆ ผ | ๅญฆไน LoRA ่ฎญ็ป |
| ๆทฑๅ ฅ | ็ฒพ็กฎๆงๅถ็ๆ | ็ ็ฉถ ControlNet/IP-Adapter |
| ไธไธ | ๅผๅๆฐๅบ็จ | ้ ่ฏปๆบ็ ๏ผ็ ็ฉถ่ฎบๆ |
๐ ๅปถไผธ้ ่ฏป
- FLUX ๅฎๆนไปๅบ
- kohya-ss/sd-scripts - LoRA ่ฎญ็ปๅทฅๅ ท
- ComfyUI - ๅฏ่งๅๅทฅไฝๆต
- Rectified Flow ่ฎบๆ๏ผFlow Matching for Generative Modeling
ๅธๆ่ฟ็ฏๆๅ่ฝๅธฎๅฉไฝ ๅปบ็ซๅฏน FLUX ็ๆดไฝ็่งฃใAI ็ป็ป้ขๅๅๅฑ้ฃๅฟซ๏ผไฝๅช่ฆๆๆกไบ่ฟไบๆ ธๅฟๆฆๅฟต๏ผไธ็ฎกๆชๆฅๅบ็ฐไปไนๆฐๆจกๅ๏ผไฝ ้ฝ่ฝๅฟซ้ไธๆใ
ๆไปปไฝ้ฎ้ข๏ผๆฌข่ฟๅจ่ฏ่ฎบๅบ่ฎจ่ฎบ๏ผ๐