ๆ่ฟๅจ็ ็ฉถ AI ๅพๅ็ผ่พ้ขๅๆถ๏ผๆทฑๅ ฅไบ่งฃไบ้ฟ้ๅทดๅทด้ไนๅข้ๆจๅบ็ Qwen-Image-Editโโไธไธชๅบไบ 20B ๅๆฐ MMDiT ๆถๆ็ๆฐไธไปฃๅพๅ็ผ่พๆจกๅใๅฎๆ่ฎฉไบบๅ ดๅฅ็ๅฐๆนๅจไบ๏ผ่ฝ็ฒพๅ็ผ่พๅพ็้็ๆๅญ๏ผ่ไธไธญ่ฑๆ้ฝ่ก๏ผ
็ฝไธๅ ณไบ่ฟไธชๆจกๅ็่ตๆ่ฆไนๅคช็ข็ๅ๏ผ่ฆไนๅคชๅญฆๆฏๅใไบๆฏๆๅณๅฎๅ่ฟ็ฏ"ๅฐ็ฝๅๅฅฝ"็ๅฎๅ จๆๅโโ็จๅคง้็็ฑปๆฏๆฅ่งฃ้ๅคๆ็ๆฆๅฟต๏ผ่ฎฉไฝ ๅณไฝฟๆฒกๆๆทฑๅบฆๅญฆไน ่ๆฏ๏ผไน่ฝ็่งฃ Qwen-Image-Edit ็ๆนๆน้ข้ขใ
๐ ็ฎๅฝ
- Qwen-Image-Edit ๆฏไปไน๏ผ
- AI ๅพๅ็ผ่พ็ๅไธไป็
- ๆ ธๅฟๅ็๏ผๅๆต่ฐๆง
- ๆถๆๅ จๆฏ๏ผไบๅคง็ปไปถ
- Qwen-Image-Edit ๅฆไฝๅทฅไฝ
- ่ฎญ็ปๆนๆณ๏ผๅคไปปๅกๆธ่ฟๅผ
- ็ๆฌๆผ่ฟไธ Qwen Image 2.0
- ๅฎๆ้จ็ฝฒไธไปฃ็ ็คบไพ
- LoRA ๅพฎ่ฐๆๅ
- ็ซๅๅฏนๆฏไธ้ๅๅปบ่ฎฎ
- ๆป็ปไธ้ๆฅๅก
Qwen-Image-Edit ๆฏไปไน๏ผ
ไธๅฅ่ฏ็ๆฌ
Qwen-Image-Edit = ไธไธช่ถ ็บงๆบ่ฝ็"AI ไฟฎๅพๅคงๅธ"๏ผไธไป ่ฝไฟฎๅพใๆข้ฃๆ ผใๅๆๅคๅพ๏ผ่ฟ่ฝ็ฒพๅ็ผ่พๅพ็้็ๆๅญโโไธญๆ่ฑๆ้ฝ่ฝๆน๏ผ
๐ ็ฑปๆฏ๏ผๆณ่ฑกไธไธช็ฅๅฅ็ไฟฎๅพๅทฅไฝๅฎค
ไผ ็ปไฟฎๅพ๏ผPhotoshop๏ผ๏ผ
โโโ ่ชๅทฑๆๅผ่ฝฏไปถ
โโโ ๆๅจ้ๅบใ่ฐ่ฒใไฟฎ่กฅ
โโโ ่ฑๅฅฝๅ ไธชๅฐๆถๆนๆๅญ
โโโ ๆนๅฎๅ็ฐๅญไฝไธๅฏน ๐ญ
Qwen-Image-Edit๏ผ
โโโ ไธไผ ไธๅผ ็
ง็
โโโ ็จ่ช็ถ่ฏญ่จๆ่ฟฐ"ๆๆณ่ฆไปไนๆๆ"
โโโ AI ็ดๆฅ็ๆ็ผ่พๅ็ๅพ็
โโโ ่ฟๅพ็้็ๆๅญ้ฝ่ฝๅฎ็พไฟฎๆน๏ผ
โโโ ๅ ็ง้ๆๅฎ๏ผ๐
๐ฏ ๅๅญๆ่งฃ
Qwen-Image-Edit = ้ไนๅ้ฎ ยท ๅพๅ็ผ่พ
Qwen๏ผ้ไนๅ้ฎ๏ผ: ้ฟ้ๅทดๅทด็ๅคงๆจกๅๅฎถๆ
Image๏ผๅพๅ๏ผ: ๅค็ๅพๅ็ๅๆฏ
Edit๏ผ็ผ่พ๏ผ: ๆ ธๅฟๅ่ฝโโ็ผ่พๅทฒๆ็ๅพ็
ๅฎๆดๅฎถๆ๏ผ
โโโ Qwen-Image โ ๆๅญ็ๆๅพ็๏ผT2I๏ผ
โโโ Qwen-Image-Edit โ ๅพๅ็ผ่พ๏ผๆไปฌ็ไธป่ง๏ผ๏ผ
โโโ Qwen-Image-Edit-2509 โ ๅขๅผบ็๏ผๅคๅพ+ControlNet๏ผ
โโโ Qwen-Image-Edit-2511 โ ๆดๅผบ็๏ผ่ดจ้ๆๅ๏ผ
โโโ Qwen-Image-Layered โ ๅๅฑ็ผ่พ๏ผRGBA ๅพๅฑ๏ผ
โโโ Qwen-Image 2.0 โ ็ปไธ็๏ผ็ๆ+็ผ่พๅไธ๏ผ7B๏ผ
๐ ๆ ธๅฟๅๆฐไธ่ง
| ๅๆฐ | ๅผ | ่ฏดๆ |
|---|---|---|
| ๆจกๅ่งๆจก | 20B | 200 ไบฟๅๆฐ๏ผๅฑไบๅคงๅๆจกๅ |
| ๆถๆ | MMDiT | ๅคๆจกๆๆฉๆฃ Transformer |
| ๆกไปถ็ผ็ ๅจ | Qwen2.5-VL | ๅป็ป็ๅคๆจกๆ่ง่ง่ฏญ่จๆจกๅ |
| ๅพๅ็ผ็ ๅจ | VAE | ๅๅ่ช็ผ็ ๅจ๏ผ19M/25M๏ผ |
| ไฝ็ฝฎ็ผ็ | MSRoPE | ๅคๆจกๆๅฏๆฉๅฑๆ่ฝฌไฝ็ฝฎ็ผ็ |
| ๆๅญ็ผ่พ | ไธญ่ฑๆ | ไธๅ ้ขๅ ็ๅพๅ ๆๅญ็ผ่พ่ฝๅ |
| ๅผๆบๅ่ฎฎ | Apache-2.0 | ๅฏๅ็จ |
| ๆจ่ VRAM | โฅ24GB | ๅ จ็ฒพๅบฆ๏ผ้ๅๅๅฏ้ไฝ |
AI ๅพๅ็ผ่พ็ๅไธไป็
๐ ๆๆฏ่ฟๅๅฒ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ AI ๅพๅ็ผ่พๆๆฏ่ฟๅๅฒ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ โ
โ ็ฌฌไธไปฃ๏ผๅบไบ GAN ็็ผ่พ๏ผ2017-2020๏ผ โ
โ โโโ ไปฃ่กจ๏ผPix2Pix, CycleGAN โ
โ โโโ ๆนๆณ๏ผๅพๅๅฐๅพๅ็็ฟป่ฏ โ
โ โโโ ้ฎ้ข๏ผๅช่ฝๅๅบๅฎ็ฑปๅ่ฝฌๆข๏ผไธ็ตๆดป โ
โ โโโ ็ฑปๆฏ๏ผๅชไผ"่ฏไปถ็
งๆขๅบ่ฒ"็ไฟฎๅพๅธ ๐ธ โ
โ โ
โ ็ฌฌไบไปฃ๏ผๆฉๆฃๆจกๅ็ผ่พ๏ผ2022-2023๏ผ โ
โ โโโ ไปฃ่กจ๏ผSDEdit, InstructPix2Pix โ
โ โโโ ๆนๆณ๏ผๅบไบ Stable Diffusion ๅๆกไปถ็ผ่พ โ
โ โโโ ่ฟๆญฅ๏ผ่ฝๅฌๆ่ช็ถ่ฏญ่จๆไปคไบ๏ผ โ
โ โโโ ้ฎ้ข๏ผๆๅญ็ผ่พไธๅก็ณๆถ๏ผ็ป่ๅฎนๆไธขๅคฑ โ
โ โโโ ็ฑปๆฏ๏ผ่ฝๅฌๆไปค็็ปๅฎถ๏ผไฝๅญๅๅพๆญชๆญชๆญๆญ โ๏ธ โ
โ โ
โ ็ฌฌไธไปฃ๏ผๅคงๆจกๅๅขๅผบ็ผ่พ๏ผ2024๏ผ โ
โ โโโ ไปฃ่กจ๏ผDALLยทE 3 ็ผ่พ, Adobe Firefly โ
โ โโโ ๆนๆณ๏ผๅคงๅๅไธๆจกๅๅ ๆ โ
โ โโโ ่ฟๆญฅ๏ผ่ฏญไน็่งฃๆดๅผบ๏ผ็ผ่พๆด่ช็ถ โ
โ โโโ ้ฎ้ข๏ผ้ญๆบไธบไธป๏ผๆๅญๆธฒๆไปๆ้ โ
โ โโโ ็ฑปๆฏ๏ผๅพๅๅฎณไฝไธ่ฎฉไฝ ็ๆๆณ็้ญๆฏๅธ ๐ฉ โ
โ โ
โ ็ฌฌๅไปฃ๏ผๅคๆจกๆ LLM+ๆฉๆฃ่ๅ๏ผ2025-2026๏ผ โ
โ โโโ ไปฃ่กจ๏ผQwen-Image-Edit๏ผๆไปฌ็ไธป่ง๏ผ๏ผ โ
โ โโโ ๆนๆณ๏ผ่ง่ง่ฏญ่จๆจกๅ + MMDiT ๅๆต่ฐๆง โ
โ โโโ ไผ็น๏ผ่ฏญไน็่งฃๆๅผบ๏ผๆๅญ็ผ่พ็ฒพๅ๏ผๅผๆบๅฏๅ็จ โ
โ โโโ ็ฑปๆฏ๏ผๆขๆ่ฏญ่จๅๆ็พๆฏ็ๅๆไธๅฎถ ๐จโ๐จ๐ โ
โ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
๐ Qwen-Image-Edit vs ๅ ถไปๆนๆก
| ็นๆง | InstructPix2Pix | DALLยทE 3 Edit | Adobe Firefly | Qwen-Image-Edit |
|---|---|---|---|---|
| ๅบๅฑๆถๆ | SD 1.5 | ้ญๆบ | ้ญๆบ | MMDiT (20B) |
| ่ฏญไน็่งฃ | โญโญ | โญโญโญโญ | โญโญโญโญ | โญโญโญโญโญ |
| ๆๅญ็ผ่พ | โ ๅบๆฌไธ่ก | โญโญโญ | โญโญโญ | โญโญโญโญโญ |
| ไธญๆๆๅญ | โ | โญโญ | โญโญ | โญโญโญโญโญ |
| ๅคๅพๅๆ | โ | โ | โญโญ | โญโญโญโญ |
| ControlNet | โ | โ | ้จๅ | โ ๅ็ๆฏๆ |
| ๅผๆบ | โ | โ | โ | โ Apache-2.0 |
| ๆฌๅฐ้จ็ฝฒ | โ ๅฎนๆ | โ | โ | โ ้่ฆๆพๅญ |
ๆ ธๅฟๅ็๏ผๅๆต่ฐๆง
๐งฉ ๆ ธๅฟๆๆณ๏ผ่ฏญไน + ๅค่ง๏ผไธคๆ้ฝ่ฆ็กฌ
็ฑปๆฏ๏ผไธไธช้กถ็บงไฟฎๅพๅข้
ๆณ่ฑกไฝ ๅปไธไธช่ถ ็บง้ซ็ซฏ็ไฟฎๅพๅทฅไฝๅฎค๏ผไปไปฌ็ๅทฅไฝๆนๅผๆฏ่ฟๆ ท็๏ผ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ ไผ ็ปๆนๆณ vs Qwen-Image-Edit โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ โ
โ ไผ ็ปๆนๆณ๏ผไธไธช็ผ็ ๅจๅๆๆไบ๏ผ๏ผ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ ไธไธช VAE ็ผ็ ๅจ๏ผ โ โ
โ โ โโโ ็ๅพ็็้ข่ฒ โ โ
โ โ โโโ ็ๅพ็็็บน็ โ โ
โ โ โโโ ็ๆตๅพ็็ๅซไน โ โ
โ โ โโโ ่ฏ็็่งฃ็ผ่พๆไปค โ โ
โ โ ้ฎ้ข๏ผๆต
ๅฑ็นๅพๅๆทฑๅฑ่ฏญไนๆททๅจไธ่ตท โ โ
โ โ ๅ่ฎฉไธไธชไบบๅๆถๅฝ็ฟป่ฏๅ็ปๅฎถ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ
โ Qwen-Image-Edit๏ผๅๆต่ฐๆง๏ผ๏ผ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ ๐ง ่ฏญไนไธๅฎถ๏ผQwen2.5-VL๏ผๅป็ป็๏ผ โ โ
โ โ โโโ ๆทฑๅบฆ็่งฃๅพ็ๅ
ๅฎน โ โ
โ โ โโโ ็่งฃ"่ฟๆฏไธๅช็ซๅๅจๆกไธ" โ โ
โ โ โโโ ็่งฃ็ผ่พๆไปค"ๆ็ซๅๆ็ดซ่ฒ" โ โ
โ โ โโโ ๆไพ้ซ็บง่ฏญไน็นๅพ โ โ
โ โ โ โ
โ โ ๐๏ธ ๅค่งไธๅฎถ๏ผVAE Encoder๏ผ โ โ
โ โ โโโ ็ฒพ็กฎ่ฎฐๅฝๅพ็็้ข่ฒ โ โ
โ โ โโโ ไฟ็็บน็ใๅ
ๅฝฑใ็ป่ โ โ
โ โ โโโ ็กฎไฟ็ผ่พๅ็ๅพ"็่ตทๆฅๅฏน" โ โ
โ โ โโโ ๆไพไฝ็บง้ๅปบ็นๅพ โ โ
โ โ โ โ
โ โ ๐จ ๆป่ฎพ่ฎกๅธ๏ผMMDiT ไธปๅนฒ็ฝ็ป๏ผ โ โ
โ โ โโโ ่ๅ่ฏญไนๅๅค่งไธค่ทฏไฟกๅท โ โ
โ โ โโโ ๅจๆฉๆฃ่ฟ็จไธญ้ๆญฅ็ๆ็ปๆ โ โ
โ โ โโโ ่พๅบ้ซไฟ็็ผ่พๅพๅ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
๐งฉ ๆ ธๅฟๆๆฏไธ๏ผQwen2.5-VL ่ฏญไน็ผ็ ๅจ
ไธบไปไน็จ Qwen2.5-VL ่ไธๆฏๆฎ้ CLIP๏ผ
ๆฎ้ CLIP๏ผ็ฎๅๅน้
่
๏ผ๏ผ
โโโ ่ฝๅ๏ผๅฐๅพ็ๅๆๅญๆ ๅฐๅฐๅไธ็ฉบ้ด
โโโ ็่งฃๆทฑๅบฆ๏ผๆต
ๅฑโโ"่ฟๅผ ๅพๆ็ซ"
โโโ ๆๅญ็่งฃ๏ผ่ฟ่ก๏ผไฝไธๅคๆทฑ
โโโ ไธญๆ่ฝๅ๏ผไธ่ฌ่ฌ
Qwen2.5-VL๏ผ่ตๆทฑ้ข่ฏๅฎ๏ผ๏ผ
โโโ ่ฝๅ๏ผ็ๆญฃ"็ๆ"ๅพ็็ๆฏไธช็ป่
โโโ ็่งฃๆทฑๅบฆ๏ผๆทฑๅฑโโ"่ฟๅชๆฉ็ซๆญฃ่ถดๅจ็บข่ฒๆกๅธไธ๏ผ่ๆฏๆฏๅจๆฟ"
โโโ ๆๅญ็่งฃ๏ผๆๅผบ๏ผๆฏ็ซๆฏไธช LLM๏ผ๏ผ
โโโ ไธญๆ่ฝๅ๏ผๆฏ่ฏญ็บงๅซ ๐จ๐ณ
โโโ ้ขๅคๆ่ฝ๏ผ่ฝ็่งฃ็ฉไฝๅ
ณ็ณปใ็ฉบ้ดไฝ็ฝฎใๅจไฝ
็ฑปๆฏ๏ผ
CLIP ๅๆฏ็ไบไธ็ผ็
ง็ๅฐฑๅ็ฑป็ๅฎไน ็
Qwen2.5-VL ๅๆฏไป็ป็ ็ฉถ่ฟ็
ง็ๆฏไธช่ง่ฝ็่ตๆทฑไพฆๆข
๐งฉ ๆ ธๅฟๆๆฏไบ๏ผVAE ๅๅ้้
VAE ็่ง่ฒ๏ผๅพ็็"ๅ็ผฉ-่งฃๅ"ไธๅฎถ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ VAE ็ๅทฅไฝๅ็ โ
โ โ
โ ๅๅงๅพ็ (1024ร1024) โ
โ โ โ
โ โผ โ
โ โโโโโโโโโโโโโโโ โ
โ โ VAE Encoder โ ๆๅพ็"ๅ็ผฉ"ๆๆฐๅญฆ่กจ็คบ โ
โ โ (19M ๅๆฐ) โ 1024ร1024 โ 128ร128 latent โ
โ โ (ๅป็ป็!) โ ๆฐๆฎ้ๅๅฐ 64 ๅ๏ผ โ
โ โโโโโโโโฌโโโโโโโ โ
โ โ latent๏ผๆฝๅจ่กจ็คบ๏ผ โ
โ โ ไฟ็้ข่ฒใ็บน็ใ็ปๆไฟกๆฏ โ
โ โผ โ
โ โโโโโโโโโโโโโโโโ โ
โ โ MMDiT ๅค็ โ ๅจ่ฟไธช"ๅ็ผฉ็ฉบ้ด"้ๅ็ผ่พ โ
โ โ ๆฉๆฃ+ๅปๅช โ ่ฎก็ฎ้ๅคงๅคงๅๅฐ โ
โ โโโโโโโโฌโโโโโโโโ โ
โ โ ็ผ่พๅ็ latent โ
โ โผ โ
โ โโโโโโโโโโโโโโโ โ
โ โ VAE Decoder โ ๆ็ผ่พๅฅฝ็ๆฐๅญฆ่กจ็คบ"่งฃๅ"ๅๅพ็ โ
โ โ (25M ๅๆฐ) โ 128ร128 latent โ 1024ร1024 โ
โ โ (ๅพฎ่ฐ่ฟ!) โ โ ่ฟๆฏๅฏไธ่ขซๅพฎ่ฐ็ VAE ็ปไปถ โ
โ โโโโโโโโโโโโโโโ โ
โ โ
โ ไธบไปไน Encoder ๅป็ป่ Decoder ๅพฎ่ฐ๏ผ โ
โ โ Encoder๏ผไฟๆๅ่ฎญ็ปๆฐๆฎไธ่ด็ๅ็ผฉๆนๅผ โ
โ โ Decoder๏ผ้่ฆๅญฆไผ"่งฃๅ"็ผ่พๅ็ๆฐๅ
ๅฎน โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
๐งฉ ๆ ธๅฟๆๆฏไธ๏ผMSRoPE ไฝ็ฝฎ็ผ็
MSRoPE = Multimodal Scalable RoPE
= ๅคๆจกๆๅฏๆฉๅฑๆ่ฝฌไฝ็ฝฎ็ผ็
็ฑปๆฏ๏ผๅฟซ้้็"้จ็ๅท็ณป็ป"
ๆฎ้ RoPE๏ผไธ็ปด้จ็ๅท๏ผ๏ผ
โโโ 1ๅท, 2ๅท, 3ๅท, 4ๅท...
โโโ ๅช่ฝ่กจ็คบ"่ฐๅจ่ฐๅ้ข"
MSRoPE๏ผๅค็ปด้จ็ๅท๏ผ๏ผ
โโโ ๅพ็ token๏ผ(x=3, y=5, ๅพ็็ฉบ้ด) โ ็ฅ้ๅจๅพ็็ๅชไธชไฝ็ฝฎ
โโโ ๆๅญ token๏ผ(pos=7, ๆๆฌ็ฉบ้ด) โ ็ฅ้ๅจๅฅๅญ็ๅชไธชไฝ็ฝฎ
โโโ ่ทจๆจกๆ๏ผๅพ็ๅๆๅญ็ไฝ็ฝฎไฟกๆฏๅฏไปฅ"ๅฏน่ฏ"
โโโ ๅฏๆฉๅฑ๏ผๆฏๆไธๅๅฐบๅฏธ็ๅพ็
ๅฅฝๅค๏ผ
ๆจกๅๆข็ฅ้"่ฟไธช token ๅจๅพ็็ๅทฆไธ่ง"
ไน็ฅ้"่ฟไธช่ฏๆฏ็ผ่พๆไปค็็ฌฌไธไธช่ฏ"
ไธค็งไฝ็ฝฎไฟกๆฏ่ๅๅ๏ผ็ผ่พๆด็ฒพๅ๏ผ
ๆถๆๅ จๆฏ๏ผไบๅคง็ปไปถ
๐๏ธ ๆดไฝๆถๆๅพ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ Qwen-Image-Edit Architecture โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ ่พๅ
ฅๅฑ๏ผ3ไธช่พๅ
ฅ๏ผ โ โ
โ โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฃ โ
โ โ โ โ
โ โ โโโโโโโโโโโโ โโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโโ โ โ
โ โ โ Source โ โ Text โ โ Noise โ โ โ
โ โ โ Image โ โ Prompt โ โ (้ๆบๅชๅฃฐ latent)โ โ โ
โ โ โ (ๅๅงๅพ) โ โ (็ผ่พๆไปค) โ โ โ โ โ
โ โ โโโโโโฌโโโโโโ โโโโโโโโฌโโโโโโโโ โโโโโโโโโโฌโโโโโโโโโโ โ โ
โ โ โ โ โ โ โ
โ โโโโโโโโโชโโโโโโโโโโโโโโโโโโชโโโโโโโโโโโโโโโโโโโโโโชโโโโโโโโโโโโโโ โ
โ โ โ โ โ
โ โโโโโโดโโโโโโโโโโโโโ โ โ โ
โ โ ๅไธๅผ ๅพ็ โ โ โ โ
โ โ ๅไธค่ทฏๅค็ โ โ โ โ
โ โโโโโโโโโโฌโโโโโโโโโค โ โ โ
โ โผ โผ โ โ โ โ
โ โโโโโโโโโโ โโโโโโโโโโโ โ โ โ
โ โQwen2.5โ โ VAE โโ โ โ โ
โ โ -VL โ โEncoder โโ โ โ โ
โ โ(ๅป็ป) โ โ(ๅป็ป) โโ โ โ โ
โ โ โ โ 19M โโ โ โ โ
โ โโโโโฌโโโโโ โโโโโฌโโโโโโ โ โ โ
โ โ โ โ โ โ โ
โ ่ฏญไน็นๅพ ๅค่ง็นๅพ โ โ โ โ
โ (้ซ็บง) (ไฝ็บง) โ โ โ โ
โ โ โ โ โ โ โ
โ โโโโโชโโโโโโโโโโโชโโโโโโชโโโโโชโโโโโโโโโโโโโโโโโโโโโโชโโโโโโโโโโโโโโ โ
โ โ โผ โผ โ โผ โผ โ โ
โ โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ โ
โ โ โ MMDiT๏ผๅคๆจกๆๆฉๆฃ Transformer๏ผ โ โ โ
โ โ โ โ โ โ
โ โ โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ โ โ
โ โ โ โ ๅๆต DiT Blocks๏ผDouble-Stream๏ผ โ โ โ โ
โ โ โ โ โ โ โ โ
โ โ โ โ ๅพๅๆต โโโโโ MSRoPE โโโโโบ ๆๆฌๆต โ โ โ โ
โ โ โ โ โ โ โ โ โ โ
โ โ โ โ โโโโโ Cross-Attention โโโโโโ โ โ โ โ
โ โ โ โ (ๅๅไฟกๆฏไบคๆข) โ โ โ โ
โ โ โ โ โ โ โ โ
โ โ โ โ Normalization: RMSNorm (QK) + LayerNorm โ โ โ โ
โ โ โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ โ โ
โ โ โ โ โ โ โ
โ โ โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ โ โ
โ โ โ โ ๅๆต DiT Blocks๏ผSingle-Stream๏ผ โ โ โ โ
โ โ โ โ ๅพๅ+ๆๆฌๅๅนถๅค็ โ โ โ โ
โ โ โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ โ โ
โ โ โ โ โ โ โ
โ โ โ ๅปๅชๅ็ latent โ โ โ
โ โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโชโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ โ
โ โโโโโโโโผโโโโโโโ โ
โ โ VAE Decoder โ โ
โ โ (25M) โ โ
โ โ (ๅพฎ่ฐ่ฟ!) โ โ
โ โโโโโโโโฌโโโโโโโ โ
โ โ โ
โ โโโโโโโโผโโโโโโโ โ
โ โ ็ผ่พๅ็ โ โ
โ โ ่พๅบๅพ็ โ โ
โ โโโโโโโโโโโโโโโ โ
โ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
๐ ็ปไปถ่ฏฆ่งฃ
็ปไปถ 1๏ผQwen2.5-VL๏ผ่ฏญไนๅคง่๏ผ
่ง่ฒ๏ผ็่งฃๅพ็ๅๆๅญ็"ๅคง่"
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ Qwen2.5-VL โ
โ โ
โ ๆฏไปไน๏ผ้ฟ้ๅทดๅทด็ๅคๆจกๆ่ง่ง่ฏญ่จๆจกๅ โ
โ โ
โ ่ฝๅ่กจ๏ผ โ
โ โโโ ๅพ็็่งฃ๏ผ็ๆๅพ็้็็ฉไฝใๅบๆฏใๅ
ณ็ณป โ
โ โโโ ๆๅญ็่งฃ๏ผ็ๆๅพ็้็ๆๅญๅ
ๅฎน โ
โ โโโ ๆไปค็่งฃ๏ผ็่งฃ"ๆXXๆนๆYY"่ฟ็ง็ผ่พๆไปค โ
โ โโโ ็ฉบ้ดๆจ็๏ผ็ฅ้็ฉไฝๅจๅพ็็ๅชไธชไฝ็ฝฎ โ
โ โโโ ๅค่ฏญ่จ๏ผไธญๆใ่ฑๆใๆฅๆ็ญ้ฝ่ฝ็่งฃ โ
โ โ
โ ๅจ Qwen-Image-Edit ไธญ็็ถๆ๏ผ๐ ๅป็ป๏ผไธ่ฎญ็ป๏ผ โ
โ โ
โ ไธบไปไนๅป็ป๏ผ โ
โ โ ๅฎๅทฒ็ป่ถณๅคๅผบๅคงไบ๏ผไธ้่ฆๅ่ฎญ็ป โ
โ โ ๅป็ปๅฏไปฅ่ฎฉๅฎ็จณๅฎๅฐๆไพ่ฏญไน็นๅพ โ
โ โ ็ฑปๆฏ๏ผ่ฏทไบไธไฝ็ป้ชไธฐๅฏ็้กพ้ฎ๏ผ โ
โ ่ฎฉไปๆไพไธไธๆ่ง๏ผไฝไธ่ฎฉไปๆนๅ่ชๅทฑ็้ฃๆ ผ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
็ปไปถ 2๏ผVAE๏ผ่ง่งๅ็ผฉๆบ๏ผ
่ง่ฒ๏ผๅพ็็"ๅ็ผฉ-่งฃๅ"้้
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ VAE โ
โ โ
โ Encoder๏ผ็ผ็ ๅจ = ๅ็ผฉๆบ๏ผ๏ผ โ
โ โโโ ๅๆฐ้๏ผ19M๏ผๅพ่ฝป้๏ผ๏ผ โ
โ โโโ ๅ่ฝ๏ผๆ้ซๆธ
ๅพ็ๅ็ผฉๆๅฐๅ latent โ
โ โโโ ็ถๆ๏ผ๐ ๅป็ป โ
โ โโโ ่พๅบ๏ผไฟ็้ข่ฒใ็บน็ใๅ
ๅฝฑ็"ๆฐๅญฆๅฟซ็
ง" โ
โ โ
โ Decoder๏ผ่งฃ็ ๅจ = ่งฃๅๆบ๏ผ๏ผ โ
โ โโโ ๅๆฐ้๏ผ25M โ
โ โโโ ๅ่ฝ๏ผๆ latent ่งฃๅๅ้ซๆธ
ๅพ็ โ
โ โโโ ็ถๆ๏ผ๐ ๅพฎ่ฐ่ฟ โ
โ โโโ ็นๆฎ๏ผๅฎ้่ฆๅญฆไผ่งฃ็ "็ผ่พๅ็ๅ
ๅฎน" โ
โ โ
โ ็ฑปๆฏ๏ผ โ
โ Encoder = JPEG ๅ็ผฉ๏ผๆ็
ง็ๅๆๅฐๆไปถ โ
โ Decoder = JPEG ่งฃๅ๏ผๆๅฐๆไปถๅๅ็
ง็ โ
โ ๅบๅซๅจไบ๏ผ็ผ่พๅ็ๅจ"ๅฐๆไปถ"้ถๆฎต โ
โ โ ่ฎก็ฎ้ๅๅฐ 64 ๅ๏ผ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
็ปไปถ 3๏ผMMDiT๏ผๆฉๆฃไธปๅนฒ็ฝ็ป๏ผ
่ง่ฒ๏ผๆดไธชๆจกๅ็"ๅฟ่"๏ผๆง่กๅฎ้
็็ผ่พๅทฅไฝ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ MMDiT ไธปๅนฒ็ฝ็ป โ
โ (Multimodal Diffusion Transformer) โ
โ โ
โ ๆ ธๅฟๆๆณ๏ผ โ
โ โโโ ๅคๆจกๆ๏ผๅๆถๅค็ๅพๅๅๆๆฌ โ
โ โโโ ๆฉๆฃ๏ผ้่ฟ"ๅปๅช"่ฟ็จ็ๆๅพๅ โ
โ โโโ Transformer๏ผไฝฟ็จๆณจๆๅๆบๅถ่ๅไฟกๆฏ โ
โ โ
โ ๅๆต่ฎพ่ฎก๏ผ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ ๅพๅๆต โโโโโโโโโโโโ ๆๆฌๆต โ โ
โ โ โ ๅๅๆณจๆๅ โ โ โ
โ โ โ (ไบ็ธ็ๅฏนๆน) โ โ โ
โ โ โผ โผ โ โ
โ โ ๅพๅ็่งฃๆๆฌ ๆๆฌ็่งฃๅพๅ โ โ
โ โ โ โ โ โ
โ โ โโโโโ ่ๅ โโโโโโโโโโโ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ
โ ็ฑปๆฏ๏ผ โ
โ ๆณ่ฑกไธคไธช็ฟป่ฏๅจ่ง้ขไผ่ฎฎไธญ๏ผ โ
โ โโโ ไธไธช็็ๅพ็่ฏด๏ผ"ๅพไธ็ปไบไปไน" โ
โ โโโ ไธไธช็็ๆๅญ่ฏด๏ผ"็จๆทๆณ่ฆไปไน" โ
โ โโโ ไปไปฌไธๅไบคๆต๏ผๆ็ป่พพๆๅ
ฑ่ฏ โ
โ โ
โ ไธ FLUX ็ๅ
ณ็ณป๏ผ โ
โ Qwen-Image-Edit ็ MMDiT ่ฎพ่ฎกๅ่ไบ FLUX ็ญๅ
่ฟ โ
โ ๆฉๆฃ Transformer๏ผไฝๅจๆกไปถๆณจๅ
ฅๅไฝ็ฝฎ็ผ็ ไธ โ
โ ๅไบ่ชๅทฑ็ๅๆฐ๏ผๅๆต่ฐๆง + MSRoPE๏ผ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
็ปไปถ 4-5๏ผNormalization ๅไฝ็ฝฎ็ผ็
ๅฝไธๅ็ญ็ฅ๏ผๆททๅไฝฟ็จไธค็ง Norm
โโโ RMSNorm๏ผ็จไบ QK-Norm๏ผๆณจๆๅ่ฎก็ฎไธญ็ Query ๅ Key๏ผ
โ โโโ ็น็น๏ผ่ฎก็ฎๆดๅฟซ๏ผๆๆๅฅฝ
โโโ LayerNorm๏ผ็จไบๅ
ถไปๆๆๅฑ
โโโ ็น็น๏ผๆดไผ ็ป๏ผ็จณๅฎๆงๅฅฝ
ไฝ็ฝฎ็ผ็ ๏ผMSRoPE๏ผ๏ผ
โโโ ็ปๆฏไธช token ไธไธช"ๅๆ "
โโโ ๅพ็ token๏ผไบ็ปดๅๆ (x, y)
โโโ ๆๅญ token๏ผไธ็ปดๅๆ (pos)
โโโ ไธค็งๅๆ ๅฏไปฅไบ็ธ"ๅฏน่ฏ"
โ ๆจกๅ็ฅ้"่ฟไธช่ฏๆ่ฟฐ็ๆฏๅพ็็่ฟไธชๅบๅ"
Qwen-Image-Edit ๅฆไฝๅทฅไฝ
๐ฌ ๅฎๆดๅทฅไฝๆต็จ
่ฎฉๆไปฌ็จไธไธชๅ ทไฝไพๅญๆฅ่ตฐไธ้ๅฎๆดๆต็จ๏ผ
ไปปๅก๏ผๆไธๅผ ๆตทๆฅไธ็"Hello World"ๆนๆ"ไฝ ๅฅฝไธ็"
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ ๅฎๆด็ผ่พๆต็จ๏ผ6ๆญฅ๏ผ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ โ
โ ๐ฅ Step 1: ่พๅ
ฅๅๅค โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ โข ๅๅงๅพ็๏ผไธๅผ ๅธฆๆ "Hello World" ๆๅญ็ๆตทๆฅ โ โ
โ โ โข ็ผ่พๆไปค๏ผ"ๆๆตทๆฅไธ็ Hello World ๆนๆ ไฝ ๅฅฝไธ็" โ โ
โ โ โข (ๅฏ้) Mask๏ผๆ ่ฎฐ้่ฆ็ผ่พ็ๅบๅ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ
โ ๐ง Step 2: ๅ่ทฏ็นๅพๆๅ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ ่ทฏๅพ A๏ผๅๅพ โ Qwen2.5-VL โ โ
โ โ โ "ๆ็ๅฐไธๅผ ๆตทๆฅ๏ผไธ้ขๆ่ฑๆ Hello World๏ผ โ โ
โ โ โ ๅญไฝๆฏ้ป่ฒ็ฒไฝ๏ผ่ๆฏๆฏ่่ฒๆธๅ" โ โ
โ โ โ ่พๅบ๏ผ้ซ็บง่ฏญไน็นๅพๅ้ โ โ
โ โ โ โ โ
โ โ ่ทฏๅพ B๏ผๅๅพ โ VAE Encoder โ โ
โ โ โ "่ฎฐๅฝๆฏไธชๅ็ด ็้ข่ฒใ็บน็ใๅ
ๅฝฑ็ป่" โ โ
โ โ โ ่พๅบ๏ผlatent ่กจ็คบ๏ผไฝ็บงๅค่ง็นๅพ๏ผ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ
โ ๐ฒ Step 3: ๅชๅฃฐๆณจๅ
ฅ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ โข ้ๆบ็ๆไธไธช้ซๆฏๅชๅฃฐ latent โ โ
โ โ โข ๆ๏ผๅฏนๅๅพ็ latent ๅ ้จๅๅชๅฃฐ๏ผstrength ๆงๅถ๏ผ โ โ
โ โ โข ็ฑปๆฏ๏ผๅจๅๅพไธ"ๆไธๅฑๆฒๅญ"๏ผ็ถๅๆธ
็ๆๆฐ็ๅพ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ
โ ๐ Step 4: MMDiT ่ฟญไปฃๅปๅช๏ผ50ๆญฅ or ่ชๅฎไน๏ผ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ ๆฏไธๆญฅ๏ผ โ โ
โ โ โโโ ๅชๅฃฐ latent + ่ฏญไน็นๅพ + ๅค่ง็นๅพ โ MMDiT โ โ
โ โ โโโ ๅๆตๆณจๆๅ๏ผๅพๅๆตๅๆๆฌๆตไบ็ธไบคๆขไฟกๆฏ โ โ
โ โ โโโ ้ขๆต่ฟไธๆญฅ่ฆๅปๆๅคๅฐ"ๆฒๅญ" โ โ
โ โ โโโ ๆดๆฐ latent๏ผ็จๅพฎๆธ
ๆฐไธ็นไบ๏ผ โ โ
โ โ โ โ
โ โ ็ฌฌ 1 ๆญฅ๏ผ[โโโโโโโโโโโโโโโโโโ] ็บฏๅชๅฃฐ โ โ
โ โ ็ฌฌ 10 ๆญฅ๏ผ[โโโโโโโโโโโ] ๆจก็ณ่ฝฎๅปๅบ็ฐ โ โ
โ โ ็ฌฌ 25 ๆญฅ๏ผ[โโโโโโ] ๆๅญๅฝข็ถๆธ
ๆฐ โ โ
โ โ ็ฌฌ 40 ๆญฅ๏ผ[โโโ] ็ป่ไธฐๅฏ โ โ
โ โ ็ฌฌ 50 ๆญฅ๏ผ[โ] ๅฎ็พ็ปๆ๏ผ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ
โ ๐ผ๏ธ Step 5: VAE ่งฃ็ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ ๅปๅชๅฎๆ็ latent โ VAE Decoder โ ้ซๆธ
ๅพ็ โ โ
โ โ 128ร128 latent โ 1024ร1024 ๅพ็ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ
โ โ
Step 6: ่พๅบ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ ็ปๆ๏ผๆตทๆฅไธ็ๆๅญๅๆไบ"ไฝ ๅฅฝไธ็" โ โ
โ โ โข ๅญไฝ้ฃๆ ผไฟๆไธ่ด๏ผ้ป่ฒ็ฒไฝ๏ผ โ โ
โ โ โข ่ๆฏๅฎ็พไฟ็๏ผ่่ฒๆธๅๆฒกๅ๏ผ โ โ
โ โ โข ไธญๆๆธฒๆๆธ
ๆฐๅ็กฎ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
๐ฏ Qwen-Image-Edit ่ฝๅไปไน๏ผ
ๆฏๆ็็ผ่พ็ฑปๅ๏ผ
1๏ธโฃ ๆๅญ็ผ่พ๏ผ็ฌๅฎถๅผบ้กน๏ผ๏ผ
โโโ ไฟฎๆนๅพ็ไธญ็ๆๅญๅ
ๅฎน
โโโ ไฟๆๅๆๅญไฝ/ๅคงๅฐ/ๆ่ดจ/้ฃๆ ผ
โโโ ๆฏๆไธญๆใ่ฑๆๅๅ
ถไป CJK ๆๅญ
โโโ ไพๅญ๏ผ"ๆๆ็ไธ็ OPEN ๆนๆ ่ฅไธไธญ"
2๏ธโฃ ่ฏญไน็ผ่พ๏ผ้ซ็บงไฟฎๆน๏ผ
โโโ ็ฉไฝๆฟๆข๏ผ"ๆๆกไธ็่นๆๆขๆๆฉๅญ"
โโโ ็ฉไฝๆ่ฝฌ๏ผ"ๆๆฏๅญๆ่ฝฌ 90ยฐ"
โโโ ่ง่งๅๆข๏ผ"ๆขๆ้ธ็ฐ่ง่ง"
โโโ ๅงฟๅฟๆๆง๏ผ"่ฎฉไบบ็ฉไธพๆ"
โโโ ้ฃๆ ผ่ฟ็งป๏ผ"ๅๆๅๅๅๅจ็ป้ฃๆ ผ"
3๏ธโฃ ๅค่ง็ผ่พ๏ผไฝ็บงไฟฎๆน๏ผ
โโโ ๆทปๅ /ๅ ้คๅ
็ด ๏ผ"ๅปๆ่ๆฏ้็็ต็บฟๆ"
โโโ ้ข่ฒไฟฎๆน๏ผ"ๆๅ
ๅญ็้ข่ฒๆนๆ็ดซ่ฒ"
โโโ ๅ
ๅฝฑ่ฐๆด๏ผ"ๅ ไธๅค้ณๅ
ๆ"
โโโ ไฟๆๆช็ผ่พๅบๅไธๅ
4๏ธโฃ ๅคๅพๅๆ๏ผ2509+็ๆฌ๏ผ
โโโ ไบบ็ฉ+ไบบ็ฉ๏ผ"ๆไธคไธชไบบๅๆๅฐไธๅผ ๅพ"
โโโ ไบบ็ฉ+ไบงๅ๏ผ"่ฎฉๆจก็นๆฟ็่ฟไธชไบงๅ"
โโโ ไบบ็ฉ+ๅบๆฏ๏ผ"ๆไบบ็ฉๆพๅฐๆตทๆปฉ่ๆฏ"
โโโ ๆฏๆ 1-3 ๅผ ่พๅ
ฅๅพ็
5๏ธโฃ ControlNet ๆกไปถๆงๅถ๏ผ2509+็ๆฌ๏ผ
โโโ ๆทฑๅบฆๅพๅผๅฏผ
โโโ Canny ่พน็ผๅผๅฏผ
โโโ OpenPose ๅงฟๆๅผๅฏผ
โโโ ็ฒพ็ปๆงๅถ่พๅบ็ปๆ
6๏ธโฃ ๅๅฑ็ผ่พ๏ผLayered ็ๆฌ๏ผ
โโโ ๅฐๅพ็ๅ่งฃไธบๅคไธช RGBA ๅพๅฑ
โโโ ็ฑปไผผ Photoshop ็ๅพๅฑๆฆๅฟต
โโโ ๆฏไธชๅพๅฑๅฏ็ฌ็ซ็ผ่พ
โโโ ้ๅ็ฒพ็ป็่ฎพ่ฎกๅทฅไฝๆต
่ฎญ็ปๆนๆณ๏ผๅคไปปๅกๆธ่ฟๅผ
๐ ่ฎญ็ปไธๆฟๆง
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ Qwen-Image-Edit ่ฎญ็ป็ญ็ฅ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ โ
โ ๐ฏ ็ญ็ฅไธ๏ผๅคไปปๅก่ๅ่ฎญ็ป โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ โ โ
โ โ ไปปๅก 1: T2I๏ผๆๅญ โ ๅพ็๏ผ โ โ
โ โ โโโ ่พๅ
ฅ๏ผๆๅญๆ่ฟฐ โ โ
โ โ โโโ ่พๅบ๏ผ็ๆๅพ็ โ โ
โ โ โโโ ็ฎ็๏ผๅญฆไผ"็ป็ป" โ โ
โ โ โ โ
โ โ ไปปๅก 2: TI2I๏ผๆๅญ+ๅพ็ โ ๆฐๅพ็๏ผ โ โ
โ โ โโโ ่พๅ
ฅ๏ผๅๅพ + ็ผ่พๆไปค โ โ
โ โ โโโ ่พๅบ๏ผ็ผ่พๅ็ๅพ็ โ โ
โ โ โโโ ็ฎ็๏ผๅญฆไผ"ๆๆไปคไฟฎๅพ" โ โ
โ โ โ โ
โ โ ไปปๅก 3: I2I๏ผๅพ็ โ ๅพ็้ๅปบ๏ผ โ โ
โ โ โโโ ่พๅ
ฅ๏ผๅๅพ โ โ
โ โ โโโ ่พๅบ๏ผ้ๅปบ็ๅพ็๏ผๅบ่ฏฅๅๅๅพไธๆ ท๏ผ๏ผ โ โ
โ โ โโโ ็ฎ็๏ผๅฏน้ฝ Qwen2.5-VL ๅ MMDiT ็ๆฝๅจ็ฉบ้ด โ โ
โ โ โ โ
โ โ ไธบไปไนไธไธชไปปๅกไธ่ตท่ฎญ็ป๏ผ โ โ
โ โ โ ็ฑปๆฏ๏ผๅน่ฎญไธไธชไฟฎๅพๅธ โ โ
โ โ T2I = ๅ
ๅญฆ็ป็ป๏ผๅปบ็ซๅบ็กๅฎก็พ๏ผ โ โ
โ โ I2I = ๅๅญฆไธดๆน๏ผๅญฆไผ็ฒพ็กฎๅคๅถ๏ผ โ โ
โ โ TI2I = ๆๅๅญฆไฟฎๅพ๏ผๅจๅคๅถๅบ็กไธๅไฟฎๆน๏ผ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ
โ ๐ ็ญ็ฅไบ๏ผๆธ่ฟๅผ่ฏพ็จๅญฆไน โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ โ โ
โ โ ้ถๆฎต 1: ็ฎๅๆๅญๆธฒๆ โ โ
โ โ โโโ ๅญฆไน ๆฒกๆๆๅญ็ๅพ็็ๆ โ โ
โ โ โโโ ๆไธ็ป้ขๅบ็ก โ โ
โ โ โ โ โ
โ โ ้ถๆฎต 2: ็ฎๅ โ ๅคๆๆๅญ โ โ
โ โ โโโ ไปๅ่ฏๅฐ็ญ่ฏญ โ โ
โ โ โโโ ไป่ฑๆๅฐไธญๆ โ โ
โ โ โ โ โ
โ โ ้ถๆฎต 3: ๆฎต่ฝ็บงๆ่ฟฐ โ โ
โ โ โโโ ๅค็้ฟ็ฏๆ่ฟฐ โ โ
โ โ โโโ ๆ็ปๆๆกๅคๆๆ็ โ โ
โ โ โ โ
โ โ ็ฑปๆฏ๏ผ โ โ
โ โ ๅฐฑๅๅญฆๅๅญโโๅ
ๅญฆ็ฌ็ป๏ผๅๅญฆๅๅญ๏ผ โ โ
โ โ ๆๅๅญฆๅๆ็ซ ใไธ่ฝไธไธๆฅๅฐฑๅ่ฎบๆ๏ผ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ
โ ๐ ็ญ็ฅไธ๏ผๅคง่งๆจกๆฐๆฎ็ฎก็บฟ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ โ โ
โ โ ๆฐๆฎๆฅๆบ โ ่ฟๆปค โ ๆ ๆณจ โ ๅๆ โ ๅนณ่กก โ โ
โ โ โ โ
โ โ 1. ๆถ้๏ผๆตท้ๅพๆๅฏน โ โ
โ โ 2. ่ฟๆปค๏ผๅป้คไฝ่ดจ้ใไธๅ้ๅ
ๅฎน โ โ
โ โ 3. ๆ ๆณจ๏ผไธบๅพ็ๆทปๅ ็ฒพ็กฎ็ๆๅญๆ่ฟฐ โ โ
โ โ 4. ๅๆ๏ผ็ๆ่ฎญ็ป้่ฆ็็ผ่พๅฏน๏ผbefore/after๏ผ โ โ
โ โ 5. ๅนณ่กก๏ผ็กฎไฟๅ็ฑป็ผ่พไปปๅก็ๆฐๆฎ้ๅ่กก โ โ
โ โ โ โ
โ โ โ ๏ธ ๆณจๆ๏ผๅ
ทไฝๆฐๆฎ้ๅ่กจๅ่งๆจกๆชๅฎๅ
จๅ
ฌๅผ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
๐ ๅ ณ้ฎ่ฎญ็ป็ป่
| ้กน็ฎ | ่ฏฆๆ |
|---|---|
| ๅป็ป็ปไปถ | Qwen2.5-VL (ๅ จ้จ), VAE Encoder |
| ๅพฎ่ฐ็ปไปถ | MMDiT (ไธปๅนฒ), VAE Decoder |
| ไผๅๅจ | Adam (Layered ็ๆฌๆ็กฎ่ฎฐๅฝ) |
| ่ฎญ็ป้ถๆฎต | ๅค้ถๆฎตๆธ่ฟ๏ผLayered: 500k+400k+400k ๆญฅ๏ผ |
| ็ฒพๅบฆ | bf16 ๆททๅ็ฒพๅบฆ |
| ็ฎๆ | ๅฏน้ฝ Qwen2.5-VL latent ไธ MMDiT latent |
็ๆฌๆผ่ฟไธ Qwen Image 2.0
๐ ๅฎๆด็ๆฌๆถ้ด็บฟ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ Qwen-Image ็ๆฌๆผ่ฟๅฒ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ โ
โ 2025.05 โโโ ้กน็ฎๅฏๅจ โ
โ โ QwenLM/Qwen-Image repo ๅๅปบ โ
โ โ โ
โ 2025.08.04 โโ Qwen-Image v1 ๅๅธ ๐ โ
โ โ โโโ ้ฆไธช 20B MMDiT ๆจกๅ โ
โ โ โโโ ๆๅญๅฐๅพ็๏ผT2I๏ผ โ
โ โ โโโ arXiv ๆๆฏๆฅๅ: 2508.02324 โ
โ โ โโโ Apache-2.0 ๅผๆบ โ
โ โ โ
โ 2025.08.18 โโ Qwen-Image-Edit ๅๅธ ๐จ โ
โ โ โโโ ๅพๅ็ผ่พ็ๆฌ โ
โ โ โโโ ๅๆต่ฐๆง (Qwen2.5-VL + VAE) โ
โ โ โโโ ็ฒพๅๆๅญ็ผ่พ่ฝๅ โ
โ โ โ
โ 2025.09.22 โโ Qwen-Image-Edit-2509 ๐ โ
โ โ โโโ ๅคๅพ่พๅ
ฅๆฏๆ๏ผ1-3ๅผ ๏ผ โ
โ โ โโโ ControlNet ๆกไปถๆงๅถ โ
โ โ โ โโโ ๆทฑๅบฆๅพ โ
โ โ โ โโโ Canny ่พน็ผ โ
โ โ โ โโโ OpenPose ๅงฟๆ โ
โ โ โโโ ๆดไฝ่ดจ้ๆๅ โ
โ โ โ
โ 2025.11 โโโ Qwen-Image-Edit-2511 โ
โ โ โโโ ๆดๅผบ็้ผ็็บน็ โ
โ โ โโโ ๆๅญๆธฒๆ็ฒพๅบฆๆๅ โ
โ โ โโโ ่ดจ้่ฟไธๆญฅไผๅ โ
โ โ โ
โ 2025.12 โโโ Qwen-Image-Layered ๐ฒ โ
โ โ โโโ RGBA ๅพๅฑๅ่งฃ่ฝๅ โ
โ โ โโโ Text-to-RGBA / Image-to-Multi-RGBA โ
โ โ โโโ ็ฑปไผผ Photoshop ๅพๅฑๆฆๅฟต โ
โ โ โโโ arXiv: 2512.15603 โ
โ โ โ
โ 2026.02.10 โโ Qwen Image 2.0 ๅๅธ ๐ โ
โ โโโ ้ๅคงๆถๆๅ็บง๏ผ โ
โ โโโ ๅๆฐ๏ผ20B โ 7B๏ผ็ผฉๅฐ่ฟ 3 ๅ๏ผ โ
โ โโโ ็ๆ+็ผ่พ็ปไธไธบไธไธชๆจกๅ โ
โ โโโ ๅ็ 2K ๅ่พจ็๏ผ2048ร2048๏ผ โ
โ โโโ ไธไธไฟกๆฏๅพ่กจๆฏๆ โ
โ โโโ 1000 token ้ฟๆ็คบ่ฏ โ
โ โโโ ็ผ็ ๅจ๏ผQwen3-VL (8B) โ
โ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
๐ Qwen Image 2.0๏ผ้ๅคงๅ็บง
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ Qwen-Image v1 vs Qwen Image 2.0 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ Qwen-Image v1 โ โ Qwen Image 2.0 โ โ
โ โ โ โ โ โ
โ โ ๅๆฐ๏ผ20B โ โ ๅๆฐ๏ผ7B โฌ๏ธ โ โ
โ โ ็ผ็ ๅจ๏ผQwen2.5-VL โ โ ็ผ็ ๅจ๏ผQwen3-VL โ โ
โ โ ๅ่พจ็๏ผ1024ร1024 โ โ ๅ่พจ็๏ผ2048ร2048 โ โ
โ โ ๆจกๅ๏ผ็ๆ/็ผ่พๅ็ฆปโ โ ๆจกๅ๏ผ็ปไธไธไธช โ โ
โ โ ๆ็คบ่ฏ๏ผๆ ๅ้ฟๅบฆ โ โ ๆ็คบ่ฏ๏ผ1000 token โ โ
โ โ ๆๅญ๏ผๅฅฝ โ โ ๆๅญ๏ผๆๅฅฝ โจ โ โ
โ โ ไฟกๆฏๅพ๏ผไธๆฏๆ โ โ ไฟกๆฏๅพ๏ผไธไธ็บง โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ
โ 2.0 ็ไบๅคง็ช็ ด๏ผ โ
โ โ
โ 1๏ธโฃ ็ปไธๆถๆ โ
โ v1: Qwen-Image (็ๆ) + Qwen-Image-Edit (็ผ่พ) = ไธคไธชๆจกๅ โ
โ v2: ไธไธช 7B ๆจกๅๆๅฎไธๅ โ
โ โ ๆด็ฎๅ็้จ็ฝฒ๏ผๆดไธ่ด็้ฃๆ ผ โ
โ โ
โ 2๏ธโฃ ไธไธๆ็ โ
โ ่ฝ็ดๆฅ็ๆ PPTใไฟกๆฏๅพ่กจใ็ตๅฝฑๆตทๆฅใๆฅๅใๆผซ็ป๏ผ โ
โ ๆฏๆ 1000 token ็่ถ
้ฟ็ปๆๅๆไปค โ
โ โ
โ 3๏ธโฃ ๅ็ 2K โ
โ ไธๆฏ"ๅ
1K ๅๆพๅคง"๏ผ่ๆฏ็ดๆฅๅจ 2K ๅ่พจ็ไธ็ๆ โ
โ ็ฎ่คๆฏๅญใ็ป็ฉ็บน็ใๅปบ็ญ็ป่โโๅพฎ่ง็บงๆธ
ๆฐๅบฆ โ
โ โ
โ 4๏ธโฃ ๆด่ฝปๆดๅฟซ โ
โ 7B vs 20B โ ๆจ็ๆดๅฟซ๏ผ้จ็ฝฒๆๆฌๆดไฝ โ
โ ๆถ่ดน็บง GPU (24GB VRAM) ๆๆๆฌๅฐ่ฟ่ก โ
โ โ
โ 5๏ธโฃ ๆดๅผบ็ๆๅญๆธฒๆ โ
โ ไบไธช็นๅพ๏ผๅ็กฎใๅคง้ใ็พ่งใ็ๅฎใๅฏน้ฝ โ
โ โ ่ฝๅจ็ป็ใๅธๆใ็บธๅผ ใๆ็ไธๆญฃ็กฎๆธฒๆๆๅญ โ
โ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
ๅฎๆ้จ็ฝฒไธไปฃ็ ็คบไพ
๐ ๏ธ ้จ็ฝฒๆนๅผๆป่ง
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ ้จ็ฝฒๆนๅผ้ๆฉๆๅ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ โ
โ ไฝ ็ๆ
ๅต โ ๆจ่ๆนๅผ โ
โ โโโโโโโโโโโโโ โโโโโโโโ โ
โ ๆณๅฟซ้ไฝ้ช โ Qwen Chat ็ฝ้กต็๏ผๅ
่ดน๏ผ โ
โ ้่ฆ API ้ๆ โ ้ฟ้ไบ DashScope / Replicate โ
โ ๆ 24GB+ GPU โ ๆฌๅฐ้จ็ฝฒ๏ผๅ
จ็ฒพๅบฆ bf16๏ผ โ
โ ๆ 12-16GB GPU โ ๆฌๅฐ้จ็ฝฒ๏ผ้ๅ nf4/Q4๏ผ โ
โ ็จ ComfyUI โ GGUF ้ๅ + ComfyUI ่็น โ
โ ้่ฆๅพฎ่ฐ โ Musubi Tuner + LoRA โ
โ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
๐ ๅฟซ้ๅผๅง๏ผDiffusers ไปฃ็
ๅบ็ก็๏ผๅๅพ็ผ่พ
# ๅฎ่ฃ
ๆๆฐ็ diffusers๏ผๅฟ
้กปไป GitHub ๅฎ่ฃ
๏ผ
# pip install git+https://github.com/huggingface/diffusers.git
import os
import torch
from PIL import Image
from diffusers import QwenImageEditPipeline
# 1. ๅ ่ฝฝๆจกๅ๏ผ้ฆๆฌกไผไธ่ฝฝ็บฆ 40GB๏ผ
pipeline = QwenImageEditPipeline.from_pretrained(
"Qwen/Qwen-Image-Edit",
torch_dtype=torch.bfloat16 # ไฝฟ็จ bf16 ่็ๆพๅญ
)
pipeline.to("cuda")
pipeline.set_progress_bar_config(disable=None)
# 2. ๅๅค่พๅ
ฅ
image = Image.open("./input.png").convert("RGB")
prompt = "ๆๅ
ๅญ็้ข่ฒๆนๆ็ดซ่ฒ๏ผ่ๆฏๅ ไธ้ชๅ
ๆๆ"
# 3. ๆง่ก็ผ่พ
inputs = {
"image": image,
"prompt": prompt,
"generator": torch.manual_seed(42), # ๅบๅฎ็งๅญ๏ผ็ปๆๅฏๅค็ฐ
"true_cfg_scale": 4.0, # CFG ๅผบๅบฆ
"negative_prompt": " ", # ่ด้ขๆ็คบ๏ผ้ฟๅ
ไธๆณ่ฆ็ๅ
ๅฎน๏ผ
"num_inference_steps": 50, # ๅปๅชๆญฅๆฐ๏ผ่ถๅค่ถ็ฒพ็ป๏ผ่ถๆ
ข๏ผ
}
with torch.inference_mode():
output = pipeline(inputs)
output.images.save("output_edit.png")
print("็ผ่พๅฎๆ๏ผ")
่ฟ้ถ็๏ผๅคๅพๅๆ๏ผ2509+๏ผ
from diffusers import QwenImageEditPlusPipeline
# ๅ ่ฝฝ 2509 ๆ 2511 ็ๆฌ
pipeline = QwenImageEditPlusPipeline.from_pretrained(
"Qwen/Qwen-Image-Edit-2509", # ๆ "Qwen/Qwen-Image-Edit-2511"
torch_dtype=torch.bfloat16
)
pipeline.to("cuda")
# ๅๅคๅคๅผ ่พๅ
ฅๅพ็
image1 = Image.open("person.png") # ไบบ็ฉ็
ง
image2 = Image.open("scenery.png") # ๅบๆฏ็
ง
prompt = "ๆไบบ็ฉๆพๅฐๆตทๆปฉๅบๆฏไธญ๏ผ่ช็ถ่ๅ๏ผๅ
ๅฝฑไธ่ด"
inputs = {
"image": [image1, image2], # ๆณจๆ๏ผไผ ๅ
ฅๅ่กจ๏ผ
"prompt": prompt,
"generator": torch.manual_seed(42),
"true_cfg_scale": 4.0,
"negative_prompt": " ",
"num_inference_steps": 40,
"guidance_scale": 1.0,
"num_images_per_prompt": 1,
}
with torch.inference_mode():
output = pipeline(inputs)
output.images.save("output_composite.png")
Inpainting๏ผๅฑ้จไฟฎๅค๏ผ
from diffusers import QwenImageInpaintPipeline
from diffusers.utils import load_image
pipeline = QwenImageInpaintPipeline.from_pretrained(
"Qwen/Qwen-Image",
torch_dtype=torch.bfloat16
)
pipeline.to("cuda")
source = load_image("source.png") # ๅๅพ
mask = load_image("mask.png") # ้ฎ็ฝฉ๏ผ็ฝ่ฒ=่ฆ็ผ่พ็ๅบๅ๏ผ
prompt = "ไธๅช้ป่ฒ็็ซ๏ผ้ซๅ่พจ็๏ผๅๅจๅ
ฌๅญ้ฟๆค
ไธ"
image = pipeline(
prompt=prompt,
negative_prompt=" ",
image=source,
mask_image=mask,
strength=0.85 # 0=ไธๆน, 1=ๅฎๅ
จ้็ป
).images[0]
image.save("inpainted.png")
๐ก ๅ ณ้ฎๅๆฐ่ฏดๆ
้่ฆๅๆฐ้ๆฅ๏ผ
num_inference_steps๏ผๅปๅชๆญฅๆฐ๏ผ
โโโ ๆจ่ๅผ๏ผ40-50
โโโ ่ถๅค๏ผ่ดจ้่ถๅฅฝ๏ผ้ๅบฆ่ถๆ
ข
โโโ ่ถๅฐ๏ผ้ๅบฆๅฟซไฝๅฏ่ฝๆจก็ณ
โโโ Lightning ๆจกๅผ๏ผ4 ๆญฅ๏ผๆ้๏ผ้่ฆ็นๆฎ้
็ฝฎ๏ผ
true_cfg_scale๏ผCFG ๅผบๅบฆ๏ผ็ๅฎ็ Classifier-Free Guidance๏ผ
โโโ ๆจ่ๅผ๏ผ3.0-5.0
โโโ ่ถ้ซ๏ผ่ถไธฅๆ ผ้ตๅพชๆ็คบ่ฏ๏ผไฝๅฏ่ฝ่ฟ้ฅฑๅ
โโโ ่ถไฝ๏ผๆด่ช็ถ๏ผไฝๅฏ่ฝๅ็ฆปๆไปค
โโโ ๅ
ธๅๅผ๏ผ4.0
guidance_scale๏ผๅผๅฏผๅฐบๅบฆ๏ผ
โโโ ๆจ่ๅผ๏ผ1.0๏ผ2509/2511 ็ๆฌ๏ผ
โโโ ไธ true_cfg_scale ้
ๅไฝฟ็จ
strength๏ผ็ผ่พๅผบๅบฆ๏ผInpainting ๆถ๏ผ
โโโ 0.0 = ไธๆนๅๅๅพ
โโโ 0.5 = ไธญ็ญไฟฎๆน
โโโ 0.85 = ๅคงๅน
ไฟฎๆน๏ผๆจ่๏ผ
โโโ 1.0 = ๅฎๅ
จ้็ป
negative_prompt๏ผ่ด้ขๆ็คบ่ฏ๏ผ
โโโ ็จ" "๏ผ็ฉบๆ ผ๏ผ่กจ็คบไธไฝฟ็จ
โโโ ๅฏๅ "NSFW, nude"ๆ้คไธๅฝๅ
ๅฎน
โโโ ๅฏๅ "blurry, low quality"ๆๅ่ดจ้
โก ๆพๅญไผๅๆๅทง
ๆพๅญไธๅค๏ผ่ฏ่ฏ่ฟไบๆๅทง๏ผ
1๏ธโฃ ้ๅๅ ่ฝฝ๏ผ็็บฆ 50-70% ๆพๅญ๏ผ
from transformers import BitsAndBytesConfig
quantization_config = BitsAndBytesConfig(load_in_4bit=True)
# ๆณจๆ๏ผๅฏ่ฝ่ฝปๅพฎ้ไฝ่ดจ้
2๏ธโฃ VAE Slicing/Tiling
pipeline.enable_vae_slicing() # ๅ็่งฃ็
pipeline.enable_vae_tiling() # ๅๅ่งฃ็
# ๅฏนๅคงๅพ็นๅซๆๆ
3๏ธโฃ ไฝฟ็จ GGUF ้ๅๆจกๅ
# ็คพๅบๆไพ Q4_K_M / Q3_K_M ็ญ้ๅ็ๆฌ
# ๅฏๅจ 12-16GB GPU ไธ่ฟ่ก
4๏ธโฃ Lightning ๆจกๅผ๏ผ็คพๅบๆนๆก๏ผ
# ไป
4 ๆญฅๅปๅช๏ผ้ๅบฆๆๅ 10x+
# ่ดจ้ๆๆ็บ็ฒ๏ผ้ๅๅฟซ้้ข่ง
โ ๏ธ ้ๅๆณจๆไบ้กน๏ผ
็คพๅบๅ็ฐ้ๅ transformer_blocks.0.img_mod ๅฑ
ๅฏ่ฝๅฏผ่ดไธฅ้ไผชๅฝฑ๏ผๅปบ่ฎฎ่ทณ่ฟ่ฟไธชๅฑ็้ๅ๏ผ
LoRA ๅพฎ่ฐๆๅ
๐ ไธบไปไน่ฆๅพฎ่ฐ๏ผ
ๅผ็ฎฑๅณ็จ็ Qwen-Image-Edit ๅทฒ็ปๅพๅผบไบ๏ผไฝๆๆถไฝ ้่ฆ๏ผ
โโโ ่ฎญ็ป็นๅฎ่ง่ฒ/ไบบ่ธ็ LoRA๏ผไธ่ดๆง็ๆ๏ผ
โโโ ่ฎญ็ป็นๅฎไบงๅ็ LoRA๏ผ็ตๅๅบๆฏ๏ผ
โโโ ่ฎญ็ป็นๅฎ้ฃๆ ผ็ LoRA๏ผๅ็้ฃๆ ผ็ปไธ๏ผ
โโโ ่ฎญ็ป็นๅฎ็ผ่พ่กไธบ็ LoRA๏ผ่ชๅฎไน็ผ่พ้ป่พ๏ผ
๐ฆ ๅทฅๅ ท้ๆฉ
ๆจ่ๅทฅๅ
ท๏ผKohya Musubi Tuner
โโโ GitHub: kohya-ss/musubi-tuner
โโโ ๆฏๆ LoRA ๅ Full Fine-Tuning๏ผDreamBooth๏ผ
โโโ ๆไฝ 6GB VRAM ๅณๅฏ่ฎญ็ป๏ผ
โโโ ๆไพ --model_version ๅๆฐ้ๆฉๆจกๅ็ๆฌ
โ โโโ edit-2509
โ โโโ edit-2511
โ โโโ layered
โโโ ็คพๅบๆๅฎๆด็ Windows ไธ้ฎๅฎ่ฃ
่ๆฌ
๐ง LoRA ่ฎญ็ปๅๆฐๆจ่
| ๅๆฐ | ไบบ็ฉ/่ง่ฒ | ไบงๅ | ้ฃๆ ผ |
|---|---|---|---|
| LoRA Rank | 32-64 | 16-32 | 8-16 |
| LoRA Alpha | rank/2 | rank/2 | rank |
| ๅญฆไน ็ | 1e-4 | 1e-4 | 5e-5 |
| ่ฎญ็ป่ฝฎๆฐ | 150-200 | 100-150 | 75-100 |
| ๆฐๆฎ้ๅคงๅฐ | 20-50 ๅผ | 10-30 ๅผ | 30-100 ๅผ |
| ๆไฝ VRAM | 6GB (้ๅ) | 6GB (้ๅ) | 6GB (้ๅ) |
๐ ่ฎญ็ปๅฝไปค็คบไพ
# ไฝฟ็จ Musubi Tuner ่ฎญ็ป Qwen-Image-Edit LoRA
# 1. ็ผๅญ latent๏ผๅ ้ๅ็ปญ่ฎญ็ป๏ผ
python cache_latents.py \
--model_version edit-2509 \
--pretrained_model_name_or_path "Qwen/Qwen-Image-Edit-2509" \
--dataset_config dataset.toml \
--cache_latents_to_disk
# 2. ็ผๅญๆๆฌ็นๅพ
python cache_text_encoder_outputs.py \
--model_version edit-2509 \
--pretrained_model_name_or_path "Qwen/Qwen-Image-Edit-2509" \
--dataset_config dataset.toml \
--cache_text_encoder_outputs_to_disk
# 3. ๅผๅง LoRA ่ฎญ็ป
accelerate launch train_network.py \
--model_version edit-2509 \
--pretrained_model_name_or_path "Qwen/Qwen-Image-Edit-2509" \
--dataset_config dataset.toml \
--network_module networks.lora \
--network_dim 32 \
--network_alpha 16 \
--learning_rate 1e-4 \
--lr_scheduler cosine \
--max_train_epochs 200 \
--train_batch_size 1 \
--gradient_checkpointing \
--mixed_precision bf16 \
--optimizer_type AdamW8bit \
--output_dir ./output_lora \
--save_every_n_epochs 25
๐ ๆฐๆฎ้ๅๅคๆธ ๅ
ๆฐๆฎ้ๅๅค 5 ๆญฅ่ตฐ๏ผ
1๏ธโฃ ๅพ็ๆถ้
โโโ ๆไฝๅ่พจ็๏ผ512ร512
โโโ ๆจ่ๅ่พจ็๏ผ1024ร1024+
โโโ ๆฐ้๏ผ20-100 ๅผ ๏ผๆ นๆฎไปปๅก๏ผ
โโโ ่ดจ้๏ผๆธ
ๆฐใๅค่งๅบฆใๅคๅ
็
ง
2๏ธโฃ ๅพ็ๆ ๆณจ๏ผCaption๏ผ
โโโ ๆจ่ๅทฅๅ
ท๏ผBLIP-2, WD14 Tagger, Google Gemini
โโโ ๆ่
ๆๅจๅ caption
โโโ ๆ ผๅผ๏ผๆฏๅผ ๅพๅฏนๅบไธไธช .txt ๆไปถ
โโโ ๅ
ๅฎน๏ผ่ฏฆ็ปๆ่ฟฐๅพ็ๅ
ๅฎน
3๏ธโฃ ๆญฃๅๅๅพ็๏ผ้ฒ่ฟๆๅ๏ผ
โโโ ๅๅคไธไบๅ็ฑปไฝไธๅ็ๅพ็
โโโ ไพๅฆ๏ผ่ฎญ็ป็นๅฎไบบ่ธๆถ๏ผๅๅคไธไบๅ
ถไปไบบ่ธ
โโโ ๆฐ้๏ผ็บฆ็ญไบ่ฎญ็ปๅพ็็ 1-2 ๅ
4๏ธโฃ ๆฐๆฎๅขๅผบ
โโโ ้ๆบๆฐดๅนณ็ฟป่ฝฌ๏ผ้คไบบ่ธๅค๏ผ
โโโ ้ๆบ่ฃๅช๏ผๅฐๅฟไฝฟ็จ๏ผ
โโโ ๅฏ็จ Bucket๏ผๆฏๆไธๅๅฎฝ้ซๆฏ๏ผ
5๏ธโฃ ้
็ฝฎๆไปถ
# dataset.toml ็คบไพ
[[datasets]]
resolution = 1024
batch_size = 1
[[datasets.subsets]]
image_dir = "./train_images"
caption_extension = ".txt"
num_repeats = 10
็ซๅๅฏนๆฏไธ้ๅๅปบ่ฎฎ
๐ 2025-2026 AI ๅพๅ็ผ่พๆจกๅๅ จๆฏ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ AI ๅพๅ็ผ่พๆจกๅๅ
จๆฏๅพ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค
โ โ
โ ๅผๆบ้ต่ฅ๏ผ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ Qwen-Image-Edit (20B) โ
โ โ ๆๅญ็ผ่พ็่
โ
โ โ FLUX Kontext (12B) โ โ ไธไธๆ็ผ่พ โ
โ โ InstructPix2Pix (SD 1.5) โ โ ็ปๅ
ธไฝ่พๆง โ
โ โ Stable Diffusion Inpainting โ โ ๅฑ้จไฟฎๅค โ
โ โ OmniGen โ โ ็ปไธๆจกๅ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ
โ ้ญๆบ / API ้ต่ฅ๏ผ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ GPT Image 1.5 (OpenAI) โ โ ๅฏน่ฏๅผ็ผ่พ โ
โ โ DALLยทE 3.5 (OpenAI) โ โ ็ฎๅๆ็จ โ
โ โ Adobe Firefly 3 (Adobe) โ โ ไธไธ็ๆ โ
โ โ Gemini 3 Pro Image (Google) โ โ ๅคๆจกๆ โ
โ โ Midjourney โ โ ่บๆฏๆๅผบ โ
โ โ Seedream 4.5 (ByteDance) โ โ ้ซๆงไปทๆฏ โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ
โ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
๐ฏ ้ๅๅณ็ญๆ
ไฝ ๅบ่ฏฅ้ไปไน๏ผ
Q1: ้่ฆๅจๅพ็้็ผ่พๆๅญๅ๏ผ
โโโ ๆฏ โ Qwen-Image-Edit๏ผๅฐคๅ
ถๆฏไธญๆ๏ผ๏ผ
โโโ ๅฆ โ ็ปง็ปญๅพไธ็
Q2: ้่ฆๅผๆบ/ๆฌๅฐ้จ็ฝฒๅ๏ผ
โโโ ๆฏ โ ็ปง็ปญ Q3
โโโ ๅฆ โ ่่ GPT Image 1.5 ๆ Adobe Firefly
Q3: ๆๅคๅฐ GPU ๆพๅญ๏ผ
โโโ โฅ24GB โ Qwen-Image-Edit ๅ
จ็ฒพๅบฆ
โโโ 12-16GB โ Qwen-Image-Edit ้ๅ็
โโโ 6-12GB โ FLUX Kontext ๆ InstructPix2Pix
โโโ ๆ GPU โ ไฝฟ็จ API (DashScope / Replicate)
Q4: ๅ
ทไฝไปปๅกๆฏไปไน๏ผ
โโโ ๅคๅพๅๆ โ Qwen-Image-Edit-2509+
โโโ ็ฒพๅๅฑ้จไฟฎๆน โ Qwen-Image Inpainting
โโโ ้ฃๆ ผ่ฟ็งป โ FLUX + LoRA ๆ Qwen-Image-Edit
โโโ ไบงๅไฟฎๅพ โ Qwen-Image-Edit๏ผ่บซไปฝไฟๆๅผบ๏ผ
โโโ ็บฏ่บๆฏๅไฝ โ Midjourney ๆ DALLยทE
โโโ ไธไธ่ฎพ่ฎกๆต โ Adobe Firefly๏ผPhotoshop ้ๆ๏ผ
๐ ่ฏฆ็ปๅฏนๆฏ่กจ
| ็ปดๅบฆ | Qwen-Image-Edit | GPT Image 1.5 | Adobe Firefly | FLUX Kontext | InstructPix2Pix |
|---|---|---|---|---|---|
| ่งๆจก | 20B | ๆช็ฅ(้ญๆบ) | ๆช็ฅ(้ญๆบ) | 12B | ~1B |
| ๆๅญ็ผ่พ | โญโญโญโญโญ | โญโญโญโญ | โญโญโญ | โญโญ | โญ |
| ไธญๆๆๅญ | โญโญโญโญโญ | โญโญโญ | โญโญ | โญ | โ |
| ่บซไปฝไฟๆ | โญโญโญโญโญ | โญโญโญโญ | โญโญโญโญ | โญโญโญโญ | โญโญ |
| ๅคๅพๅๆ | โญโญโญโญ | โ | โญโญ | โญโญโญ | โ |
| ๅผๆบ | โ Apache-2.0 | โ | โ | โ | โ |
| ๆฌๅฐ้จ็ฝฒ | โ (้ๆพๅญ) | โ | โ | โ | โ (่ฝป้) |
| LoRA ๅพฎ่ฐ | โ | โ | โ | โ | โ |
| API ๆๆฌ | ~ยฅ0.2-0.5/ๅผ | ~$0.08/ๅผ | ่ฎข้ ๅถ | ็คพๅบ้จ็ฝฒ | ็คพๅบ้จ็ฝฒ |
| ๆจ็้ๅบฆ | ไธญ็ญ(~37s) | ๅฟซ(~5s) | ๅฟซ | ไธญ็ญ | ๅฟซ |
| ๅ่พจ็ | 1024ยฒ (v1) / 2048ยฒ (v2) | 1024ยฒ | 4MP | 1024ยฒ | 512ยฒ |
ๆป็ปไธ้ๆฅๅก
๐ ไธ้กต้ๆฅๅก
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ Qwen-Image-Edit ้ๆฅๅก โ
โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฃ
โ โ
โ ๐ท๏ธ ๆฏไปไน๏ผ้ฟ้ๅทดๅทด Qwen ๅฎถๆ็ AI ๅพๅ็ผ่พๆจกๅ โ
โ ๐ ่งๆจก๏ผ20B ๅๆฐ๏ผv1๏ผ/ 7B ๅๆฐ๏ผv2.0๏ผ โ
โ ๐ง ๆถๆ๏ผMMDiT + Qwen2.5-VL + VAE ๅๆต่ฐๆง โ
โ ๐ ่ฎบๆ๏ผarXiv:2508.02324 โ
โ ๐ฆ ไปฃ็ ๏ผgithub.com/QwenLM/Qwen-Image โ
โ ๐ค ๆจกๅ๏ผhuggingface.co/Qwen/Qwen-Image-Edit โ
โ ๐ ๅ่ฎฎ๏ผApache-2.0๏ผๅฏๅ็จ๏ผ โ
โ โ
โ โญ ๆ ธๅฟไผๅฟ๏ผ โ
โ โโโ ๅพๅ
ๆๅญ็ผ่พ๏ผไธญ่ฑๆ๏ผไธ็ๆๅผบ โ
โ โโโ ่ฏญไน+ๅค่งๅๆต่ฐๆง๏ผ็ผ่พไฟ็ๅบฆ้ซ โ
โ โโโ ๅคๅพๅๆใControlNet ๅ็ๆฏๆ โ
โ โโโ ๅฎๅ
จๅผๆบ๏ผ็คพๅบ็ๆไธฐๅฏ โ
โ โโโ v2.0 ็ปไธ็ๆ+็ผ่พ๏ผๅ็ 2K โ
โ โ
โ โ ๏ธ ๆณจๆไบ้กน๏ผ โ
โ โโโ ๅ
จ็ฒพๅบฆ้่ฆ โฅ24GB VRAM โ
โ โโโ ้ๅๆถๆณจๆ่ทณ่ฟ transformer_blocks.0.img_mod โ
โ โโโ ๆไบๆ
ๅตไธไผๅบ็ฐๅฎฝ้ซๆฏ/็ผฉๆพ้ฎ้ข โ
โ โโโ ๅ
ทไฝ่ฎญ็ปๆฐๆฎ้ๆชๅฎๅ
จๅ
ฌๅผ โ
โ โ
โ ๐ ๏ธ ๅฟซ้ไธๆ๏ผ โ
โ pip install git+https://github.com/huggingface/diffusers.git โ
โ from diffusers import QwenImageEditPipeline โ
โ pipeline = QwenImageEditPipeline.from_pretrained( โ
โ "Qwen/Qwen-Image-Edit", torch_dtype=torch.bfloat16) โ
โ โ
โ ๐ ๅ
ณ้ฎ่ถ
ๅ๏ผ โ
โ โโโ num_inference_steps: 40-50 โ
โ โโโ true_cfg_scale: 3.0-5.0 โ
โ โโโ strength (inpaint): 0.85 โ
โ โ
โ ๐ง ๅพฎ่ฐๅทฅๅ
ท๏ผkohya-ss/musubi-tuner โ
โ โโโ --model_version edit-2509 / edit-2511 / layered โ
โ โโโ LoRA rank: 16-64 (็ไปปๅก) โ
โ โโโ ๆไฝ 6GB VRAM ๅฏ่ฎญ็ป โ
โ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
๐บ๏ธ ๅญฆไน ่ทฏ็บฟๅพ
ๅฐ็ฝ โ ๅ
ฅ้จ โ ่ฟ้ถ โ ไธๅฎถ
Level 1: ไฝ้ช่
๐ฑ
โโโ ๅป Qwen Chat ็ฝ้กต็็ฉไธ็ฉ
โโโ ไธไผ ็
ง็๏ผๅฐ่ฏ็ฎๅ็ผ่พ
โโโ ็่งฃ"AI ๅพๅ็ผ่พ"็ๆฆๅฟต
Level 2: ไฝฟ็จ่
๐ฟ
โโโ ๅฎ่ฃ
Diffusers๏ผๆฌๅฐ่ทๆจ็
โโโ ๅฐ่ฏไธๅ็ prompt ๅๅๆฐ
โโโ ๅญฆไผ Inpainting๏ผๅฑ้จไฟฎๅค๏ผ
โโโ ๅจ ComfyUI ้ๆญๅปบๅทฅไฝๆต
Level 3: ๅผๅ่
๐ณ
โโโ ่ฎญ็ป่ชๅทฑ็ LoRA
โโโ ้ๆๅฐ่ชๅทฑ็ไบงๅไธญ๏ผAPI/ๆฌๅฐ๏ผ
โโโ ็่งฃๅๆต่ฐๆง็ๅ็
โโโ ๆๆก้ๅใไผๅ้จ็ฝฒ
Level 4: ็ ็ฉถ่
๐ฒ
โโโ ้
่ฏป arXiv ๆๆฏๆฅๅ
โโโ ็่งฃ MMDiTใMSRoPE ็ๆฐๅญฆๅ็
โโโ ๅฏนๆฏไธๅๅพๅ็ผ่พๆนๆณ็ไผๅฃ
โโโ ๅฐ่ฏๆน่ฟๆถๆๆ่ฎญ็ป็ญ็ฅ
โโโ ่ดก็ฎๅผๆบ็คพๅบ
๐ ๅ่่ตๆ
| ่ตๆบ | ้พๆฅ | ่ฏดๆ |
|---|---|---|
| GitHub ไปๅบ | QwenLM/Qwen-Image | ๅฎๆนไปฃ็ ๅๆๆกฃ |
| HuggingFace ๆจกๅ | Qwen/Qwen-Image-Edit | ๆจกๅๆ้ไธ่ฝฝ |
| ๆๆฏๆฅๅ | arXiv:2508.02324 | ๆ ธๅฟ่ฎบๆ |
| Layered ่ฎบๆ | arXiv:2512.15603 | ๅพๅฑ็ผ่พ่ฎบๆ |
| Musubi Tuner | kohya-ss/musubi-tuner | LoRA ่ฎญ็ปๅทฅๅ ท |
| Diffusers ๆๆกฃ | QwenImage Pipeline | API ๆๆกฃ |
| ComfyUI ็คบไพ | ComfyUI Examples | ่็นๅทฅไฝๆต |
| 2509 ๅคๅพๆๆกฃ | Qwen-Image-Edit-2509.md | ๅคๅพ+ControlNet |
| Qwen Chat | qwen.ai | ๅจ็บฟไฝ้ช |
| ้ๅๆๅ | ็คพๅบ้ๅๆป็ฅ | ๆฌๅฐ้จ็ฝฒไผๅ |
ๆๅๆดๆฐ๏ผ2026-02-25
ๅฆๆ่ฟ็ฏๆ็ซ ๅฏนไฝ ๆๅธฎๅฉ๏ผๆฌข่ฟๅจไธๆน Giscus ่ฏ่ฎบๅบ็่จไบคๆต๏ผ