深蓝黑背景品牌封面:左侧大标题「输入一段话,就能画出图」,副标题「Stable Diffusion 入门地图」;右侧为一组从杂色噪声方块渐变到清晰青紫图块的原创装饰,表现扩散模型从噪声中画出图像的过程;顶部标注「AI 工程知识专栏」与「Day 02 · 09-20」 图 1:本文封面,点明主题「文生图核心概念地图」。

先想象一个场景。你第一次打开一个 AI 绘画工具,界面上摆着提示词、负面提示词、步数、CFG、种子、VAE、模型版本一串名词,教程里还时不时冒出 CLIP、UNet、latent。你照着抄参数能出图,但只要效果不对就无从下手——因为你看不到整张地图。这篇文章的目的就是把这张地图一次铺开。

核心结论一句话

文生图模型的内部并不神秘:它由三类部件接力完成——文本编码器负责读懂你的话,扩散模型负责在潜空间里把噪声一步步擦掉、擦成符合描述的中间表示,VAE 解码器负责把这个中间表示还原成像素图。看懂这条接力链,界面上的每个参数都能对号入座。

第一站:文本编码器,把话变成向量

你输入的提示词先被文本编码器切成词元(token),再编码成一组向量,作为后续生成过程的「导航信号」。不同代模型用的编码器不同:SDXL 的官方模型卡写明它使用两个固定的预训练文本编码器(OpenCLIP-ViT/G 和 CLIP-ViT/L);Stable Diffusion 3.5 的模型卡则写明它用三个文本编码器(两个 CLIP 加一个 T5),而且词元长度有限制——这就是为什么提示词不是越长越好,超出窗口的部分根本进不了导航信号。

第二站:扩散模型,在噪声里「擦」出图

这是核心部件。它的工作方式可以粗浅地理解为:先在潜空间里放一团纯噪声,然后按提示词给的方向,分若干步逐步去噪,每一步都让画面离描述更近一点。界面上的「步数」就是去噪的轮数,「CFG(引导强度)」控制每一步听提示词的程度,「随机种子」决定那团初始噪声长什么样——种子固定、其他参数不变,结果就可以复现。

这一站也是各代模型拉开差距的地方:早期模型用 UNet 做去噪网络,SD 3.5 的模型卡写明它已换成 MMDiT(多模态扩散 Transformer)架构,文字和图像信息在同一个 Transformer 里交互,复杂提示词的理解和画面里的文字渲染因此明显改善。

第三站:VAE,像素与潜空间之间的翻译器

模型并不直接在像素上计算——那太贵了。VAE 先把图片压缩进一个小得多的「潜空间」,扩散去噪在那里进行,最后再由 VAE 解码回正常尺寸的图。你在工具里看到的 VAE 选项、SDXL 的 base+refiner 两段式流程,都发生在这一站附近。

架构流程图:文生图分五段——①提示词 Prompt 进入 CLIP 文本编码器转成向量、②潜空间中铺一张随机噪声画布、③U-Net 在文本向量指导下迭代去噪数十步(图中以回环箭头表示循环)、④VAE 解码器把潜空间结果放大还原成像素图、⑤输出最终图片。底部三个关键概念卡:潜空间(先在压缩空间作画,省算力)、去噪步数(步数越多越精细也越慢)、提示词引导强度 CFG(越贴合文字越容易僵硬) 图 2:文生图五段流水线,以及潜空间、步数、CFG 三个关键概念。

版本与许可:选模型前要知道的事

模型代际并不只是「画得更好」。SDXL 是潜空间扩散模型,官方给出 base 加 refiner 的两段式用法;SD 3.5 换成 MMDiT 架构并改进了资源效率。许可也变了:SD 3.5 采用 Stability Community License,模型卡写明年总收入低于 100 万美元的个人和组织可免费商用,超出则需要企业授权——商用前务必读一遍许可证。动手路径上,官方模型卡推荐本地使用优先 ComfyUI(节点式界面,把三站拆成可见的流程图,特别适合理解地图),编程集成则用 diffusers 库。

三个常见误区

误区一:提示词越长越精确。编码器有词元上限,堆砌无效形容词不如把主体、风格、构图写清楚。

误区二:步数越多越好。去噪轮数存在收益递减,超过模型的甜点区间只是白白变慢;先跟着官方示例的推荐值走(SD 3.5 的示例用 28 步),再围绕它微调。

误区三:AI 画的都是「事实」。模型卡明确声明:模型并未被训练成对人物或事件的事实性表征,生成内容不能当作真实记录使用。

给你的行动建议

按地图学,而不是按参数表学。第一步,用 ComfyUI 跑通一个官方示例工作流,亲眼看到「编码—去噪—解码」三个节点;第二步,固定种子只改提示词,体会导航信号的作用,再固定提示词只改种子,体会初始噪声的作用;第三步,把步数和 CFG 各扫一遍范围,找到你常用模型的甜点区。三轮实验下来,地图就长在脑子里了。

你在 AI 绘画里最想搞清楚的概念是哪一个——CFG、种子、VAE,还是模型微调?留言说说,也许下一篇就拆它。

参考资料

  • stabilityai/stable-diffusion-3.5-large 官方模型卡(MMDiT 架构、三个文本编码器(OpenCLIP-ViT/G、CLIP-ViT/L、T5)、词元长度 77/256、示例 28 步与 CFG 3.5、Stability Community License 年营收 100 万美元以下免费商用、推荐 ComfyUI 或 diffusers、非事实性表征声明) — https://huggingface.co/stabilityai/stable-diffusion-3.5-large
  • stabilityai/stable-diffusion-xl-base-1.0 官方模型卡(潜空间扩散模型、两个文本编码器(OpenCLIP-ViT/G 与 CLIP-ViT/L)、base+refiner 两段式流程、diffusers 用法) — https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0