第69篇：从Transformer到扩散模型——主流AI生成模型的核心思想演进（原理解析）

现象引入：为什么AI从“写诗”变成了“画画”？

几年前，当我和团队折腾GPT-2时，我们惊叹于它生成连贯文本的能力，感觉AI的“创造力”主要体现在语言上。但最近一两年，风向彻底变了。DALL-E 2、Stable Diffusion、Midjourney的爆火，让“AI绘画”从极客玩具变成了大众生产力工具。我身边很多非技术背景的朋友，都在用这些工具生成营销海报、游戏概念图。

这让我思考一个根本问题：同样是生成内容，为什么在图像生成领域，扩散模型（Diffusion Model）能迅速击败之前如日中天的生成对抗网络（GAN），成为绝对的主流？这背后，是从Transformer到扩散模型，整个AI生成模型核心思想的深刻演进。今天，我就结合自己从NLP转向多模态的实践，来拆解这场静悄悄的革命。

提出问题：生成模型的终极目标与核心挑战是什么？

要理解演进，首先要明确目标。所有生成模型的核心目标，都是学习并模拟真实数据的复杂分布。比如，我们要让模型学会“猫”的分布，这样它才能生成各种各样、但又都像猫的图片。

这个目标面临两大核心挑战：

1. 高维空间的“维度灾难”：一张256x256的RGB图片，其数据空间维度高达196,608维。在这个近乎无限的空间里，真实图片（如猫的照片）只占据其中极其微小、结构复杂的“流形”。如何高效、稳定地学习这个分布？
2. 生成质量与多样性的平衡：模型不仅要生成清晰的图片（高质量），还要能生成不同姿势、花色的猫（高多样性）。很多早期模型容易陷入“模式崩溃”，只生成几张相似的图片。

过去几年，主流模型给出了不同的解题思路，也暴露了各自的优缺点。

原理剖析：从自回归、GAN到扩散模型的范式迁移

1. Transformer与自回归生成：序列的“逐字创作”

Transformer（尤其是GPT系列）在文本生成上大获成功，其核心是自回归生成。它把生成看作一个序列决策过程：基于已经生成的所有前文，预测下一个最可能的词（或图像token）。

• 核心思想：将数据（文本或图像）转化为一个长序列，通过极大似然估计，建模序列中下一个元素的概率分布。公式可以简化为：P(完整序列) = ∏ P(第i个元素 | 前i-1个元素)。
• 图像生成应用：如OpenAI的DALL-E，先将图像用VQ-VAE编码成离散的token网格，然后用一个类似GPT的Transformer模型，自回归地预测这些图像token。
• 优点：训练稳定（因为有明确的逐点损失），能建模复杂的长期依赖关系（得益于Transformer的注意力机制）。
• 致命缺点：顺序生成，无法并行。生成一张图需要串行推理数百上千步，速度极慢。这就像让你画猫，但规定必须一笔接一笔，不能跳着画，效率极低。

我的踩坑经历：我们曾尝试用类似思路做高分辨率视频预测，序列长度爆炸，推理时间完全不可接受，项目最终搁浅。这让我深刻认识到，自回归范式在高效生成高维数据上的天生瓶颈。

2. 生成对抗网络（GAN）：让两个网络“左右互搏”

GAN的思路非常巧妙，它引入了对抗训练。一个生成器（G）负责造“假数据”，一个判别器（D）负责判断数据是来自真实集还是生成器。两者在动态博弈中共同进步。

• 核心思想：一个最小最大博弈游戏。目标函数是：min_G max_D [ E_{x~真实数据}[log D(x)] + E_{z~噪声}[log(1 - D(G(z)))] ]。
• 优点：一度是高质量图像生成的代名词。在它出现之前，生成的图片都很模糊。GAN能生成细节极其锐利、逼真的图片，推理速度也快（单次前向传播）。
• 致命缺点：训练极其不稳定，容易模式崩溃。平衡G和D如同走钢丝，需要大量技巧（如梯度惩罚、谱归一化）。我们团队当年训练GAN调参调到怀疑人生，经常发现生成器只输出同一张脸。此外，GAN难以覆盖所有数据模式，多样性往往不足。

3. 扩散模型：在噪声中“渐次雕琢”

扩散模型采用了截然不同的哲学。它不直接学习数据分布，而是学习一个去噪过程。想象一下雕塑：不是直接变出一个雕像，而是从一块混沌的石头（纯噪声），一步步凿去多余的部分，最终露出精美的形态。

• 核心思想：包含两个过程：
  • 前向扩散过程：在固定步数T内，逐步向一张真实图片添加高斯噪声，直到图片变成完全的无结构噪声。这是一个固定的、无需学习的加噪过程。
  • 反向去噪过程：这是模型需要学习的核心。它训练一个神经网络（通常是U-Net），学习如何从第t步的带噪图片中，预测出所添加的噪声。学会了预测噪声，就相当于知道了如何从t步回到t-1步更清晰的状态。
• 关键公式：去噪网络的训练目标是最小化预测噪声与真实噪声的差距：L = E_{x0, t, ε}[|| ε - ε_θ(xt, t) ||^2 ]。其中x0是真实图片，t是随机时间步，ε是真实噪声，ε_θ是网络预测的噪声。
• 优点：
  1. 训练稳定：损失函数是简单的均方误差（MSE），不像GAN那样需要动态博弈。
  2. 生成质量与多样性俱佳：由于是对整个数据分布的似然进行隐式优化，它能很好地覆盖分布的不同模式。
  3. 可控性强：条件生成（如文生图）非常自然，只需在去噪过程中注入条件（如文本编码）即可。
• 缺点：原始形式推理速度慢，需要迭代数十至数百步。但如今已有众多加速采样技术（如DDIM、DPM-Solver）将其缩减到10-20步，实用性大增。

源码印证：看Stable Diffusion如何实现思想革新

理论说了很多，我们直接看当今最流行的开源扩散模型——Stable Diffusion的核心代码片段，来印证上述思想。它的关键创新是将扩散过程放在潜在空间而非像素空间，极大降低了计算量。

# 以下代码基于Stable Diffusion的简化逻辑，展示核心去噪过程importtorchfromdiffusersimportStableDiffusionPipeline# 1. 加载预训练管线（包含CLIP文本编码器、VAE、U-Net）pipe=StableDiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5")# 2. 文本编码：将提示词转化为U-Net能理解的条件向量prompt="一只戴着墨镜的猫，赛博朋克风格"text_embeddings=pipe._encode_prompt(prompt,device,1,do_classifier_free_guidance=True)# 3. 准备初始噪声（在潜在空间）latents=torch.randn(batch_size,4,height//8,width//8)# 潜在空间尺寸是图像的1/8# 4. 迭代去噪（核心扩散过程）fori,tinenumerate(timesteps):# 将当前潜在表示与时间步t结合latent_model_input=torch.cat([latents]*2)# 为分类器自由引导做复制latent_model_input=pipe.scheduler.scale_model_input(latent_model_input,t)# U-Net前向传播：预测噪声！！！# 关键：模型输入是带噪的潜在变量latent_model_input和时间步t，输出是对噪声的预测noise_pred=pipe.unet(latent_model_input,t,encoder_hidden_states=text_embeddings).sample# 执行调度器步骤（如DDIM），根据预测的噪声计算更清晰的潜在表示latents=pipe.scheduler.step(noise_pred,t,latents).prev_sample# 5. 通过VAE解码器，将干净的潜在变量转换回像素空间图像image=pipe.vae.decode(latents/0.18215).sample

代码关键点解读：

• pipe.unet(...)：这是核心。U-Net并不直接预测图像，而是预测噪声noise_pred。这正是扩散模型思想的体现——学习去噪。
• pipe.scheduler.step()：根据预测的噪声和特定的采样算法（如DDIM），计算出上一步（prev_sample）的、噪声更少的潜在表示。
• 潜在空间：所有操作在latents（形状为[B, 4, H/8, W/8]）上进行，而非[B, 3, H, W]的像素空间，这是效率提升的关键。
• 条件注入：encoder_hidden_states=text_embeddings将文本条件输入U-Net，实现了文生图的精准控制。

实际影响：技术演进如何重塑AI生成领域

这场思想演进带来的影响是颠覆性的：

1. 技术民主化：以Stable Diffusion为代表的开源扩散模型，打破了之前由GAN和大型闭源模型（如早期DALL-E）的技术壁垒。个人开发者和小团队也能基于此构建应用。
2. 工作流革命：AI绘画从“玩具”变为“生产力工具”。设计师、原画师的工作流被深刻改变，快速构思和迭代成为可能。我参与的AIGC项目，需求方从问“能不能做”变成了“怎么做得更快更好”。
3. 多模态融合成为标配：扩散模型天生适合做条件生成，CLIP等模型的出现让文本作为控制信号变得无比自然。这直接催生了“提示词工程”这一新领域。
4. 新的挑战浮现：版权、伦理、深度伪造等问题随着技术普及而加剧。同时，如何更精细地控制生成（如精确控制人物姿态、物体数量），仍是当前研究的热点（ControlNet等插件应运而生）。

总结一下演进脉络：我们从自回归的精确但缓慢，到GAN的锐利但不稳定，最终走到了扩散模型的均衡与强大。扩散模型用“渐进去噪”这一巧妙的物理启发式思想，在训练稳定性和生成质量多样性之间找到了黄金平衡点，并通过潜在空间等技术大幅提升了实用性。

这不仅仅是模型的更换，更是AI生成任务从“模仿”到“创造”的认知升级。它告诉我们，解决复杂问题，有时不需要直接硬撼，而是可以设计一个巧妙的、可学习的“过程”来渐进地达成目标。

如有问题欢迎评论区交流，持续更新中…