扩散模型和大语言模型这两条技术路线在过去两年里各自狂奔但真正把两者揉在一起的人并不多。我在做模型架构实验的时候一度觉得自回归这条路已经卷到头了——无非是堆参数、堆数据、堆上下文长度。直到我把扩散模型那套“加噪-去噪”的思路往文本生成上套了一次才发现这里面的想象空间比我想的大得多。这篇文章不聊虚的就聊怎么把扩散模型的核心思想真正落地到大语言模型里包括我踩过的坑、试过的方案、以及目前能跑通的几种工程路径。如果你正在做文本生成相关的架构探索或者对“非自回归生成”这条路感兴趣下面的内容应该能帮你省掉不少试错时间。1. 为什么要把扩散思想塞进大语言模型1.1 自回归生成的三个硬伤大语言模型的主流生成方式一直是自回归——从左到右一个token一个token地往外蹦。这套范式成熟、稳定、生态好但它有三个绕不过去的硬伤。第一个是生成速度的线性瓶颈。生成长度为N的序列就需要N次前向传播每次都要等上一个token出来才能算下一个。虽然KV Cache把重复计算省掉了但串行的本质没变。你生成一篇1000字的文章模型就得老老实实跑1000步。这个延迟在实时对话场景里还能忍到了长文本生成、代码补全、批量推理这些场景就非常难受。第二个是全局一致性问题。自回归模型在生成第500个token的时候对第50个token的“记忆”已经衰减得很厉害了。虽然注意力机制理论上能看全上下文但实际训练中远距离依赖的建模效果并不理想。结果就是长文本容易出现前后矛盾、逻辑断裂、重复啰嗦这些毛病。你让它写一篇长文开头说“本文从三个维度分析”写到后面可能只分析了两个第三个忘了。第三个是错误累积。自回归生成是“一步错、步步错”前面某个token采样偏了后面的生成就会沿着错误的方向一路狂奔。这种误差传播在长序列生成中尤其致命而且很难通过后处理修复。1.2 扩散模型带来的三个新视角扩散模型在图像生成领域的成功本质上靠的是三个核心机制而这三个机制恰好能对应解决上面说的三个问题。并行去噪。扩散模型的生成过程是从纯噪声开始经过固定步数的去噪迭代一次性得到完整结果。每一步去噪都是对全序列同时操作不存在“等前一个token”的问题。虽然去噪步数通常也有几十步但每一步的计算可以高度并行在GPU上的实际吞吐远高于同等长度的自回归生成。全局约束。扩散模型的每一步去噪都看到的是完整的带噪序列模型在每一步都在对全局做调整。这种“全局视野”让它在生成过程中天然具备一致性约束不会出现自回归那种“前面忘了后面”的问题。迭代精炼。扩散模型不是一次成型而是通过多步去噪逐步精炼。这意味着即使中间某一步去噪效果不理想后续步骤还有机会修正。这种“可纠错”的特性是自回归生成不具备的。把这三个机制迁移到文本生成上理论上能同时改善速度、一致性和鲁棒性。但文本和图像有本质差异——图像是连续信号文本是离散符号。这个差异是所有后续工程问题的根源。1.3 文本离散性带来的核心挑战图像扩散模型之所以work是因为像素值是连续实数加高斯噪声、算梯度、做反向传播都是自然操作。但文本token是离散的你没法直接给“猫”这个token加噪声变成“猫0.3个狗”。这个离散性带来两个核心难题。一是噪声定义问题怎么在离散空间里定义“加噪”和“去噪”二是梯度传播问题离散采样操作不可导怎么端到端训练目前主流的解法有三条路。第一条是连续化嵌入把token映射到连续嵌入空间在嵌入空间做扩散最后再投影回离散token。第二条是离散扩散直接在离散状态空间上定义转移概率矩阵用马尔可夫链做加噪去噪。第三条是掩码扩散把“加噪”定义为随机掩码去噪就是逐步恢复被掩码的token。这三条路各有优劣后面会详细拆。2. 连续嵌入空间扩散最接近图像扩散的路径2.1 整体架构设计连续嵌入空间扩散Embedding Diffusion是目前工程上最容易落地的一条路因为它最大程度复用了图像扩散的成熟组件。整体流程分四步。第一步文本编码。用预训练的文本编码器比如BERT、T5 Encoder或者大语言模型本身的Embedding层把输入文本映射成连续嵌入序列。假设序列长度为L嵌入维度为D就得到一个L×D的连续矩阵。第二步前向加噪。在这个连续嵌入矩阵上做标准的高斯扩散——按照预设的噪声调度表逐步加入高斯噪声直到变成纯噪声。这一步和图像扩散完全一样可以直接复用DDPM或DDIM的噪声调度。第三步反向去噪。用一个去噪网络通常是Transformer从纯噪声开始逐步预测并去除噪声恢复出干净的嵌入序列。去噪网络的输入是当前带噪嵌入和时间步t输出是预测的噪声或干净嵌入。第四步离散化投影。去噪完成后得到一个干净的连续嵌入序列需要把它映射回离散token。最简单的方式是找嵌入空间中距离最近的token嵌入最近邻搜索更精细的方式是训练一个轻量级的投影头或者用条件生成的方式做token解码。这套架构的核心优势是完全复用图像扩散的训练目标和损失函数不需要重新设计扩散过程。但它的核心难点在第四步——连续嵌入到离散token的投影会引入量化误差这个误差在长序列上会累积。2.2 嵌入空间的噪声调度怎么定图像扩散的噪声调度表比如linear、cosine、sigmoid是经过大量实验调出来的直接搬到文本嵌入空间不一定合适。我试过直接套用cosine调度发现文本嵌入的数值范围比图像像素小得多同样的噪声强度会把嵌入完全淹没。我的经验是文本嵌入空间的噪声调度需要重新标定。具体做法是先统计训练集嵌入的均值和方差然后根据嵌入的数值范围来缩放噪声强度。一个实用的技巧是把噪声强度归一化到嵌入标准差的某个比例比如初始噪声强度设为嵌入标准差的0.1倍最终噪声强度设为10倍。另外嵌入维度对噪声调度也有影响。D768和D4096的嵌入空间同样的噪声强度效果完全不同。高维空间里噪声更容易“淹没”信号所以维度越高噪声强度应该相对调低。我一般会用一个简单的启发式噪声强度基准值正比于1/sqrt(D)。还有一个容易忽略的点是嵌入的归一化。很多文本编码器输出的嵌入没有做归一化不同token的嵌入模长差异很大。这会导致噪声对不同token的影响不均匀——模长大的token抗噪能力强模长小的token很容易被噪声淹没。建议在加噪前先对嵌入做LayerNorm或者L2归一化让所有token的嵌入在同一尺度上。2.3 去噪网络的结构选型去噪网络是这套架构的核心组件它的结构直接决定了生成质量。目前有三种主流选择。标准Transformer去噪器。这是最直接的选择把带噪嵌入序列喂给一个标准Transformer输出预测的噪声。Transformer的自注意力机制天然适合处理序列数据而且可以直接复用预训练的大语言模型权重。我试过用LLaMA的架构做去噪器把输入层改成接受连续嵌入效果比从头训练好很多。U-Net变体。图像扩散里U-Net是标配但直接搬到文本上效果一般。原因是U-Net的下采样-上采样结构是为图像的空间局部性设计的文本序列没有这种空间结构。不过如果把U-Net的卷积换成1D卷积或者注意力效果会好一些。我试过用1D U-Net做文本扩散在小规模数据集上还能跑规模一大就不如Transformer。混合架构。比较有意思的是把Transformer和U-Net结合——底层用卷积做局部特征提取上层用注意力做全局建模。这种架构在长文本生成上表现不错因为卷积层能高效处理局部n-gram模式注意力层负责长距离依赖。选型建议如果算力充足直接用预训练大语言模型的Transformer架构做去噪器把Embedding层改成接受连续输入即可。这样能最大程度复用预训练知识收敛快、效果好。如果算力有限可以考虑轻量级的Transformer变体比如减少层数、用线性注意力等。2.4 离散化投影的精度损失与补偿连续嵌入扩散最头疼的问题就是最后一步的离散化投影。去噪网络输出的是连续嵌入但最终要生成的是离散token。这个投影过程会引入量化误差而且误差会随着序列长度累积。我做过一个实验用连续嵌入扩散生成128个token的序列如果直接用最近邻投影生成文本的困惑度比自回归模型高30%左右。这个差距主要来自量化误差。补偿方案有几种。第一种是训练一个轻量级的投影头把去噪后的嵌入映射到token概率分布上。这个投影头可以是一个简单的线性层加softmax也可以是一个小型的Transformer。关键是训练时要让投影头和去噪网络联合优化而不是分开训练。第二种是引入重参数化技巧。在训练时把离散token的嵌入加上一个可学习的扰动让去噪网络适应这种扰动。推理时用多次采样加投票的方式选择最终token。这个方案能显著降低量化误差但推理成本会翻倍。第三种是混合生成。先用连续嵌入扩散生成一个“粗粒度”的嵌入序列然后用一个轻量级自回归模型做“精修”把嵌入序列转成高质量文本。这个方案结合了扩散的全局一致性和自回归的局部精度效果不错但架构复杂度高。我目前最推荐的是第一种方案——训练一个联合优化的投影头。实现简单效果也够用。具体做法是在去噪网络的最后一层加一个线性投影输出维度等于词表大小然后用交叉熵损失和扩散损失联合训练。3. 离散扩散直接在token空间做文章3.1 离散状态空间的转移矩阵设计离散扩散Discrete Diffusion的核心思想是不去连续嵌入空间绕一圈直接在离散token空间上定义加噪和去噪过程。具体来说用一个转移概率矩阵Q来定义“加噪”操作——每个token以一定概率转移到其他token。最常用的是均匀转移矩阵每个token以概率β转移到词表中任意其他token以概率1-β保持不变。这个设计简单但有个问题——它把所有token一视同仁没有考虑token之间的语义相似性。把“猫”加噪成“狗”和加噪成“的”在均匀转移下概率是一样的但显然前者更合理。改进方案是基于语义相似度的转移矩阵。用预训练词嵌入计算token之间的相似度相似度高的token之间转移概率大相似度低的转移概率小。这样加噪过程更“平滑”去噪也更容易。我试过用Word2Vec和BERT嵌入来构建转移矩阵效果比均匀转移好不少但计算转移矩阵的开销不小词表大了之后存储和采样都是问题。还有一个折中方案是吸收态扩散。引入一个特殊的[MASK] token作为吸收态加噪过程就是逐步把token替换成[MASK]去噪过程就是逐步恢复被掩码的token。这个方案的好处是转移矩阵极其简单只有替换成MASK和保持不变两种操作而且和BERT的掩码语言模型天然兼容。缺点是生成过程需要固定步数不能像连续扩散那样灵活控制。3.2 去噪过程的参数化与训练目标离散扩散的训练目标和连续扩散有本质区别。连续扩散预测的是噪声或干净样本用的是MSE损失。离散扩散预测的是token转移概率用的是交叉熵损失。具体来说给定带噪序列x_t和时间步t去噪网络需要预测x_0干净序列或者预测x_{t-1}上一步的序列。预测x_0的方式更常用因为可以直接用交叉熵损失监督。训练时从训练集采样干净序列x_0按照转移矩阵逐步加噪得到x_t然后把x_t和t喂给去噪网络让它预测x_0。这里有个关键细节时间步t的编码方式。连续扩散里t是一个连续值用正弦位置编码就行。离散扩散里t是离散的0到T可以用可学习的嵌入或者one-hot编码。我试过两种方式可学习嵌入效果稍好但参数量随T线性增长。如果T很大比如1000步建议用正弦编码加线性投影。另一个细节是损失函数的加权。不同时间步的预测难度不同——t小的时候噪声少预测容易t大的时候噪声多预测难。如果所有时间步用同样的损失权重模型会偏向于优化容易的时间步。常用的做法是按照1/t或者信噪比来加权让模型更关注困难的时间步。3.3 采样加速从1000步到20步离散扩散最大的工程问题是采样速度。标准DDPM需要1000步去噪每步都要跑一次完整的去噪网络这个开销比自回归生成还大。所以采样加速是必须解决的问题。DDIM式的确定性采样。DDIM的核心思想是把随机去噪过程变成确定性过程从而支持跳步采样。在离散扩散里也可以做类似的事情——把转移矩阵分解成确定性部分和随机部分采样时只保留确定性部分就可以跳步了。我试过把1000步跳到50步生成质量下降不明显。蒸馏加速。用一个已经训练好的多步扩散模型作为教师训练一个少步数的学生模型。学生模型直接学习从噪声到干净样本的映射跳过中间步骤。这个方案能把步数压到4-8步但训练成本高而且学生模型容易丢失多样性。并行采样。离散扩散的每一步去噪可以并行处理所有位置这是它相对于自回归的天然优势。虽然步数多但每步的并行度高。在实际GPU上20步离散扩散的端到端延迟可能比100步自回归还低。所以步数不是唯一指标要看实际吞吐。我目前的做法是DDIM跳步加蒸馏组合拳——先用DDIM把步数从1000压到50再用蒸馏压到10步左右。生成质量损失在可接受范围内速度比自回归快3-5倍。3.4 和掩码语言模型的本质联系离散扩散和掩码语言模型MLM之间有深刻的联系。实际上吸收态离散扩散可以看作是MLM的泛化——MLM只在一个固定的掩码比例上训练而离散扩散在多个噪声水平上训练。这个联系带来一个重要的实践启示可以直接用预训练的MLM权重来初始化离散扩散的去噪网络。BERT、RoBERTa这些模型已经在掩码预测任务上训练得很充分了它们的权重包含了丰富的token转移先验知识。用这些权重做初始化离散扩散的收敛速度能快很多。我试过用RoBERTa-base初始化离散扩散的去噪网络在相同数据量下收敛步数比随机初始化少了60%左右。而且最终生成质量也更好因为预训练权重提供了更好的归纳偏置。不过要注意MLM的训练目标只涉及单一掩码比例通常是15%而离散扩散需要处理多个噪声水平。所以初始化之后还需要在多个噪声水平上继续训练让模型适应不同的噪声强度。这个微调过程不能省否则模型在高噪声水平下表现会很差。4. 掩码扩散工程上最务实的方案4.1 为什么掩码扩散最适合大语言模型掩码扩散Masked Diffusion是离散扩散的一个特例也是目前工程上最务实的方案。它的核心操作极其简单加噪就是把token随机替换成[MASK]去噪就是预测被掩码位置的原始token。这个方案之所以最适合大语言模型有三个原因。第一和现有MLM生态完全兼容。BERT、RoBERTa、DeBERTa这些模型的训练目标就是掩码预测可以直接复用。第二训练目标简单。不需要设计复杂的转移矩阵只需要一个掩码比例调度表。第三生成过程可控。可以通过控制掩码比例和去噪步数来灵活调节生成质量和速度。我目前的主力方案就是掩码扩散。在同等参数量下掩码扩散的生成质量已经接近自回归模型而生成速度在长序列场景下有明显优势。4.2 掩码调度表的设计与调优掩码调度表决定了训练时每个时间步的掩码比例。最简单的设计是线性调度从0%线性增加到100%。但线性调度有个问题——低掩码比例和高掩码比例的区域训练信号不均衡。更好的方案是余弦调度掩码比例按照余弦曲线变化在中间区域变化快两端变化慢。这样能让模型在中等掩码比例区域得到更充分的训练而这个区域恰好是去噪最难、最关键的。我试过几种调度表实测下来余弦调度的效果最好。具体参数是初始掩码比例0.05最终掩码比例0.95总步数1000。这个配置在多个数据集上都表现稳定。还有一个细节是掩码比例的采样策略。训练时不需要严格按照调度表逐步加噪可以随机采样一个掩码比例然后一次性掩码。这样训练效率更高而且模型能见到更多样的掩码模式。我一般会在[0.05, 0.95]区间内均匀采样但会稍微偏向中等比例0.3-0.7因为这个区域最难学。4.3 去噪网络的注意力掩码设计掩码扩散的去噪网络有一个特殊设计需求注意力掩码。因为输入序列里有大量[MASK] token这些位置不应该参与注意力计算否则会引入噪声。具体来说在计算自注意力时需要把[MASK]位置的query和key都屏蔽掉。这样每个非掩码token只能看到其他非掩码token注意力分布更干净。我试过不屏蔽[MASK]位置生成质量明显下降因为模型会从掩码位置“抄答案”。另一个设计是位置编码的处理。掩码扩散的输入序列里[MASK]位置也有位置编码但这些位置的实际token是未知的。我的做法是给[MASK]位置一个可学习的位置嵌入让模型自己学习如何表示这些位置。这个可学习嵌入和正常位置编码相加作为最终的输入表示。还有一个工程细节是输出层的设计。去噪网络只需要预测被掩码位置的token非掩码位置可以直接复制输入。所以输出层可以只对掩码位置计算logits这样能省不少计算。实现上可以用一个掩码矩阵来选择需要计算的位置。4.4 从BERT到扩散模型的微调路径如果你已经有一个训练好的BERT或RoBERTa模型想把它改造成掩码扩散模型微调路径大概是这样的。第一步改造输入层。BERT的输入是token嵌入加位置编码加token类型编码。掩码扩散不需要token类型编码因为只有单序列可以去掉。位置编码保留但需要增加一个可学习的[MASK]位置嵌入。第二步改造训练目标。BERT的训练目标是预测15%的掩码token。掩码扩散需要预测不同掩码比例下的token。所以要把固定的15%掩码改成随机掩码比例并在损失函数里加上时间步条件。第三步加入时间步编码。去噪网络需要知道当前是哪个时间步即掩码比例是多少。可以把时间步编码加到输入嵌入里也可以在每个Transformer层里加入条件归一化类似FiLM。第四步多噪声水平微调。在多个掩码比例上继续训练让模型适应不同的噪声强度。这个阶段的学习率要调小一般是预训练学习率的1/10到1/5。整个微调过程在8卡A100上大概需要3-5天取决于数据量和模型规模。我试过用RoBERTa-base110M参数做这个微调在单卡V100上跑了大概一周生成质量已经可用了。5. 训练策略与损失函数设计5.1 噪声预测与干净样本预测的取舍扩散模型的训练目标有两种主流选择预测噪声ε-prediction和预测干净样本x0-prediction。在图像扩散里ε-prediction是默认选择但在文本扩散里x0-prediction往往更合适。原因是文本的离散性。在连续嵌入空间里ε-prediction预测的是高斯噪声这个噪声是连续的、无结构的。但文本嵌入是有结构的预测噪声相当于让模型学习一个“反结构”的目标不太自然。x0-prediction直接预测干净嵌入目标更有结构模型更容易学。我做过对比实验在相同架构和数据下x0-prediction的收敛速度比ε-prediction快30%左右最终生成质量也更好。所以我的建议是文本扩散默认用x0-prediction。不过ε-prediction也有它的优势——数值稳定性更好。x0-prediction在t接近T噪声很大的时候预测目标方差很大训练容易不稳定。解决方案是用v-prediction速度预测它是ε和x0的线性组合兼顾了两者的优点。我试过v-prediction在训练稳定性上确实比x0好但收敛速度稍慢。具体选哪个看你的优先级。5.2 时间步采样策略对收敛的影响时间步t的采样策略对训练收敛影响很大。最简单的是均匀采样每个batch里随机均匀采样t。但均匀采样有个问题——大部分时间步的损失很小因为预测容易少数困难时间步的损失很大导致梯度信号被稀释。更好的策略是重要性采样根据损失大小来调整采样概率损失大的时间步采样概率高。实现上可以用一个简单的在线估计——维护每个时间步的近期平均损失然后按损失大小做softmax采样。这个策略能让收敛速度提升20-30%。另一个策略是分层采样把时间步分成几个区间每个区间内均匀采样但区间之间的采样概率不同。比如低噪声区间采样概率0.2中噪声区间0.5高噪声区间0.3。这个策略实现简单效果也不错。我目前用的是重要性采样加分层采样的组合——先分层再在层内按损失做重要性采样。这个组合在多个任务上都表现稳定收敛速度比纯均匀采样快不少。5.3 分类器-free引导在文本生成中的应用分类器-free引导Classifier-Free Guidance, CFG是扩散模型里的一个重要技巧它通过同时训练条件模型和无条件模型在推理时用两者的差值来增强条件信号。在文本扩散里CFG可以用来控制生成文本的“条件强度”。比如做条件生成时可以用CFG来调节生成文本和条件之间的相关性。引导系数w越大生成文本越贴近条件但多样性会下降。我试过在掩码扩散里用CFG做主题控制。具体做法是训练时以一定概率比如10%把条件替换成空条件让模型同时学会条件和无条件生成。推理时用条件预测和无条件预测的差值来引导采样。实测下来w2.0左右效果最好生成文本既贴合主题又不失多样性。不过CFG在文本扩散里的效果不如图像扩散那么显著。原因是文本的条件信号比如主题词和生成目标token序列之间的关系比图像更复杂简单的线性引导不一定能捕捉到这种关系。我的经验是CFG在短文本生成上效果明显长文本生成上效果有限。5.4 训练不稳定性的排查与修复扩散模型训练不稳定是常见问题文本扩散尤其如此。我遇到过几种典型的不稳定情况以及对应的修复方案。损失震荡。表现为训练损失忽高忽低没有稳定下降趋势。原因通常是学习率太大或者batch size太小。修复方案是降低学习率比如从1e-4降到5e-5或者增大batch size。另外加入梯度裁剪gradient clipping也能有效缓解震荡。模式崩溃。表现为生成结果多样性极差所有输出都差不多。原因通常是训练数据多样性不足或者模型容量太小。修复方案是增加数据多样性或者增大模型容量。另外在损失函数里加入多样性正则项也有帮助。后验坍塌。这是扩散模型特有的问题——模型学会了忽略时间步条件对所有t都输出同样的预测。原因是时间步编码太弱模型直接把它忽略了。修复方案是增强时间步编码比如用更复杂的编码网络或者在损失函数里加入时间步预测的辅助任务。数值溢出。在连续嵌入扩散里如果嵌入数值范围很大加噪后可能出现数值溢出。修复方案是对嵌入做归一化或者用混合精度训练时注意缩放因子。我踩过最坑的一次是后验坍塌——训练了三天损失降得很好但生成结果全是乱码。排查了半天才发现是时间步编码的维度太小只有16维模型直接把它忽略了。后来把时间步编码维度加到256问题就解决了。6. 推理加速与生成质量控制6.1 步数压缩的极限在哪里扩散模型的推理步数是生成速度的直接决定因素。标准DDPM需要1000步DDIM能压到50-100步蒸馏能压到4-8步。那步数压缩的极限在哪里从信息论角度看扩散模型的去噪过程是在逐步恢复信息。每一步去噪能恢复的信息量是有限的步数太少会导致信息恢复不充分。理论上步数的下限取决于生成目标的复杂度和噪声调度的设计。我做过一个实验在掩码扩散里逐步减少步数观察生成质量的变化。结果发现从1000步压到100步质量下降很小从100步压到20步质量开始明显下降压到10步以下生成结果基本不可用。所以20步左右是一个比较安全的压缩极限。当然这个极限和模型规模、数据复杂度有关。大模型能承受更少的步数因为它的去噪能力更强。我试过用1.3B参数的掩码扩散模型10步生成的质量已经可用了。而110M的小模型20步是底线。6.2 并行解码与投机采样的结合扩散模型的一个天然优势是并行解码——每一步去噪可以同时处理所有位置。但这个并行度受限于去噪网络的容量。如果去噪网络不够强并行去噪的效果会很差。一个有意思的思路是把扩散和投机采样结合。投机采样是自回归生成里的加速技巧——用一个小的草稿模型快速生成多个token然后用大模型验证。在扩散模型里也可以做类似的事情用一个小的扩散模型快速生成一个粗粒度的嵌入序列然后用大的自回归模型做精修。我试过这个方案在长文本生成上能提速2-3倍。但架构复杂度高需要同时维护两个模型工程成本不小。如果追求极致速度可以考虑这个方案如果追求简单可靠还是用DDIM加蒸馏的组合更务实。6.3 生成多样性与质量的平衡扩散模型的一个固有问题是多样性-质量权衡。去噪步数越多生成质量越高但多样性越低。因为多步去噪会逐步收敛到一个“平均”的结果丢失了随机性。在文本生成里这个问题尤其明显。步数多了生成的文本很流畅但很“套路”步数少了文本有创意但可能不通顺。我的经验是在20-50步之间找一个平衡点。具体步数取决于任务——如果是对话生成20步左右就够了如果是创意写作可以适当增加到30-50步。另外在采样时加入温度参数也能调节多样性。温度高多样性好但质量降温度低质量好但多样性差。我一般用温度0.8-1.0。还有一个技巧是在去噪过程中加入随机扰动。每一步去噪后给嵌入加一点小噪声增加随机性。这个扰动不能太大否则会破坏生成质量。我一般用嵌入标准差的0.01倍作为扰动强度。6.4 长文本生成的滑动窗口策略扩散模型处理长文本时面临显存和计算量的双重压力。序列长度翻倍注意力计算量翻四倍显存占用也大幅增加。所以长文本生成需要滑动窗口策略。最简单的滑动窗口是固定窗口加重叠。把长文本分成固定长度的窗口窗口之间有重叠区域。每个窗口独立做扩散生成然后拼接起来。重叠区域用来做平滑过渡避免窗口边界处的断裂。更精细的方案是层次化扩散。先生成一个粗粒度的全局规划比如段落级别的主题序列然后在每个段落内部做细粒度的token扩散。这个方案能保证长文本的全局一致性但架构复杂度高。我目前用的是固定窗口加重叠的方案窗口长度256重叠64。这个配置在生成2000字以上的长文本时表现稳定。重叠区域用线性加权融合避免边界突变。7. 实际部署中的工程考量7.1 显存优化从梯度检查点到量化扩散模型的显存占用比同规模的自回归模型高因为去噪网络需要同时处理多个时间步的输入。显存优化是部署时的必修课。梯度检查点是最基本的优化手段。把去噪网络分成若干段每段的前向激活值不保存反向传播时重新计算。这个技巧能把显存占用降低60-70%代价是训练速度慢20-30%。我一般会在显存不够时开启梯度检查点。混合精度训练是另一个标配。用FP16或BF16做前向和反向FP32做参数更新。这个技巧能降低一半显存占用而且速度还有提升。不过要注意数值稳定性——扩散模型的损失函数对数值精度比较敏感用FP16时容易出现梯度下溢。BF16的数值范围更大更适合扩散模型。量化推理是部署时的关键。把模型权重量化到INT8或INT4能大幅降低显存占用和推理延迟。我试过用GPTQ做4bit量化生成质量损失很小但显存占用降到原来的1/4。不过量化后的模型在去噪步数少的时候质量下降更明显因为量化误差会累积。7.2 批处理与动态序列长度扩散模型的批处理比自回归模型复杂因为不同样本的序列长度可能不同。如果直接padding到最大长度短序列会浪费大量计算。动态序列长度是解决方案——每个batch只padding到当前batch的最大长度而不是全局最大长度。这个技巧在序列长度分布不均匀时能省不少计算。实现上需要自定义collate函数把同长度的样本放在一起。批内并行是另一个优化点。扩散模型的每一步去噪可以并行处理batch内所有样本这个并行度比自回归高得多。所以扩散模型更适合大batch推理能充分利用GPU的并行能力。我一般用batch size 32-64做推理吞吐比自回归高不少。7.3 服务化部署的延迟与吞吐权衡把扩散模型部署成在线服务时延迟和吞吐是一对矛盾。低延迟需要小batch、少步数高吞吐需要大batch、多步数。我的经验是根据场景做分级部署。实时对话场景用少步数10-20步加小batch保证低延迟离线批量生成场景用多步数50-100步加大batch保证高质量和高吞吐。另一个技巧是预计算和缓存。扩散模型的去噪过程有一些中间结果可以缓存比如时间步编码、位置编码等。这些不随输入变化的量可以预计算好推理时直接查表能省不少计算。还有一个工程细节是去噪网络的算子融合。把LayerNorm、注意力、残差连接这些操作融合成一个大算子能减少kernel launch开销提升推理速度。这个优化在TensorRT和ONNX Runtime里都有支持。7.4 和现有大语言模型服务栈的集成把扩散模型集成到现有的大语言模型服务栈里最大的挑战是接口不兼容。自回归模型的服务接口通常是流式的——生成一个token返回一个。扩散模型是批式的——所有token一起生成。解决方案是在服务层做适配。把扩散模型的输出包装成流式接口虽然内部是批式生成但对外表现成流式。具体做法是生成完成后按token逐个返回中间加一点延迟模拟流式效果。这个方案对上层应用透明不需要改调用方代码。另一个挑战是资源调度。扩散模型的显存占用和计算模式与自回归模型不同需要单独的资源池。我一般会把扩散模型部署在独立的GPU节点上通过API网关做路由。这样既能复用现有的服务框架又能针对扩散模型做专门的优化。8. 我踩过的五个坑和对应的解法8.1 嵌入空间噪声强度设错导致训练不收敛第一次做连续嵌入扩散时我直接套用了图像扩散的噪声调度结果训练损失完全不降。排查了很久才发现是噪声强度设太大了——图像像素值范围是0-255文本嵌入范围是-1到1同样的噪声强度直接把嵌入淹没了。解法先统计嵌入的均值和标准差然后根据嵌入尺度来缩放噪声强度。我现在的做法是初始噪声强度设为嵌入标准差的0.1倍最终噪声强度设为10倍。这个比例在多个数据集上都表现稳定。8.2 时间步编码太弱导致后验坍塌前面提过我用16维的时间步编码训练了三天损失降得很好但生成全是乱码。原因是模型直接忽略了时间步条件对所有t输出同样的预测。解法把时间步编码维度加到256并且在每个Transformer层里加入条件归一化。这样时间步信号能贯穿整个网络不会被忽略。另外在损失函数里加入时间步预测的辅助任务也有帮助——让模型除了预测token还要预测当前的时间步。8.3 离散化投影误差累积导致长文本质量崩溃连续嵌入扩散生成短文本时质量还行但生成长文本时质量急剧下降。排查发现是离散化投影的量化误差在长序列上累积导致后面的token完全跑偏。解法训练一个联合优化的投影头而不是用最近邻搜索。投影头是一个两层MLP输出去噪后的嵌入输出词表上的概率分布。训练时用交叉熵损失和扩散损失联合优化。这个方案把长文本生成的困惑度降低了25%左右。8.4 采样步数压缩过度导致生成结果不可用为了提速我把采样步数从1000压到10步结果生成结果完全不可用——要么是重复token要么是乱码。原因是步数太少去噪不充分。解法找到步数压缩的安全极限。我的实验结果是20步是底线低于20步质量下降明显。如果非要更少步数需要用蒸馏训练一个专门的学生模型而不是直接压缩教师模型的步数。8.5 批处理时序列长度不齐导致显存爆炸做批处理推理时不同样本的序列长度差异很大。我一开始直接padding到全局最大长度结果显存直接爆了。原因是padding出来的无效token也参与了注意力计算浪费了大量显存。解法用动态序列长度每个batch只padding到当前batch的最大长度。另外在注意力计算时用attention mask把padding位置屏蔽掉。这两个优化加起来显存占用降低了40%左右。9. 这条路接下来还能怎么走扩散模型和大语言模型的结合目前还在早期阶段很多问题没有标准答案。但有几个方向我觉得值得关注。多模态统一扩散。既然图像和文本都可以用扩散生成那能不能用一个统一的扩散框架同时处理两种模态这个方向已经有了一些探索比如用共享的去噪网络处理图像和文本嵌入。如果做成对多模态生成的意义很大。扩散模型和强化学习的结合。扩散模型的去噪过程可以看作一个序贯决策过程每一步去噪是一个动作。用强化学习来优化去噪策略理论上能提升生成质量和效率。这个方向目前探索的人还不多但潜力不小。更高效的离散扩散算法。目前的离散扩散在采样效率上还是不如连续扩散。如果能设计出更高效的离散转移矩阵和采样算法离散扩散的实用性会大幅提升。和检索增强生成的结合。扩散模型的全局一致性优势和检索增强生成的准确性优势理论上可以互补。用检索结果作为扩散生成的条件可能能同时提升生成质量和事实准确性。我在实际项目里目前主要用掩码扩散做长文本生成效果已经能打平自回归模型速度在长序列场景下有2-3倍优势。但短文本生成上扩散模型还是不如自回归所以短期内两者会是互补关系而不是替代关系。如果你也在做这方面的探索建议先从掩码扩散入手工程门槛最低和现有MLM生态兼容性最好。等跑通了再尝试连续嵌入扩散或离散扩散逐步深入。
扩散模型与大语言模型融合实战：非自回归文本生成的工程路径与踩坑指南
扩散模型和大语言模型这两条技术路线在过去两年里各自狂奔但真正把两者揉在一起的人并不多。我在做模型架构实验的时候一度觉得自回归这条路已经卷到头了——无非是堆参数、堆数据、堆上下文长度。直到我把扩散模型那套“加噪-去噪”的思路往文本生成上套了一次才发现这里面的想象空间比我想的大得多。这篇文章不聊虚的就聊怎么把扩散模型的核心思想真正落地到大语言模型里包括我踩过的坑、试过的方案、以及目前能跑通的几种工程路径。如果你正在做文本生成相关的架构探索或者对“非自回归生成”这条路感兴趣下面的内容应该能帮你省掉不少试错时间。1. 为什么要把扩散思想塞进大语言模型1.1 自回归生成的三个硬伤大语言模型的主流生成方式一直是自回归——从左到右一个token一个token地往外蹦。这套范式成熟、稳定、生态好但它有三个绕不过去的硬伤。第一个是生成速度的线性瓶颈。生成长度为N的序列就需要N次前向传播每次都要等上一个token出来才能算下一个。虽然KV Cache把重复计算省掉了但串行的本质没变。你生成一篇1000字的文章模型就得老老实实跑1000步。这个延迟在实时对话场景里还能忍到了长文本生成、代码补全、批量推理这些场景就非常难受。第二个是全局一致性问题。自回归模型在生成第500个token的时候对第50个token的“记忆”已经衰减得很厉害了。虽然注意力机制理论上能看全上下文但实际训练中远距离依赖的建模效果并不理想。结果就是长文本容易出现前后矛盾、逻辑断裂、重复啰嗦这些毛病。你让它写一篇长文开头说“本文从三个维度分析”写到后面可能只分析了两个第三个忘了。第三个是错误累积。自回归生成是“一步错、步步错”前面某个token采样偏了后面的生成就会沿着错误的方向一路狂奔。这种误差传播在长序列生成中尤其致命而且很难通过后处理修复。1.2 扩散模型带来的三个新视角扩散模型在图像生成领域的成功本质上靠的是三个核心机制而这三个机制恰好能对应解决上面说的三个问题。并行去噪。扩散模型的生成过程是从纯噪声开始经过固定步数的去噪迭代一次性得到完整结果。每一步去噪都是对全序列同时操作不存在“等前一个token”的问题。虽然去噪步数通常也有几十步但每一步的计算可以高度并行在GPU上的实际吞吐远高于同等长度的自回归生成。全局约束。扩散模型的每一步去噪都看到的是完整的带噪序列模型在每一步都在对全局做调整。这种“全局视野”让它在生成过程中天然具备一致性约束不会出现自回归那种“前面忘了后面”的问题。迭代精炼。扩散模型不是一次成型而是通过多步去噪逐步精炼。这意味着即使中间某一步去噪效果不理想后续步骤还有机会修正。这种“可纠错”的特性是自回归生成不具备的。把这三个机制迁移到文本生成上理论上能同时改善速度、一致性和鲁棒性。但文本和图像有本质差异——图像是连续信号文本是离散符号。这个差异是所有后续工程问题的根源。1.3 文本离散性带来的核心挑战图像扩散模型之所以work是因为像素值是连续实数加高斯噪声、算梯度、做反向传播都是自然操作。但文本token是离散的你没法直接给“猫”这个token加噪声变成“猫0.3个狗”。这个离散性带来两个核心难题。一是噪声定义问题怎么在离散空间里定义“加噪”和“去噪”二是梯度传播问题离散采样操作不可导怎么端到端训练目前主流的解法有三条路。第一条是连续化嵌入把token映射到连续嵌入空间在嵌入空间做扩散最后再投影回离散token。第二条是离散扩散直接在离散状态空间上定义转移概率矩阵用马尔可夫链做加噪去噪。第三条是掩码扩散把“加噪”定义为随机掩码去噪就是逐步恢复被掩码的token。这三条路各有优劣后面会详细拆。2. 连续嵌入空间扩散最接近图像扩散的路径2.1 整体架构设计连续嵌入空间扩散Embedding Diffusion是目前工程上最容易落地的一条路因为它最大程度复用了图像扩散的成熟组件。整体流程分四步。第一步文本编码。用预训练的文本编码器比如BERT、T5 Encoder或者大语言模型本身的Embedding层把输入文本映射成连续嵌入序列。假设序列长度为L嵌入维度为D就得到一个L×D的连续矩阵。第二步前向加噪。在这个连续嵌入矩阵上做标准的高斯扩散——按照预设的噪声调度表逐步加入高斯噪声直到变成纯噪声。这一步和图像扩散完全一样可以直接复用DDPM或DDIM的噪声调度。第三步反向去噪。用一个去噪网络通常是Transformer从纯噪声开始逐步预测并去除噪声恢复出干净的嵌入序列。去噪网络的输入是当前带噪嵌入和时间步t输出是预测的噪声或干净嵌入。第四步离散化投影。去噪完成后得到一个干净的连续嵌入序列需要把它映射回离散token。最简单的方式是找嵌入空间中距离最近的token嵌入最近邻搜索更精细的方式是训练一个轻量级的投影头或者用条件生成的方式做token解码。这套架构的核心优势是完全复用图像扩散的训练目标和损失函数不需要重新设计扩散过程。但它的核心难点在第四步——连续嵌入到离散token的投影会引入量化误差这个误差在长序列上会累积。2.2 嵌入空间的噪声调度怎么定图像扩散的噪声调度表比如linear、cosine、sigmoid是经过大量实验调出来的直接搬到文本嵌入空间不一定合适。我试过直接套用cosine调度发现文本嵌入的数值范围比图像像素小得多同样的噪声强度会把嵌入完全淹没。我的经验是文本嵌入空间的噪声调度需要重新标定。具体做法是先统计训练集嵌入的均值和方差然后根据嵌入的数值范围来缩放噪声强度。一个实用的技巧是把噪声强度归一化到嵌入标准差的某个比例比如初始噪声强度设为嵌入标准差的0.1倍最终噪声强度设为10倍。另外嵌入维度对噪声调度也有影响。D768和D4096的嵌入空间同样的噪声强度效果完全不同。高维空间里噪声更容易“淹没”信号所以维度越高噪声强度应该相对调低。我一般会用一个简单的启发式噪声强度基准值正比于1/sqrt(D)。还有一个容易忽略的点是嵌入的归一化。很多文本编码器输出的嵌入没有做归一化不同token的嵌入模长差异很大。这会导致噪声对不同token的影响不均匀——模长大的token抗噪能力强模长小的token很容易被噪声淹没。建议在加噪前先对嵌入做LayerNorm或者L2归一化让所有token的嵌入在同一尺度上。2.3 去噪网络的结构选型去噪网络是这套架构的核心组件它的结构直接决定了生成质量。目前有三种主流选择。标准Transformer去噪器。这是最直接的选择把带噪嵌入序列喂给一个标准Transformer输出预测的噪声。Transformer的自注意力机制天然适合处理序列数据而且可以直接复用预训练的大语言模型权重。我试过用LLaMA的架构做去噪器把输入层改成接受连续嵌入效果比从头训练好很多。U-Net变体。图像扩散里U-Net是标配但直接搬到文本上效果一般。原因是U-Net的下采样-上采样结构是为图像的空间局部性设计的文本序列没有这种空间结构。不过如果把U-Net的卷积换成1D卷积或者注意力效果会好一些。我试过用1D U-Net做文本扩散在小规模数据集上还能跑规模一大就不如Transformer。混合架构。比较有意思的是把Transformer和U-Net结合——底层用卷积做局部特征提取上层用注意力做全局建模。这种架构在长文本生成上表现不错因为卷积层能高效处理局部n-gram模式注意力层负责长距离依赖。选型建议如果算力充足直接用预训练大语言模型的Transformer架构做去噪器把Embedding层改成接受连续输入即可。这样能最大程度复用预训练知识收敛快、效果好。如果算力有限可以考虑轻量级的Transformer变体比如减少层数、用线性注意力等。2.4 离散化投影的精度损失与补偿连续嵌入扩散最头疼的问题就是最后一步的离散化投影。去噪网络输出的是连续嵌入但最终要生成的是离散token。这个投影过程会引入量化误差而且误差会随着序列长度累积。我做过一个实验用连续嵌入扩散生成128个token的序列如果直接用最近邻投影生成文本的困惑度比自回归模型高30%左右。这个差距主要来自量化误差。补偿方案有几种。第一种是训练一个轻量级的投影头把去噪后的嵌入映射到token概率分布上。这个投影头可以是一个简单的线性层加softmax也可以是一个小型的Transformer。关键是训练时要让投影头和去噪网络联合优化而不是分开训练。第二种是引入重参数化技巧。在训练时把离散token的嵌入加上一个可学习的扰动让去噪网络适应这种扰动。推理时用多次采样加投票的方式选择最终token。这个方案能显著降低量化误差但推理成本会翻倍。第三种是混合生成。先用连续嵌入扩散生成一个“粗粒度”的嵌入序列然后用一个轻量级自回归模型做“精修”把嵌入序列转成高质量文本。这个方案结合了扩散的全局一致性和自回归的局部精度效果不错但架构复杂度高。我目前最推荐的是第一种方案——训练一个联合优化的投影头。实现简单效果也够用。具体做法是在去噪网络的最后一层加一个线性投影输出维度等于词表大小然后用交叉熵损失和扩散损失联合训练。3. 离散扩散直接在token空间做文章3.1 离散状态空间的转移矩阵设计离散扩散Discrete Diffusion的核心思想是不去连续嵌入空间绕一圈直接在离散token空间上定义加噪和去噪过程。具体来说用一个转移概率矩阵Q来定义“加噪”操作——每个token以一定概率转移到其他token。最常用的是均匀转移矩阵每个token以概率β转移到词表中任意其他token以概率1-β保持不变。这个设计简单但有个问题——它把所有token一视同仁没有考虑token之间的语义相似性。把“猫”加噪成“狗”和加噪成“的”在均匀转移下概率是一样的但显然前者更合理。改进方案是基于语义相似度的转移矩阵。用预训练词嵌入计算token之间的相似度相似度高的token之间转移概率大相似度低的转移概率小。这样加噪过程更“平滑”去噪也更容易。我试过用Word2Vec和BERT嵌入来构建转移矩阵效果比均匀转移好不少但计算转移矩阵的开销不小词表大了之后存储和采样都是问题。还有一个折中方案是吸收态扩散。引入一个特殊的[MASK] token作为吸收态加噪过程就是逐步把token替换成[MASK]去噪过程就是逐步恢复被掩码的token。这个方案的好处是转移矩阵极其简单只有替换成MASK和保持不变两种操作而且和BERT的掩码语言模型天然兼容。缺点是生成过程需要固定步数不能像连续扩散那样灵活控制。3.2 去噪过程的参数化与训练目标离散扩散的训练目标和连续扩散有本质区别。连续扩散预测的是噪声或干净样本用的是MSE损失。离散扩散预测的是token转移概率用的是交叉熵损失。具体来说给定带噪序列x_t和时间步t去噪网络需要预测x_0干净序列或者预测x_{t-1}上一步的序列。预测x_0的方式更常用因为可以直接用交叉熵损失监督。训练时从训练集采样干净序列x_0按照转移矩阵逐步加噪得到x_t然后把x_t和t喂给去噪网络让它预测x_0。这里有个关键细节时间步t的编码方式。连续扩散里t是一个连续值用正弦位置编码就行。离散扩散里t是离散的0到T可以用可学习的嵌入或者one-hot编码。我试过两种方式可学习嵌入效果稍好但参数量随T线性增长。如果T很大比如1000步建议用正弦编码加线性投影。另一个细节是损失函数的加权。不同时间步的预测难度不同——t小的时候噪声少预测容易t大的时候噪声多预测难。如果所有时间步用同样的损失权重模型会偏向于优化容易的时间步。常用的做法是按照1/t或者信噪比来加权让模型更关注困难的时间步。3.3 采样加速从1000步到20步离散扩散最大的工程问题是采样速度。标准DDPM需要1000步去噪每步都要跑一次完整的去噪网络这个开销比自回归生成还大。所以采样加速是必须解决的问题。DDIM式的确定性采样。DDIM的核心思想是把随机去噪过程变成确定性过程从而支持跳步采样。在离散扩散里也可以做类似的事情——把转移矩阵分解成确定性部分和随机部分采样时只保留确定性部分就可以跳步了。我试过把1000步跳到50步生成质量下降不明显。蒸馏加速。用一个已经训练好的多步扩散模型作为教师训练一个少步数的学生模型。学生模型直接学习从噪声到干净样本的映射跳过中间步骤。这个方案能把步数压到4-8步但训练成本高而且学生模型容易丢失多样性。并行采样。离散扩散的每一步去噪可以并行处理所有位置这是它相对于自回归的天然优势。虽然步数多但每步的并行度高。在实际GPU上20步离散扩散的端到端延迟可能比100步自回归还低。所以步数不是唯一指标要看实际吞吐。我目前的做法是DDIM跳步加蒸馏组合拳——先用DDIM把步数从1000压到50再用蒸馏压到10步左右。生成质量损失在可接受范围内速度比自回归快3-5倍。3.4 和掩码语言模型的本质联系离散扩散和掩码语言模型MLM之间有深刻的联系。实际上吸收态离散扩散可以看作是MLM的泛化——MLM只在一个固定的掩码比例上训练而离散扩散在多个噪声水平上训练。这个联系带来一个重要的实践启示可以直接用预训练的MLM权重来初始化离散扩散的去噪网络。BERT、RoBERTa这些模型已经在掩码预测任务上训练得很充分了它们的权重包含了丰富的token转移先验知识。用这些权重做初始化离散扩散的收敛速度能快很多。我试过用RoBERTa-base初始化离散扩散的去噪网络在相同数据量下收敛步数比随机初始化少了60%左右。而且最终生成质量也更好因为预训练权重提供了更好的归纳偏置。不过要注意MLM的训练目标只涉及单一掩码比例通常是15%而离散扩散需要处理多个噪声水平。所以初始化之后还需要在多个噪声水平上继续训练让模型适应不同的噪声强度。这个微调过程不能省否则模型在高噪声水平下表现会很差。4. 掩码扩散工程上最务实的方案4.1 为什么掩码扩散最适合大语言模型掩码扩散Masked Diffusion是离散扩散的一个特例也是目前工程上最务实的方案。它的核心操作极其简单加噪就是把token随机替换成[MASK]去噪就是预测被掩码位置的原始token。这个方案之所以最适合大语言模型有三个原因。第一和现有MLM生态完全兼容。BERT、RoBERTa、DeBERTa这些模型的训练目标就是掩码预测可以直接复用。第二训练目标简单。不需要设计复杂的转移矩阵只需要一个掩码比例调度表。第三生成过程可控。可以通过控制掩码比例和去噪步数来灵活调节生成质量和速度。我目前的主力方案就是掩码扩散。在同等参数量下掩码扩散的生成质量已经接近自回归模型而生成速度在长序列场景下有明显优势。4.2 掩码调度表的设计与调优掩码调度表决定了训练时每个时间步的掩码比例。最简单的设计是线性调度从0%线性增加到100%。但线性调度有个问题——低掩码比例和高掩码比例的区域训练信号不均衡。更好的方案是余弦调度掩码比例按照余弦曲线变化在中间区域变化快两端变化慢。这样能让模型在中等掩码比例区域得到更充分的训练而这个区域恰好是去噪最难、最关键的。我试过几种调度表实测下来余弦调度的效果最好。具体参数是初始掩码比例0.05最终掩码比例0.95总步数1000。这个配置在多个数据集上都表现稳定。还有一个细节是掩码比例的采样策略。训练时不需要严格按照调度表逐步加噪可以随机采样一个掩码比例然后一次性掩码。这样训练效率更高而且模型能见到更多样的掩码模式。我一般会在[0.05, 0.95]区间内均匀采样但会稍微偏向中等比例0.3-0.7因为这个区域最难学。4.3 去噪网络的注意力掩码设计掩码扩散的去噪网络有一个特殊设计需求注意力掩码。因为输入序列里有大量[MASK] token这些位置不应该参与注意力计算否则会引入噪声。具体来说在计算自注意力时需要把[MASK]位置的query和key都屏蔽掉。这样每个非掩码token只能看到其他非掩码token注意力分布更干净。我试过不屏蔽[MASK]位置生成质量明显下降因为模型会从掩码位置“抄答案”。另一个设计是位置编码的处理。掩码扩散的输入序列里[MASK]位置也有位置编码但这些位置的实际token是未知的。我的做法是给[MASK]位置一个可学习的位置嵌入让模型自己学习如何表示这些位置。这个可学习嵌入和正常位置编码相加作为最终的输入表示。还有一个工程细节是输出层的设计。去噪网络只需要预测被掩码位置的token非掩码位置可以直接复制输入。所以输出层可以只对掩码位置计算logits这样能省不少计算。实现上可以用一个掩码矩阵来选择需要计算的位置。4.4 从BERT到扩散模型的微调路径如果你已经有一个训练好的BERT或RoBERTa模型想把它改造成掩码扩散模型微调路径大概是这样的。第一步改造输入层。BERT的输入是token嵌入加位置编码加token类型编码。掩码扩散不需要token类型编码因为只有单序列可以去掉。位置编码保留但需要增加一个可学习的[MASK]位置嵌入。第二步改造训练目标。BERT的训练目标是预测15%的掩码token。掩码扩散需要预测不同掩码比例下的token。所以要把固定的15%掩码改成随机掩码比例并在损失函数里加上时间步条件。第三步加入时间步编码。去噪网络需要知道当前是哪个时间步即掩码比例是多少。可以把时间步编码加到输入嵌入里也可以在每个Transformer层里加入条件归一化类似FiLM。第四步多噪声水平微调。在多个掩码比例上继续训练让模型适应不同的噪声强度。这个阶段的学习率要调小一般是预训练学习率的1/10到1/5。整个微调过程在8卡A100上大概需要3-5天取决于数据量和模型规模。我试过用RoBERTa-base110M参数做这个微调在单卡V100上跑了大概一周生成质量已经可用了。5. 训练策略与损失函数设计5.1 噪声预测与干净样本预测的取舍扩散模型的训练目标有两种主流选择预测噪声ε-prediction和预测干净样本x0-prediction。在图像扩散里ε-prediction是默认选择但在文本扩散里x0-prediction往往更合适。原因是文本的离散性。在连续嵌入空间里ε-prediction预测的是高斯噪声这个噪声是连续的、无结构的。但文本嵌入是有结构的预测噪声相当于让模型学习一个“反结构”的目标不太自然。x0-prediction直接预测干净嵌入目标更有结构模型更容易学。我做过对比实验在相同架构和数据下x0-prediction的收敛速度比ε-prediction快30%左右最终生成质量也更好。所以我的建议是文本扩散默认用x0-prediction。不过ε-prediction也有它的优势——数值稳定性更好。x0-prediction在t接近T噪声很大的时候预测目标方差很大训练容易不稳定。解决方案是用v-prediction速度预测它是ε和x0的线性组合兼顾了两者的优点。我试过v-prediction在训练稳定性上确实比x0好但收敛速度稍慢。具体选哪个看你的优先级。5.2 时间步采样策略对收敛的影响时间步t的采样策略对训练收敛影响很大。最简单的是均匀采样每个batch里随机均匀采样t。但均匀采样有个问题——大部分时间步的损失很小因为预测容易少数困难时间步的损失很大导致梯度信号被稀释。更好的策略是重要性采样根据损失大小来调整采样概率损失大的时间步采样概率高。实现上可以用一个简单的在线估计——维护每个时间步的近期平均损失然后按损失大小做softmax采样。这个策略能让收敛速度提升20-30%。另一个策略是分层采样把时间步分成几个区间每个区间内均匀采样但区间之间的采样概率不同。比如低噪声区间采样概率0.2中噪声区间0.5高噪声区间0.3。这个策略实现简单效果也不错。我目前用的是重要性采样加分层采样的组合——先分层再在层内按损失做重要性采样。这个组合在多个任务上都表现稳定收敛速度比纯均匀采样快不少。5.3 分类器-free引导在文本生成中的应用分类器-free引导Classifier-Free Guidance, CFG是扩散模型里的一个重要技巧它通过同时训练条件模型和无条件模型在推理时用两者的差值来增强条件信号。在文本扩散里CFG可以用来控制生成文本的“条件强度”。比如做条件生成时可以用CFG来调节生成文本和条件之间的相关性。引导系数w越大生成文本越贴近条件但多样性会下降。我试过在掩码扩散里用CFG做主题控制。具体做法是训练时以一定概率比如10%把条件替换成空条件让模型同时学会条件和无条件生成。推理时用条件预测和无条件预测的差值来引导采样。实测下来w2.0左右效果最好生成文本既贴合主题又不失多样性。不过CFG在文本扩散里的效果不如图像扩散那么显著。原因是文本的条件信号比如主题词和生成目标token序列之间的关系比图像更复杂简单的线性引导不一定能捕捉到这种关系。我的经验是CFG在短文本生成上效果明显长文本生成上效果有限。5.4 训练不稳定性的排查与修复扩散模型训练不稳定是常见问题文本扩散尤其如此。我遇到过几种典型的不稳定情况以及对应的修复方案。损失震荡。表现为训练损失忽高忽低没有稳定下降趋势。原因通常是学习率太大或者batch size太小。修复方案是降低学习率比如从1e-4降到5e-5或者增大batch size。另外加入梯度裁剪gradient clipping也能有效缓解震荡。模式崩溃。表现为生成结果多样性极差所有输出都差不多。原因通常是训练数据多样性不足或者模型容量太小。修复方案是增加数据多样性或者增大模型容量。另外在损失函数里加入多样性正则项也有帮助。后验坍塌。这是扩散模型特有的问题——模型学会了忽略时间步条件对所有t都输出同样的预测。原因是时间步编码太弱模型直接把它忽略了。修复方案是增强时间步编码比如用更复杂的编码网络或者在损失函数里加入时间步预测的辅助任务。数值溢出。在连续嵌入扩散里如果嵌入数值范围很大加噪后可能出现数值溢出。修复方案是对嵌入做归一化或者用混合精度训练时注意缩放因子。我踩过最坑的一次是后验坍塌——训练了三天损失降得很好但生成结果全是乱码。排查了半天才发现是时间步编码的维度太小只有16维模型直接把它忽略了。后来把时间步编码维度加到256问题就解决了。6. 推理加速与生成质量控制6.1 步数压缩的极限在哪里扩散模型的推理步数是生成速度的直接决定因素。标准DDPM需要1000步DDIM能压到50-100步蒸馏能压到4-8步。那步数压缩的极限在哪里从信息论角度看扩散模型的去噪过程是在逐步恢复信息。每一步去噪能恢复的信息量是有限的步数太少会导致信息恢复不充分。理论上步数的下限取决于生成目标的复杂度和噪声调度的设计。我做过一个实验在掩码扩散里逐步减少步数观察生成质量的变化。结果发现从1000步压到100步质量下降很小从100步压到20步质量开始明显下降压到10步以下生成结果基本不可用。所以20步左右是一个比较安全的压缩极限。当然这个极限和模型规模、数据复杂度有关。大模型能承受更少的步数因为它的去噪能力更强。我试过用1.3B参数的掩码扩散模型10步生成的质量已经可用了。而110M的小模型20步是底线。6.2 并行解码与投机采样的结合扩散模型的一个天然优势是并行解码——每一步去噪可以同时处理所有位置。但这个并行度受限于去噪网络的容量。如果去噪网络不够强并行去噪的效果会很差。一个有意思的思路是把扩散和投机采样结合。投机采样是自回归生成里的加速技巧——用一个小的草稿模型快速生成多个token然后用大模型验证。在扩散模型里也可以做类似的事情用一个小的扩散模型快速生成一个粗粒度的嵌入序列然后用大的自回归模型做精修。我试过这个方案在长文本生成上能提速2-3倍。但架构复杂度高需要同时维护两个模型工程成本不小。如果追求极致速度可以考虑这个方案如果追求简单可靠还是用DDIM加蒸馏的组合更务实。6.3 生成多样性与质量的平衡扩散模型的一个固有问题是多样性-质量权衡。去噪步数越多生成质量越高但多样性越低。因为多步去噪会逐步收敛到一个“平均”的结果丢失了随机性。在文本生成里这个问题尤其明显。步数多了生成的文本很流畅但很“套路”步数少了文本有创意但可能不通顺。我的经验是在20-50步之间找一个平衡点。具体步数取决于任务——如果是对话生成20步左右就够了如果是创意写作可以适当增加到30-50步。另外在采样时加入温度参数也能调节多样性。温度高多样性好但质量降温度低质量好但多样性差。我一般用温度0.8-1.0。还有一个技巧是在去噪过程中加入随机扰动。每一步去噪后给嵌入加一点小噪声增加随机性。这个扰动不能太大否则会破坏生成质量。我一般用嵌入标准差的0.01倍作为扰动强度。6.4 长文本生成的滑动窗口策略扩散模型处理长文本时面临显存和计算量的双重压力。序列长度翻倍注意力计算量翻四倍显存占用也大幅增加。所以长文本生成需要滑动窗口策略。最简单的滑动窗口是固定窗口加重叠。把长文本分成固定长度的窗口窗口之间有重叠区域。每个窗口独立做扩散生成然后拼接起来。重叠区域用来做平滑过渡避免窗口边界处的断裂。更精细的方案是层次化扩散。先生成一个粗粒度的全局规划比如段落级别的主题序列然后在每个段落内部做细粒度的token扩散。这个方案能保证长文本的全局一致性但架构复杂度高。我目前用的是固定窗口加重叠的方案窗口长度256重叠64。这个配置在生成2000字以上的长文本时表现稳定。重叠区域用线性加权融合避免边界突变。7. 实际部署中的工程考量7.1 显存优化从梯度检查点到量化扩散模型的显存占用比同规模的自回归模型高因为去噪网络需要同时处理多个时间步的输入。显存优化是部署时的必修课。梯度检查点是最基本的优化手段。把去噪网络分成若干段每段的前向激活值不保存反向传播时重新计算。这个技巧能把显存占用降低60-70%代价是训练速度慢20-30%。我一般会在显存不够时开启梯度检查点。混合精度训练是另一个标配。用FP16或BF16做前向和反向FP32做参数更新。这个技巧能降低一半显存占用而且速度还有提升。不过要注意数值稳定性——扩散模型的损失函数对数值精度比较敏感用FP16时容易出现梯度下溢。BF16的数值范围更大更适合扩散模型。量化推理是部署时的关键。把模型权重量化到INT8或INT4能大幅降低显存占用和推理延迟。我试过用GPTQ做4bit量化生成质量损失很小但显存占用降到原来的1/4。不过量化后的模型在去噪步数少的时候质量下降更明显因为量化误差会累积。7.2 批处理与动态序列长度扩散模型的批处理比自回归模型复杂因为不同样本的序列长度可能不同。如果直接padding到最大长度短序列会浪费大量计算。动态序列长度是解决方案——每个batch只padding到当前batch的最大长度而不是全局最大长度。这个技巧在序列长度分布不均匀时能省不少计算。实现上需要自定义collate函数把同长度的样本放在一起。批内并行是另一个优化点。扩散模型的每一步去噪可以并行处理batch内所有样本这个并行度比自回归高得多。所以扩散模型更适合大batch推理能充分利用GPU的并行能力。我一般用batch size 32-64做推理吞吐比自回归高不少。7.3 服务化部署的延迟与吞吐权衡把扩散模型部署成在线服务时延迟和吞吐是一对矛盾。低延迟需要小batch、少步数高吞吐需要大batch、多步数。我的经验是根据场景做分级部署。实时对话场景用少步数10-20步加小batch保证低延迟离线批量生成场景用多步数50-100步加大batch保证高质量和高吞吐。另一个技巧是预计算和缓存。扩散模型的去噪过程有一些中间结果可以缓存比如时间步编码、位置编码等。这些不随输入变化的量可以预计算好推理时直接查表能省不少计算。还有一个工程细节是去噪网络的算子融合。把LayerNorm、注意力、残差连接这些操作融合成一个大算子能减少kernel launch开销提升推理速度。这个优化在TensorRT和ONNX Runtime里都有支持。7.4 和现有大语言模型服务栈的集成把扩散模型集成到现有的大语言模型服务栈里最大的挑战是接口不兼容。自回归模型的服务接口通常是流式的——生成一个token返回一个。扩散模型是批式的——所有token一起生成。解决方案是在服务层做适配。把扩散模型的输出包装成流式接口虽然内部是批式生成但对外表现成流式。具体做法是生成完成后按token逐个返回中间加一点延迟模拟流式效果。这个方案对上层应用透明不需要改调用方代码。另一个挑战是资源调度。扩散模型的显存占用和计算模式与自回归模型不同需要单独的资源池。我一般会把扩散模型部署在独立的GPU节点上通过API网关做路由。这样既能复用现有的服务框架又能针对扩散模型做专门的优化。8. 我踩过的五个坑和对应的解法8.1 嵌入空间噪声强度设错导致训练不收敛第一次做连续嵌入扩散时我直接套用了图像扩散的噪声调度结果训练损失完全不降。排查了很久才发现是噪声强度设太大了——图像像素值范围是0-255文本嵌入范围是-1到1同样的噪声强度直接把嵌入淹没了。解法先统计嵌入的均值和标准差然后根据嵌入尺度来缩放噪声强度。我现在的做法是初始噪声强度设为嵌入标准差的0.1倍最终噪声强度设为10倍。这个比例在多个数据集上都表现稳定。8.2 时间步编码太弱导致后验坍塌前面提过我用16维的时间步编码训练了三天损失降得很好但生成全是乱码。原因是模型直接忽略了时间步条件对所有t输出同样的预测。解法把时间步编码维度加到256并且在每个Transformer层里加入条件归一化。这样时间步信号能贯穿整个网络不会被忽略。另外在损失函数里加入时间步预测的辅助任务也有帮助——让模型除了预测token还要预测当前的时间步。8.3 离散化投影误差累积导致长文本质量崩溃连续嵌入扩散生成短文本时质量还行但生成长文本时质量急剧下降。排查发现是离散化投影的量化误差在长序列上累积导致后面的token完全跑偏。解法训练一个联合优化的投影头而不是用最近邻搜索。投影头是一个两层MLP输出去噪后的嵌入输出词表上的概率分布。训练时用交叉熵损失和扩散损失联合优化。这个方案把长文本生成的困惑度降低了25%左右。8.4 采样步数压缩过度导致生成结果不可用为了提速我把采样步数从1000压到10步结果生成结果完全不可用——要么是重复token要么是乱码。原因是步数太少去噪不充分。解法找到步数压缩的安全极限。我的实验结果是20步是底线低于20步质量下降明显。如果非要更少步数需要用蒸馏训练一个专门的学生模型而不是直接压缩教师模型的步数。8.5 批处理时序列长度不齐导致显存爆炸做批处理推理时不同样本的序列长度差异很大。我一开始直接padding到全局最大长度结果显存直接爆了。原因是padding出来的无效token也参与了注意力计算浪费了大量显存。解法用动态序列长度每个batch只padding到当前batch的最大长度。另外在注意力计算时用attention mask把padding位置屏蔽掉。这两个优化加起来显存占用降低了40%左右。9. 这条路接下来还能怎么走扩散模型和大语言模型的结合目前还在早期阶段很多问题没有标准答案。但有几个方向我觉得值得关注。多模态统一扩散。既然图像和文本都可以用扩散生成那能不能用一个统一的扩散框架同时处理两种模态这个方向已经有了一些探索比如用共享的去噪网络处理图像和文本嵌入。如果做成对多模态生成的意义很大。扩散模型和强化学习的结合。扩散模型的去噪过程可以看作一个序贯决策过程每一步去噪是一个动作。用强化学习来优化去噪策略理论上能提升生成质量和效率。这个方向目前探索的人还不多但潜力不小。更高效的离散扩散算法。目前的离散扩散在采样效率上还是不如连续扩散。如果能设计出更高效的离散转移矩阵和采样算法离散扩散的实用性会大幅提升。和检索增强生成的结合。扩散模型的全局一致性优势和检索增强生成的准确性优势理论上可以互补。用检索结果作为扩散生成的条件可能能同时提升生成质量和事实准确性。我在实际项目里目前主要用掩码扩散做长文本生成效果已经能打平自回归模型速度在长序列场景下有2-3倍优势。但短文本生成上扩散模型还是不如自回归所以短期内两者会是互补关系而不是替代关系。如果你也在做这方面的探索建议先从掩码扩散入手工程门槛最低和现有MLM生态兼容性最好。等跑通了再尝试连续嵌入扩散或离散扩散逐步深入。