1. 扩散模型基础原理拆解扩散模型的核心思想源于非平衡态热力学中的扩散过程。想象一杯清水滴入墨水墨水分子会逐渐扩散直至均匀分布。扩散模型逆向模拟了这一过程它先对数据如图片逐步添加噪声使其溶解为纯噪声正向过程再学习如何从噪声中逐步重建原始数据逆向过程。1.1 正向扩散过程正向过程将数据x₀通过T个时间步逐渐转化为高斯噪声。每个时间步的转换定义为q(x_t|x_{t-1}) N(x_t; √(1-β_t)x_{t-1}, β_tI)其中β_t是预先定义的噪声调度表noise schedule控制着每个时间步添加的噪声量。当T足够大时x_T将近似服从标准高斯分布。关键点β_t通常采用线性或余弦调度前者在早期添加更多噪声后者则更平缓。实际应用中余弦调度往往效果更好。1.2 逆向去噪过程逆向过程需要学习一个参数化的高斯转移p_θ(x_{t-1}|x_t) N(x_{t-1}; μ_θ(x_t,t), Σ_θ(x_t,t))模型需要预测每个时间步的噪声成分通过逐步去除预测的噪声来重建数据。训练目标简化为L E_{t,x_0,ε}[||ε - ε_θ(x_t,t)||^2]其中ε是真实噪声ε_θ是模型预测的噪声。2. 模型架构与训练细节2.1 U-Net骨干网络扩散模型通常采用改进的U-Net架构作为噪声预测器编码器部分包含多个下采样块瓶颈层处理特征解码器部分对称上采样添加了时间步嵌入和自注意力层class ResidualBlock(nn.Module): def __init__(self, in_c, out_c, t_emb_dim): super().__init__() self.conv1 nn.Conv2d(in_c, out_c, kernel_size3, padding1) self.t_proj nn.Linear(t_emb_dim, out_c) self.conv2 nn.Conv2d(out_c, out_c, kernel_size3, padding1) if in_c ! out_c: self.shortcut nn.Conv2d(in_c, out_c, kernel_size1) def forward(self, x, t): h F.silu(self.conv1(x)) t F.silu(self.t_proj(t))[:,:,None,None] h h t h F.silu(self.conv2(h)) if hasattr(self, shortcut): x self.shortcut(x) return h x2.2 时间步嵌入时间步信息通过正弦位置编码嵌入网络def timestep_embedding(t, dim): half_dim dim // 2 emb math.log(10000) / (half_dim - 1) emb torch.exp(torch.arange(half_dim) * -emb) emb t[:, None] * emb[None, :] return torch.cat((emb.sin(), emb.cos()), dim1)2.3 训练流程实操准备数据集如CelebA、ImageNet定义噪声调度表推荐余弦调度随机采样时间步t ∈ [1,T]采样噪声ε ~ N(0,I)计算加噪后的x_t √ᾱ_t x_0 √(1-ᾱ_t)ε输入(x_t, t)到模型预测ε_θ计算MSE损失并反向传播训练技巧使用混合精度训练可节省显存梯度裁剪稳定训练EMA模型参数提升生成质量。3. 采样与生成优化3.1 标准采样算法从纯噪声x_T ~ N(0,I)开始逐步执行for t in reversed(range(T)): z ~ N(0,I) if t 1 else 0 x_{t-1} 1/√α_t (x_t - (1-α_t)/√(1-ᾱ_t) ε_θ(x_t,t)) σ_t z其中α_t 1-β_tᾱ_t ∏_{s1}^t α_sσ_t √(1-α_{t-1})/(1-α_t) * β_t3.2 加速采样技术DDIM采样将扩散过程视为非马尔可夫链允许跳步采样x_{t-1} √ᾱ_{t-1} (x_t - √(1-ᾱ_t)ε_θ)/√ᾱ_t √(1-ᾱ_{t-1}-σ_t^2)ε_θ σ_t z可在20-50步内获得与1000步相当的质量。DPM Solver将扩散ODE视为半线性结构使用高阶解法加速u_t x_t/√ᾱ_t du/dt (ε_θ/√ᾱ_t) * d√ᾱ_t/dt4. 实际应用与调优经验4.1 图像生成实践在512x512人脸生成任务中使用U-Net with 128 base channels余弦噪声调度T1000步学习率3e-5batch size 64EMA衰减率0.9999训练约500k迭代实测发现过大学习率导致生成图像出现伪影过小则收敛缓慢。建议初始尝试3e-5后调整。4.2 超参数选择指南参数推荐值影响分析基础通道数64-256越大模型容量越高但显存消耗增加时间步数T100-1000更多步数带来更优理论保证但采样慢学习率1e-5~5e-5需配合batch size调整Batch size32-256越大训练越稳定需更大显存4.3 常见问题排查问题1生成图像模糊检查噪声预测损失是否正常下降尝试减小学习率并延长训练验证模型架构是否足够强大问题2采样时出现色偏检查数据标准化是否正确尝试不同的噪声调度如从线性改为余弦确保采样时σ_t计算正确问题3训练不稳定添加梯度裁剪max_norm1.0使用EMA稳定训练检查数据加载是否有问题5. 进阶应用方向5.1 条件生成控制通过分类器引导classifier guidance增强控制ε_θ(x_t,t) ε_θ(x_t,t) s·∇_{x_t}log p_φ(y|x_t)其中s是引导强度p_φ是预训练的分类器。5.2 文本到图像生成结合CLIP等文本编码器ε_θ(x_t,t,y) ε_θ(x_t,t) λ·∇_{x_t}sim(CLIP(x),y)实现文本引导的生成如DALL-E 2、Stable Diffusion。5.3 图像编辑应用基于扩散模型的图像修复流程对输入图像x添加噪声得到x_t在采样过程中固定已知区域仅对mask区域进行去噪通过多步迭代获得和谐结果我在实际使用中发现将扩散模型应用于产品设计草图生成时通过适当调整噪声调度前200步添加更多噪声可以更好地保留创意轮廓特征。另一个实用技巧是在训练数据中加入20%的简单几何图形能显著提升模型对构图的理解能力。
