Diffusers 基础性能调优指南DiffusionPipeline 的显存、速度与生成质量平衡【免费下载链接】diffusers Diffusers: State-of-the-art diffusion models for image, video, and audio generation in PyTorch.项目地址: https://gitcode.com/GitHub_Trending/di/diffusers本文是 docs/source/pt/stable_diffusion.mdBasic performance / Desempenho básico 葡萄牙语版的深度展开版主题是使用 Diffusers 的DiffusionPipeline进行文生图推理时的基础性能调优。扩散生成是一个随机且计算密集的迭代过程往往需要多次运行 pipeline 才能得到满意结果因此本文围绕“降低显存占用、加速推理、提升生成质量”三条主线给出可直接复制的配置与代码帮助你在本仓库diffusers中快速迭代出既快又省显存、同时保持画面质量的 Stable Diffusion XL 推理方案。读完后你将掌握CPU 模型卸载、bfloat16/设备映射、DPM-Solver 快速采样器、步数压缩以及提示词工程等一套完整的基础调优手段。关联文档docs/source/pt/stable_diffusion.md英文原版docs/source/en/stable_diffusion.md更深入的优化专题见 docs/source/en/optimization/fp16.md加速推理与 docs/source/en/optimization/memory.md降低显存。调优的核心思路在速度与显存之间做权衡扩散diffusion是一个随机过程同一提示词在不同次运行中会得到不同的结果。你可能需要多次运行DiffusionPipeline才能得到满意的输出因此仔细平衡生成速度与显存占用是提升迭代效率的关键。从源码结构看pipeline 的推理主循环主要由三部分构成文本编码器text encoder把提示词编码为 embedding、去噪器UNet 或 transformer反复迭代去噪、VAE 解码得到像素图像。其中去噪denoising是计算量最大的环节绝大多数加速手段快速调度器、减少步数、低精度都瞄准这一环节而显存大头则来自模型权重本身与激活值因此卸载offload、VAE 切分/平铺等手段主要解决显存瓶颈。本文的三节分别对应显存Uso de memória、速度Velocidade de inferência、质量Qualidade de geração。降低显存占用CPU 模型卸载显存占用降低后生成往往也会间接变快减少了换页与 OOM 风险并且能让模型“塞进”更小的设备。文档推荐的首选方案是 [~DiffusionPipeline.enable_model_cpu_offload]当一个模型不在使用时把它移动到 CPU从而节省 GPU 显存。从 pipeline_utils.py 源码 可以看到该方法的实现要点依赖accelerate 0.17.0通过accelerate.cpu_offload_with_hook给每个子模型安装钩子与enable_sequential_cpu_offload不同它是按整个模型为单位移动某个模型如 UNet被调用时移动到 GPU并在其迭代执行期间一直驻留直到下一个模型如 VAE开始执行才被换出由于避免了逐层反复搬运带来的通信开销它的性能远好于顺序卸载但显存节省幅度略小两者取舍在 docs/source/en/optimization/memory.md 的 Offloading 一节有完整说明若 pipeline 已启用device_map设备映射则需要先调用 [~DiffusionPipeline.reset_device_map] 才能使用该方法否则会抛出ValueError。下面是文档给出的完整示例将stabilityai/stable-diffusion-xl-base-1.0加载到 GPU并开启模型级 CPU 卸载import torch from diffusers import DiffusionPipeline pipeline DiffusionPipeline.from_pretrained( stabilityai/stable-diffusion-xl-base-1.0, dtypetorch.bfloat16, device_mapcuda ) pipeline.enable_model_cpu_offload() prompt cinematic film still of a cat sipping a margarita in a pool in Palm Springs, California highly detailed, high budget hollywood movie, cinemascope, moody, epic, gorgeous, film grain pipeline(prompt).images[0] print(fMemória máxima reservada: {torch.cuda.max_memory_allocated() / 1024**3:.2f} GB)要点说明先device_mapcuda后enable_model_cpu_offload()让整个 pipeline 初始位于 GPU再启用卸载这样文本编码器、UNet、VAE 会按需在 GPU/CPU 间切换。文档中的英文版还注明device_map可替换为mps、xpu或cpu分别对应 Apple Silicon、Intel XPU 与纯 CPU 场景。用torch.cuda.max_memory_allocated() / 1024**3打印峰值显存单位 GB是一个标准测量手法本文后续多个示例都沿用这一度量方式便于你量化每种优化的实际收益。如果模型极大如 Flux/Wan 这类数十亿参数模型单 GPU 装不下时可参考 docs/source/en/optimization/memory.md 中的多 GPU 分片sharded checkpoints、device_mapauto/balanced、VAE slicing/tiling、group offloading 等更进阶方案。提升推理速度精度、设备与调度器三板斧去噪是扩散过程中计算最密集的环节凡是能优化这一过程的方案都能直接提升推理速度。文档给出四个立即可用的手段。1. 把 pipeline 放到 GPU 上在from_pretrained中传入device_mapcuda让整个 pipeline 驻留 GPU。GPU 等加速器能并行执行计算速度显著高于 CPU。2. 使用半精度 bfloat16传入dtypetorch.bfloat16让 pipeline 以半精度执行。更低的数据精度意味着更少的位宽与更快的计算。bfloat16相比float16对数值误差更鲁棒保留了与 float32 相同的指数范围且大多数现代 GPU 都支持若追求更极致的速度也可以尝试float16但更易出现数值问题详见 docs/source/en/optimization/fp16.md 的 Model data type 一节。import torch import time from diffusers import DiffusionPipeline, DPMSolverMultistepScheduler pipeline DiffusionPipeline.from_pretrained( stabilityai/stable-diffusion-xl-base-1.0, dtypetorch.bfloat16, device_mapcuda )3. 换用更快的调度器DPMSolverMultistepScheduler调度器scheduler决定了去噪步长与更新规则。默认的 PNDM/DDIM 类调度器往往需要较多步数而DPMSolverMultistepScheduler是专为扩散 ODE 设计的高阶快速求解器只需约20~25 步即可收敛。从 scheduling_dpmsolver_multistep.py 源码可知默认solver_order2、algorithm_typedpmsolver文档建议有引导采样guided sampling即使用 classifier-free guidance时用solver_order2无引导时可用solver_order3prediction_type支持epsilon、sample、v_prediction、flow_prediction加载 SDXL 等现成模型时默认配置已匹配一般无需改动更换调度器只需用原调度器配置重建pipeline.scheduler DPMSolverMultistepScheduler.from_config(pipeline.scheduler.config)不会破坏原有超参数。4. 调低 num_inference_steps减少推理步数 减少总计算量。代价是生成质量可能下降因此需要与调度器配合DPMSolver 类求解器在 20~25 步就能给出高质量结果比默认调度器在同样步数下的表现好得多。下面把上述三板斧整合为完整示例并用time.perf_counter()精确计时pipeline.scheduler DPMSolverMultistepScheduler.from_config(pipeline.scheduler.config) prompt cinematic film still of a cat sipping a margarita in a pool in Palm Springs, California highly detailed, high budget hollywood movie, cinemascope, moody, epic, gorgeous, film grain start_time time.perf_counter() image pipeline(prompt).images[0] end_time time.perf_counter() print(fGeração de imagem levou {end_time - start_time:.3f} segundos)进阶提示若要在这一基础上继续提速可以叠加 SDPA 注意力后端PyTorch ≥ 2.0 默认开启、torch.compile含max-autotune模式与 regional compilation、torch.channels_last内存布局、QKV 投影融合pipeline.fuse_qkv_projections()等全部细节见 docs/source/en/optimization/fp16.md。提升生成质量提示词与调度器的质量导向选择现代扩散模型通常“开箱即用”就能产出高质量图像但仍可通过以下手段进一步改善输出。提示词工程更详细的正向提示 负向提示写更详细、更具描述性的提示词涵盖**媒介medium、主体subject、风格style、美学aesthetic**等维度同时使用negative prompt负向提示引导模型远离不想要的属性例如low quality、blurry、ugly等词。文档给出的完整示例import torch from diffusers import DiffusionPipeline pipeline DiffusionPipeline.from_pretrained( stabilityai/stable-diffusion-xl-base-1.0, dtypetorch.bfloat16, device_mapcuda ) prompt cinematic film still of a cat sipping a margarita in a pool in Palm Springs, California highly detailed, high budget hollywood movie, cinemascope, moody, epic, gorgeous, film grain negative_prompt low quality, blurry, ugly, poor details pipeline(prompt, negative_promptnegative_prompt).images[0]更进一步加权提示词prompt weighting 文档介绍了如何通过/-权重语法或PromptWeightingPipeline微调提示词中各部分的相对重要性是精细控制画面构成的常用手段。以质量换速度HeunDiscreteScheduler / LMSDiscreteScheduler速度优化通常会牺牲一定质量反过来如果你更看重画面质感可以换成更“慢但更准”的调度器例如HeunDiscreteScheduler或LMSDiscreteScheduler。它们采用更精细的数值积分方案Heun 二阶法 / LMS 线性多步法在高步数下能得到更细腻的结果代价是生成时间更长。示例import torch from diffusers import DiffusionPipeline, HeunDiscreteScheduler pipeline DiffusionPipeline.from_pretrained( stabilityai/stable-diffusion-xl-base-1.0, dtypetorch.bfloat16, device_mapcuda ) pipeline.scheduler HeunDiscreteScheduler.from_config(pipeline.scheduler.config) prompt cinematic film still of a cat sipping a margarita in a pool in Palm Springs, California highly detailed, high budget hollywood movie, cinemascope, moody, epic, gorgeous, film grain negative_prompt low quality, blurry, ugly, poor details pipeline(prompt, negative_promptnegative_prompt).images[0]提示Heun/LMS 这类调度器通常需要配合更高的num_inference_steps如 30~50 步才能体现质量优势如果你追求的是“少步数 高质量”的折中DPMSolver 仍是更优选择。调度器的完整列表与 API 说明见 docs/source/en/api/schedulers/overview。小结一套可复用的调优路线把本文内容串起来就得到一条面向 SDXL 的基础性能调优路线加载时dtypetorch.bfloat16device_mapcuda用低精度 加速器打底显存不足时调用enable_model_cpu_offload()模型级卸载速度快或enable_sequential_cpu_offload()逐层卸载省显存但极慢追求速度时换DPMSolverMultistepScheduler并把num_inference_steps压到 20~25追求质量时换HeunDiscreteScheduler或LMSDiscreteScheduler并增加步数同时用详细正向提示 负向提示量化收益统一用torch.cuda.max_memory_allocated()与time.perf_counter()打印显存与耗时对比每种组合的实际效果。如果需要进一步压榨性能文档推荐了更高级的优化方向group-offloading按层分组卸载比模型卸载更省显存、比顺序卸载更快与regional compilation仅编译模型中高频重复的小块编译耗时降低 8~10 倍——两者分别详见 docs/source/en/optimization/memory.md 与 docs/source/en/optimization/fp16.md。另外本仓库的 benchmarks 目录提供了针对 FLUX、SDXL、LTX、WAN 等模型的基准测试脚本如 benchmarking_sdxl.py可以用统一口径验证不同优化组合的延迟与显存数据。【免费下载链接】diffusers Diffusers: State-of-the-art diffusion models for image, video, and audio generation in PyTorch.项目地址: https://gitcode.com/GitHub_Trending/di/diffusers创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考