1. 硬件准备搭建AIGC工作站的基石想在个人电脑上玩转AIGC图像与视频生成首先得搞定硬件配置。我去年用RTX 3060折腾Stable Diffusion时生成一张512x512的图片要20多秒后来换了RTX 4070直接降到3秒——这就是硬件带来的直观差异。显卡选择是重中之重。NVIDIA的RTX系列是不二之选因为CUDA和Tensor Core对AI计算有天然优势。实测下来RTX 306012GB显存能跑基础版Stable Diffusion但视频生成容易爆显存RTX 407012GB性价比之选文生图5秒内短视频生成勉强够用RTX 409024GB土豪配置跑SDXL模型如丝般顺滑其他硬件也不能太拖后腿CPU至少i5十代或Ryzen 5 3600以上内存建议32GB起步处理大模型时16GB会频繁触发交换存储1TB NVMe SSD必备模型动辄几个GB机械硬盘加载能急死人注意笔记本用户要特别注意散热连续生成时GPU温度可能飙到90℃最好配个散热支架2. 基础环境搭建一步错步步错装好硬件只是开始软件环境才是真正的隐形杀手。我至少重装过三次系统才摸清这些门道Python环境建议用Miniconda管理wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh bash Miniconda3-latest-Linux-x86_64.sh conda create -n aigc python3.10 conda activate aigcCUDA工具包的版本要严格匹配RTX 40系显卡CUDA 12.xRTX 30系显卡CUDA 11.8老显卡如GTX 1660CUDA 11.7安装命令示例wget https://developer.download.nvidia.com/compute/cuda/12.2.2/local_installers/cuda_12.2.2_535.104.05_linux.run sudo sh cuda_12.2.2_535.104.05_linux.run常见坑点驱动版本不匹配先nvidia-smi查驱动版本再装对应CUDA忘记加环境变量要在.bashrc添加export PATH/usr/local/cuda/bin:$PATH多版本冲突用update-alternatives管理不同CUDA版本3. Stable Diffusion实战从文生图到精细化控制环境搞定后终于可以玩真的了。先来体验最基础的文生图from diffusers import AutoPipelineForText2Image import torch pipe AutoPipelineForText2Image.from_pretrained( stabilityai/stable-diffusion-xl-base-1.0, torch_dtypetorch.float16 ).to(cuda) prompt 赛博朋克风格的城市夜景霓虹灯光雨天街道4k高清 image pipe(promptprompt, guidance_scale7.5).images[0] image.save(cyberpunk_city.png)参数调优才是精髓guidance_scale7-9适合写实风格12更适合艺术创作num_inference_steps20步性价比最高50步细节更丰富negative_prompt加blurry, deformed, low quality能显著提升画面质量进阶玩法图生图用AutoPipelineForImage2Image实现风格迁移局部重绘配合mask图修改特定区域ControlNet用边缘检测/深度图精确控制构图模型推荐写实人像juggernautXL_v8二次元anything-v53D渲染dreamshaperXL4. 视频生成进阶Stable Video Diffusion全解析从图片到视频是质的飞跃但显存占用也指数级增长。我的RTX 4070跑SVD时得用这些技巧基础视频生成from diffusers import StableVideoDiffusionPipeline from diffusers.utils import load_image, export_to_video pipeline StableVideoDiffusionPipeline.from_pretrained( stabilityai/stable-video-diffusion-img2vid-xt, torch_dtypetorch.float16 ) pipeline.enable_model_cpu_offload() # 显存不够时的救命稻草 image load_image(input.png).resize((1024, 576)) frames pipeline(image, num_frames25, decode_chunk_size8).frames[0] export_to_video(frames, output.mp4, fps10)避坑指南输入图片长宽比必须是16:9或9:16num_frames超过25容易OOM显存溢出用decode_chunk_size8分段处理降低显存压力视频闪烁问题加motion_bucket_id120参数改善工作流优化先用SD生成高质量关键帧用SVD插值生成中间帧最后用DAIN等工具补帧到60fps5. 可视化工具告别命令行黑窗口整天对着Python脚本太枯燥这些GUI工具能让创作更高效Stable Diffusion WebUI安装git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui cd stable-diffusion-webui ./webui.sh --listen --enable-insecure-extension-access特色功能内置图生图/重绘/超分辨率扩展市场一键安装ControlNet等插件模型融合工具checkpoint mergerComfyUI的模块化工作流更适合进阶玩家git clone https://github.com/comfyanonymous/ComfyUI cd ComfyUI python main.py --listen它的杀手级功能可视化节点编辑可保存复杂工作流低显存模式8GB显存也能跑SDXL完美支持视频生成pipeline6. 性能优化让生成速度飞起来同样的硬件调优前后性能可能差3倍。这些是我实测有效的技巧TensorRT加速git clone https://github.com/NVIDIA/TensorRT cd TensorRT/demo/Diffusion python3 demo_txt2img.py a beautiful landscape --onnx --enginexFormers魔法 安装后生成速度提升20%显存节省30%pip install xFormers终极优化组合使用TensorRT引擎开启torch.compile()加载8bit量化模型配合xFormers内存优化实测RTX 4070上的提升优化方案生成时间显存占用原始版本4.2s10.1GB基础优化3.1s7.8GB全套方案1.9s5.4GB7. 模型管理与资源下载玩AIGC最头疼的就是模型管理。我的models目录已经吃掉500GB硬盘空间...国内镜像加速export HF_ENDPOINThttps://hf-mirror.com pip config set global.index-url https://mirrors.aliyun.com/pypi/simple必备模型清单文生图sd_xl_base_1.0.safetensors视频生成svd_xt.safetensors超分辨率RealESRGAN人脸修复GFPGAN模型整理技巧用符号链接集中管理各工具调用的模型定期清理过时模型查看last_used时间对大型模型使用--prefer-offload参数8. 创意工作流实战案例最后分享我的日常创作流程以制作赛博朋克短片为例概念设计阶段用SDXL生成10版不同风格的未来城市概念图选择最佳版本进行细化分辨率提升到1024x1024关键帧生成在ComfyUI中搭建ControlNet工作流生成主角不同角度的8张关键帧视频插值将关键帧导入SVD生成3秒片段用RIFE算法补帧到60fps后期处理用DaVinci Resolve添加霓虹光效在Audacity混入环境音效最终输出30秒的短视频
)
