TrajectoryCrafter 教程3 步让随手拍的单目视频镜头飞起来【免费下载链接】TrajectoryCrafter[ICCV 2025, Oral] TrajectoryCrafter: Redirecting Camera Trajectory for Monocular Videos via Diffusion Models项目地址: https://gitcode.com/gh_mirrors/tr/TrajectoryCrafter如果你刷到过那些镜头绕着物体缓缓转一圈的炫酷视频可能会下意识以为它们需要多机位阵列、绿幕影棚或者几万块的拍摄设备。其实都不需要。这篇 TrajectoryCrafter 教程要介绍的是一个只需一段随手拍的单目视频就能把镜头重新导演一遍的开源项目——它通过扩散模型对视频做相机轨迹重定向既能生成高保真的全新视角又能对镜头姿态进行精确控制。该项目已入选 ICCV 2025 Oral目前代码与预训练权重均已开放。先弄明白它到底在做什么想象一下给视频里的镜头装上一双可以自由飞行的眼睛原视频中镜头本来静止不动这双眼睛却能绕着画面里的主体飞上半圈、拉近拉远甚至做出子弹时间般的环绕定格。而镜头每移动到一个新位置画面上本来看不到的部分都由扩散模型负责脑补出来——这就是轨迹重定向加新颖视角生成的完整过程。拆开来看其实只有四件事单目视频只有一个镜头拍出的画面没有额外深度信息、没有多个视角这是绝大多数日常视频的真实形态相机轨迹重定向重新定义镜头运动的路线比如把静止机位改成环绕飞行扩散模型负责补全从新角度看去、原视频里并不存在的画面内容姿态控制你可以精确指定镜头最终停在哪个角度、看向哪里而不是随机生成。第 1 步把舞台搭好动手之前先解释一个为什么为什么要用 conda 单独建一个环境因为 TrajectoryCrafter 依赖固定的 Python 版本和若干特定版本的库如果直接装进系统全局 Python很容易和你的其他项目互相打架。用 conda 隔离出一间独立的小房间装坏了大不了删掉重建互不干扰。首先是克隆项目注意要带上--recursive参数这样才能把依赖的代码一并拉下来git clone --recursive https://gitcode.com/gh_mirrors/tr/TrajectoryCrafter cd TrajectoryCrafter然后是创建环境并安装依赖conda create -n trajcrafter python3.10 conda activate trajcrafter pip install -r requirements.txt这里还有一个硬性要求建议准备显存 ≥ 28GB 的 GPU。原因不难理解——视频扩散模型在逐帧生成时需要把大量中间张量同时塞进显存显存太小会直接爆内存报错。第 2 步一行命令下载预训练模型预训练模型是整套能力的底座它包含了基础的视频生成能力以及专门训练出来的轨迹控制模块。没有它项目就跑不起来。项目提供了两条下载路径网络顺畅时优先用 HuggingFacesh download/download_hf.sh如果连 HuggingFace 不稳定或速度太慢可以改用 git-lfs 方式虽然慢一些但更稳sh download/download_lfs.sh避坑提示如果你选择了本地下载记得打开 inference.py把预训练模型的默认路径--model_name和--transformer_path两个参数的默认值改成你本机存放模型的实际路径否则运行时会因为找不到权重而报错。第 3 步跑起来两种玩法任选玩法 A命令行一键推理。项目自带的run.sh已经配好了一组示例参数直接用即可sh run.sh如果你想自己定制镜头运动就要认识两个关键参数。--camera target表示指定目标姿态后面跟 5 个数字(theta, phi, r, x, y)分别代表镜头上下转、左右转、前后移动以及画面平移改数字就能精准控制镜头最终位置--camera traj则表示走一条复杂轨迹需要通过--traj_txt传入一个 txt 文件文件里三行分别写着 theta、phi、r 三组序列脚本会自动插值成 49 帧的平滑路径。另外--mode还提供了gradual渐进、bullet子弹时间环绕、direct直接切换、zoom推拉变焦几种镜头风格项目里的test/trajs/目录就放着现成的轨迹样例。更详细的参数说明可以查阅项目文档docs/config_help.md。玩法 B网页版 Demo。不想折腾命令行参数一条命令启动本地交互界面上传视频、拖动滑块就能直观地调整视角python gradio_app.py常见问题速答Q显存不够用怎么办优先压缩输入调大--stride抽帧间隔、减小--sample_size能明显降低显存占用inference.py 里还预留了--low_gpu_memory_mode低显存模式参数可以试着开启。Q生成效果不理想这个模型擅长处理对象轮廓清晰、运动方向明确的视频。如果画面里主体模糊、运动杂乱或是复杂到超出底层扩散模型的能力范围效果就会打折扣——所以选素材时尽量挑主体分明、背景干净的视频。Q模型下载太慢或一直失败两条路换 git-lfs 方式重试或者干脆把权重先下到本地再按第 2 步的提示修改默认路径。它适合做什么以及它所在的生态最直接的应用就是视频编辑给一段普通素材换个运镜方式视觉冲击力立刻上一个台阶在虚拟现实场景里也能用生成的自由视角提供更丰富的交互体验。如果你还想顺着这条技术线深入探索它的生态项目大致可以归成三类配套模型类CogVideo-Fun基础视频扩散模型、DepthCrafter单目深度估计、ViewCrafter视图生成是理解底层原理的敲门砖轨迹与视图生成类DimensionX、ReCapture、GEN3C、CAT4D、GS-DiT都在做换视角、控轨迹这件事但思路各有侧重注意力与求解优化类TrajAttention、GCD、NVS-Solver、DaS、RecamMaster聚焦在提升轨迹生成的质量与效率。下一步现在就去试一试整个上手过程其实就三步克隆项目、装好环境、下载模型后跑一次sh run.sh。项目还自带了测试视频和轨迹文件第一次运行完全不需要自己准备素材几分钟就能看到镜头飞起来的效果。如果你手头正好有一段随手拍的视频不妨把它也喂进去试试——欢迎在评论区聊聊你生成的运镜效果看看谁的镜头最有大片感。【免费下载链接】TrajectoryCrafter[ICCV 2025, Oral] TrajectoryCrafter: Redirecting Camera Trajectory for Monocular Videos via Diffusion Models项目地址: https://gitcode.com/gh_mirrors/tr/TrajectoryCrafter创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
TrajectoryCrafter 教程：3 步让随手拍的单目视频镜头飞起来
TrajectoryCrafter 教程3 步让随手拍的单目视频镜头飞起来【免费下载链接】TrajectoryCrafter[ICCV 2025, Oral] TrajectoryCrafter: Redirecting Camera Trajectory for Monocular Videos via Diffusion Models项目地址: https://gitcode.com/gh_mirrors/tr/TrajectoryCrafter如果你刷到过那些镜头绕着物体缓缓转一圈的炫酷视频可能会下意识以为它们需要多机位阵列、绿幕影棚或者几万块的拍摄设备。其实都不需要。这篇 TrajectoryCrafter 教程要介绍的是一个只需一段随手拍的单目视频就能把镜头重新导演一遍的开源项目——它通过扩散模型对视频做相机轨迹重定向既能生成高保真的全新视角又能对镜头姿态进行精确控制。该项目已入选 ICCV 2025 Oral目前代码与预训练权重均已开放。先弄明白它到底在做什么想象一下给视频里的镜头装上一双可以自由飞行的眼睛原视频中镜头本来静止不动这双眼睛却能绕着画面里的主体飞上半圈、拉近拉远甚至做出子弹时间般的环绕定格。而镜头每移动到一个新位置画面上本来看不到的部分都由扩散模型负责脑补出来——这就是轨迹重定向加新颖视角生成的完整过程。拆开来看其实只有四件事单目视频只有一个镜头拍出的画面没有额外深度信息、没有多个视角这是绝大多数日常视频的真实形态相机轨迹重定向重新定义镜头运动的路线比如把静止机位改成环绕飞行扩散模型负责补全从新角度看去、原视频里并不存在的画面内容姿态控制你可以精确指定镜头最终停在哪个角度、看向哪里而不是随机生成。第 1 步把舞台搭好动手之前先解释一个为什么为什么要用 conda 单独建一个环境因为 TrajectoryCrafter 依赖固定的 Python 版本和若干特定版本的库如果直接装进系统全局 Python很容易和你的其他项目互相打架。用 conda 隔离出一间独立的小房间装坏了大不了删掉重建互不干扰。首先是克隆项目注意要带上--recursive参数这样才能把依赖的代码一并拉下来git clone --recursive https://gitcode.com/gh_mirrors/tr/TrajectoryCrafter cd TrajectoryCrafter然后是创建环境并安装依赖conda create -n trajcrafter python3.10 conda activate trajcrafter pip install -r requirements.txt这里还有一个硬性要求建议准备显存 ≥ 28GB 的 GPU。原因不难理解——视频扩散模型在逐帧生成时需要把大量中间张量同时塞进显存显存太小会直接爆内存报错。第 2 步一行命令下载预训练模型预训练模型是整套能力的底座它包含了基础的视频生成能力以及专门训练出来的轨迹控制模块。没有它项目就跑不起来。项目提供了两条下载路径网络顺畅时优先用 HuggingFacesh download/download_hf.sh如果连 HuggingFace 不稳定或速度太慢可以改用 git-lfs 方式虽然慢一些但更稳sh download/download_lfs.sh避坑提示如果你选择了本地下载记得打开 inference.py把预训练模型的默认路径--model_name和--transformer_path两个参数的默认值改成你本机存放模型的实际路径否则运行时会因为找不到权重而报错。第 3 步跑起来两种玩法任选玩法 A命令行一键推理。项目自带的run.sh已经配好了一组示例参数直接用即可sh run.sh如果你想自己定制镜头运动就要认识两个关键参数。--camera target表示指定目标姿态后面跟 5 个数字(theta, phi, r, x, y)分别代表镜头上下转、左右转、前后移动以及画面平移改数字就能精准控制镜头最终位置--camera traj则表示走一条复杂轨迹需要通过--traj_txt传入一个 txt 文件文件里三行分别写着 theta、phi、r 三组序列脚本会自动插值成 49 帧的平滑路径。另外--mode还提供了gradual渐进、bullet子弹时间环绕、direct直接切换、zoom推拉变焦几种镜头风格项目里的test/trajs/目录就放着现成的轨迹样例。更详细的参数说明可以查阅项目文档docs/config_help.md。玩法 B网页版 Demo。不想折腾命令行参数一条命令启动本地交互界面上传视频、拖动滑块就能直观地调整视角python gradio_app.py常见问题速答Q显存不够用怎么办优先压缩输入调大--stride抽帧间隔、减小--sample_size能明显降低显存占用inference.py 里还预留了--low_gpu_memory_mode低显存模式参数可以试着开启。Q生成效果不理想这个模型擅长处理对象轮廓清晰、运动方向明确的视频。如果画面里主体模糊、运动杂乱或是复杂到超出底层扩散模型的能力范围效果就会打折扣——所以选素材时尽量挑主体分明、背景干净的视频。Q模型下载太慢或一直失败两条路换 git-lfs 方式重试或者干脆把权重先下到本地再按第 2 步的提示修改默认路径。它适合做什么以及它所在的生态最直接的应用就是视频编辑给一段普通素材换个运镜方式视觉冲击力立刻上一个台阶在虚拟现实场景里也能用生成的自由视角提供更丰富的交互体验。如果你还想顺着这条技术线深入探索它的生态项目大致可以归成三类配套模型类CogVideo-Fun基础视频扩散模型、DepthCrafter单目深度估计、ViewCrafter视图生成是理解底层原理的敲门砖轨迹与视图生成类DimensionX、ReCapture、GEN3C、CAT4D、GS-DiT都在做换视角、控轨迹这件事但思路各有侧重注意力与求解优化类TrajAttention、GCD、NVS-Solver、DaS、RecamMaster聚焦在提升轨迹生成的质量与效率。下一步现在就去试一试整个上手过程其实就三步克隆项目、装好环境、下载模型后跑一次sh run.sh。项目还自带了测试视频和轨迹文件第一次运行完全不需要自己准备素材几分钟就能看到镜头飞起来的效果。如果你手头正好有一段随手拍的视频不妨把它也喂进去试试——欢迎在评论区聊聊你生成的运镜效果看看谁的镜头最有大片感。【免费下载链接】TrajectoryCrafter[ICCV 2025, Oral] TrajectoryCrafter: Redirecting Camera Trajectory for Monocular Videos via Diffusion Models项目地址: https://gitcode.com/gh_mirrors/tr/TrajectoryCrafter创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考