10分钟快速上手SceneDreamer一行命令生成你的第一个3D虚拟世界【免费下载链接】SceneDreamer[TPAMI 2023] SceneDreamer: Unbounded 3D Scene Generation from 2D Image Collections项目地址: https://gitcode.com/gh_mirrors/sc/SceneDreamer想用一行命令生成属于自己的3D虚拟世界SceneDreamer是南洋理工大学S-Lab团队开源的3D场景生成项目TPAMI 2023它能够从海量2D图像中学习自动生成风格多样、带真实景深、支持自由相机漫游的无边界3D场景。本文将带你10分钟快速上手 SceneDreamer从环境安装到渲染出第一个3D世界全程只需复制粘贴几条命令即可完成。SceneDreamer是什么认识这个开源的3D场景生成神器SceneDreamer 的核心思想是从2D图像集合中学习无边界3D场景生成。它利用程序化生成的地形数据结合风格编码器让同一个模型可以产出不同风格的景观——森林、山地、沙漠、水域都能一键生成并且场景具有️无边界特性场景可以无限延伸支持无限世界生成模式3D一致性任意角度观察几何关系始终正确带有清晰深度多样风格通过风格编码器控制场景整体气质项目代码结构清晰入口文件包括 inference.py推理、train.py训练、app_gradio.py可视化界面完整说明可参考 README.md。环境准备SceneDreamer快速安装教程三步搞定先克隆项目仓库并进入目录git clone https://gitcode.com/gh_mirrors/sc/SceneDreamer cd SceneDreamer第一步创建conda环境官方推荐使用 Anaconda 管理 Python 环境conda env create -f environment.yaml conda activate scenedreamer第二步编译第三方CUDA库包括correlation、channelnorm、resample2d、bias_act、upfirdn2d以及voxlib体素库export CUDA_VERSION$(nvcc --version| grep -Po (\d\.)\d | head -1) CURRENT$(pwd) for p in correlation channelnorm resample2d bias_act upfirdn2d; do cd imaginaire/third_party/${p}; rm -rf build dist *info; python setup.py install; cd ${CURRENT}; done for p in gancraft/voxlib; do cd imaginaire/model_utils/${p}; make all cd ${CURRENT}; done第三步编译网格编码器gridencodercd gridencoder python setup.py build_ext --inplace python -m pip install . cd ${CURRENT}等待编译完成后环境就绪整个过程约3~5分钟具体依赖可查看 environment.yaml。一行命令生成你的第一个3D虚拟世界安装完成后还需要准备官方预训练权重scenedreamer_released.pt约几百MB将其放到项目根目录即可。然后执行推理命令python inference.py --config configs/scenedreamer_inference.yaml --output_dir ./test/ --seed 8888 --checkpoint ./scenedreamer_released.pt这就是一行命令生成3D场景的核心所在程序会自动调用 terrain_generator.py 生成地形然后渲染一段完整的相机漫游视频。运行完成后输出目录./test/下的结构如下test └── camera_04 # 相机轨迹模式编号 ├── rgb_render # 逐帧RGB渲染图 ├── rgb_render.mp4 # 合成好的渲染视频 ├── height_map.png # 高度图 ├── semantic_map.png # 语义分割图 └── style.npy # 采样的风格编码每次运行指定不同的--seed就能生成完全不同的新世界随机性带来的惊喜感十足打造专属风格SceneDreamer渲染参数调优指南想控制生成效果所有参数都集中在 configs/scenedreamer_inference.yaml 中核心参数如下参数推荐范围作用说明camera_mode0 - 9相机轨迹模式环绕、拉升、缩放、俯视、无限世界等cam_maxstep越大越流畅渲染总帧数调大可让镜头运动更平滑resolution_hw[540,960] - [2160,3840]每帧渲染分辨率注意显存开销num_samples12 - 40每条光线的采样点数越高画质越好cam_ang50 - 130相机视野角度FOVscene_size1024 - 2048采样场景的空间分辨率其中camera_mode最值得玩味0~4 是不同方式的环绕镜头5 是中心环视6 是上升俯拍7 是45度远距离俯视而8 和 9 分别是持续视角生成和无限世界生成—— 体验走不完的世界就选 9零代码体验用Gradio界面生成3D场景如果你不想记忆命令行参数SceneDreamer 还内置了 Gradio 图形界面python app_gradio.py启动后在浏览器中打开本地地址即可通过可视化界面配置参数、点击生成非常适合新手零门槛体验3D场景生成。进阶玩法训练你自己的3D世界生成器渲染只是冰山一角SceneDreamer 完整支持自定义训练生成训练地形scripts/batch_terrain_gen.py 可并行批量生成程序化地形场景缓存稀疏体素scripts/pcg_cache.py 将地形缓存为稀疏体素大幅提升训练效率构建图像数据库scripts/build_lmdb.py 将图片与分割掩码打包为 lmdb 格式启动分布式训练python -m torch.distributed.launch --nproc_per_node8 --master_port8888 train.py --config configs/scenedreamer_train.yaml --seed 3407训练配置参考 scenedreamer_train.yaml预训练 SPADE 路径配置在 landscape1m.yaml。常见问题速查编译报错确认 CUDA 与 PyTorch 版本匹配重新执行第二步编译命令显存不足调低resolution_hw和num_samples或将scene_size降到 1024生成结果固定更换--seed参数即可获得全新场景想换风格调整style_dims相关配置并重新采样风格编码总结10分钟从零到3D世界从环境安装到渲染输出SceneDreamer 让3D场景生成变得前所未有的简单——一条命令就能生成电影级的3D虚拟世界。无论你是游戏开发者、CG爱好者还是对AI生成感兴趣的新手都可以用这10分钟开启自己的第一个3D世界。快去动手试试吧【免费下载链接】SceneDreamer[TPAMI 2023] SceneDreamer: Unbounded 3D Scene Generation from 2D Image Collections项目地址: https://gitcode.com/gh_mirrors/sc/SceneDreamer创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
10分钟快速上手SceneDreamer：一行命令生成你的第一个3D虚拟世界
10分钟快速上手SceneDreamer一行命令生成你的第一个3D虚拟世界【免费下载链接】SceneDreamer[TPAMI 2023] SceneDreamer: Unbounded 3D Scene Generation from 2D Image Collections项目地址: https://gitcode.com/gh_mirrors/sc/SceneDreamer想用一行命令生成属于自己的3D虚拟世界SceneDreamer是南洋理工大学S-Lab团队开源的3D场景生成项目TPAMI 2023它能够从海量2D图像中学习自动生成风格多样、带真实景深、支持自由相机漫游的无边界3D场景。本文将带你10分钟快速上手 SceneDreamer从环境安装到渲染出第一个3D世界全程只需复制粘贴几条命令即可完成。SceneDreamer是什么认识这个开源的3D场景生成神器SceneDreamer 的核心思想是从2D图像集合中学习无边界3D场景生成。它利用程序化生成的地形数据结合风格编码器让同一个模型可以产出不同风格的景观——森林、山地、沙漠、水域都能一键生成并且场景具有️无边界特性场景可以无限延伸支持无限世界生成模式3D一致性任意角度观察几何关系始终正确带有清晰深度多样风格通过风格编码器控制场景整体气质项目代码结构清晰入口文件包括 inference.py推理、train.py训练、app_gradio.py可视化界面完整说明可参考 README.md。环境准备SceneDreamer快速安装教程三步搞定先克隆项目仓库并进入目录git clone https://gitcode.com/gh_mirrors/sc/SceneDreamer cd SceneDreamer第一步创建conda环境官方推荐使用 Anaconda 管理 Python 环境conda env create -f environment.yaml conda activate scenedreamer第二步编译第三方CUDA库包括correlation、channelnorm、resample2d、bias_act、upfirdn2d以及voxlib体素库export CUDA_VERSION$(nvcc --version| grep -Po (\d\.)\d | head -1) CURRENT$(pwd) for p in correlation channelnorm resample2d bias_act upfirdn2d; do cd imaginaire/third_party/${p}; rm -rf build dist *info; python setup.py install; cd ${CURRENT}; done for p in gancraft/voxlib; do cd imaginaire/model_utils/${p}; make all cd ${CURRENT}; done第三步编译网格编码器gridencodercd gridencoder python setup.py build_ext --inplace python -m pip install . cd ${CURRENT}等待编译完成后环境就绪整个过程约3~5分钟具体依赖可查看 environment.yaml。一行命令生成你的第一个3D虚拟世界安装完成后还需要准备官方预训练权重scenedreamer_released.pt约几百MB将其放到项目根目录即可。然后执行推理命令python inference.py --config configs/scenedreamer_inference.yaml --output_dir ./test/ --seed 8888 --checkpoint ./scenedreamer_released.pt这就是一行命令生成3D场景的核心所在程序会自动调用 terrain_generator.py 生成地形然后渲染一段完整的相机漫游视频。运行完成后输出目录./test/下的结构如下test └── camera_04 # 相机轨迹模式编号 ├── rgb_render # 逐帧RGB渲染图 ├── rgb_render.mp4 # 合成好的渲染视频 ├── height_map.png # 高度图 ├── semantic_map.png # 语义分割图 └── style.npy # 采样的风格编码每次运行指定不同的--seed就能生成完全不同的新世界随机性带来的惊喜感十足打造专属风格SceneDreamer渲染参数调优指南想控制生成效果所有参数都集中在 configs/scenedreamer_inference.yaml 中核心参数如下参数推荐范围作用说明camera_mode0 - 9相机轨迹模式环绕、拉升、缩放、俯视、无限世界等cam_maxstep越大越流畅渲染总帧数调大可让镜头运动更平滑resolution_hw[540,960] - [2160,3840]每帧渲染分辨率注意显存开销num_samples12 - 40每条光线的采样点数越高画质越好cam_ang50 - 130相机视野角度FOVscene_size1024 - 2048采样场景的空间分辨率其中camera_mode最值得玩味0~4 是不同方式的环绕镜头5 是中心环视6 是上升俯拍7 是45度远距离俯视而8 和 9 分别是持续视角生成和无限世界生成—— 体验走不完的世界就选 9零代码体验用Gradio界面生成3D场景如果你不想记忆命令行参数SceneDreamer 还内置了 Gradio 图形界面python app_gradio.py启动后在浏览器中打开本地地址即可通过可视化界面配置参数、点击生成非常适合新手零门槛体验3D场景生成。进阶玩法训练你自己的3D世界生成器渲染只是冰山一角SceneDreamer 完整支持自定义训练生成训练地形scripts/batch_terrain_gen.py 可并行批量生成程序化地形场景缓存稀疏体素scripts/pcg_cache.py 将地形缓存为稀疏体素大幅提升训练效率构建图像数据库scripts/build_lmdb.py 将图片与分割掩码打包为 lmdb 格式启动分布式训练python -m torch.distributed.launch --nproc_per_node8 --master_port8888 train.py --config configs/scenedreamer_train.yaml --seed 3407训练配置参考 scenedreamer_train.yaml预训练 SPADE 路径配置在 landscape1m.yaml。常见问题速查编译报错确认 CUDA 与 PyTorch 版本匹配重新执行第二步编译命令显存不足调低resolution_hw和num_samples或将scene_size降到 1024生成结果固定更换--seed参数即可获得全新场景想换风格调整style_dims相关配置并重新采样风格编码总结10分钟从零到3D世界从环境安装到渲染输出SceneDreamer 让3D场景生成变得前所未有的简单——一条命令就能生成电影级的3D虚拟世界。无论你是游戏开发者、CG爱好者还是对AI生成感兴趣的新手都可以用这10分钟开启自己的第一个3D世界。快去动手试试吧【免费下载链接】SceneDreamer[TPAMI 2023] SceneDreamer: Unbounded 3D Scene Generation from 2D Image Collections项目地址: https://gitcode.com/gh_mirrors/sc/SceneDreamer创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考