MuJoCo 3D仿真可视化实战从一条命令启动到自定义渲染循环【免费下载链接】mujocoMulti-Joint dynamics with Contact. A general purpose physics simulator.项目地址: https://gitcode.com/GitHub_Trending/mu/mujocoMuJoCo 的 3D 仿真可视化分两段完成mjv前缀的函数把物理状态翻译成抽象场景mjr前缀的函数再把场景画到屏幕上。理解这条分工线你就能既用现成的 simulate 应用快速调试模型也能在几十行代码里搭出自己的可视化程序。三步跑通第一次仿真构建并打开 simulate这一节解决的问题不想先读 API 文档只想尽快在窗口里看到物理仿真跑起来。MuJoCo 仓库自带一个完整的交互式应用 simulate它内置了帮助面板、性能剖析和传感器绘图是调试模型最顺手的起点。构建只需四步git clone https://gitcode.com/GitHub_Trending/mu/mujoco cd mujoco cmake -B build -DCMAKE_BUILD_TYPERelease cmake --build build -j构建完成后运行./simulate model/humanoid/humanoid.xml模型路径就是参数也支持直接把 XML 文件拖进窗口加载。simulate由 CMake 选项MUJOCO_BUILD_SIMULATE控制默认为开启状态。图 1MuJoCo simulate 加载 humanoid 模型后的 3D 仿真画面窗口打开后常用操作基本围绕看、停、选三件事操作效果空格 / / -播放暂停 / 调整仿真速度左、右键单步回退 / 前进[/]切换模型里定义的固定相机双击 / 右键双击 / Ctrl右键双击选中 / 居中相机 / 转为跟踪相机左键拖动、滚轮、Shift右键拖动环绕视角、缩放、平移Ctrl拖动 / CtrlShift拖动旋转 / 平移被选中的物体F1 ~ F5帮助、信息、性能剖析、传感器曲线、全屏这些定义可以直接在 simulate/simulate.cc 的帮助字符串里核对。其中跟踪相机特别实用物体怎么跑镜头就跟着怎么跑适合观察单个人形或单个气球的长期行为。看懂画面背后的两段流水线mjv 负责填场景mjr 负责画这一节解决的问题当你需要自己写可视化程序时每帧到底该调用哪些函数、调用顺序是什么。可以把整条链路想象成餐馆mjv_updateScene是后厨备菜把mjModel和mjData里的物理状态几何体姿态、光源、接触点、力箭头摆盘成一份mjvScenemjr_render是前厅上菜把这份抽象场景真正绘制到帧缓冲。两者之间隔着清晰的接口所以你也可以只取前半段把mjvScene交给别的渲染引擎。核心数据结构只有四个mjvScene抽象场景容器装几何体、灯光、相机mjvCamera抽象相机分自由、跟踪、固定、用户自定义四种模式mjvPerturb鼠标扰动器按住 Ctrl 拖动物体时背后就是它在写外力mjrContextGPU 资源上下文管理纹理、字体和离屏缓冲。主循环的骨架如下来自 sample/basic.ccwhile (!glfwWindowShouldClose(window)) { mjtNum simstart d-time; while (d-time - simstart 1.0/60.0) { // 仿真追到实时 mj_step(m, d); } mjrRect viewport {0, 0, 0, 0}; glfwGetFramebufferSize(window, viewport.width, viewport.height); mjv_updateScene(m, d, opt, NULL, cam, mjCAT_ALL, scn); // 填场景 mjr_render(viewport, scn, con); // 绘制 glfwSwapBuffers(window); glfwPollEvents(); }注意mjv_updateScene的最后一个参数mjCAT_ALL它是个位掩码控制本次往场景里塞哪些几何静态、动态、装饰元素。只改相机位置时可改用mjv_updateCamera省掉整个场景的重建。图 2MuJoCo 可视化管线渲染出的最简场景说明 mjvScene 只需要几何和材质就能出图用几行 XML 调外观材质、纹理与相机预设这一节解决的问题模型能跑了但画面素得没法看或者每次都要手动调相机。外观和视角其实都可以写进模型文件里保存后在 simulate 或任何自写程序里直接生效。给地面铺一块棋盘格纹理只需在asset里声明再用material属性引用model/balloons/balloons.xml 里的地面就是这么做的asset texture namegrid type2d builtinchecker width512 height512 rgb1.1 .2 .3 rgb2.2 .3 .4/ material namegrid_mat texturegrid texrepeat10 10 reflectance.2/ /asset geom typeplane size5 5 .1 materialgrid_mat/改texrepeat控制格子密度改reflectance控制反光强度。相机也一样。在worldbody里定义几个固定机位运行时按[]即可循环切换camera namefront pos0 -5 1.5 xyaxes1 0 0 0 1 0/ camera nameside pos5 0 1.5 xyaxes0 1 0 0 0 1/pos是机位坐标xyaxes给的是相机的右方向和上方向叉乘出视轴两个向量必须正交归一。柔性体是可视化里最能体现调参出效果的地方。model/flex/softbox.xml 用flexcomp声明了一个 7×7×7 的软盒子子标签edge equalitytrue/把边缘变成等式约束让它有骨架想换外观就在flexcomp上挂material或调整radius让形变更饱满。图 3MuJoCo 可视化布料类柔性体时的网格与内力渲染颜色区分拉伸与弯曲单元关掉窗口照样出图离屏渲染与批量导出这一节解决的问题你的仿真跑在服务器上没有显示器但你需要把轨迹存成带深度图的 RGB 序列喂给下游的视觉模型。sample/record.cc 就是干这个的核心只有三件事mjr_setBuffer(mjFB_OFFSCREEN, con); // 切到离屏缓冲 mjrRect viewport mjr_maxViewport(con); // 循环内 mjv_updateScene(m, d, opt, NULL, cam, mjCAT_ALL, scn); mjr_render(viewport, scn, con); mjr_readPixels(rgb, depth, viewport, con); // 取回 RGB 与深度mjr_readPixels同时给出颜色图和逐像素深度record.cc 还顺手把降采样后的深度图贴到画面角落做校验。它支持三种后端有窗口环境用 GLFW无窗口环境用 EGL硬件加速或 OSMesa纯软渲染编译时加-DMJ_EGL或-DMJ_OSMESA即可。渲染分辨率则写在模型 XML 的visual里离屏缓冲的尺寸就取自那里。图 4MuJoCo 相机与场景的射线关系示意理解 ray 选择与相机视锥的基础仿真和画面对不上时先查这五处这一节解决的问题画面偶尔错位、冻结、白屏或者切换模型后渲染崩掉多数是下面几个经典坑窗口尺寸和帧缓冲尺寸不是一回事。高缩放屏幕上窗口逻辑尺寸与物理像素不同viewport 要用glfwGetFramebufferSize取而鼠标事件给的是窗口坐标交互函数里要另用窗口高度做归一化。换模型必须重建 mjrContext。加载新模型后要再次调用mjr_makeContext内部会自动释放旧资源mjr_defaultContext只在第一次使用前调一次之后误调会丢失 GPU 资源记录。跟踪相机退不出。一旦进入跟踪模式Esc 键才能回到自由相机很多人以为相机坏了其实是被锁在某个 body 上了。离屏渲染在 headless Linux 上可能降级。record.cc 会打印警告并回退到窗口缓冲确认构建时带了 EGL 或 OSMesa 支持。扰动力残留。mjv_applyPerturbForce只写选中 body 的xfrc_applied不会帮你清零其余 body换选物体前记得手动清空否则上个物体的力还在。延伸探索可视化 API 的完整参考相机四种模式、VR 集成、帧缓冲细节都在里面doc/programming/visualization.rst最小可视化程序与离屏录制两个可编译样例sample/basic.cc、sample/record.cc结构定义源头include/mujoco/mjvisualize.h 与 include/mujoco/mjrender.h更多可拖进 simulate 直接把玩的模型model/flex/softbox.xml、model/balloons/balloons.xml【免费下载链接】mujocoMulti-Joint dynamics with Contact. A general purpose physics simulator.项目地址: https://gitcode.com/GitHub_Trending/mu/mujoco创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
MuJoCo 3D仿真可视化实战：从一条命令启动到自定义渲染循环
MuJoCo 3D仿真可视化实战从一条命令启动到自定义渲染循环【免费下载链接】mujocoMulti-Joint dynamics with Contact. A general purpose physics simulator.项目地址: https://gitcode.com/GitHub_Trending/mu/mujocoMuJoCo 的 3D 仿真可视化分两段完成mjv前缀的函数把物理状态翻译成抽象场景mjr前缀的函数再把场景画到屏幕上。理解这条分工线你就能既用现成的 simulate 应用快速调试模型也能在几十行代码里搭出自己的可视化程序。三步跑通第一次仿真构建并打开 simulate这一节解决的问题不想先读 API 文档只想尽快在窗口里看到物理仿真跑起来。MuJoCo 仓库自带一个完整的交互式应用 simulate它内置了帮助面板、性能剖析和传感器绘图是调试模型最顺手的起点。构建只需四步git clone https://gitcode.com/GitHub_Trending/mu/mujoco cd mujoco cmake -B build -DCMAKE_BUILD_TYPERelease cmake --build build -j构建完成后运行./simulate model/humanoid/humanoid.xml模型路径就是参数也支持直接把 XML 文件拖进窗口加载。simulate由 CMake 选项MUJOCO_BUILD_SIMULATE控制默认为开启状态。图 1MuJoCo simulate 加载 humanoid 模型后的 3D 仿真画面窗口打开后常用操作基本围绕看、停、选三件事操作效果空格 / / -播放暂停 / 调整仿真速度左、右键单步回退 / 前进[/]切换模型里定义的固定相机双击 / 右键双击 / Ctrl右键双击选中 / 居中相机 / 转为跟踪相机左键拖动、滚轮、Shift右键拖动环绕视角、缩放、平移Ctrl拖动 / CtrlShift拖动旋转 / 平移被选中的物体F1 ~ F5帮助、信息、性能剖析、传感器曲线、全屏这些定义可以直接在 simulate/simulate.cc 的帮助字符串里核对。其中跟踪相机特别实用物体怎么跑镜头就跟着怎么跑适合观察单个人形或单个气球的长期行为。看懂画面背后的两段流水线mjv 负责填场景mjr 负责画这一节解决的问题当你需要自己写可视化程序时每帧到底该调用哪些函数、调用顺序是什么。可以把整条链路想象成餐馆mjv_updateScene是后厨备菜把mjModel和mjData里的物理状态几何体姿态、光源、接触点、力箭头摆盘成一份mjvScenemjr_render是前厅上菜把这份抽象场景真正绘制到帧缓冲。两者之间隔着清晰的接口所以你也可以只取前半段把mjvScene交给别的渲染引擎。核心数据结构只有四个mjvScene抽象场景容器装几何体、灯光、相机mjvCamera抽象相机分自由、跟踪、固定、用户自定义四种模式mjvPerturb鼠标扰动器按住 Ctrl 拖动物体时背后就是它在写外力mjrContextGPU 资源上下文管理纹理、字体和离屏缓冲。主循环的骨架如下来自 sample/basic.ccwhile (!glfwWindowShouldClose(window)) { mjtNum simstart d-time; while (d-time - simstart 1.0/60.0) { // 仿真追到实时 mj_step(m, d); } mjrRect viewport {0, 0, 0, 0}; glfwGetFramebufferSize(window, viewport.width, viewport.height); mjv_updateScene(m, d, opt, NULL, cam, mjCAT_ALL, scn); // 填场景 mjr_render(viewport, scn, con); // 绘制 glfwSwapBuffers(window); glfwPollEvents(); }注意mjv_updateScene的最后一个参数mjCAT_ALL它是个位掩码控制本次往场景里塞哪些几何静态、动态、装饰元素。只改相机位置时可改用mjv_updateCamera省掉整个场景的重建。图 2MuJoCo 可视化管线渲染出的最简场景说明 mjvScene 只需要几何和材质就能出图用几行 XML 调外观材质、纹理与相机预设这一节解决的问题模型能跑了但画面素得没法看或者每次都要手动调相机。外观和视角其实都可以写进模型文件里保存后在 simulate 或任何自写程序里直接生效。给地面铺一块棋盘格纹理只需在asset里声明再用material属性引用model/balloons/balloons.xml 里的地面就是这么做的asset texture namegrid type2d builtinchecker width512 height512 rgb1.1 .2 .3 rgb2.2 .3 .4/ material namegrid_mat texturegrid texrepeat10 10 reflectance.2/ /asset geom typeplane size5 5 .1 materialgrid_mat/改texrepeat控制格子密度改reflectance控制反光强度。相机也一样。在worldbody里定义几个固定机位运行时按[]即可循环切换camera namefront pos0 -5 1.5 xyaxes1 0 0 0 1 0/ camera nameside pos5 0 1.5 xyaxes0 1 0 0 0 1/pos是机位坐标xyaxes给的是相机的右方向和上方向叉乘出视轴两个向量必须正交归一。柔性体是可视化里最能体现调参出效果的地方。model/flex/softbox.xml 用flexcomp声明了一个 7×7×7 的软盒子子标签edge equalitytrue/把边缘变成等式约束让它有骨架想换外观就在flexcomp上挂material或调整radius让形变更饱满。图 3MuJoCo 可视化布料类柔性体时的网格与内力渲染颜色区分拉伸与弯曲单元关掉窗口照样出图离屏渲染与批量导出这一节解决的问题你的仿真跑在服务器上没有显示器但你需要把轨迹存成带深度图的 RGB 序列喂给下游的视觉模型。sample/record.cc 就是干这个的核心只有三件事mjr_setBuffer(mjFB_OFFSCREEN, con); // 切到离屏缓冲 mjrRect viewport mjr_maxViewport(con); // 循环内 mjv_updateScene(m, d, opt, NULL, cam, mjCAT_ALL, scn); mjr_render(viewport, scn, con); mjr_readPixels(rgb, depth, viewport, con); // 取回 RGB 与深度mjr_readPixels同时给出颜色图和逐像素深度record.cc 还顺手把降采样后的深度图贴到画面角落做校验。它支持三种后端有窗口环境用 GLFW无窗口环境用 EGL硬件加速或 OSMesa纯软渲染编译时加-DMJ_EGL或-DMJ_OSMESA即可。渲染分辨率则写在模型 XML 的visual里离屏缓冲的尺寸就取自那里。图 4MuJoCo 相机与场景的射线关系示意理解 ray 选择与相机视锥的基础仿真和画面对不上时先查这五处这一节解决的问题画面偶尔错位、冻结、白屏或者切换模型后渲染崩掉多数是下面几个经典坑窗口尺寸和帧缓冲尺寸不是一回事。高缩放屏幕上窗口逻辑尺寸与物理像素不同viewport 要用glfwGetFramebufferSize取而鼠标事件给的是窗口坐标交互函数里要另用窗口高度做归一化。换模型必须重建 mjrContext。加载新模型后要再次调用mjr_makeContext内部会自动释放旧资源mjr_defaultContext只在第一次使用前调一次之后误调会丢失 GPU 资源记录。跟踪相机退不出。一旦进入跟踪模式Esc 键才能回到自由相机很多人以为相机坏了其实是被锁在某个 body 上了。离屏渲染在 headless Linux 上可能降级。record.cc 会打印警告并回退到窗口缓冲确认构建时带了 EGL 或 OSMesa 支持。扰动力残留。mjv_applyPerturbForce只写选中 body 的xfrc_applied不会帮你清零其余 body换选物体前记得手动清空否则上个物体的力还在。延伸探索可视化 API 的完整参考相机四种模式、VR 集成、帧缓冲细节都在里面doc/programming/visualization.rst最小可视化程序与离屏录制两个可编译样例sample/basic.cc、sample/record.cc结构定义源头include/mujoco/mjvisualize.h 与 include/mujoco/mjrender.h更多可拖进 simulate 直接把玩的模型model/flex/softbox.xml、model/balloons/balloons.xml【免费下载链接】mujocoMulti-Joint dynamics with Contact. A general purpose physics simulator.项目地址: https://gitcode.com/GitHub_Trending/mu/mujoco创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考