Isaac Lab Direct 工作流环境设计实战以 Jetbot 为例从零构建可训练的 RL 环境【免费下载链接】IsaacLabUnified framework for robot learning with multi-physics/renderer support项目地址: https://gitcode.com/GitHub_Trending/is/IsaacLab本指南是 Isaac Lab 官方项目实操演练Walkthrough系列中《Environment Design》一文的完整技术解读。它以模板项目template为基础、采用Direct 工作流逐步讲解如何在 Isaac Lab 中为 Jetbot两轮差速小车编写一个完整可训练的强化学习RL环境——从定义机器人资产、编写环境配置类到实现动作应用、观察量/奖励计算、终止判定与重置逻辑。读完本文你将掌握DirectRLEnv/DirectRLEnvCfg的六个核心接口方法与完整的向量化环境搭建流程并理解克隆cloning、降采样decimation、场景实体数据如ArticulationData等 Isaac Lab 关键机制能够独立把该流程迁移到自己的机器人与环境上。一、环境设计的前置概念App、Sim、World、Stage 与 Scene在动手写代码之前需要先建立一套 Isaac Lab 特有的概念词汇。传统 RL 问题描述假设世界天然存在而 Isaac Lab 中我们必须自己构建这个世界。从上层到底层Isaac Sim / Isaac Lab 的结构分为五层World世界由笛卡尔坐标系的原点和单位定义。世界有多大、物体有多远都只能相对于某个参考坐标系来回答而这个参考系就是世界。Simulation仿真控制世界的规则定义物理定律时间步进、重力方向、渲染频率等。仿真把一次时间步进拆分为多个子步骤如physics_step、render_stepIsaac Lab 的大量 API 以_pre_XYZ_step/_post_XYZ_step的形式挂接到这些子步骤上。Application应用负责其余一切——资源管理、仿真进程的启动与销毁。即使是 headless 模式仿真也有一个应用在背后管理。Stage舞台为世界提供组合上下文。仿真中的一切都是 USD Primitivestage 把这些 prim 组织成一棵树上下文由树中的相对路径定义如/room/table/food。父 prim 的组合属性作用于所有子 prim子 prim 可以按需覆盖父属性。Scene场景管理 stage 上与向量化相关的仿真实体。深度学习的瓶颈在于数据获取速度Isaac Lab 的核心价值之一就是向量化——同时仿真多份训练过程副本成倍提高数据生成率。场景把这些副本放到 stage 上的新坐标处每份副本都有自己独立的参考系观察与奖励都在各自参考系下计算。InteractiveScene与InteractiveSceneCfg是这套向量化机制的直接体现其完整定义可参见 InteractiveSceneCfg 源码。理解所有副本共享同一个 world 与 stage、但彼此可能产生非预期交互这一点对后续调试至关重要。二、定义机器人新建 robots 模块与 jetbot.py随着项目增长我们会希望管理多台机器人。因此先在模板扩展中新增一个robots模块把每台机器人的定义独立存放。导航到模板扩展目录isaac_lab_tutorial/source/isaac_lab_tutorial/isaac_lab_tutorial/在其中新建文件夹robots并创建两个文件__init__.py将该目录标记为 Python 模块与jetbot.py。jetbot.py的内容非常精简全部目的就是为机器人配置提供一个独立的命名空间import isaaclab.sim as sim_utils from isaaclab.assets import ArticulationCfg from isaaclab.actuators import ImplicitActuatorCfg from isaaclab.utils.assets import ISAAC_NUCLEUS_DIR JETBOT_CONFIG ArticulationCfg( spawnsim_utils.UsdFileCfg(usd_pathf{ISAAC_NUCLEUS_DIR}/Robots/NVIDIA/Jetbot/jetbot.usd), actuators{wheel_acts: ImplicitActuatorCfg(joint_names_expr[.*], dampingNone, stiffnessNone)}, )这里值得注意的细节ArticulationCfg描述一个关节式刚体资产articulation的配置类。环境可以有多个 articulation每个都通过ArticulationCfg定义。spawn定义资产如何被生成到 stage 上。UsdFileCfg(usd_path...)指定加载一个 USD 文件。ISAAC_NUCLEUS_DIR是 Isaac Lab 工具库assets 工具提供的常量指向 NVIDIA 公共 Nucleus 服务器上的资源目录Jetbot 资产通过该路径公开托管。任何 USD 文件路径都是合法的包括本地路径。actuatorsImplicitActuatorCfg定义隐式执行器implicit actuator。joint_names_expr[.*]用正则匹配机器人全部关节dampingNone, stiffnessNone表示不对关节施加额外的阻尼/刚度——对于 Jetbot 这种通过轮速直接控制的小车隐式执行器非常合适。关于机器人配置的更多细节可以参考仓库中的 add_new_robot 教程其中详细讲解了ArticulationCfg、AssetBaseCfg与spawn的各个字段。三、环境配置类IsaacLabTutorialEnvCfg接下来导航到环境配置文件isaac_lab_tutorial/source/isaac_lab_tutorial/isaac_lab_tutorial/tasks/direct/isaac_lab_tutorial/isaac_lab_tutorial_env_cfg.py将内容整体替换为from isaac_lab_tutorial.robots.jetbot import JETBOT_CONFIG from isaaclab.assets import ArticulationCfg from isaaclab.envs import DirectRLEnvCfg from isaaclab.scene import InteractiveSceneCfg from isaaclab.sim import SimulationCfg from isaaclab.utils.configclass import configclass configclass class IsaacLabTutorialEnvCfg(DirectRLEnvCfg): # env decimation 2 episode_length_s 5.0 # - spaces definition action_space 2 observation_space 3 state_space 0 # simulation sim: SimulationCfg SimulationCfg(dt1 / 120, render_intervaldecimation) # robot(s) robot_cfg: ArticulationCfg JETBOT_CONFIG.replace(prim_path/World/envs/env_.*/Robot) # scene scene: InteractiveSceneCfg InteractiveSceneCfg(num_envs100, env_spacing4.0, replicate_physicsTrue) dof_names [left_wheel_joint, right_wheel_joint]这段配置与模板自带的 cartpole 环境配置几乎同构只是把机器人换成了 Jetbot。下面结合 DirectRLEnvCfg 源码 逐项解析。3.1 基础参数decimation、episode_length_s 与空间定义decimation、episode_length_s、action_space、observation_space、state_space都是基类DirectRLEnvCfg的成员每个DirectRLEnv都必须定义它们decimation 2源码注释为Number of control action updates sim dt per policy dt即策略动作更新一次所跨越的物理步数。物理仿真步长dt与策略步长policy dt的比值就是decimation。例如 sim dt 为 0.01s、策略 dt 为 0.1s 时decimation 10。这里dt 1/120、decimation 2意味着策略每步对应 2 次物理步进即环境步长step dt约为 1/60 秒。episode_length_s 5.0一个 episode 的时长秒。源码中给出了换算公式episode_length_steps ceil(episode_length_s / (decimation_rate * physics_time_step))即5.0 / (2 × 1/120) 300个策略步。基类据此自动维护max_episode_length缓冲区无需手工计算。action_space 2动作空间维度。作为环境设计者动作空间由我们决定——Jetbot 只有两个被驱动的关节左右轮所以动作是 2 维。observation_space 3观察空间维度。这里刻意选择3因为我们暂时只把 Jetbot 的线速度喂给智能体3 维向量。后续阶段会随环境发展而调整。state_space 0状态空间维度。策略不需要维护内部状态非非对称 actor-critic 训练所以为 0。需要说明的是源码 direct_rl_env_cfg.py 指出空间参数除了整数外还可以直接使用 Gymnasium space 定义如Box、Discrete、Dict、Tuple等对应关系包括Box↔ 整数/整数列表、Discrete↔ 单元素集合、Dict↔ 字典等。整数写法只是最简形式当需要更精细的空间规格时例如图像观察[64, 64, 3]可以换成 Gymnasium space。3.2 sim、robot_cfg 与 scene配置类的组合性配置类上挂着configclass装饰器这是 Isaac Lab 的**配置类configuration class**机制环境克隆与扩展训练规模时Isaac Lab 需要知道该关心哪些配置。配置类可以组合嵌套sim、scene、robot 本身也都是配置类从而支持任意复杂环境的克隆。DirectRLEnvCfg源码中明确要求scene必须显式定义scene: InteractiveSceneCfg MISSING而sim有默认值技术上可选但这里我们显式指定。sim: SimulationCfg SimulationCfg(dt1/120, render_intervaldecimation)SimulationCfg控制被模拟现实的本质——时间步进精度dt表示每个物理步进 1/120 秒、重力方向、物理引擎行为等。render_intervaldecimation表示每 2 个物理步渲染一帧值 2 即隔帧渲染。渲染间隔小于decimation时每个环境步内会触发多次渲染调用DirectRLEnv._init_sim中会打印警告建议将两者设为相等。robot_cfg: ArticulationCfg JETBOT_CONFIG.replace(prim_path/World/envs/env_.*/Robot)把上一节定义的JETBOT_CONFIG复制一份并把prim_path替换为正则路径/World/envs/env_.*/Robot。这隐式声明了场景的每份副本 env_* 中都有一个名为 Robot 的机器人。模板默认的 cartpole 配置isaaclab_assets/robots/cartpole.py正是通过同样的replace手法复用CARTPOLE_CFG的。scene: InteractiveSceneCfg InteractiveSceneCfg(num_envs100, env_spacing4.0, replicate_physicsTrue)描述 stage 上要放什么、要克隆多少份。num_envs100表示创建 100 份并行环境副本env_spacing4.0是各副本在 stage 上的间距避免副本间非预期交互replicate_physicsTrue启用物理复制以提升向量化性能。dof_names [left_wheel_joint, right_wheel_joint]Jetbot 两个被驱动关节的名称列表供环境实现中通过find_joints解析出关节索引。四、环境实现初始化与场景克隆配置文件就绪后进入环境本体。导航到isaac_lab_tutorial/source/isaac_lab_tutorial/isaac_lab_tutorial/tasks/direct/isaac_lab_tutorial/isaac_lab_tutorial_env.py替换__init__与_setup_scene方法class IsaacLabTutorialEnv(DirectRLEnv): cfg: IsaacLabTutorialEnvCfg def __init__(self, cfg: IsaacLabTutorialEnvCfg, render_mode: str | None None, **kwargs): super().__init__(cfg, render_mode, **kwargs) self.dof_idx, _ self.robot.find_joints(self.cfg.dof_names) def _setup_scene(self): self.robot Articulation(self.cfg.robot_cfg) # add ground plane spawn_ground_plane(prim_path/World/ground, cfgGroundPlaneCfg()) # clone and replicate self.scene.clone_environments(copy_from_sourceFalse) # add articulation to scene self.scene.articulations[robot] self.robot # add lights light_cfg sim_utils.DomeLightCfg(intensity2000.0, color(0.75, 0.75, 0.75)) light_cfg.func(/World/Light, light_cfg)几个关键点super().__init__会调用_setup_scene。DirectRLEnv初始化时会创建SimulationContext、构造InteractiveScene然后调用_setup_scene()完成场景搭建见 direct_rl_env.py 的_init_sim。因此_setup_scene中self.robot的创建必须发生在super().__init__内部而__init__里find_joints才能取到关节索引——这就是为什么注释里强调setup 是在 super 里被调用的。_setup_scene的顺序即克隆流程先创建Articulation此时机器人只存在于 stage 的/World/envs/env_0/Robot再scene.clone_environments(copy_from_sourceFalse)把env_0复制成 100 份然后把 articulation 登记进场景的articulations字典self.scene.articulations[robot] self.robot供场景统一跟踪。spawn_ground_plane与DomeLightCfg分别添加地面与穹顶灯intensity2000.0为光强、color(0.75, 0.75, 0.75)为浅灰白光色。find_joints返回关节索引与名称列表self.dof_idx被保存下来供后续_apply_action定位左右轮关节。五、动作接口_pre_physics_step与_apply_action替换_pre_physics_step与_apply_actiondef _pre_physics_step(self, actions: torch.Tensor) - None: self.actions actions.clone() def _apply_action(self) - None: self.robot.set_joint_velocity_target(self.actions, joint_idsself.dof_idx)Isaac Lab 把把动作施加到机器人拆成两个阶段_pre_physics_step在物理步进之前调用仅缓存动作actions.clone()。物理仿真相对策略查询是降采样decimated的——每个策略动作可能跨越多个物理步。把从策略取数据与把更新施加给物理仿真解耦是刻意设计保证更新驱动目标、重置环境等操作不会发生在物理/渲染步进过程当中这一点在 api_env_design 文档 中有更完整的阐述。_apply_action真正把动作应用到 stage 上的机器人。set_joint_velocity_target(self.actions, joint_idsself.dof_idx)为左右轮设置速度目标——由于JETBOT_CONFIG使用ImplicitActuatorCfg(dampingNone, stiffnessNone)动作是以关节速度目标而非位置目标的形式被执行的。动作张量的形状为[num_envs, num_actions]即[100, 2]。一次调用就同时应用到 stage 上全部 100 台机器人这正是向量化环境的核心体验代码一次、数据并行。六、观察与奖励接口_get_observations与_get_rewards替换_get_observations与_get_rewardsdef _get_observations(self) - dict: self.velocity self.robot.data.root_com_lin_vel_b observations {policy: self.velocity} return observations def _get_rewards(self) - torch.Tensor: total_reward torch.linalg.norm(self.velocity, dim-1, keepdimTrue) return total_reward这里涉及 Isaac Lab 数据模型的一个核心概念——实体 vs 数据机器人是 stage 上的Articulation对象它带有一个数据类ArticulationData存放 stage 上每一台具体克隆体的数据各种运动学向量如root_com_lin_vel_b、参考向量如robot.data.FORWARD_VEC_B等。root_com_lin_vel_b是ArticulationData的属性替我们把质心线速度从世界系转换到了机体坐标系body frame。因此要拿到所有机器人的机体坐标系线速度只需self.robot.data.root_com_lin_vel_b返回形状[num_envs, 3]。观察的返回格式是字典policy键对应提供给策略模型的观察critic键对应提供给评论家模型的观察用于非对称 actor-critic 训练。本教程不采用非对称 actor-critic所以只需定义policy。DirectRLEnv的_configure_gym_env_spaces会依据observation_space 3与action_space 2自动把 Gym 空间配置好。奖励则更直接为每份场景克隆计算一个标量奖励返回形状[num_envs, 1]的张量。这里作为占位符奖励取 Jetbot 机体坐标系线速度的模torch.linalg.norm。在这个奖励与观察空间下智能体将学会驱动 Jetbot 前进或后退具体方向在训练开始后不久随机确定。七、终止与重置_get_dones与_reset_idx最后替换_get_dones与_reset_idxdef _get_dones(self) - tuple[torch.Tensor, torch.Tensor]: time_out self.episode_length_buf self.max_episode_length - 1 return False, time_out def _reset_idx(self, env_ids: Sequence[int] | None): if env_ids is None: env_ids self.robot._ALL_INDICES super()._reset_idx(env_ids) default_root_state self.robot.data.default_root_state[env_ids] default_root_state[:, :3] self.scene.env_origins[env_ids] self.robot.write_root_state_to_sim(default_root_state, env_ids)与动作类似终止与重置也分两步_get_dones标记哪些环境需要重置、以及为什么。RL 中一个 episode 通常以两种方式结束到达终止状态terminal或到达最大时长time-out。Isaac Lab 在后台自动管理 episode 时长追踪配置参数episode_length_s5.0 秒定义了最大时长内部缓冲区episode_length_buf记录每个场景已走步数支持各场景异步推进max_episode_length保存由episode_length_s换算出的最大步数本例 300 步。time_out的布尔比较逐元素判断哪些场景到达了时长上限。由于当前环境是占位实现不定义终止状态所以第一个张量直接返回False——PyTorch 会自动把它广播投影到正确的形状。_reset_idx接收一个环境索引张量真正重置这些环境。它是除super().__init__外唯一直接调用super的方法目的就是让基类管理 episode 时长相关的内部缓冲区。重置逻辑是取出被重置机器人的默认根状态default_root_state把位置部分前三列加上各场景原点偏移self.scene.env_origins[env_ids]再通过write_root_state_to_sim写回仿真。不要忘记原点偏移这一步它是克隆流程的直接后果克隆从 stage 上的单个机器人、单个世界系默认状态开始克隆后的每份副本都位于各自场景原点的局部坐标系中。如果不加偏移所有被重置的机器人会被扔回世界原点处。八、启动训练并验证以上修改全部完成后使用模板自带的train.py脚本启动任务即可看到 Jetbot 在训练中逐渐学会向前行驶# 在模板项目中示例使用 RSL RL 训练脚本 python scripts/reinforcement_learning/rsl_rl/train.py --task IsaacLabTutorial仓库中的训练入口参考 scripts/reinforcement_learning/rsl_rl/train.py其它 RL 库rl_games、skrl、sb3、rlinf也有对应的 train.py、play.py 脚本可供切换。本文档对应的完整修改代码托管在 IsaacLabTutorial 教程项目的jetbot-intro-1-1分支中。至此一个最小可运行的 Direct 工作流 RL 环境就完成了。回顾整个过程我们依次实现了原文档列出的五项任务定义机器人——robots/jetbot.py中的JETBOT_CONFIGArticulationCfgUsdFileCfgImplicitActuatorCfg定义训练仿真并管理克隆——IsaacLabTutorialEnvCfg中的sim/scene/robot_cfg以及_setup_scene中的clone_environments把智能体动作施加到机器人——_pre_physics_step_apply_action关节速度目标计算并返回奖励与观察——_get_observationsroot_com_lin_vel_b与_get_rewards速度模长占位奖励管理重置与终止状态——_get_donestime-out 判定与_reset_idx默认状态 场景原点偏移。这只是旅程的第一步后续阶段将引入命令向量command、可视化箭头标记VisualizationMarkers参见 markers.py 示例、更有意义的奖励函数如基于方向对齐的奖励以及真实策略训练从而把占位奖励替换为能够精确控制 Jetbot 行驶方向的控制器。对于希望系统掌握环境设计原理的读者建议按顺序阅读演练系列的另外两篇配套文档concepts_env_designApp/Sim/World/Stage/Scene 概念 与 api_env_design配置类与 DirectRLEnv 接口总览。【免费下载链接】IsaacLabUnified framework for robot learning with multi-physics/renderer support项目地址: https://gitcode.com/GitHub_Trending/is/IsaacLab创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
Isaac Lab Direct 工作流环境设计实战：以 Jetbot 为例从零构建可训练的 RL 环境
Isaac Lab Direct 工作流环境设计实战以 Jetbot 为例从零构建可训练的 RL 环境【免费下载链接】IsaacLabUnified framework for robot learning with multi-physics/renderer support项目地址: https://gitcode.com/GitHub_Trending/is/IsaacLab本指南是 Isaac Lab 官方项目实操演练Walkthrough系列中《Environment Design》一文的完整技术解读。它以模板项目template为基础、采用Direct 工作流逐步讲解如何在 Isaac Lab 中为 Jetbot两轮差速小车编写一个完整可训练的强化学习RL环境——从定义机器人资产、编写环境配置类到实现动作应用、观察量/奖励计算、终止判定与重置逻辑。读完本文你将掌握DirectRLEnv/DirectRLEnvCfg的六个核心接口方法与完整的向量化环境搭建流程并理解克隆cloning、降采样decimation、场景实体数据如ArticulationData等 Isaac Lab 关键机制能够独立把该流程迁移到自己的机器人与环境上。一、环境设计的前置概念App、Sim、World、Stage 与 Scene在动手写代码之前需要先建立一套 Isaac Lab 特有的概念词汇。传统 RL 问题描述假设世界天然存在而 Isaac Lab 中我们必须自己构建这个世界。从上层到底层Isaac Sim / Isaac Lab 的结构分为五层World世界由笛卡尔坐标系的原点和单位定义。世界有多大、物体有多远都只能相对于某个参考坐标系来回答而这个参考系就是世界。Simulation仿真控制世界的规则定义物理定律时间步进、重力方向、渲染频率等。仿真把一次时间步进拆分为多个子步骤如physics_step、render_stepIsaac Lab 的大量 API 以_pre_XYZ_step/_post_XYZ_step的形式挂接到这些子步骤上。Application应用负责其余一切——资源管理、仿真进程的启动与销毁。即使是 headless 模式仿真也有一个应用在背后管理。Stage舞台为世界提供组合上下文。仿真中的一切都是 USD Primitivestage 把这些 prim 组织成一棵树上下文由树中的相对路径定义如/room/table/food。父 prim 的组合属性作用于所有子 prim子 prim 可以按需覆盖父属性。Scene场景管理 stage 上与向量化相关的仿真实体。深度学习的瓶颈在于数据获取速度Isaac Lab 的核心价值之一就是向量化——同时仿真多份训练过程副本成倍提高数据生成率。场景把这些副本放到 stage 上的新坐标处每份副本都有自己独立的参考系观察与奖励都在各自参考系下计算。InteractiveScene与InteractiveSceneCfg是这套向量化机制的直接体现其完整定义可参见 InteractiveSceneCfg 源码。理解所有副本共享同一个 world 与 stage、但彼此可能产生非预期交互这一点对后续调试至关重要。二、定义机器人新建 robots 模块与 jetbot.py随着项目增长我们会希望管理多台机器人。因此先在模板扩展中新增一个robots模块把每台机器人的定义独立存放。导航到模板扩展目录isaac_lab_tutorial/source/isaac_lab_tutorial/isaac_lab_tutorial/在其中新建文件夹robots并创建两个文件__init__.py将该目录标记为 Python 模块与jetbot.py。jetbot.py的内容非常精简全部目的就是为机器人配置提供一个独立的命名空间import isaaclab.sim as sim_utils from isaaclab.assets import ArticulationCfg from isaaclab.actuators import ImplicitActuatorCfg from isaaclab.utils.assets import ISAAC_NUCLEUS_DIR JETBOT_CONFIG ArticulationCfg( spawnsim_utils.UsdFileCfg(usd_pathf{ISAAC_NUCLEUS_DIR}/Robots/NVIDIA/Jetbot/jetbot.usd), actuators{wheel_acts: ImplicitActuatorCfg(joint_names_expr[.*], dampingNone, stiffnessNone)}, )这里值得注意的细节ArticulationCfg描述一个关节式刚体资产articulation的配置类。环境可以有多个 articulation每个都通过ArticulationCfg定义。spawn定义资产如何被生成到 stage 上。UsdFileCfg(usd_path...)指定加载一个 USD 文件。ISAAC_NUCLEUS_DIR是 Isaac Lab 工具库assets 工具提供的常量指向 NVIDIA 公共 Nucleus 服务器上的资源目录Jetbot 资产通过该路径公开托管。任何 USD 文件路径都是合法的包括本地路径。actuatorsImplicitActuatorCfg定义隐式执行器implicit actuator。joint_names_expr[.*]用正则匹配机器人全部关节dampingNone, stiffnessNone表示不对关节施加额外的阻尼/刚度——对于 Jetbot 这种通过轮速直接控制的小车隐式执行器非常合适。关于机器人配置的更多细节可以参考仓库中的 add_new_robot 教程其中详细讲解了ArticulationCfg、AssetBaseCfg与spawn的各个字段。三、环境配置类IsaacLabTutorialEnvCfg接下来导航到环境配置文件isaac_lab_tutorial/source/isaac_lab_tutorial/isaac_lab_tutorial/tasks/direct/isaac_lab_tutorial/isaac_lab_tutorial_env_cfg.py将内容整体替换为from isaac_lab_tutorial.robots.jetbot import JETBOT_CONFIG from isaaclab.assets import ArticulationCfg from isaaclab.envs import DirectRLEnvCfg from isaaclab.scene import InteractiveSceneCfg from isaaclab.sim import SimulationCfg from isaaclab.utils.configclass import configclass configclass class IsaacLabTutorialEnvCfg(DirectRLEnvCfg): # env decimation 2 episode_length_s 5.0 # - spaces definition action_space 2 observation_space 3 state_space 0 # simulation sim: SimulationCfg SimulationCfg(dt1 / 120, render_intervaldecimation) # robot(s) robot_cfg: ArticulationCfg JETBOT_CONFIG.replace(prim_path/World/envs/env_.*/Robot) # scene scene: InteractiveSceneCfg InteractiveSceneCfg(num_envs100, env_spacing4.0, replicate_physicsTrue) dof_names [left_wheel_joint, right_wheel_joint]这段配置与模板自带的 cartpole 环境配置几乎同构只是把机器人换成了 Jetbot。下面结合 DirectRLEnvCfg 源码 逐项解析。3.1 基础参数decimation、episode_length_s 与空间定义decimation、episode_length_s、action_space、observation_space、state_space都是基类DirectRLEnvCfg的成员每个DirectRLEnv都必须定义它们decimation 2源码注释为Number of control action updates sim dt per policy dt即策略动作更新一次所跨越的物理步数。物理仿真步长dt与策略步长policy dt的比值就是decimation。例如 sim dt 为 0.01s、策略 dt 为 0.1s 时decimation 10。这里dt 1/120、decimation 2意味着策略每步对应 2 次物理步进即环境步长step dt约为 1/60 秒。episode_length_s 5.0一个 episode 的时长秒。源码中给出了换算公式episode_length_steps ceil(episode_length_s / (decimation_rate * physics_time_step))即5.0 / (2 × 1/120) 300个策略步。基类据此自动维护max_episode_length缓冲区无需手工计算。action_space 2动作空间维度。作为环境设计者动作空间由我们决定——Jetbot 只有两个被驱动的关节左右轮所以动作是 2 维。observation_space 3观察空间维度。这里刻意选择3因为我们暂时只把 Jetbot 的线速度喂给智能体3 维向量。后续阶段会随环境发展而调整。state_space 0状态空间维度。策略不需要维护内部状态非非对称 actor-critic 训练所以为 0。需要说明的是源码 direct_rl_env_cfg.py 指出空间参数除了整数外还可以直接使用 Gymnasium space 定义如Box、Discrete、Dict、Tuple等对应关系包括Box↔ 整数/整数列表、Discrete↔ 单元素集合、Dict↔ 字典等。整数写法只是最简形式当需要更精细的空间规格时例如图像观察[64, 64, 3]可以换成 Gymnasium space。3.2 sim、robot_cfg 与 scene配置类的组合性配置类上挂着configclass装饰器这是 Isaac Lab 的**配置类configuration class**机制环境克隆与扩展训练规模时Isaac Lab 需要知道该关心哪些配置。配置类可以组合嵌套sim、scene、robot 本身也都是配置类从而支持任意复杂环境的克隆。DirectRLEnvCfg源码中明确要求scene必须显式定义scene: InteractiveSceneCfg MISSING而sim有默认值技术上可选但这里我们显式指定。sim: SimulationCfg SimulationCfg(dt1/120, render_intervaldecimation)SimulationCfg控制被模拟现实的本质——时间步进精度dt表示每个物理步进 1/120 秒、重力方向、物理引擎行为等。render_intervaldecimation表示每 2 个物理步渲染一帧值 2 即隔帧渲染。渲染间隔小于decimation时每个环境步内会触发多次渲染调用DirectRLEnv._init_sim中会打印警告建议将两者设为相等。robot_cfg: ArticulationCfg JETBOT_CONFIG.replace(prim_path/World/envs/env_.*/Robot)把上一节定义的JETBOT_CONFIG复制一份并把prim_path替换为正则路径/World/envs/env_.*/Robot。这隐式声明了场景的每份副本 env_* 中都有一个名为 Robot 的机器人。模板默认的 cartpole 配置isaaclab_assets/robots/cartpole.py正是通过同样的replace手法复用CARTPOLE_CFG的。scene: InteractiveSceneCfg InteractiveSceneCfg(num_envs100, env_spacing4.0, replicate_physicsTrue)描述 stage 上要放什么、要克隆多少份。num_envs100表示创建 100 份并行环境副本env_spacing4.0是各副本在 stage 上的间距避免副本间非预期交互replicate_physicsTrue启用物理复制以提升向量化性能。dof_names [left_wheel_joint, right_wheel_joint]Jetbot 两个被驱动关节的名称列表供环境实现中通过find_joints解析出关节索引。四、环境实现初始化与场景克隆配置文件就绪后进入环境本体。导航到isaac_lab_tutorial/source/isaac_lab_tutorial/isaac_lab_tutorial/tasks/direct/isaac_lab_tutorial/isaac_lab_tutorial_env.py替换__init__与_setup_scene方法class IsaacLabTutorialEnv(DirectRLEnv): cfg: IsaacLabTutorialEnvCfg def __init__(self, cfg: IsaacLabTutorialEnvCfg, render_mode: str | None None, **kwargs): super().__init__(cfg, render_mode, **kwargs) self.dof_idx, _ self.robot.find_joints(self.cfg.dof_names) def _setup_scene(self): self.robot Articulation(self.cfg.robot_cfg) # add ground plane spawn_ground_plane(prim_path/World/ground, cfgGroundPlaneCfg()) # clone and replicate self.scene.clone_environments(copy_from_sourceFalse) # add articulation to scene self.scene.articulations[robot] self.robot # add lights light_cfg sim_utils.DomeLightCfg(intensity2000.0, color(0.75, 0.75, 0.75)) light_cfg.func(/World/Light, light_cfg)几个关键点super().__init__会调用_setup_scene。DirectRLEnv初始化时会创建SimulationContext、构造InteractiveScene然后调用_setup_scene()完成场景搭建见 direct_rl_env.py 的_init_sim。因此_setup_scene中self.robot的创建必须发生在super().__init__内部而__init__里find_joints才能取到关节索引——这就是为什么注释里强调setup 是在 super 里被调用的。_setup_scene的顺序即克隆流程先创建Articulation此时机器人只存在于 stage 的/World/envs/env_0/Robot再scene.clone_environments(copy_from_sourceFalse)把env_0复制成 100 份然后把 articulation 登记进场景的articulations字典self.scene.articulations[robot] self.robot供场景统一跟踪。spawn_ground_plane与DomeLightCfg分别添加地面与穹顶灯intensity2000.0为光强、color(0.75, 0.75, 0.75)为浅灰白光色。find_joints返回关节索引与名称列表self.dof_idx被保存下来供后续_apply_action定位左右轮关节。五、动作接口_pre_physics_step与_apply_action替换_pre_physics_step与_apply_actiondef _pre_physics_step(self, actions: torch.Tensor) - None: self.actions actions.clone() def _apply_action(self) - None: self.robot.set_joint_velocity_target(self.actions, joint_idsself.dof_idx)Isaac Lab 把把动作施加到机器人拆成两个阶段_pre_physics_step在物理步进之前调用仅缓存动作actions.clone()。物理仿真相对策略查询是降采样decimated的——每个策略动作可能跨越多个物理步。把从策略取数据与把更新施加给物理仿真解耦是刻意设计保证更新驱动目标、重置环境等操作不会发生在物理/渲染步进过程当中这一点在 api_env_design 文档 中有更完整的阐述。_apply_action真正把动作应用到 stage 上的机器人。set_joint_velocity_target(self.actions, joint_idsself.dof_idx)为左右轮设置速度目标——由于JETBOT_CONFIG使用ImplicitActuatorCfg(dampingNone, stiffnessNone)动作是以关节速度目标而非位置目标的形式被执行的。动作张量的形状为[num_envs, num_actions]即[100, 2]。一次调用就同时应用到 stage 上全部 100 台机器人这正是向量化环境的核心体验代码一次、数据并行。六、观察与奖励接口_get_observations与_get_rewards替换_get_observations与_get_rewardsdef _get_observations(self) - dict: self.velocity self.robot.data.root_com_lin_vel_b observations {policy: self.velocity} return observations def _get_rewards(self) - torch.Tensor: total_reward torch.linalg.norm(self.velocity, dim-1, keepdimTrue) return total_reward这里涉及 Isaac Lab 数据模型的一个核心概念——实体 vs 数据机器人是 stage 上的Articulation对象它带有一个数据类ArticulationData存放 stage 上每一台具体克隆体的数据各种运动学向量如root_com_lin_vel_b、参考向量如robot.data.FORWARD_VEC_B等。root_com_lin_vel_b是ArticulationData的属性替我们把质心线速度从世界系转换到了机体坐标系body frame。因此要拿到所有机器人的机体坐标系线速度只需self.robot.data.root_com_lin_vel_b返回形状[num_envs, 3]。观察的返回格式是字典policy键对应提供给策略模型的观察critic键对应提供给评论家模型的观察用于非对称 actor-critic 训练。本教程不采用非对称 actor-critic所以只需定义policy。DirectRLEnv的_configure_gym_env_spaces会依据observation_space 3与action_space 2自动把 Gym 空间配置好。奖励则更直接为每份场景克隆计算一个标量奖励返回形状[num_envs, 1]的张量。这里作为占位符奖励取 Jetbot 机体坐标系线速度的模torch.linalg.norm。在这个奖励与观察空间下智能体将学会驱动 Jetbot 前进或后退具体方向在训练开始后不久随机确定。七、终止与重置_get_dones与_reset_idx最后替换_get_dones与_reset_idxdef _get_dones(self) - tuple[torch.Tensor, torch.Tensor]: time_out self.episode_length_buf self.max_episode_length - 1 return False, time_out def _reset_idx(self, env_ids: Sequence[int] | None): if env_ids is None: env_ids self.robot._ALL_INDICES super()._reset_idx(env_ids) default_root_state self.robot.data.default_root_state[env_ids] default_root_state[:, :3] self.scene.env_origins[env_ids] self.robot.write_root_state_to_sim(default_root_state, env_ids)与动作类似终止与重置也分两步_get_dones标记哪些环境需要重置、以及为什么。RL 中一个 episode 通常以两种方式结束到达终止状态terminal或到达最大时长time-out。Isaac Lab 在后台自动管理 episode 时长追踪配置参数episode_length_s5.0 秒定义了最大时长内部缓冲区episode_length_buf记录每个场景已走步数支持各场景异步推进max_episode_length保存由episode_length_s换算出的最大步数本例 300 步。time_out的布尔比较逐元素判断哪些场景到达了时长上限。由于当前环境是占位实现不定义终止状态所以第一个张量直接返回False——PyTorch 会自动把它广播投影到正确的形状。_reset_idx接收一个环境索引张量真正重置这些环境。它是除super().__init__外唯一直接调用super的方法目的就是让基类管理 episode 时长相关的内部缓冲区。重置逻辑是取出被重置机器人的默认根状态default_root_state把位置部分前三列加上各场景原点偏移self.scene.env_origins[env_ids]再通过write_root_state_to_sim写回仿真。不要忘记原点偏移这一步它是克隆流程的直接后果克隆从 stage 上的单个机器人、单个世界系默认状态开始克隆后的每份副本都位于各自场景原点的局部坐标系中。如果不加偏移所有被重置的机器人会被扔回世界原点处。八、启动训练并验证以上修改全部完成后使用模板自带的train.py脚本启动任务即可看到 Jetbot 在训练中逐渐学会向前行驶# 在模板项目中示例使用 RSL RL 训练脚本 python scripts/reinforcement_learning/rsl_rl/train.py --task IsaacLabTutorial仓库中的训练入口参考 scripts/reinforcement_learning/rsl_rl/train.py其它 RL 库rl_games、skrl、sb3、rlinf也有对应的 train.py、play.py 脚本可供切换。本文档对应的完整修改代码托管在 IsaacLabTutorial 教程项目的jetbot-intro-1-1分支中。至此一个最小可运行的 Direct 工作流 RL 环境就完成了。回顾整个过程我们依次实现了原文档列出的五项任务定义机器人——robots/jetbot.py中的JETBOT_CONFIGArticulationCfgUsdFileCfgImplicitActuatorCfg定义训练仿真并管理克隆——IsaacLabTutorialEnvCfg中的sim/scene/robot_cfg以及_setup_scene中的clone_environments把智能体动作施加到机器人——_pre_physics_step_apply_action关节速度目标计算并返回奖励与观察——_get_observationsroot_com_lin_vel_b与_get_rewards速度模长占位奖励管理重置与终止状态——_get_donestime-out 判定与_reset_idx默认状态 场景原点偏移。这只是旅程的第一步后续阶段将引入命令向量command、可视化箭头标记VisualizationMarkers参见 markers.py 示例、更有意义的奖励函数如基于方向对齐的奖励以及真实策略训练从而把占位奖励替换为能够精确控制 Jetbot 行驶方向的控制器。对于希望系统掌握环境设计原理的读者建议按顺序阅读演练系列的另外两篇配套文档concepts_env_designApp/Sim/World/Stage/Scene 概念 与 api_env_design配置类与 DirectRLEnv 接口总览。【免费下载链接】IsaacLabUnified framework for robot learning with multi-physics/renderer support项目地址: https://gitcode.com/GitHub_Trending/is/IsaacLab创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考