前两天在实验室调一台六轴协作臂的示教程序我在示教器上一个点一个点地加路径末端画出一道漂亮的直线轨迹。同事靠在门边看了一眼随口问“所以它能不能帮我把晚饭炒了”我当场愣住。这不是一句玩笑它问到了整个机械臂示教体系最核心的短板传统示教能让机械臂记住一条轨迹、记住一组点位但它完全没有办法理解“炒菜”这种连续变化的动作背后什么叫“看到锅里的情况再决定下一步”。后来我开始认真接触ACTAction Chunking with Transformers模仿学习才意识到问题不是“机械臂不够聪明”而是我们给它的学习目标和学习方式从一开始就错了。这篇内容我从原理和实操两个角度把“机械臂示教”到“ACT模仿学习”这条路完整拆一遍包括数据采集、训练配置、部署避坑以及我更看重的——为什么ACT会让机器人的动作看起来像一个正常人而不是一台三点一线的工业设备。如果你正准备入手机器人操作、模仿学习或者想复现那种能端菜、炒虾、擦桌子的居家机器人这篇应该能帮你省掉不少弯路。1. 传统机械臂示教的三种主流玩法以及它们在厨房里的集体失灵在聊ACT之前先得把“传统示教”这层皮扒干净。很多刚接触机器人的朋友以为所谓的“示教”就是拿着机械臂像教小孩写字一样带它画一遍实际上工业现场最常见的示教方式比这枯燥得多而且每一种都暗含一个前提环境是确定的任务是可拆成点位的。1.1 示教器编程把“经验”翻译成一串点位示教器编程是目前工厂里最普及的方式。操作员拿着示教器用JOG模式把机械臂末端一点点挪到目标位置记录下这个点位再接着挪下一个最后用MOVL、MOVJ这类运动指令把这些点串起来形成一个程序循环。这套流程的实质是把人的经验压缩成一组离散的坐标点然后交给机器人的插补器去补全中间路径。它的优点是极其稳定适用于焊接、喷涂、码垛等固定轨迹任务。但它有个与生俱来的问题机器人只认识点位不认识点与点之间的意义。我记得自己第一次用这种方式让一台六轴臂把木块从A点搬到B点整个编程花了大概四十分钟。搬得很准误差不到0.5毫米。但如果你让我用同样的方式让机械臂“把锅里的虾翻个面”——我甚至不知道应该记录多少个点位才够。虾的位置会变锅里的油会溅铲子切入的角度要随时调整。这不是点位数量的问题是这种表达方式根本无法承载连续动作的信息量。1.2 手动拖拽示教直觉提供的上限协作机器人普及后出现了更“直觉化”的拖拽示教。像UR、Franka这类带重力补偿的机械臂你可以直接握住末端带着它走一遍轨迹它会把关节角度随时间的变化记录下来之后原样复现。我刚接触协作臂时非常喜欢这个功能因为不需要写任何代码拖一遍就能让机械臂画个圆、绕个障碍物。但深入用之后会发现拖拽示教有一个隐藏问题操作者在拖的时候注意力全部集中在“让轨迹平滑”上根本没法同时思考“这个动作在语义上意味着什么”。你记录下的是路径不是意图。一旦任务目标变了哪怕只是把目标物从桌子左边移到右边整段轨迹就得重拖。另一个问题是拖拽示教对手腕姿态的控制非常粗糙。重力补偿只是让机械臂“轻”并不代表你能精准控制末端朝向。尤其在需要边移动边调整姿态的复合动作里人手能提供的精细度远远不够更别说两个人同时操作一台双臂机器人去协同完成做饭这种任务了。1.3 离线编程精确但僵硬离线编程是相对“高级”一点的方案在仿真软件里导入机械臂模型和工件模型人工规划路径、设置工艺参数生成程序后再灌进真实机器人执行。这套玩法的前提是“数字化孪生足够精确”要求工件模型准确、装配位置一致、机器人本体标定到位。在汽车产线上它确实好用一个焊接程序可以跑几个月不用改。但厨房里没有这种东西你没法在仿真环境里精确建模一颗西红柿今天长什么样、锅铲铲起来的时候米饭粒怎么飞溅。离线编程本质上是在为“确定的物理世界”写剧本而厨房是一个每分钟都在变化的“开放世界”。1.4 厨房场景打破了什么前提总结一下传统示教的三种方式共享同一个假设任务是可预先定义的环境是稳定的机械臂要做的事是“精准复现”而不是“根据感知做决策”。厨房把这个假设彻底击穿了。食材位置随机、形状各异锅铲和锅沿的接触力随时在变光照从上午到下午会大幅漂移。你需要的不是一段轨迹而是一个策略给我当前的视觉和关节状态我告诉你下一步该往哪动。这就是“从示教到模仿学习”的本质转变——从轨迹编程走向策略学习。ACT模仿学习正是在这个转变上给出的一个非常扎实的答案。2. ACT模仿学习不是换了个模型是换了一套学习目标很多朋友一听“ACT用了Transformer”第一反应是“哦又是个大模型套壳”。但ACT真正值得研究的地方不是模型结构而是它把模仿学习的目标从“逐帧预测动作”改成了“一次性生成一段动作序列”并且用条件变分自编码器CVAE给动作的多样性留了出口。这两点才是它“像人”的技术根源。2.1 行为克隆的“老毛病”复合误差与分布偏移先花点时间讲清楚模仿学习里最基础的行为克隆Behavior Cloning, BC为什么难搞。传统BC的做法是给你一堆专家示范数据每个时间步都有一组“状态-动作”对然后用监督学习训练一个策略网络输入当前状态输出一个动作。听起来很合理但实际训练完部署到真机上就会出问题——预测的动作不可能完全准确哪怕是1%的误差机械臂执行后就会进入一个和训练数据分布略有偏差的新状态。在训练时没见过这个状态策略就开始瞎猜误差进一步变大。这就是模仿学习里著名的复合误差compound error和分布偏移distribution shift问题。可以这样理解一个新手司机如果只在驾校那条固定路线上练过车教练坐旁边每一步都告诉他“打方向盘、回正、踩刹车”他开得很好。但一旦让他自己上路拐弯时角度稍微偏了一点进入一个从没见过的路口状态他就不知道怎么处理了然后越慌越偏越偏越慌。就是因为我踩过这个坑——第一次用BC框架训练一个机械臂开门策略仿真里成功率看着还行差不多80%一上真机直接掉到20%以下而且失败方式五花八门要么夹爪怼门框要么半路卡死——所以我对ACT里那些看起来不起眼的设计才会格外敏感。2.2 DAgger一条需要专家在环的补救路线针对分布偏移经典解法之一是DAggerDataset Aggregation。思路也很直接策略在真机上跑遇到它自己产生的状态立即请专家给出正确动作把“专家在策略分布下的正确示范”不断加入数据集再重新训练。说实话DAgger在理论上非常漂亮反复让策略回到正确分布附近。我甚至见过有人在仿真环境里用DAgger把开门任务的成功率刷到接近100%。但在机器人厨房这种真实场景里DAgger有点“活在梦里”的味道你得有一个专家随时在旁边对策略的每一个错误状态给出即时纠正动作。家用机器人不可能配一个工程师24小时跟着做饭。所以后来大家开始换思路——要么改善测试时的分布要么在模型结构上让策略对分布偏移更鲁棒。ACT走的正是后者。2.3 ACT三件套动作分块、CVAE与Transformer编解码ACT的全称是Action Chunking with Transformers它有三个关键设计每一个都在直接回应上一节讲的痛点。第一是动作分块Action Chunking。常规策略网络每次只预测下一个动作而ACT一次预测未来一段时间的动作序列比如50步或100步。这一步看着简单但它是整套方法稳定性的基石下面一节细说。第二是CVAEConditional Variational Autoencoder。训练时CVAE的编码器把“当前状态”和“未来一段动作序列”共同压缩成一个隐变量z解码器学会“根据当前状态和z重建出这段动作”。推理时不再使用编码器而是从标准正态分布中随机采样一个z再让解码器生成动作。CVAE给模仿学习带来的改变很微妙。传统BC学的是“在这个状态下应该做那个动作”的单值映射而CVAE学到了“在这个状态下有一族合理的动作分布z不同动作风格就不同”。这正是“人性化”的重要来源人在炒菜时同一铲子可以翻得高一点也可以低一点可以快一点也可以慢一点这些都不是唯一答案而是一个分布。第三是Transformer编解码结构。视觉图像经过ResNet等主干网络提取特征和关节角度序列一起送入Transformer编码器解码器则逐步生成未来的动作token。Transformer的长程建模能力让模型能在整个动作序列内部维持一致的意图而不是像RNN那样容易遗忘前面的信息。2.4 为什么动作分块能让人 “手不抖”你可能想问把“预测一步”改成“预测一段”真的能解决复合误差吗我的理解是它不直接消除误差但它把决策频率从“每0.02秒一次”降到了“每1秒一次”相当于给策略加了一层惯性。每一步都重新规划的动作本质上对输入噪声特别敏感图像里一粒灰尘、关节编码器的量化误差都可能让输出动作发生突变执行器一抖状态偏移就来了。而动作分块后策略在每一段开头基于当前状态生成未来50步的完整动作计划中间不需要随时重新规划模型内部靠Transformer维持动作的一致性和平滑性。这样即使某一帧图像稍微差了一点也只会影响这一段的整体决策不会让机械臂每个控制周期都疯狂修正。用开车来类比传统BC是每分钟都重新问一遍“我现在该打多少角度”动作分块则像上了高速以后设定了一段巡航方向盘不用每秒都乱调。我自己的经验是同一个开门任务换用动作分块后真机上末端轨迹的平滑度肉眼可见地提升那种高频“呼吸感”抖动基本消失了。这是ACT最直觉化的优势也是很多论文里不大会强调但实际效果最明显的地方。3. 从零复现一套“能进厨房”的ACT系统选型与全流程原理聊完来说点能直接上手的。复现一套能进厨房的ACT系统不是单纯装个环境跑个训练脚本就完事它是一条从硬件选型、数据采集、模型训练到真机部署的完整链路。任何一环偷懒后面都会在真机上加倍还回来。3.1 硬件怎么搭主从遥操作还是协作臂直采ACT的训练数据需要“专家示范”也就是你要有一台能被人直接操控的机器人把操作过程完整记录下来。目前主流有两种路线。第一种是低成本主从遥操作系统最具代表性的就是斯坦福ALOHA。操作员控制一端的“主臂”另一端的“从臂”通过机械传动或电机映射跟随操作同时记录从臂的关节角度和多路相机图像。ALOHA最大的价值是“让双臂协同操作成为可能”成本比工业协作臂低一个数量级很多实验室用它在桌面端做穿针、叠衣服、炒菜等精细任务。第二种是直接用带重力补偿的协作臂做遥操作或人工引导。比如Franka或UR5它们自带力矩传感器可以做成主从控制也可以像前面说的拖拽示教那样直接带着走。这种路线硬件成本高一些但控制精度、稳定性和关节角度读取质量都更好。从复现角度我的建议是如果目标是桌面端双臂精细操作直接研究ALOHA方案更划算如果目标是在固定工作空间做单臂任务一台带遥操作接口的协作臂足够。无论选哪种有两点必须确认一是能稳定输出关节角度而不是只有笛卡尔末端位姿二是相机和关节数据的时间戳能对齐。ACT的输入需要同时融合图像和关节状态如果数据不同步模型学到的跨模态关联就是错的。3.2 数据采集的标准比你想的更讲究说个容易翻车的细节ACT对示范数据的“语义一致性”要求很高。以炒虾为例如果你采集的50条数据里有30条是右手拿锅铲、20条是左手拿锅铲模型会学到什么它会学到“这个状态下有两种同样合理的动作”于是推理时随机选一个方向执行表现出来就是动作左右摇摆、时灵时不灵。这其实是CVAE的副作用之一——它保住了“多峰分布”的表达能力但如果没有人为控制示范的一致性多峰就会变成一团乱麻。所以我在采数据前会先定一套操作规范固定操作顺序先拿什么、再动什么每条示范保持一致固定操作手是右手拿铲子就一直右手拿不要让模型自己猜固定初始布局食材放置的大致区域保持稳定可以有小幅随机但不能出现“西瓜”和“葡萄”两种极端尺码混在一起的情况尽量多人示范如果条件允许让三到五个不同操作者各采十几条避免模型过拟合到某个人的动作习惯上。数据量方面单个任务几十条到两三百条都有可能。我见过有人用50条示范就让ACT学会叠T恤也见过有人采了200条还是学不会拿水杯。差距通常不在数量而在上面说的“一致性”和“动作质量”。示范动作一定要稳、准、有代表性不要抱着“反正模型会学”的心态乱采。3.3 训练配置与推理逻辑的关键选择ACT官方仓库的核心训练脚本是基于Python的imitate_episodes.py通常在robomimic或ALOHA相关开源项目中都能找到。训练命令长这样python imitate_episodes.py \ --task_name sim_transfer_cube \ --ckpt_dir ./ckpt \ --policy_type ACT \ --num_epochs 2000 \ --chunk_size 50 \ --batch_size 16 \ --lr 1e-4几个关键参数我按自己的实测经验单独说。chunk_size动作分块长度直接决定一次推理输出多少步动作。官方默认在100左右对应大约1到2秒的执行时间。我实测下来固定基座、任务单一的场景用100没问题动作非常平滑但任务里需要快速反应、高频调整的场景比如追踪一个移动中的物体chunk_size减到50反而成功率更高因为策略能更快地对新状态做出反应。学习率方面用AdamW优化器时从1e-4往下调数据量小的时候用1e-5更稳。epoch不用太焦虑ACT训练速度比想象中快一个中等规模任务在单张消费级显卡上几小时内能完成。EMA指数移动平均对输出动作的平滑很有帮助建议开启但要注意EMA窗口太大会让动作变得迟钝需要自己权衡。推理时的循环逻辑和很多人想的不一样——不是每个时间步都调用网络。更常见的做法是用当前观测推理出未来N步动作chunk把这段动作逐帧发送给底层控制器执行执行完这一段之后再基于“执行结束时的最新状态”推理下一段。这里有个容易踩的坑在chunk中间不重新推理不代表这段动作永远不变。如果我在执行到第30步时发现机械臂已经偏离预期就得等整个chunk执行完才能纠正。所以chunk_size越短纠错越及时但动作平滑度会下降。这个平衡要靠实验调。3.4 部署时的动作平滑与频率控制训练完的模型只是输出了动作序列它并不直接控制电机。部署时中间还隔着一层控制器。我的做法是把ACT输出的动作当成“参考轨迹”再经过一个平滑滤波后发给底层位置控制器。最简单实用的是指数移动平均def smooth_action(raw_action, prev_smoothed, alpha0.3): return alpha * raw_action (1 - alpha) * prev_smoothedalpha太小动作被削得过于圆滑机械臂反应变慢alpha太大平滑效果不明显动作会有高频抖动。从0.3左右开始调比较稳妥。另一个选择是“相对动作”还是“绝对动作”。固定基座的小范围操作用绝对关节角度更稳模型只需预测目标关节位置如果是移动底盘加机械臂或者任务本身有累积位移用相对增量更合适避免误差累积导致末端漂出工作空间。Mobile ALOHA那种需要在房间里移动完成长程任务的场景通常会把动作设计成“当前速度增量”的形式就是这个原因。部署前一定要加上限位保护和超时停止一旦关节角度超出运动学范围或者chunk连续执行超时立即停止并报警。我在实验室做实验时遇到过ACT输出一段超出机械臂关节极限的动作如果没有软件限位轻则报警停机重则撞坏末端工具。4. 实测踩坑实录那些文档里不会写的翻车点这一节是我觉得最值钱的部分。ACT开源代码写得干净论文也漂亮但真机上遇到的问题论文和README里基本不会提。我把自己踩过的几个高频坑按排查链路讲一遍希望你复现时能直接绕开。4.1 chunk_size不是越大越好第一次跑通ACT时我习惯性把chunk_size设成200因为看论文里生成的长序列动作很流畅觉得长序列一定更“高级”。结果部署时发现一个问题机械臂执行一个需要中途避障的动作时前几十步还在正常轨迹上跑到一半遇到障碍物但模型要等整个chunk执行完才会重新规划于是机械臂直愣愣地撞上去。排查链路先确认模型输入状态是否更新——确认没问题然后发现是决策频率太低——chunk_size200相当于一次决策覆盖约4秒中间完全没有反馈把chunk_size降到50后动作虽然略微“碎”了一点但避障能力和面对突发状态的响应速度明显提升。结论chunk_size不是越大越好它应该和任务的“动态程度”匹配。静态任务可以大动态任务要小。4.2 训练数据的“多样性陷阱”前面提过左手右手混用的问题我再补一个更隐蔽的坑操作速度不一致。我在采数据时有一次为了赶时间前20条示范动作很快后20条示范动作很慢。模型训练完以后推理时动作在“快”和“慢”两种模式之间来回跳表现为机械臂一顿一顿地执行动作像卡了帧一样。这个问题的排查比较费劲因为模型loss看起来很正常测试loss也在降。后来我把训练数据的动作速度分布画出来才看到明显的双峰。处理方法是重新采了一批速度节奏一致的数据或者在数据预处理时做时间上的重采样把所有示范对齐到相似的时长。CVAE会把数据中的多峰分布如实学下来。你觉得是“多样性”模型觉得是“选择题”推理时z随机采样它每次选一个答案所以动作就会不稳定。训练数据的多样性应该体现在“布局位置、物体姿态”上而不是“操作习惯、操作速度”上。4.3 图像过曝和光照变化让视觉encoder失灵ACT的视觉输入是整个策略的上游。一旦图像分布发生偏移哪怕物理状态完全相同模型的输出也可能完全不一样。实际项目中最常见的问题是训练时相机放在实验台上部署时相机位置稍微偏了几厘米或者窗外阳光照进来让桌面亮度变了300%模型直接“失明”。我遇到过训练集里全是暗光环境图像一到白天实测夹爪抓取目标的位置整体偏移一连失败十几次。排查后发现不是运动学问题是视觉特征已经漂移到模型无法判断的状态。解决思路固定相机安装位置部署时不要挪动用自动曝光并固定曝光参数不要用自动白平衡训练时对图像做随机亮度、对比度、轻微色彩抖动增强让模型对光照变化更鲁棒如果条件允许训练数据里混入不同光照时段的数据。4.4 动作抖动、越界和卡死的排查链路机械臂动作异常抖动时很多人的第一反应是“控制频率太低”或“伺服参数不对”但在ACT系统里更常见的原因在推理链路。我整理了一个排查表按这个顺序查基本能定位大多数问题现象可能的根因排查动作高频抖动EMA未开启或alpha过小检查平滑滤波参数从0.3往上调低频来回晃CVAE的z采样方差太大检查是否固定随机种子尝试降低z维度动作卡顿chunk_size与执行频率不匹配确保chunk长度覆盖的执行时间合理不要一次跑太久输出去到奇异位置训练数据关节角超出部署限位检查训练数据的关节角范围加软件限位完全不动推理频率太低或循环在chunk末尾卡住打印每段chunk的时间戳确认推理循环没有阻塞特别说下“卡死”这个问题。有一次机械臂执行到一半突然静止我等了十几秒都不动。排查代码发现控制循环在等待最新图像帧输入但相机回调线程因为缓存队列满了直接阻塞导致推理线程拿到的是旧图像又因为图像时间戳没更新逻辑判断“状态没变”就不推送新的动作chunk。这是典型的异步数据同步bug不是模型问题。后来我把图像获取改成独立线程并用“当前最新帧覆盖旧帧”的策略队列永远只保留一帧问题就消失了。5. 还差一步到“人性化”当前边界与下一站ACT让我第一次觉得机械臂的动作“像人”但它离真正的“人性化”还有一条明显的沟。这个沟不在动作生成而在更高层的任务理解和规划。5.1 长程任务的规划短板ACT擅长的是“单技能学习”比如“抓取虾仁”“擦拭桌面”“倾倒液体”。但做饭这件事本质上是几十个单技能组成的多阶段长程任务拿土豆、削皮、切片、热锅、倒油、下料、翻炒、调味、出锅。ACT本身没有“任务分解”能力。它只会把观测映射成动作chunk并不理解“我现在完成的是整个流程中的第几步”。如果你想让它完成长程任务需要在外层加一个高层规划器把大任务拆成一系列子技能每个子技能再调用一个训练好的ACT模型。Mobile ALOHA演示的“做一桌菜”看起来很长但拆开看本质上是一个技能库加一个调度的思路。这也是当前模仿学习落地的一个普遍形态技能层用ACT这类方法任务层另想办法。5.2 ACT与Diffusion Policy的互补说句公道话现在做动作生成ACT并不是唯一选项。Diffusion Policy是另一条非常活跃的路线它用扩散模型逐步去噪生成动作chunk对多峰动作分布的建模能力更强动作多样性更自然但对训练和推理的资源需求也更高。我个人的感受是数据量不大、任务直接、想要快速看看模仿学习效果的项目ACT更省心如果你的任务动作模式极其多样比如同一物体有多种合法操作方式可以试试Diffusion Policy做baseline对比。两者不是替代关系放在同一个框架里对比测试是更务实的做法。5.3 我对“人性化”的理解回到标题里的“人性化”。ACT让我真正兴奋的点不是Transformer带来了多少精度提升而是它第一次在机械臂控制里引入了“分布”的概念——机器人在一个状态下学到的不是一个唯一的动作答案而是一族合理动作。这跟人很像我炒菜不会两次都用完全一样的轨迹但两次都能把菜炒熟因为我在做“决策”而不是在“回放”。现在ACT能让人形机器人、双臂机器人做出像人的动作但距离真正有人味还差一层“知道自己正在做什么任务”的认知能力。数据采集和任务拆解仍是卡住所有人的瓶颈——模型可以越来越强但没有高质量、结构化的示范数据一切都无从谈起。所以我的建议是如果你也想在这个方向动手不要一上来就追最新的模型结构先把数据采集流程做扎实把任务边界定义清楚再用ACT或者其他动作生成模型去训练。模型是放大器数据和任务定义才是地基。
从示教编程到ACT模仿学习：让机器人动作更人性化
前两天在实验室调一台六轴协作臂的示教程序我在示教器上一个点一个点地加路径末端画出一道漂亮的直线轨迹。同事靠在门边看了一眼随口问“所以它能不能帮我把晚饭炒了”我当场愣住。这不是一句玩笑它问到了整个机械臂示教体系最核心的短板传统示教能让机械臂记住一条轨迹、记住一组点位但它完全没有办法理解“炒菜”这种连续变化的动作背后什么叫“看到锅里的情况再决定下一步”。后来我开始认真接触ACTAction Chunking with Transformers模仿学习才意识到问题不是“机械臂不够聪明”而是我们给它的学习目标和学习方式从一开始就错了。这篇内容我从原理和实操两个角度把“机械臂示教”到“ACT模仿学习”这条路完整拆一遍包括数据采集、训练配置、部署避坑以及我更看重的——为什么ACT会让机器人的动作看起来像一个正常人而不是一台三点一线的工业设备。如果你正准备入手机器人操作、模仿学习或者想复现那种能端菜、炒虾、擦桌子的居家机器人这篇应该能帮你省掉不少弯路。1. 传统机械臂示教的三种主流玩法以及它们在厨房里的集体失灵在聊ACT之前先得把“传统示教”这层皮扒干净。很多刚接触机器人的朋友以为所谓的“示教”就是拿着机械臂像教小孩写字一样带它画一遍实际上工业现场最常见的示教方式比这枯燥得多而且每一种都暗含一个前提环境是确定的任务是可拆成点位的。1.1 示教器编程把“经验”翻译成一串点位示教器编程是目前工厂里最普及的方式。操作员拿着示教器用JOG模式把机械臂末端一点点挪到目标位置记录下这个点位再接着挪下一个最后用MOVL、MOVJ这类运动指令把这些点串起来形成一个程序循环。这套流程的实质是把人的经验压缩成一组离散的坐标点然后交给机器人的插补器去补全中间路径。它的优点是极其稳定适用于焊接、喷涂、码垛等固定轨迹任务。但它有个与生俱来的问题机器人只认识点位不认识点与点之间的意义。我记得自己第一次用这种方式让一台六轴臂把木块从A点搬到B点整个编程花了大概四十分钟。搬得很准误差不到0.5毫米。但如果你让我用同样的方式让机械臂“把锅里的虾翻个面”——我甚至不知道应该记录多少个点位才够。虾的位置会变锅里的油会溅铲子切入的角度要随时调整。这不是点位数量的问题是这种表达方式根本无法承载连续动作的信息量。1.2 手动拖拽示教直觉提供的上限协作机器人普及后出现了更“直觉化”的拖拽示教。像UR、Franka这类带重力补偿的机械臂你可以直接握住末端带着它走一遍轨迹它会把关节角度随时间的变化记录下来之后原样复现。我刚接触协作臂时非常喜欢这个功能因为不需要写任何代码拖一遍就能让机械臂画个圆、绕个障碍物。但深入用之后会发现拖拽示教有一个隐藏问题操作者在拖的时候注意力全部集中在“让轨迹平滑”上根本没法同时思考“这个动作在语义上意味着什么”。你记录下的是路径不是意图。一旦任务目标变了哪怕只是把目标物从桌子左边移到右边整段轨迹就得重拖。另一个问题是拖拽示教对手腕姿态的控制非常粗糙。重力补偿只是让机械臂“轻”并不代表你能精准控制末端朝向。尤其在需要边移动边调整姿态的复合动作里人手能提供的精细度远远不够更别说两个人同时操作一台双臂机器人去协同完成做饭这种任务了。1.3 离线编程精确但僵硬离线编程是相对“高级”一点的方案在仿真软件里导入机械臂模型和工件模型人工规划路径、设置工艺参数生成程序后再灌进真实机器人执行。这套玩法的前提是“数字化孪生足够精确”要求工件模型准确、装配位置一致、机器人本体标定到位。在汽车产线上它确实好用一个焊接程序可以跑几个月不用改。但厨房里没有这种东西你没法在仿真环境里精确建模一颗西红柿今天长什么样、锅铲铲起来的时候米饭粒怎么飞溅。离线编程本质上是在为“确定的物理世界”写剧本而厨房是一个每分钟都在变化的“开放世界”。1.4 厨房场景打破了什么前提总结一下传统示教的三种方式共享同一个假设任务是可预先定义的环境是稳定的机械臂要做的事是“精准复现”而不是“根据感知做决策”。厨房把这个假设彻底击穿了。食材位置随机、形状各异锅铲和锅沿的接触力随时在变光照从上午到下午会大幅漂移。你需要的不是一段轨迹而是一个策略给我当前的视觉和关节状态我告诉你下一步该往哪动。这就是“从示教到模仿学习”的本质转变——从轨迹编程走向策略学习。ACT模仿学习正是在这个转变上给出的一个非常扎实的答案。2. ACT模仿学习不是换了个模型是换了一套学习目标很多朋友一听“ACT用了Transformer”第一反应是“哦又是个大模型套壳”。但ACT真正值得研究的地方不是模型结构而是它把模仿学习的目标从“逐帧预测动作”改成了“一次性生成一段动作序列”并且用条件变分自编码器CVAE给动作的多样性留了出口。这两点才是它“像人”的技术根源。2.1 行为克隆的“老毛病”复合误差与分布偏移先花点时间讲清楚模仿学习里最基础的行为克隆Behavior Cloning, BC为什么难搞。传统BC的做法是给你一堆专家示范数据每个时间步都有一组“状态-动作”对然后用监督学习训练一个策略网络输入当前状态输出一个动作。听起来很合理但实际训练完部署到真机上就会出问题——预测的动作不可能完全准确哪怕是1%的误差机械臂执行后就会进入一个和训练数据分布略有偏差的新状态。在训练时没见过这个状态策略就开始瞎猜误差进一步变大。这就是模仿学习里著名的复合误差compound error和分布偏移distribution shift问题。可以这样理解一个新手司机如果只在驾校那条固定路线上练过车教练坐旁边每一步都告诉他“打方向盘、回正、踩刹车”他开得很好。但一旦让他自己上路拐弯时角度稍微偏了一点进入一个从没见过的路口状态他就不知道怎么处理了然后越慌越偏越偏越慌。就是因为我踩过这个坑——第一次用BC框架训练一个机械臂开门策略仿真里成功率看着还行差不多80%一上真机直接掉到20%以下而且失败方式五花八门要么夹爪怼门框要么半路卡死——所以我对ACT里那些看起来不起眼的设计才会格外敏感。2.2 DAgger一条需要专家在环的补救路线针对分布偏移经典解法之一是DAggerDataset Aggregation。思路也很直接策略在真机上跑遇到它自己产生的状态立即请专家给出正确动作把“专家在策略分布下的正确示范”不断加入数据集再重新训练。说实话DAgger在理论上非常漂亮反复让策略回到正确分布附近。我甚至见过有人在仿真环境里用DAgger把开门任务的成功率刷到接近100%。但在机器人厨房这种真实场景里DAgger有点“活在梦里”的味道你得有一个专家随时在旁边对策略的每一个错误状态给出即时纠正动作。家用机器人不可能配一个工程师24小时跟着做饭。所以后来大家开始换思路——要么改善测试时的分布要么在模型结构上让策略对分布偏移更鲁棒。ACT走的正是后者。2.3 ACT三件套动作分块、CVAE与Transformer编解码ACT的全称是Action Chunking with Transformers它有三个关键设计每一个都在直接回应上一节讲的痛点。第一是动作分块Action Chunking。常规策略网络每次只预测下一个动作而ACT一次预测未来一段时间的动作序列比如50步或100步。这一步看着简单但它是整套方法稳定性的基石下面一节细说。第二是CVAEConditional Variational Autoencoder。训练时CVAE的编码器把“当前状态”和“未来一段动作序列”共同压缩成一个隐变量z解码器学会“根据当前状态和z重建出这段动作”。推理时不再使用编码器而是从标准正态分布中随机采样一个z再让解码器生成动作。CVAE给模仿学习带来的改变很微妙。传统BC学的是“在这个状态下应该做那个动作”的单值映射而CVAE学到了“在这个状态下有一族合理的动作分布z不同动作风格就不同”。这正是“人性化”的重要来源人在炒菜时同一铲子可以翻得高一点也可以低一点可以快一点也可以慢一点这些都不是唯一答案而是一个分布。第三是Transformer编解码结构。视觉图像经过ResNet等主干网络提取特征和关节角度序列一起送入Transformer编码器解码器则逐步生成未来的动作token。Transformer的长程建模能力让模型能在整个动作序列内部维持一致的意图而不是像RNN那样容易遗忘前面的信息。2.4 为什么动作分块能让人 “手不抖”你可能想问把“预测一步”改成“预测一段”真的能解决复合误差吗我的理解是它不直接消除误差但它把决策频率从“每0.02秒一次”降到了“每1秒一次”相当于给策略加了一层惯性。每一步都重新规划的动作本质上对输入噪声特别敏感图像里一粒灰尘、关节编码器的量化误差都可能让输出动作发生突变执行器一抖状态偏移就来了。而动作分块后策略在每一段开头基于当前状态生成未来50步的完整动作计划中间不需要随时重新规划模型内部靠Transformer维持动作的一致性和平滑性。这样即使某一帧图像稍微差了一点也只会影响这一段的整体决策不会让机械臂每个控制周期都疯狂修正。用开车来类比传统BC是每分钟都重新问一遍“我现在该打多少角度”动作分块则像上了高速以后设定了一段巡航方向盘不用每秒都乱调。我自己的经验是同一个开门任务换用动作分块后真机上末端轨迹的平滑度肉眼可见地提升那种高频“呼吸感”抖动基本消失了。这是ACT最直觉化的优势也是很多论文里不大会强调但实际效果最明显的地方。3. 从零复现一套“能进厨房”的ACT系统选型与全流程原理聊完来说点能直接上手的。复现一套能进厨房的ACT系统不是单纯装个环境跑个训练脚本就完事它是一条从硬件选型、数据采集、模型训练到真机部署的完整链路。任何一环偷懒后面都会在真机上加倍还回来。3.1 硬件怎么搭主从遥操作还是协作臂直采ACT的训练数据需要“专家示范”也就是你要有一台能被人直接操控的机器人把操作过程完整记录下来。目前主流有两种路线。第一种是低成本主从遥操作系统最具代表性的就是斯坦福ALOHA。操作员控制一端的“主臂”另一端的“从臂”通过机械传动或电机映射跟随操作同时记录从臂的关节角度和多路相机图像。ALOHA最大的价值是“让双臂协同操作成为可能”成本比工业协作臂低一个数量级很多实验室用它在桌面端做穿针、叠衣服、炒菜等精细任务。第二种是直接用带重力补偿的协作臂做遥操作或人工引导。比如Franka或UR5它们自带力矩传感器可以做成主从控制也可以像前面说的拖拽示教那样直接带着走。这种路线硬件成本高一些但控制精度、稳定性和关节角度读取质量都更好。从复现角度我的建议是如果目标是桌面端双臂精细操作直接研究ALOHA方案更划算如果目标是在固定工作空间做单臂任务一台带遥操作接口的协作臂足够。无论选哪种有两点必须确认一是能稳定输出关节角度而不是只有笛卡尔末端位姿二是相机和关节数据的时间戳能对齐。ACT的输入需要同时融合图像和关节状态如果数据不同步模型学到的跨模态关联就是错的。3.2 数据采集的标准比你想的更讲究说个容易翻车的细节ACT对示范数据的“语义一致性”要求很高。以炒虾为例如果你采集的50条数据里有30条是右手拿锅铲、20条是左手拿锅铲模型会学到什么它会学到“这个状态下有两种同样合理的动作”于是推理时随机选一个方向执行表现出来就是动作左右摇摆、时灵时不灵。这其实是CVAE的副作用之一——它保住了“多峰分布”的表达能力但如果没有人为控制示范的一致性多峰就会变成一团乱麻。所以我在采数据前会先定一套操作规范固定操作顺序先拿什么、再动什么每条示范保持一致固定操作手是右手拿铲子就一直右手拿不要让模型自己猜固定初始布局食材放置的大致区域保持稳定可以有小幅随机但不能出现“西瓜”和“葡萄”两种极端尺码混在一起的情况尽量多人示范如果条件允许让三到五个不同操作者各采十几条避免模型过拟合到某个人的动作习惯上。数据量方面单个任务几十条到两三百条都有可能。我见过有人用50条示范就让ACT学会叠T恤也见过有人采了200条还是学不会拿水杯。差距通常不在数量而在上面说的“一致性”和“动作质量”。示范动作一定要稳、准、有代表性不要抱着“反正模型会学”的心态乱采。3.3 训练配置与推理逻辑的关键选择ACT官方仓库的核心训练脚本是基于Python的imitate_episodes.py通常在robomimic或ALOHA相关开源项目中都能找到。训练命令长这样python imitate_episodes.py \ --task_name sim_transfer_cube \ --ckpt_dir ./ckpt \ --policy_type ACT \ --num_epochs 2000 \ --chunk_size 50 \ --batch_size 16 \ --lr 1e-4几个关键参数我按自己的实测经验单独说。chunk_size动作分块长度直接决定一次推理输出多少步动作。官方默认在100左右对应大约1到2秒的执行时间。我实测下来固定基座、任务单一的场景用100没问题动作非常平滑但任务里需要快速反应、高频调整的场景比如追踪一个移动中的物体chunk_size减到50反而成功率更高因为策略能更快地对新状态做出反应。学习率方面用AdamW优化器时从1e-4往下调数据量小的时候用1e-5更稳。epoch不用太焦虑ACT训练速度比想象中快一个中等规模任务在单张消费级显卡上几小时内能完成。EMA指数移动平均对输出动作的平滑很有帮助建议开启但要注意EMA窗口太大会让动作变得迟钝需要自己权衡。推理时的循环逻辑和很多人想的不一样——不是每个时间步都调用网络。更常见的做法是用当前观测推理出未来N步动作chunk把这段动作逐帧发送给底层控制器执行执行完这一段之后再基于“执行结束时的最新状态”推理下一段。这里有个容易踩的坑在chunk中间不重新推理不代表这段动作永远不变。如果我在执行到第30步时发现机械臂已经偏离预期就得等整个chunk执行完才能纠正。所以chunk_size越短纠错越及时但动作平滑度会下降。这个平衡要靠实验调。3.4 部署时的动作平滑与频率控制训练完的模型只是输出了动作序列它并不直接控制电机。部署时中间还隔着一层控制器。我的做法是把ACT输出的动作当成“参考轨迹”再经过一个平滑滤波后发给底层位置控制器。最简单实用的是指数移动平均def smooth_action(raw_action, prev_smoothed, alpha0.3): return alpha * raw_action (1 - alpha) * prev_smoothedalpha太小动作被削得过于圆滑机械臂反应变慢alpha太大平滑效果不明显动作会有高频抖动。从0.3左右开始调比较稳妥。另一个选择是“相对动作”还是“绝对动作”。固定基座的小范围操作用绝对关节角度更稳模型只需预测目标关节位置如果是移动底盘加机械臂或者任务本身有累积位移用相对增量更合适避免误差累积导致末端漂出工作空间。Mobile ALOHA那种需要在房间里移动完成长程任务的场景通常会把动作设计成“当前速度增量”的形式就是这个原因。部署前一定要加上限位保护和超时停止一旦关节角度超出运动学范围或者chunk连续执行超时立即停止并报警。我在实验室做实验时遇到过ACT输出一段超出机械臂关节极限的动作如果没有软件限位轻则报警停机重则撞坏末端工具。4. 实测踩坑实录那些文档里不会写的翻车点这一节是我觉得最值钱的部分。ACT开源代码写得干净论文也漂亮但真机上遇到的问题论文和README里基本不会提。我把自己踩过的几个高频坑按排查链路讲一遍希望你复现时能直接绕开。4.1 chunk_size不是越大越好第一次跑通ACT时我习惯性把chunk_size设成200因为看论文里生成的长序列动作很流畅觉得长序列一定更“高级”。结果部署时发现一个问题机械臂执行一个需要中途避障的动作时前几十步还在正常轨迹上跑到一半遇到障碍物但模型要等整个chunk执行完才会重新规划于是机械臂直愣愣地撞上去。排查链路先确认模型输入状态是否更新——确认没问题然后发现是决策频率太低——chunk_size200相当于一次决策覆盖约4秒中间完全没有反馈把chunk_size降到50后动作虽然略微“碎”了一点但避障能力和面对突发状态的响应速度明显提升。结论chunk_size不是越大越好它应该和任务的“动态程度”匹配。静态任务可以大动态任务要小。4.2 训练数据的“多样性陷阱”前面提过左手右手混用的问题我再补一个更隐蔽的坑操作速度不一致。我在采数据时有一次为了赶时间前20条示范动作很快后20条示范动作很慢。模型训练完以后推理时动作在“快”和“慢”两种模式之间来回跳表现为机械臂一顿一顿地执行动作像卡了帧一样。这个问题的排查比较费劲因为模型loss看起来很正常测试loss也在降。后来我把训练数据的动作速度分布画出来才看到明显的双峰。处理方法是重新采了一批速度节奏一致的数据或者在数据预处理时做时间上的重采样把所有示范对齐到相似的时长。CVAE会把数据中的多峰分布如实学下来。你觉得是“多样性”模型觉得是“选择题”推理时z随机采样它每次选一个答案所以动作就会不稳定。训练数据的多样性应该体现在“布局位置、物体姿态”上而不是“操作习惯、操作速度”上。4.3 图像过曝和光照变化让视觉encoder失灵ACT的视觉输入是整个策略的上游。一旦图像分布发生偏移哪怕物理状态完全相同模型的输出也可能完全不一样。实际项目中最常见的问题是训练时相机放在实验台上部署时相机位置稍微偏了几厘米或者窗外阳光照进来让桌面亮度变了300%模型直接“失明”。我遇到过训练集里全是暗光环境图像一到白天实测夹爪抓取目标的位置整体偏移一连失败十几次。排查后发现不是运动学问题是视觉特征已经漂移到模型无法判断的状态。解决思路固定相机安装位置部署时不要挪动用自动曝光并固定曝光参数不要用自动白平衡训练时对图像做随机亮度、对比度、轻微色彩抖动增强让模型对光照变化更鲁棒如果条件允许训练数据里混入不同光照时段的数据。4.4 动作抖动、越界和卡死的排查链路机械臂动作异常抖动时很多人的第一反应是“控制频率太低”或“伺服参数不对”但在ACT系统里更常见的原因在推理链路。我整理了一个排查表按这个顺序查基本能定位大多数问题现象可能的根因排查动作高频抖动EMA未开启或alpha过小检查平滑滤波参数从0.3往上调低频来回晃CVAE的z采样方差太大检查是否固定随机种子尝试降低z维度动作卡顿chunk_size与执行频率不匹配确保chunk长度覆盖的执行时间合理不要一次跑太久输出去到奇异位置训练数据关节角超出部署限位检查训练数据的关节角范围加软件限位完全不动推理频率太低或循环在chunk末尾卡住打印每段chunk的时间戳确认推理循环没有阻塞特别说下“卡死”这个问题。有一次机械臂执行到一半突然静止我等了十几秒都不动。排查代码发现控制循环在等待最新图像帧输入但相机回调线程因为缓存队列满了直接阻塞导致推理线程拿到的是旧图像又因为图像时间戳没更新逻辑判断“状态没变”就不推送新的动作chunk。这是典型的异步数据同步bug不是模型问题。后来我把图像获取改成独立线程并用“当前最新帧覆盖旧帧”的策略队列永远只保留一帧问题就消失了。5. 还差一步到“人性化”当前边界与下一站ACT让我第一次觉得机械臂的动作“像人”但它离真正的“人性化”还有一条明显的沟。这个沟不在动作生成而在更高层的任务理解和规划。5.1 长程任务的规划短板ACT擅长的是“单技能学习”比如“抓取虾仁”“擦拭桌面”“倾倒液体”。但做饭这件事本质上是几十个单技能组成的多阶段长程任务拿土豆、削皮、切片、热锅、倒油、下料、翻炒、调味、出锅。ACT本身没有“任务分解”能力。它只会把观测映射成动作chunk并不理解“我现在完成的是整个流程中的第几步”。如果你想让它完成长程任务需要在外层加一个高层规划器把大任务拆成一系列子技能每个子技能再调用一个训练好的ACT模型。Mobile ALOHA演示的“做一桌菜”看起来很长但拆开看本质上是一个技能库加一个调度的思路。这也是当前模仿学习落地的一个普遍形态技能层用ACT这类方法任务层另想办法。5.2 ACT与Diffusion Policy的互补说句公道话现在做动作生成ACT并不是唯一选项。Diffusion Policy是另一条非常活跃的路线它用扩散模型逐步去噪生成动作chunk对多峰动作分布的建模能力更强动作多样性更自然但对训练和推理的资源需求也更高。我个人的感受是数据量不大、任务直接、想要快速看看模仿学习效果的项目ACT更省心如果你的任务动作模式极其多样比如同一物体有多种合法操作方式可以试试Diffusion Policy做baseline对比。两者不是替代关系放在同一个框架里对比测试是更务实的做法。5.3 我对“人性化”的理解回到标题里的“人性化”。ACT让我真正兴奋的点不是Transformer带来了多少精度提升而是它第一次在机械臂控制里引入了“分布”的概念——机器人在一个状态下学到的不是一个唯一的动作答案而是一族合理动作。这跟人很像我炒菜不会两次都用完全一样的轨迹但两次都能把菜炒熟因为我在做“决策”而不是在“回放”。现在ACT能让人形机器人、双臂机器人做出像人的动作但距离真正有人味还差一层“知道自己正在做什么任务”的认知能力。数据采集和任务拆解仍是卡住所有人的瓶颈——模型可以越来越强但没有高质量、结构化的示范数据一切都无从谈起。所以我的建议是如果你也想在这个方向动手不要一上来就追最新的模型结构先把数据采集流程做扎实把任务边界定义清楚再用ACT或者其他动作生成模型去训练。模型是放大器数据和任务定义才是地基。