「机器人奥运」加冕双冠王不「偏科」的智元是如何炼成的最近机器人圈最热闹的话题莫过于各类机器人赛事和综合评测中智元机器人拿下了“双冠王”。很多人的第一反应是它是不是在某个单项上特别强但看了成绩单之后会发现真正让人意外的不是“某一项强”而是它在运动控制、操作能力、任务完成率等多个维度上都排在头部。这恰恰是机器人行业最稀缺的能力。过去几年人形机器人赛道有个通病“偏科”严重。有的团队把双足行走做到极致一碰操作就露馅有的团队操作算法很强但换一个场景、换一台硬件效果立刻衰减。单项冠军好拿全能型选手难做。因为“不偏科”意味着底层架构、数据闭环、硬件设计、评测体系必须形成一套自洽的系统而不是靠一个亮点模型硬撑。这篇文章不打算重复报道“谁赢了什么比赛”而是想从技术视角拆解一个问题智元这种“不偏科”的能力到底是怎么炼成的机器人赛事背后考察的到底是什么技术栈如果你也在做具身智能、机器人控制或相关的算法工程又能从这套路线里借鉴什么我会从赛事评测的逻辑、VLA视觉-语言-动作模型的技术底座、数据飞轮的搭建、软硬一体的工程思路四个方面展开最后给出一些面向开发者的落地建议。1. 为什么“不偏科”比“单项冠军”更难最近两年机器人领域的综合性评测和赛事明显变多了。与传统的学术数据集不同这类评测的最大特点是任务不再被拆成孤立的指标而是把机器人丢进一个半开放环境里让它连续完成多个子任务。比如一个典型赛项可能包含以下环节机器人先从起点自主导航到操作台识别桌面上的物体并按指令抓取把物体搬运到指定位置遇到临时障碍物时重新规划路径全程要求在限定时间内完成且不能出现摔倒、掉落、死锁等硬性失误。这里面每一个子任务拿出来都能写一篇博士论文。运动控制解决“走得稳”感知算法解决“看得准”操作策略解决“抓得住”任务规划解决“顺序对”系统集成解决“跑得通”。传统做法是“各管一段”运动控制组调步态感知组调检测模型操作组调抓取策略最后通过一个调度器串起来。但在真实赛场上这种“拼装式”架构很快就会出问题因为每个模块的误差会累积感知模块检测框抖动传给规划的坐标就偏了几厘米规划模块输出的路径没考虑足端打滑控制器硬跟就会摔倒抓取策略是按离线仿真数据训练的真实物体的材质、光照、遮挡一变成功率立刻下降。而“不偏科”的团队通常走的是另一条路线用一个统一的模型架构吸收多模态输入直接输出动作序列同时让仿真环境、数据采集、真机验证形成闭环。这样每个环节的改进都会反馈到系统整体而不是各自为战。所以不要把“双冠王”理解成某个模型的胜利。它本质上是工程体系的胜利是数据、模型、硬件、评测四条线拧成一股绳的结果。2. 从“会做动作”到“能完成任务”机器人评测的范式变化要理解智元这套路线的价值得先看懂机器人评测这些年发生了什么变化。早期的人形机器人评测重点在“动作本身”。比如能不能稳定行走能不能跑起来能不能单脚站立能不能上下楼梯。这些指标属于**运动能力Locomotion**范畴考察的是动态平衡、关节力矩控制、状态估计等基础问题。那时候的冠军本质上比的是“谁的控制算法更稳”。随着关节电机、灵巧手、传感器硬件逐渐成熟评测重点开始向**操作能力Manipulation**转移。机器人需要抓取不同形状的物体、打开抽屉、倒水、使用工具。这时候光会走不行还得有灵巧的双手和准确的视觉伺服。而最近一年评测又往前走了一步开始考察任务级智能Task-level Intelligence。机器人面对的不是单一动作而是一个“目标描述—环境感知—任务分解—动作执行—异常恢复”的完整闭环。比如“把桌上的红色杯子放到蓝色托盘里如果杯子被挡住了先用左手把它拨开。”这种任务要求机器人具备理解人类语言指令的语义把语义映射到具体的物体和空间位置根据环境变化调整动作序列在执行过程中实时修正错误。可以看到评测范式的变化其实是在逼机器人团队从“控制思维”转向“智能思维”。单项能力再强如果不能融合成任务完成率在综合评测中依然拿不到好成绩。这也是很多团队觉得“比赛越来越难”的原因它考察的不再是某个模块的SOTAState of the Art最先进水平而是整个系统在开放环境下的平均表现。3. 智元机器人技术路线拆解为什么“全栈自研”才是重头戏从公开信息来看智元机器人走的是通用具身智能路线核心思路可以概括为不做“偏科生”而是用一套统一的架构去覆盖感知、决策、运动、操作全链路。这条路线有几个关键支撑点。3.1 以 VLA 作为统一模型底座所谓 VLA全称是 Vision-Language-Action Model即“视觉-语言-动作模型”。它把传统机器人系统中割裂的三个模块统一到一个模型里视觉编码器读取相机图像语言模型理解人类指令动作解码器输出关节目标或末端执行器轨迹。传统方案的流程是“物体检测 → 状态估计 → 轨迹规划 → 运动控制”每个步骤都是一个独立模块。VLA 的流程更接近人类的学习方式看到场景、理解指令、直接做出动作。它跳过了很多手工设计的中间表示让模型从海量数据里自己学习“视觉特征”与“动作输出”之间的映射关系。从行业技术趋势看VLA 已经成为具身智能领域最受关注的路线之一。它最大的价值是泛化性因为语言指令可以组合出无限种任务描述模型不会只局限于训练时见过的固定任务。这正是“不偏科”的重要前提——不是针对某一个赛项做优化而是让模型具备处理多种任务的通用能力。3.2 开源数据集与数据飞轮智元另一个重要的技术布局是数据。机器人行业长期面临一个尴尬自动驾驶有大规模路测数据大语言模型有整个互联网的文本数据但机器人操作数据非常稀缺。每个任务都需要在真实机器人上重新采集成本高、周期长、难以复用。智元的做法是构建自己的数据飞轮通过遥操作设备采集真机操作数据通过仿真环境批量生成合成数据通过人体动捕设备采集人类动作数据把多源数据统一格式建立大规模机器人数据集用数据集训练 VLA 模型再放到真机上验证真机失败案例重新进入数据集形成闭环。这套闭环解决了两个核心问题。第一数据规模可以做上去不然模型很容易过拟合第二数据多样性有保障模型才能应对开放式任务。3.3 软硬一体设计人形机器人不是“算法 现成硬件”的简单组合。关节能不能承受高动态冲击、灵巧手能不能完成精细操作、主控算力能不能支撑大模型实时推理这些硬件问题会直接决定算法的上限。智元选择软硬一体的路线意味着硬件设计会充分考虑模型的部署需求。例如关节模组、灵巧手的自由度设计和操作算法的输出维度需要匹配计算平台需要预留足够的算力跑视觉和语言模型。软件团队和硬件团队共享同一个系统设计文档而不是等硬件做出来再适配算法。从工程角度看这能显著缩短“算法改进 → 真机验证”的迭代周期。机器人行业的一个常识是如果每次算法改动都要重新改硬件接口那这个团队很难跑得快。4. 核心能力一VLA 模型怎么统一视觉、语言与动作要理解“不偏科”首先要理解 VLA 到底改变了什么。假设我们要让机器人完成一个任务把桌子上的苹果放进篮子里。传统做法需要拆成三个独立步骤目标检测模型在图像中框出苹果和篮子路径规划算法计算末端执行器的运动轨迹运动控制器把轨迹跟踪到关节角度。每两个步骤之间都需要人工定义的接口。检测框的中心点得转换到机器人坐标系规划出来的轨迹得检查是否与障碍物碰撞。任何一个中间环节出错整个任务都会失败。VLA 的做法是端到端的输入一个或多个摄像头画面 一段自然语言指令输出机器人下一步的动作参数可以是末端位置、关节角度或速度指令。下面用一个简化的 PyTorch 推理示意图说明这种数据流# 简化示例VLA模型推理流程示意 # 文件路径vla_inference_demo.py import torch import torchvision.transforms as T from PIL import Image # 假设已经加载训练好的 VLA 模型 model load_vla_model(your_vla_checkpoint.pt) model.eval() # 读取当前场景图片 image Image.open(scene.jpg) transform T.Compose([ T.Resize((224, 224)), T.ToTensor(), T.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) frame transform(image).unsqueeze(0) # 自然语言指令 instruction put the apple into the basket # 模型前向计算输出动作 token with torch.no_grad(): action_tokens model( pixel_valuesframe, instruction_tokenstokenizer(instruction).input_ids, ) # 将动作 token 解码为机器人可执行的轨迹 action_sequence decode_action(action_tokens) # 推送给底层控制器执行 robot.execute(action_sequence)这段代码是示意性的但可以清楚看到 VLA 与模块化方案的本质区别没有手工设计中间特征模型直接学习从“像素 文本”到“动作”的映射。当然VLA 不是没有代价。它的训练需要大量多模态数据推理时对算力要求更高而且端到端模型的可解释性相对较弱。但它的优势也很明显任务描述可以用自然语言无限扩展视觉特征和动作空间在同一个语义空间里对齐这让跨任务泛化成为可能。如果团队还在用“检测 规划 控制”的模块化架构那么遇到综合评测这种多任务场景最典型的痛点就是每增加一个新任务都要重新设计接口和规则。而 VLA 在一定程度上把“新任务”简化为“新指令 少量新数据”。5. 核心能力二数据飞轮与真机验证闭环模型结构只是“不偏科”的一半另一半是数据。机器人操作数据长期以来都是稀缺资源。每个任务都需要大量人工遥操作采集不同硬件的部署环境差异又导致数据很难复用。但大模型时代的规律已经很明显模型效果的天花板很大程度上取决于数据质量和规模。智元在数据上的思路可以归纳为三条主线5.1 多源数据融合数据来源不限于真机。仿真合成数据、人体动捕数据、遥操作数据会统一成一套标准格式再进入训练管道。这样做的原因是真机数据质量高但采集成本大仿真数据便宜但要解决 Sim2Real从仿真到真实的差距人体动捕数据能带来更自然的操作模式但需要转换成机器人可执行的格式。多源数据融合之后模型能看到更多样化的场景和动作模式泛化能力自然更强。下面是一份统一数据集的 JSON 格式示例{ episode_id: ep_000123, task_description: 把苹果放进蓝色篮子里, observation: { cameras: { head_camera: images/ep_000123/frame_000.png, wrist_camera: images/ep_000123/frame_000_wrist.png }, joint_states: [0.12, -0.34, 0.56, 1.02, -0.78, 0.45] }, action: { target_pose: [0.52, 0.31, 0.18, 0.0, 0.0, 1.57], gripper_state: close }, metadata: { collect_timestamp: 1700000000, collector: teleoperation, scene_id: kitchen_07 } }统一格式的好处是后续训练脚本和评测脚本可以复用同一套数据接口不用为每种数据源写一套解析逻辑。5.2 真机闭环验证数据飞轮的关键不是“存数据”而是“让数据循环起来”。模型在真实环境中执行任务遇到失败案例工程师会标注失败原因再把这些失败数据补充到训练集里。这看起来笨拙但恰恰是机器人行业最有效的改进方式。仿真环境再逼真也无法完全模拟真实世界的物理摩擦、光照变化、传感器噪声。只有真机失败数据才能逼着模型学会“异常恢复”。5.3 数据质量筛选不是所有采集到的数据都适合训练。数据清洗和筛选流程至少要关注三点任务是否成功完成过滤掉中途放弃的轨迹轨迹是否平滑剔除抖动、卡死等异常数据指令与动作是否对齐检查语言描述和实际动作是否匹配。简单说数据不是“越多越好”而是“越准越好”。一堆噪声数据会让模型学到错误的动作模式反而拉低成功率。6. 核心能力三软硬一体与模块化硬件设计人形机器人是一个强耦合系统。硬件设计如果和算法思路脱节后面所有优化都会变得极其痛苦。智元选择软硬一体路线意味着在硬件设计阶段就会考虑几个问题关节模组的扭矩和响应速度能不能满足高动态操作需求灵巧手的自由度能不能支持抓、捏、按、拧等多类动作主控算力能不能同时跑视觉编码器、语言模型和运动控制器硬件接口和通信协议能不能支撑高频控制指令下发。这些如果等算法跑起来才发现不够用改造成本会非常高。模块化设计是另一层关键。机器人硬件如果能按模块拆分那么单模块故障可以直接更换不耽误测试硬件迭代不用整个重做只升级对应模块不同项目可以复用同一套底盘或手臂平台。从工程角度看模块化带来的最大好处是降低试错成本。机器人行业本质上还是“硬件 软件”一起迭代如果每次尝试算法都要动硬件那迭代速度会被拖垮。对开发者来说这项能力的启示是不要只看模型效果要关注模型运行的真实载体——算力、传感器、通信链路是否支撑得住。一个复杂模型放进算力不足的板上跑到 5 FPS还会掉帧任务成功率不会好看。7. 用评测思维拆解“双冠”该关注哪些技术指标回到“双冠王”这件事本身。机器人赛事或综合评测越来越强调任务完成率和鲁棒性而不只是单项指标。如果你也想对比不同机器人的技术水平建议关注以下维度评测维度含义为什么重要任务成功率多次尝试中成功完成任务的占比反映模型的有效性是最核心指标连续任务稳定性连续执行多个任务的成功率衰减情况反映系统长时间运行的可靠性场景泛化能力在未见过的场景、物体、光照下的表现反映模型是否真的学到了通用特征抗扰动能力物体被碰倒、指令中途变化时的恢复能力反映系统是否具备动态决策能力任务耗时完成一个任务的时长反映算力和控制效率安全指标是否出现碰撞、摔倒、设备损坏反映系统在真实环境中的边界控制能力如果只能选一个指标做内部追踪建议优先看“任务成功率”和“连续任务稳定性”。这两个指标最接近真实部署体验。下面给出一段简单的评测脚本示例用来统计任务成功率# 文件路径eval_success_rate.py import json def compute_success_rate(result_file): with open(result_file, r, encodingutf-8) as f: results json.load(f) total len(results) success sum(1 for r in results if r[success]) print(f总任务数: {total}) print(f成功任务数: {success}) print(f任务成功率: {success / total:.2%}) # 统计失败原因分布方便定位瓶颈 fail_reasons {} for r in results: if not r[success]: reason r.get(fail_reason, unknown) fail_reasons[reason] fail_reasons.get(reason, 0) 1 print(\n失败原因分布) for reason, count in sorted(fail_reasons.items(), keylambda x: -x[1]): print(f {reason}: {count}) if __name__ __main__: compute_success_rate(eval_results.json)这个脚本看起来简单但在实际评测中非常实用。它把模糊的“机器人厉害不厉害”量化成了可追踪的成功率并给出失败原因分布工程师可以据此判断下一步优化方向。8. 从智元路线看开发者可以借鉴的 4 个工程经验智元能够拿到“双冠王”说明这套技术路线在系统性上确实有优势。对于做机器人、具身智能或相关方向的技术团队有几个工程经验是可以复用的。8.1 数据质量优先于模型规模很多团队一上来就追大模型以为参数量越大效果越好。但机器人领域的瓶颈往往不在模型结构而在数据。如果数据任务单一、场景固定、噪声大模型再大也学不出泛化能力。建议做法是先建立数据采集、清洗、标注、评测的完整流程再考虑模型的扩展。数据飞轮跑不转模型迭代就是无根之木。8.2 评测指标要覆盖长尾场景单项评测容易产生“偏科生”。如果只在固定场景里评测模型很容易过拟合到场景的特定纹理和光照上。建议评测集里刻意加入长尾场景不常见的光照条件随机摆放的物体位置指令中带有模糊表达中途人为干扰。这些场景能提前暴露模型在真实环境下的脆弱点。8.3 仿真不是终点真机闭环才是仿真环境的价值在于低成本、大规模生成数据但它不能替代真机测试。仿真与真实之间永远存在“Sim2Real 差距”包括物理引擎不精确、传感器模型有偏差、渲染效果与真实图像不一致等。正确做法是仿真和真机并行推进仿真跑批量数据生成真机跑小批量验证失败案例再回到仿真或采集流程中标注、补充。8.4 全栈团队需要统一的中间表示如果团队里感知、规划、控制各写各的代码接口不一致联调会非常痛苦。建议在项目早期就定好统一的中间表示比如图像和点云数据格式机器人关节状态定义动作输出格式任务描述规范。统一的中间表示能让算法模块之间自由组合、测试和替换这也是“不偏科”的工程前提。9. 常见误区与思考边界聊完技术路线再结合实际工程中容易踩的坑做一轮纠偏。误区实际情况拿了评测冠军说明产品已经成熟评测和赛事是有边界条件的真实场景要考虑量产、维护、安全性差距还很大VLA 能解决所有机器人控制问题VLA 适合高层决策和泛化任务但高动态运动控制、精密力控等场景仍依赖传统控制方法开源模型权重就等于能复现效果权重只是结果背后的数据采集、硬件平台、调参经验很难完全复制仿真数据比例越高越好仿真数据过多可能导致模型适应仿真特征真实场景掉点需要控制比例并做真机验证硬件模块化就是堆料模块化需要围绕标准接口和算法需求设计盲目堆自由度反而增加控制复杂度这些误区本质上都指向同一个判断机器人是一个系统不是单个模型或单块硬件。评价一个机器人团队不能只看某个亮点要看整个系统的短板在哪里。10. 总结不偏科的本质是系统级能力智元机器人能拿到“双冠王”从表面看是比赛成绩往深了看其实说明三件事第一它的底层技术路线选对了。VLA 的统一架构让机器人具备了跨任务、跨场景的泛化能力这是“不偏科”的模型基础。第二它的数据闭环跑通了。多源数据融合 真机验证 失败数据回流让模型可以持续迭代而不是训练一次就定型。第三它的工程体系成熟。软硬一体设计、模块化硬件、统一的评测流程让整个团队可以快速定位问题、验证方案、推动改进。对于正在做机器人方向的技术人来说最有价值的不是关注“谁拿了冠军”而是关注背后的评测方法和工程机制。你可以用同样的思路去拆解自己的项目数据是否闭环评测是否覆盖长尾模型和硬件是否协同设计如果这些基础都打牢了即使不参加赛事你的系统在真实项目里也会更稳。如果后续想深入研究建议沿着三个方向继续阅读 VLA 相关模型的技术报告和数据说明理解模型训练的数据配方搭建一个小的仿真环境跑通“仿真采集 → 模型训练 → 真机迁移”的最小闭环从任务成功率、连续任务稳定性、失败原因分布三个指标开始建立自己团队的评测基线。机器人行业还很年轻现在没有一个团队敢说所有任务都做得好。所谓的“不偏科”本质是持续补齐短板、保持系统平衡的能力。对开发者来说这种“系统思维 数据闭环”的方法论比任何一项单点技术都更值得收藏。
智元机器人“不偏科”背后：VLA模型与数据飞轮如何炼成全能冠军？
「机器人奥运」加冕双冠王不「偏科」的智元是如何炼成的最近机器人圈最热闹的话题莫过于各类机器人赛事和综合评测中智元机器人拿下了“双冠王”。很多人的第一反应是它是不是在某个单项上特别强但看了成绩单之后会发现真正让人意外的不是“某一项强”而是它在运动控制、操作能力、任务完成率等多个维度上都排在头部。这恰恰是机器人行业最稀缺的能力。过去几年人形机器人赛道有个通病“偏科”严重。有的团队把双足行走做到极致一碰操作就露馅有的团队操作算法很强但换一个场景、换一台硬件效果立刻衰减。单项冠军好拿全能型选手难做。因为“不偏科”意味着底层架构、数据闭环、硬件设计、评测体系必须形成一套自洽的系统而不是靠一个亮点模型硬撑。这篇文章不打算重复报道“谁赢了什么比赛”而是想从技术视角拆解一个问题智元这种“不偏科”的能力到底是怎么炼成的机器人赛事背后考察的到底是什么技术栈如果你也在做具身智能、机器人控制或相关的算法工程又能从这套路线里借鉴什么我会从赛事评测的逻辑、VLA视觉-语言-动作模型的技术底座、数据飞轮的搭建、软硬一体的工程思路四个方面展开最后给出一些面向开发者的落地建议。1. 为什么“不偏科”比“单项冠军”更难最近两年机器人领域的综合性评测和赛事明显变多了。与传统的学术数据集不同这类评测的最大特点是任务不再被拆成孤立的指标而是把机器人丢进一个半开放环境里让它连续完成多个子任务。比如一个典型赛项可能包含以下环节机器人先从起点自主导航到操作台识别桌面上的物体并按指令抓取把物体搬运到指定位置遇到临时障碍物时重新规划路径全程要求在限定时间内完成且不能出现摔倒、掉落、死锁等硬性失误。这里面每一个子任务拿出来都能写一篇博士论文。运动控制解决“走得稳”感知算法解决“看得准”操作策略解决“抓得住”任务规划解决“顺序对”系统集成解决“跑得通”。传统做法是“各管一段”运动控制组调步态感知组调检测模型操作组调抓取策略最后通过一个调度器串起来。但在真实赛场上这种“拼装式”架构很快就会出问题因为每个模块的误差会累积感知模块检测框抖动传给规划的坐标就偏了几厘米规划模块输出的路径没考虑足端打滑控制器硬跟就会摔倒抓取策略是按离线仿真数据训练的真实物体的材质、光照、遮挡一变成功率立刻下降。而“不偏科”的团队通常走的是另一条路线用一个统一的模型架构吸收多模态输入直接输出动作序列同时让仿真环境、数据采集、真机验证形成闭环。这样每个环节的改进都会反馈到系统整体而不是各自为战。所以不要把“双冠王”理解成某个模型的胜利。它本质上是工程体系的胜利是数据、模型、硬件、评测四条线拧成一股绳的结果。2. 从“会做动作”到“能完成任务”机器人评测的范式变化要理解智元这套路线的价值得先看懂机器人评测这些年发生了什么变化。早期的人形机器人评测重点在“动作本身”。比如能不能稳定行走能不能跑起来能不能单脚站立能不能上下楼梯。这些指标属于**运动能力Locomotion**范畴考察的是动态平衡、关节力矩控制、状态估计等基础问题。那时候的冠军本质上比的是“谁的控制算法更稳”。随着关节电机、灵巧手、传感器硬件逐渐成熟评测重点开始向**操作能力Manipulation**转移。机器人需要抓取不同形状的物体、打开抽屉、倒水、使用工具。这时候光会走不行还得有灵巧的双手和准确的视觉伺服。而最近一年评测又往前走了一步开始考察任务级智能Task-level Intelligence。机器人面对的不是单一动作而是一个“目标描述—环境感知—任务分解—动作执行—异常恢复”的完整闭环。比如“把桌上的红色杯子放到蓝色托盘里如果杯子被挡住了先用左手把它拨开。”这种任务要求机器人具备理解人类语言指令的语义把语义映射到具体的物体和空间位置根据环境变化调整动作序列在执行过程中实时修正错误。可以看到评测范式的变化其实是在逼机器人团队从“控制思维”转向“智能思维”。单项能力再强如果不能融合成任务完成率在综合评测中依然拿不到好成绩。这也是很多团队觉得“比赛越来越难”的原因它考察的不再是某个模块的SOTAState of the Art最先进水平而是整个系统在开放环境下的平均表现。3. 智元机器人技术路线拆解为什么“全栈自研”才是重头戏从公开信息来看智元机器人走的是通用具身智能路线核心思路可以概括为不做“偏科生”而是用一套统一的架构去覆盖感知、决策、运动、操作全链路。这条路线有几个关键支撑点。3.1 以 VLA 作为统一模型底座所谓 VLA全称是 Vision-Language-Action Model即“视觉-语言-动作模型”。它把传统机器人系统中割裂的三个模块统一到一个模型里视觉编码器读取相机图像语言模型理解人类指令动作解码器输出关节目标或末端执行器轨迹。传统方案的流程是“物体检测 → 状态估计 → 轨迹规划 → 运动控制”每个步骤都是一个独立模块。VLA 的流程更接近人类的学习方式看到场景、理解指令、直接做出动作。它跳过了很多手工设计的中间表示让模型从海量数据里自己学习“视觉特征”与“动作输出”之间的映射关系。从行业技术趋势看VLA 已经成为具身智能领域最受关注的路线之一。它最大的价值是泛化性因为语言指令可以组合出无限种任务描述模型不会只局限于训练时见过的固定任务。这正是“不偏科”的重要前提——不是针对某一个赛项做优化而是让模型具备处理多种任务的通用能力。3.2 开源数据集与数据飞轮智元另一个重要的技术布局是数据。机器人行业长期面临一个尴尬自动驾驶有大规模路测数据大语言模型有整个互联网的文本数据但机器人操作数据非常稀缺。每个任务都需要在真实机器人上重新采集成本高、周期长、难以复用。智元的做法是构建自己的数据飞轮通过遥操作设备采集真机操作数据通过仿真环境批量生成合成数据通过人体动捕设备采集人类动作数据把多源数据统一格式建立大规模机器人数据集用数据集训练 VLA 模型再放到真机上验证真机失败案例重新进入数据集形成闭环。这套闭环解决了两个核心问题。第一数据规模可以做上去不然模型很容易过拟合第二数据多样性有保障模型才能应对开放式任务。3.3 软硬一体设计人形机器人不是“算法 现成硬件”的简单组合。关节能不能承受高动态冲击、灵巧手能不能完成精细操作、主控算力能不能支撑大模型实时推理这些硬件问题会直接决定算法的上限。智元选择软硬一体的路线意味着硬件设计会充分考虑模型的部署需求。例如关节模组、灵巧手的自由度设计和操作算法的输出维度需要匹配计算平台需要预留足够的算力跑视觉和语言模型。软件团队和硬件团队共享同一个系统设计文档而不是等硬件做出来再适配算法。从工程角度看这能显著缩短“算法改进 → 真机验证”的迭代周期。机器人行业的一个常识是如果每次算法改动都要重新改硬件接口那这个团队很难跑得快。4. 核心能力一VLA 模型怎么统一视觉、语言与动作要理解“不偏科”首先要理解 VLA 到底改变了什么。假设我们要让机器人完成一个任务把桌子上的苹果放进篮子里。传统做法需要拆成三个独立步骤目标检测模型在图像中框出苹果和篮子路径规划算法计算末端执行器的运动轨迹运动控制器把轨迹跟踪到关节角度。每两个步骤之间都需要人工定义的接口。检测框的中心点得转换到机器人坐标系规划出来的轨迹得检查是否与障碍物碰撞。任何一个中间环节出错整个任务都会失败。VLA 的做法是端到端的输入一个或多个摄像头画面 一段自然语言指令输出机器人下一步的动作参数可以是末端位置、关节角度或速度指令。下面用一个简化的 PyTorch 推理示意图说明这种数据流# 简化示例VLA模型推理流程示意 # 文件路径vla_inference_demo.py import torch import torchvision.transforms as T from PIL import Image # 假设已经加载训练好的 VLA 模型 model load_vla_model(your_vla_checkpoint.pt) model.eval() # 读取当前场景图片 image Image.open(scene.jpg) transform T.Compose([ T.Resize((224, 224)), T.ToTensor(), T.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) frame transform(image).unsqueeze(0) # 自然语言指令 instruction put the apple into the basket # 模型前向计算输出动作 token with torch.no_grad(): action_tokens model( pixel_valuesframe, instruction_tokenstokenizer(instruction).input_ids, ) # 将动作 token 解码为机器人可执行的轨迹 action_sequence decode_action(action_tokens) # 推送给底层控制器执行 robot.execute(action_sequence)这段代码是示意性的但可以清楚看到 VLA 与模块化方案的本质区别没有手工设计中间特征模型直接学习从“像素 文本”到“动作”的映射。当然VLA 不是没有代价。它的训练需要大量多模态数据推理时对算力要求更高而且端到端模型的可解释性相对较弱。但它的优势也很明显任务描述可以用自然语言无限扩展视觉特征和动作空间在同一个语义空间里对齐这让跨任务泛化成为可能。如果团队还在用“检测 规划 控制”的模块化架构那么遇到综合评测这种多任务场景最典型的痛点就是每增加一个新任务都要重新设计接口和规则。而 VLA 在一定程度上把“新任务”简化为“新指令 少量新数据”。5. 核心能力二数据飞轮与真机验证闭环模型结构只是“不偏科”的一半另一半是数据。机器人操作数据长期以来都是稀缺资源。每个任务都需要大量人工遥操作采集不同硬件的部署环境差异又导致数据很难复用。但大模型时代的规律已经很明显模型效果的天花板很大程度上取决于数据质量和规模。智元在数据上的思路可以归纳为三条主线5.1 多源数据融合数据来源不限于真机。仿真合成数据、人体动捕数据、遥操作数据会统一成一套标准格式再进入训练管道。这样做的原因是真机数据质量高但采集成本大仿真数据便宜但要解决 Sim2Real从仿真到真实的差距人体动捕数据能带来更自然的操作模式但需要转换成机器人可执行的格式。多源数据融合之后模型能看到更多样化的场景和动作模式泛化能力自然更强。下面是一份统一数据集的 JSON 格式示例{ episode_id: ep_000123, task_description: 把苹果放进蓝色篮子里, observation: { cameras: { head_camera: images/ep_000123/frame_000.png, wrist_camera: images/ep_000123/frame_000_wrist.png }, joint_states: [0.12, -0.34, 0.56, 1.02, -0.78, 0.45] }, action: { target_pose: [0.52, 0.31, 0.18, 0.0, 0.0, 1.57], gripper_state: close }, metadata: { collect_timestamp: 1700000000, collector: teleoperation, scene_id: kitchen_07 } }统一格式的好处是后续训练脚本和评测脚本可以复用同一套数据接口不用为每种数据源写一套解析逻辑。5.2 真机闭环验证数据飞轮的关键不是“存数据”而是“让数据循环起来”。模型在真实环境中执行任务遇到失败案例工程师会标注失败原因再把这些失败数据补充到训练集里。这看起来笨拙但恰恰是机器人行业最有效的改进方式。仿真环境再逼真也无法完全模拟真实世界的物理摩擦、光照变化、传感器噪声。只有真机失败数据才能逼着模型学会“异常恢复”。5.3 数据质量筛选不是所有采集到的数据都适合训练。数据清洗和筛选流程至少要关注三点任务是否成功完成过滤掉中途放弃的轨迹轨迹是否平滑剔除抖动、卡死等异常数据指令与动作是否对齐检查语言描述和实际动作是否匹配。简单说数据不是“越多越好”而是“越准越好”。一堆噪声数据会让模型学到错误的动作模式反而拉低成功率。6. 核心能力三软硬一体与模块化硬件设计人形机器人是一个强耦合系统。硬件设计如果和算法思路脱节后面所有优化都会变得极其痛苦。智元选择软硬一体路线意味着在硬件设计阶段就会考虑几个问题关节模组的扭矩和响应速度能不能满足高动态操作需求灵巧手的自由度能不能支持抓、捏、按、拧等多类动作主控算力能不能同时跑视觉编码器、语言模型和运动控制器硬件接口和通信协议能不能支撑高频控制指令下发。这些如果等算法跑起来才发现不够用改造成本会非常高。模块化设计是另一层关键。机器人硬件如果能按模块拆分那么单模块故障可以直接更换不耽误测试硬件迭代不用整个重做只升级对应模块不同项目可以复用同一套底盘或手臂平台。从工程角度看模块化带来的最大好处是降低试错成本。机器人行业本质上还是“硬件 软件”一起迭代如果每次尝试算法都要动硬件那迭代速度会被拖垮。对开发者来说这项能力的启示是不要只看模型效果要关注模型运行的真实载体——算力、传感器、通信链路是否支撑得住。一个复杂模型放进算力不足的板上跑到 5 FPS还会掉帧任务成功率不会好看。7. 用评测思维拆解“双冠”该关注哪些技术指标回到“双冠王”这件事本身。机器人赛事或综合评测越来越强调任务完成率和鲁棒性而不只是单项指标。如果你也想对比不同机器人的技术水平建议关注以下维度评测维度含义为什么重要任务成功率多次尝试中成功完成任务的占比反映模型的有效性是最核心指标连续任务稳定性连续执行多个任务的成功率衰减情况反映系统长时间运行的可靠性场景泛化能力在未见过的场景、物体、光照下的表现反映模型是否真的学到了通用特征抗扰动能力物体被碰倒、指令中途变化时的恢复能力反映系统是否具备动态决策能力任务耗时完成一个任务的时长反映算力和控制效率安全指标是否出现碰撞、摔倒、设备损坏反映系统在真实环境中的边界控制能力如果只能选一个指标做内部追踪建议优先看“任务成功率”和“连续任务稳定性”。这两个指标最接近真实部署体验。下面给出一段简单的评测脚本示例用来统计任务成功率# 文件路径eval_success_rate.py import json def compute_success_rate(result_file): with open(result_file, r, encodingutf-8) as f: results json.load(f) total len(results) success sum(1 for r in results if r[success]) print(f总任务数: {total}) print(f成功任务数: {success}) print(f任务成功率: {success / total:.2%}) # 统计失败原因分布方便定位瓶颈 fail_reasons {} for r in results: if not r[success]: reason r.get(fail_reason, unknown) fail_reasons[reason] fail_reasons.get(reason, 0) 1 print(\n失败原因分布) for reason, count in sorted(fail_reasons.items(), keylambda x: -x[1]): print(f {reason}: {count}) if __name__ __main__: compute_success_rate(eval_results.json)这个脚本看起来简单但在实际评测中非常实用。它把模糊的“机器人厉害不厉害”量化成了可追踪的成功率并给出失败原因分布工程师可以据此判断下一步优化方向。8. 从智元路线看开发者可以借鉴的 4 个工程经验智元能够拿到“双冠王”说明这套技术路线在系统性上确实有优势。对于做机器人、具身智能或相关方向的技术团队有几个工程经验是可以复用的。8.1 数据质量优先于模型规模很多团队一上来就追大模型以为参数量越大效果越好。但机器人领域的瓶颈往往不在模型结构而在数据。如果数据任务单一、场景固定、噪声大模型再大也学不出泛化能力。建议做法是先建立数据采集、清洗、标注、评测的完整流程再考虑模型的扩展。数据飞轮跑不转模型迭代就是无根之木。8.2 评测指标要覆盖长尾场景单项评测容易产生“偏科生”。如果只在固定场景里评测模型很容易过拟合到场景的特定纹理和光照上。建议评测集里刻意加入长尾场景不常见的光照条件随机摆放的物体位置指令中带有模糊表达中途人为干扰。这些场景能提前暴露模型在真实环境下的脆弱点。8.3 仿真不是终点真机闭环才是仿真环境的价值在于低成本、大规模生成数据但它不能替代真机测试。仿真与真实之间永远存在“Sim2Real 差距”包括物理引擎不精确、传感器模型有偏差、渲染效果与真实图像不一致等。正确做法是仿真和真机并行推进仿真跑批量数据生成真机跑小批量验证失败案例再回到仿真或采集流程中标注、补充。8.4 全栈团队需要统一的中间表示如果团队里感知、规划、控制各写各的代码接口不一致联调会非常痛苦。建议在项目早期就定好统一的中间表示比如图像和点云数据格式机器人关节状态定义动作输出格式任务描述规范。统一的中间表示能让算法模块之间自由组合、测试和替换这也是“不偏科”的工程前提。9. 常见误区与思考边界聊完技术路线再结合实际工程中容易踩的坑做一轮纠偏。误区实际情况拿了评测冠军说明产品已经成熟评测和赛事是有边界条件的真实场景要考虑量产、维护、安全性差距还很大VLA 能解决所有机器人控制问题VLA 适合高层决策和泛化任务但高动态运动控制、精密力控等场景仍依赖传统控制方法开源模型权重就等于能复现效果权重只是结果背后的数据采集、硬件平台、调参经验很难完全复制仿真数据比例越高越好仿真数据过多可能导致模型适应仿真特征真实场景掉点需要控制比例并做真机验证硬件模块化就是堆料模块化需要围绕标准接口和算法需求设计盲目堆自由度反而增加控制复杂度这些误区本质上都指向同一个判断机器人是一个系统不是单个模型或单块硬件。评价一个机器人团队不能只看某个亮点要看整个系统的短板在哪里。10. 总结不偏科的本质是系统级能力智元机器人能拿到“双冠王”从表面看是比赛成绩往深了看其实说明三件事第一它的底层技术路线选对了。VLA 的统一架构让机器人具备了跨任务、跨场景的泛化能力这是“不偏科”的模型基础。第二它的数据闭环跑通了。多源数据融合 真机验证 失败数据回流让模型可以持续迭代而不是训练一次就定型。第三它的工程体系成熟。软硬一体设计、模块化硬件、统一的评测流程让整个团队可以快速定位问题、验证方案、推动改进。对于正在做机器人方向的技术人来说最有价值的不是关注“谁拿了冠军”而是关注背后的评测方法和工程机制。你可以用同样的思路去拆解自己的项目数据是否闭环评测是否覆盖长尾模型和硬件是否协同设计如果这些基础都打牢了即使不参加赛事你的系统在真实项目里也会更稳。如果后续想深入研究建议沿着三个方向继续阅读 VLA 相关模型的技术报告和数据说明理解模型训练的数据配方搭建一个小的仿真环境跑通“仿真采集 → 模型训练 → 真机迁移”的最小闭环从任务成功率、连续任务稳定性、失败原因分布三个指标开始建立自己团队的评测基线。机器人行业还很年轻现在没有一个团队敢说所有任务都做得好。所谓的“不偏科”本质是持续补齐短板、保持系统平衡的能力。对开发者来说这种“系统思维 数据闭环”的方法论比任何一项单点技术都更值得收藏。