去年 8 月我们写过一篇聊「第一视角人类视频」的文章。那会儿这还是个刚冒头的方向几篇论文、几个 demo。但后面这段时间趋势已经完全不一样了。NVIDIA、伯克利、马里兰联手的EgoScale把 20,854 小时带动作标注的第一视角人类视频喂进一个 VLA据论文披露跑出了一条人类数据规模和验证 loss 之间的对数线性 scaling law——而且这个 loss 能预测真机表现。原文链接Human-centric 和 Ego 被混着叫了半年今天把这两个概念掰开说。半年之间这个方向从「有几篇论文」变成了「有 scaling law、有融资、有世界纪录」。热闹之下去年那个老问题不但没解决反而更该说清楚了human-centric 和 ego 这两个词一线还在混着用。 有人当成一回事有人摆成对立路线。这篇算是往下再挖一层——把这两个词具体到数据采集和训练上掰开再把这半年的新东西接进去。先把判断甩前面human-centric 和 ego 不在同一根轴上。一个说「以谁为表征中心」一个说「从哪个视角采」。真正决定一套方案好不好用的不是这两个标签而是它把机器人和人之间那两道 gap放在了哪一端去消化——以及这半年多出来的第三个选项干脆用生成模型把 gap 直接翻译掉。01冲向人类数据是被成本逼的在掰词之前得先讲大家为什么齐刷刷「向人类学习」。答案很朴素真机数据太贵。遥操作采一条机器人示范要有机器人、有场地、有人一小时一小时地摇操作杆成本压不下来规模上不去。而具身这套逻辑的命根子是数据飞轮——模型是兵器数据才是粮草。粮草不够便宜、不够海量那个飞轮就转不起来。人类数据是目前唯一看得见的、又便宜又海量的燃料。人天天在用手做事网上有海量第一视角和第三视角视频采一条人类示范的边际成本比真机低一到两个数量级。但人类数据有个天生的麻烦它不是机器人产生的。人和机器人之间隔着两道 gap一道是**视角 gap**人做事时相机在哪、看到什么画面跟机器人 onboard 相机的分布可能差得很远。一道是**具身本体 gapembodiment gap**人有一双灵活的五指手、一副和机器人完全不同的身体人的动作没法直接变成机器人的关节指令。简单来说「人这么动」和「机器人该怎么动」之间还差一次翻译。human-centric 和 ego 的所有区别说到底都在回答同一个问题这两道 gap你打算在哪儿消化掉。02一个讲表征中心一个讲视角严格说ego 是 human-centric 的一个子集——都在向人学。但业内把它们当成两种「方案」讨论时指的是两种不同的 gap 消化策略。拆成两根独立的轴看最清楚。第一根轴以谁为表征中心。human-centric 字面就是「以人为中心」把人当作被完整采集、被建模的主体。外置多相机或动捕拍下人做任务的整个身体和手部姿态用 SMPL / SMPL-X 参数化人体模型把人还原成 3D 骨架再想办法迁到机器人身上。代表作是从网络人类视频学动作的 Humanoid-X、Humanoid-VLA以及一系列把人体全身动作重定向到人形机器人的工作HumanPlus、H2O/OmniH2O 一脉。特点是人是主角机器人是要被对齐过去的那一方。第二根轴从哪个视角采。ego 把传感器直接放到行动者actor视角上——头戴 Aria 眼镜、腕部相机甚至拿一个和机器人末端长得差不多的夹爪去采UMI。画面里主要是手和被操作的物体第一视角观测分布天然贴近机器人 onboard 相机。代表是 Ego4D/Ego-Exo4D、EgoDex、EgoMimic、EgoVLA。特点是采集那一刻就让「人看到的」逼近「机器人看到的」。看出来了吗human-centric 说的是「采什么、以什么为中心」ego 说的是「站在哪个视角采」。它们不是一条路上的左和右而是两根轴。这半年冒出来的公司恰好把这件事演成了活教材。03gap 提前消化还是事后补课顺着上面这句看采集两条路的分野一下就清楚了。human-centric 这侧采集追求「自由和完整」。它不太在意采集时像不像机器人——反正 gap 留给后面。所以它可以第三视角外置相机、可以上动捕、可以直接爬网络海量人类视频把人的全身长时序自然行为完整采下来。好处很实在设备约束小人该怎么做事就怎么做事还能拿到全身、移动、多物体交互这些丰富上下文。网络第三视角视频这条路规模几乎无上限。代价是分布离机器人远——画面里有整个人、第三方视角、一双机器人没有的五指手采得越全后面要跨的 gap 越宽。这里插一句它石。据其披露WIYH 直接在酒店洗衣、超市装配、物流这些真实工作场景里采数据自研套件同步 RGB、力触觉和手指关节位姿末端轨迹云端大模型自动标注2D 语义、深度、任务分解、物体 affordance成本比自建数采工厂低一个数量级以上。这是 human-centric「在真实场景采完整行为」思路的一个工程化样本——当然说的成本和规模数字都来自厂商自述跨到真实训练里的有效性还得看后续。ego 这侧采集追求「对齐」。它把消化 gap 的活儿提前放进硬件和采集协议。头戴 Aria 眼镜同步拿第一视角 RGB、3D 手部姿态和设备 SLAM 位姿EgoDex 这种规模能给到逐帧 3D 手部 pose 加语言描述。UMI 更极致——手持一个两指夹爪采数据腕部 GoPro 约 30Hz RGB、内置 IMU 到 200Hz画面里那个末端本身就是个夹爪连「五指手怎么变夹爪」这道具身 gap 都在采集时抹掉了大半。打个比方human-centric 像先把一个人完整录下来回头再研究怎么让机器人模仿ego 则是让采数据的人「假装自己就是机器人」看机器人能看到的、做机器人能做的。ego 的代价也清楚设备有约束人的行为被工具框住——拿着 UMI 夹爪就只能干夹爪能干的事全身、移动、大场景上下文全丢了。这也是为什么后来又冒出 Mobile UMI、MV-UMI 这些变体把第三视角补回来MV-UMI 论文在几个需要理解大场景的子任务上补回第三视角能提升约 47%。一句话扣回主线human-centric 用采集的自由换了训练端的对齐负担ego 用采集的约束换了训练端的省心。04训练上从「retarget vs 直用」到「怎么把人类数据变成可预测的燃料」采集端埋的账训练端要还。这也是这半年变化最大的一块——原来是「两派各自对齐」现在多了一整套「怎么把人类数据规模化」的方法论。human-centric 的训练重头戏还是 retarget 和跨域对齐。因为采的是以人体为中心的表征SMPL 骨架、手部关键点训练绕不开重定向retargeting——把人的运动学映射到机器人自由度上GMR、OmniRetarget 这类方法做的就是这件事。简单说把「人这么抬手」翻译成「机器人这些关节转多少度」。但翻译一定有损耗身体尺度、肢体比例对不上retarget 后步长、运动几何都会变形。加上视角 gap 也得在训练里对齐——mask 掉人体像素、做 domain adaptation或者干脆把人类数据只当「世界知识 / 动作先验」。ego 的训练重头戏是收窄那道只剩一半的具身 gap。视角 gap 采集时基本解决了剩下主要是 hand 到 gripperEgoMimic 用跨域对齐把手部和机器人数据揉一起 co-train简单说人类数据和机器人数据混在一个训练里同时学HumanEgo 把每条示范抬升到「手—物交互」实体级表征再训一个 flow matching 策略EgoVLA 靠可穿戴设备的手部追踪做迁移。极端如 UMI末端已是夹爪动作几乎直接映射到机器人末端位姿retarget 省掉一大半。到这儿都还是去年那篇的框架。真正的新东西是这半年冒出来的三篇把「人类数据怎么用」从手工对齐推进到了规模化范式1ACE-Ego-0 解决的是「怎么让人类视频和机器人数据可比」。它搭了一条 ego 视频到动作的流水线把原始人类视频转成机器人格式的伪动作轨迹pseudo-action再用统一动作表示相机系动作、形态条件、时间对齐的 action chunking把两边对齐。关键一招是可靠性加权——伪动作是有噪声的它用一个 human auxiliary loss 让监督集中在靠谱的信号上。据论文用 4.53K 小时机器人仿真数据配 1.48K 小时伪动作人类数据在 RoboCasa GR1 TableTop 和 RoboTwin 2.0 上做到 SOTA并迁移到真实双臂。2Ego-PiStanford/Meta也被CVPR 2026收录把问题往上抬了一层人类数据迁的不只是动作还有任务语义。它在 π0.5 上 co-train 人类机器人数据让一个多指人形学会分类逻辑、技能组合、按规则排序这些「没被显式教过」的高层行为。这补上了一个去年没讲透的点——人类数据不只是动作先验还能当推理和语义的先验。3EgoScale 则给了这条路一个最想要的东西可预测性。它在 20,854 小时人类视频上训 VLA发现人类数据规模和验证 loss 之间是对数线性关系而验证 loss 又能预测真机表现。这意味着人类数据从一种「玄学先验」变成了一种有 scaling law、可以拿规模换性能的燃料——一个 22 自由度的灵巧手据其展示已经能叠衣服、分卡片、用夹子夹水果。深度机智 PhysBrain 那套「千小时人类数据超万小时真机」的说法如果成立是同一件事在产业侧的回声。所以两条路训练哲学上最本质的差别没变——**human-centric 把人类数据当「知识」ego 把人类数据当「示范」一个信息全但要重译一个信息窄但能直用。**变的是现在有了 ACE-Ego-0 这样的伪动作对齐、EgoScale 这样的 scaling law人类数据这桶燃料第一次有了「加多少出多少」的刻度。05被忽略的第三根轴用生成模型把视角直接翻译掉去年有篇工作我们把第三视角exo当成「ego 采集时丢掉、要在训练端补回来的上下文」。这半年有两篇工作把这件事彻底翻了个面——exo 不只是要补回来的损失它能反过来当 ego 的燃料源。EgoExo-GenEgo-Exo4D、H2O 上验证做的是跨视角视频预测给一段第三视角视频、第一视角的首帧和一句指令直接生成未来的第一视角画面中间显式建模手—物交互HOI的时空对应。简单说它能「看着别人第三视角怎么做脑补出第一视角该看到什么」。EgoExo-WM 更进一步把 exo 喂给 ego 世界模型从第三视角视频里恢复 3D 人体运动当作动作把转换出的第一视角画面当作观测。于是海量、廉价、姿态清晰的第三视角视频被翻译成了「带动作标签的第一视角世界模型训练数据」据论文能同时提升预测质量和下游规划。这是一根去年没画出来的轴。原来消化 gap 只有两个位置——采集端、训练端现在多了第三个用生成模型和世界模型在视角之间直接做翻译。 视角 gap 不再是「提前消化」或「事后对齐」二选一它可以被一个 diffusion 模型「生成」掉。这根轴之所以要紧是因为它把 human-centric 和 ego 各自的死穴同时松了绑human-centric 丢不掉的第三视角现在能转成 ego 观测ego 拿不到的全身姿态现在能从 exo 恢复。两边最缺的东西被生成模型互相补上了。06三根轴上各自求最优真问题始终是「对齐了什么」写到这里你大概能看出我们想表达什么。把 human-centric 和 ego 摆成「谁取代谁」是个假问题。它们的强项和代价恰好互补human-centric强在规模和完整性——网络人类视频取之不尽全身长时序上下文最全代价是两道 gap 全压训练端retarget 有损、对齐吃力。ego 强在对齐和可直用——观测天然贴机器人动作几乎不用重译代价是采集受工具约束丢了全身、移动和大场景上下文。而现在跑在前面的工作做的都是把不同的 gap 分到不同的位置去消化能在采集端便宜消化的视角就用 ego 的方式提前消化UMI消化不掉、或消化了会丢信息的全身、大场景就在训练端补回来MV-UMI、ACE-Ego-0或者干脆用生成模型翻译回来EgoExo-WM/Gen。EgoScale 和 Ego-Pi 又在另一头证明只要对齐做对了人类数据既能规模化scaling law又能传递语义sorting logic。这些都不是二选一是在三根轴上各找最优解。当我们说「让机器人向人学习」时真正在做的是一道一道拆解人和机器人之间的不对齐——视角对不上就换视角、生成视角身体对不上就重定向上下文丢了就补回来噪声太大就加权。human-centric 和 ego 不是两个阵营是这道拆解题里你选择先解哪一步、在哪一端解。所以下次再看到一篇文章说自己「用了 ego 数据」或「以人为中心」值得多问一句你把哪道 gap 放在采集端消化了哪道留给了训练又有哪道交给了生成模型 答案里藏着这套方案真正的成本和上限。重磅全网首个具身智能开源知识库来啦技术/产业/投融资/上下游推荐阅读真机强化入门的一套完整教程pi*0.6复现方案我们用低成本的机械臂完成pi0/pi0.5/GR00T/世界模型等VLA任务具身智能的WAM与世界模型一份完整指南一览具身智能的行业全局从产品经理的角度出发VLARL方向首个系统教程来啦Online RL/Offline RL/test time RL等好用高性价比面向具身科研领域打造的轻量级机械臂VLA/VLA触觉/VLARL/具身世界模型等具身大脑小脑算法与实战全栈路线来啦~从零训练你的足式机器人让你的足式机器人真正动起来~1v1 科研论文辅导来啦重磅具身智能之心论文辅导来啦近20方向顶会/顶刊/SCI/EI/中文核心/申博等
)
