World Labs CEO李飞飞便与SceniX的联合创始人李昀烛共同做客了a16z最新的一期访谈《Fei-Fei Li is Solving the Hardest Problem in Robotics》首次公开剖析了双方正联手解决的核心难题让AI不仅能看懂世界还能动手改变世界。时隔近两年李飞飞终于再做客a16z畅谈空间智能和World Labs在机器人赛道上的全盘布局。全程信息密度拉满完全不敢眨眼我们的目标是将空间智能打造为AI的下一个前沿。在物理空间中行动的能力仍然是未来AI世界中最令人兴奋、也最具深远意义的能力之一而机器人正是其中的核心。机器人是空间智能落地的第一块试金石也是世界建模重要的应用场景。SceniX解决的正是机器人领域最困难的问题训练数据和评估数据都非常匮乏。要让机器人真正工作我们必须释放scaling law缩放定律的力量。真实环境评估不仅慢而且还危险而昂贵。相比之下仿真环境具备完全的可控性与可解析性在可靠性和效率两方面都能提供独特价值。具体用哪个模型其实不重要因为模型总会换代但基础设施不会。视频刚上线评论区网友的脑洞就彻底放飞了。甚至还有人策划起了带机器人版的“鲁滨逊漂流记”连需要带的装备都安排得明明白白啊这这这这对吗不得不说这届网友的精神状态实在是太美丽让人忍不住想立刻递上场记板喊一声“Action”。最近World Labs宣布收购SceniX并计划与SceniX合作为机器人打造一个可规模化的数字训练场。紧接着World Labs CEO李飞飞便与SceniX的联合创始人李昀烛共同做客了a16z最新的一期访谈《Fei-Fei Li is Solving the Hardest Problem in Robotics》首次公开剖析了双方正联手解决的核心难题让AI不仅能看懂世界还能动手改变世界。有趣的是李昀烛还曾是飞姐亲自指导的博士后究竟是一段怎样的故事促成了这次合作我们在不改变原意的基础上由AI对访谈内容文字实录进行了精校。Enjoy为什么机器人是空间智能落地的第一个试金石Martin Casado主持人飞飞能否先为不熟悉World Labs的听众介绍一下公司的工作李飞飞好的World Labs是一家成立两年的初创公司也是一家前沿模型实验室。我们的目标是将空间智能打造为AI的下一个前沿。简单来说就是让AI能在真实或虚拟的空间中自如地生成、理解、推理和交互。构建大型世界模型是通往空间智能的一条路径也是World Labs目前最关注的方向。主持人你从一开始就强调机器要能够感知空间、对空间进行推理并在其中行动。我原以为在空间中行动还是很遥远的目标但你们现在收购了一家机器人公司。为什么已经到了成熟的收购时机这次收购的意图是什么李飞飞机器人并不是在空间中行动或与空间交互的唯一方式。在VFX后期视觉特效、游戏和设计等创意领域人们早已能在虚拟空间中构建世界并进行沉浸式交互。World Labs始终有一个判断我们所生活的世界可以成为一个多元宇宙而我们可以创造技术让用户、创作者和开发者在不同空间中行动。不过在物理空间中行动的能力仍然是未来AI世界中最令人兴奋、也最具深远意义的能力之一而机器人正是其中的核心。World Labs一直认为机器人是空间智能落地的第一块试金石也是世界建模重要的应用场景。邀请SceniX及其团队加入World Labs正是我们长期愿景和使命的一部分。主持人昀烛你是SceniX的联合创始人。能否简要介绍一下你的背景以及SceniX主要做什么李昀烛大家好我是李昀烛我是SceniX的联合创始人也是哥伦比亚大学的助理教授。我的研究经历始于在MIT读博士的阶段之后在斯坦福跟随飞飞老师做博士后。我的职业目标一直都很简单就是想帮助机器人更好地感知物理世界并与之交互。我是一个非常务实的人希望机器人能在真实的物理环境中工作。我们有注意到目前通用机器人面临许多瓶颈大多都集中在训练和评估环节。因此我们正在开发一条real-to-sim-to-real管线把真实环境映射到与其高度对齐的数字世界。所谓对齐指的就是在数字世界中发生的事情也应当能在真实环境中发生。这样一来原本必须在真实环境中完成的数据采集和评估就可以部分由数字世界中可规模化生成的数据替代。SceniX正是由此起步。我们组建了一支覆盖机器人、机器人学习、仿真和渲染的团队并正在尝试构建一个完整的real-to-sim-to-real技术栈以解决这些关键瓶颈。李飞飞这里还有一段很有趣的故事笑。你可能会以为因为昀烛曾是我的博士后所以我们很早就在讨论SceniX和World Labs合并的事儿。其实不是。SceniX最初是作为客户来到World Labs的。世界真的很小。去年冬天大概是11月或12月吧我们发布了生成模型Marble的第一个版本SceniX第一时间注册并使用了它。一开始我甚至不知道那是昀烛的公司。后面发现之后我才给他打了电话意识到World Labs和SceniX有很多合作空间。主持人能不能简单介绍一下Marble李飞飞Ok。Marble是World Labs持续训练和迭代的基础模型。目前公开版本的核心能力是接收单张或多张图像、文本或这些模态的组合并把它们转化为一个几何一致的世界。这个世界看起来非常真实且不会穿帮。而SceniX所解决的正是机器人领域一个极其困难的问题训练数据和评估数据都非常匮乏。这与语言模型很不一样语言模型可以从互联网上获得丰富数据但机器人不行。要让机器人真正工作我们必须释放scaling law缩放定律的力量。那这些数据究竟从何而来这是整个机器人界都在不断追问的深层问题。World Labs与SceniX如何互补主持人你们都组建了很有实力的团队。那么双方的能力有多少重叠又在多大程度上扩展了World Labs的能力李飞飞我认为两支团队高度互补并且拥有共同的使命。昀烛是SceniX的技术联合创始人之一。另一位是郑昌熙他是哥伦比亚大学教授也是世界级的仿真技术专家拥有VFX背景。他曾在腾讯工作也有过创业经历。胡晓晨Sonny则是一位出色的工程负责人曾就职于一家后来被亚马逊收购的初创公司并在亚马逊参与过多种计算机视觉技术栈的工作。昀烛带来了机器人领域的思想领导力和技术实力能力覆盖硬件到全栈机器人。他在斯坦福跟随我做博士后时就已经是一名横跨建模与硬件的全栈机器人研究者。昀烛的学生以及SceniX团队补充了World Labs此前尚未拥有的人才储备。昌熙则带来了极强的仿真能力。World Labs的工作与仿真世界有大量衔接而SceniX相对欠缺的是生成模型和基于计算机视觉的三维重建能力这恰好是World Labs的强项也是SceniX所需要的技术。双方结合后能力版图会更加完整。主持人昀烛在决定继续独立发展还是加入World Labs时你如何判断双方是否契合为什么最终作出这个决定李昀烛一开始我们考虑过继续独立发展。但与飞飞老师交流并看到双方的协同效应后我们认为一同推进非常合理。SceniX的real-to-sim-to-real工作涉及对环境进行稠密重建Dense Reconstruction包括捕捉环境的外观、几何结构和动力学也就是施加动作后环境将如何变化。目前稠密重建的任务仍然相对繁重。World Labs则在稀疏重建和生成方面拥有深厚能力。我们看到很多机会可以利用Marble及其他相关能力更高效地完成环境重建和建模。主持人我们可以期待World Labs推出机器人基础模型吗李飞飞World Labs正在构建基础模型我们当然不排除这个方向。李昀烛是的。机器人基础模型本质上需要的是多模态模型。它必须处理帧、文本、图像、深度和其他模态而动作是其中非常关键的一种模态。如果把帧和动作作为输入模型就可以充当模拟器预测执行特定动作后环境将如何变化。如果把动作当成输出它本质上就是一个policy model预测机器人为了接近某个具体目标应当在真实环境中采取什么动作。这类Omni-Model不仅可以帮助具身智能研究者与开发者更好地理解环境建模及决策规划也可以作为基础骨干模型针对具体机器人应用进行微调从而达到客户所期望的可靠性和效率。为什么强调三维和仿真主持人目前很多机器人公司采用纯视频模型路线而你们强调三维和仿真。两种路线有什么区别李昀烛要创建机器人能够在其中工作的世界这个世界必须捕捉问题的本质结构其中一个必要条件就是一致性包括空间、时间、不同视角和不同交互方式上的一致性。我们正是在这里看到了与Marble的强协同。Marble生成的世界能够提供机器人所需基础设施的一部分。试想机器人尝试着把一个物体向前推物体却离奇失踪了。许多现有视频预测模型都可能出现这类问题这样的结果不足以给机器人提供正确行动的信号。视频模型正在快速进步但我们构建的基础设施可以为数据飞轮提供初始动力使之从更偏仿真驱动的模型逐步走向能够在真实环境中执行的机器人策略模型再收集新数据并反馈回来。模型不必只依靠物理也不必只依靠学习。它可以位于两者之间既捕捉问题的本质结构又能随着数据积累不断扩展和改进。主持人飞飞长期以来一直有一个围绕三维与空间智能的理念“北极星”。你是否也有类似的理念还是会更务实先把系统做出来、再让它运行李昀烛我的北极星就是让机器人在真实的环境中工作。我是一个非常务实的人。在跟随飞飞老师做博士后期间我们合作构建过一项benchmark并向公众调查他们希望机器人替自己做什么。在我们收集的一千多项任务中有三分之一与清洁有关。人们不喜欢这些脏活累活而这些正是我们希望用机器人解决的场景。李飞飞我真正欣赏的是SceniX联合创始人们极其务实的工作方法。尽管他们大多来自学术界但还是第一时间选择了与真实产业中的设计者和客户合作进入实验室、仓库和电子装配等真实场景。这种研发机器人的方式令人耳目一新也让我非常期待与他们合作。主持人机器人系统必须相当精确但创意应用可以容忍和接受错误有时候甚至错误反而会成为创意的缪斯。从技术角度看昀烛觉得该如何协调这两种要求李昀烛我觉得两者可以协调起来。环境模型不必完美机器人模型也不必完美。主持人模型不必完美具体是什么意思它至少仍要非常接近现实吧李昀烛模型一直是多种机器人应用发展的重要基石。无人机、扫地机器人、四足机器人和双足机器人都需要依赖模型才能工作并从模拟环境迁移到真实环境。运动机器人可以在雪地或灌木丛中行走但模拟器并不需要精确复刻每一处灌木和积雪。仿真需要捕捉问题的本质结构并在数字环境中支持不同形式的随机化。我们正在研究应当以怎样的保真度对机器人周围的世界建模才能让在模拟环境和数字世界中训练的机器人系统迁移回真实场景。以仿真为支柱的路线是否可行主持人有些研究者认为模拟最终总会偏离物理世界因此真实世界数据采集至关重要。以仿真为支柱的路线是否可行李昀烛我认为两者并不矛盾。模拟本质上是在预测施加动作后环境会如何变化也就是对世界进行建模。这个模型不必是纯物理模型可以结合物理和学习。我们正在收集真实世界数据也会在数据飞轮的不同阶段使用这些数据。在初期我们可能会更强调物理我们会先让机器人学习世界以确保其具备合适的学习节奏和知识结构从而能够顺利学习。随着我们通过数据采集和客户合作积累起更多的数据环境建模就可以逐步转向更强的学习驱动。这种转变和数据流能够把物理、几何与一致性的优势同数据和算力的力量结合起来。李飞飞是的这并不是“要模拟”还是“不要模拟”的二元选择。所有要素必须结合起来才能让机器人真正工作。就比如我们人类在行动前会在头脑中进行大量模拟。模拟承担了真实世界数据无法承担的一个重要角色也就是“反事实推理”。人们会推演尚未发生、无法发生或缺乏足够真实数据的事件并在推演中学习应当如何行动。人们总是会这么做机器人也可以。我相信每场足球比赛的规划都会包含某种模拟无论是数字模拟、白板推演还是其他形式。模拟的作用就是支持反事实推理。这对机器人至关重要因为我们不可能为所有情况收集足够的真实世界数据。自动驾驶汽车就是一个现实案例。Waymo曾表示使用了数十亿小时的仿真数据而且其路线高度依赖仿真并非只依赖真实世界数据。汽车还属于相对简单的机器人问题因此仿真显然在机器人学习中发挥着重要作用。李昀烛模拟可以带来两个层面的收益可靠性和效率。就可靠性而言要让机器人系统在真实的环境中稳定工作数据必须系统覆盖机器人可能遇到的状态空间和变化。在模拟中我们可以系统地随机化并控制光照、几何类型和物理参数以确保其充分覆盖机器人的状态空间从而提高机器人系统的可靠性。第二个收益是效率。很多团队通过遥操作采集数据。使用现有遥操作设备和外骨骼时数据采集速度甚至可能慢于人类直接执行任务。对很多客户而言人类采集的速度还不够他们希望机器人比人更快。但让机器人加速并不等于简单地提高驱动速度因为重力是恒定的单纯提速无法解决由此带来的动力学失衡问题。而在模拟中我们可以系统地加快机器人行为同时训练机器人考虑环境动力学的变化。所以仿真在可靠性和效率两方面都能提供独特价值。SceniX如何利用平台训练和评估机器人主持人SceniX如何利用自家平台训练和评估机器人李昀烛核心用途有两个训练和评估。先说评估它在机器人领域经常被忽视训练机器人模型时我们必须知道模型表现如何而评估正是推动迭代的信息来源。主持人AI从业者都理解评估但每个人对这个词的理解都可能不同。你这里所说的评估具体指什么李昀烛我认为评估指的是理解某个具体checkpoint的表现例如成功率是95%还是99.9%。行业中的一个衡量评价方式的关键标准是看用这个标准区分一个表现为90%的checkpoint与另一个表现为92%的checkpoint需要多长时间。如果每次都要把模型部署到真实物理世界里去跑测试才能来验证这2%的提升那验证周期会漫长得让人无法忍受。目前真实世界中的机器人评估其迭代速度比语言模型评估慢多个数量级。机器人任务本身也高度多样化。机器人必须真正执行动作、在空间中移动并服从物理定律。机器人演示视频经常以8倍或10倍速播放就是因为机器人行动非常缓慢。真实环境评估不仅慢而且还危险而昂贵。所以一些客户需要能用来评估机器人系统的数字环境。由于我们的数字环境已经被证明与真实世界具有对齐关系如果某个checkpoint在仿真中表现更好它在真实环境中也很可能表现更好。我们可以利用数字环境中的信号对机器人系统进行更安全、可扩展且快速得多的评估。此外在训练方面可控性至关重要。我们希望控制状态、参数、光照、摩擦力及其他物理参数乃至物体几何类型的各种变化训练必须充分覆盖足够多样化的场景才能生成信息量足够的数据让机器人具备Robustness稳健性。而这在真实环境中极难实现。通过遥操作采集数据不仅速度慢还会受到机器人数量、远程操作设备数量以及一系列数据运营问题的掣肘。相比之下仿真环境具备完全的可控性与可解析性。在数字世界中你能明确界定数据分布的覆盖范围并确信机器人在该分布内的可靠性。这种确定性、高效性与可扩展性正是客户选择数字世界训练机器人系统的核心动因。李飞飞是的。早在SceniX与World Labs接洽之前就有客户主动寻访Marble印证了此类需求的真实存在。尽管当时我们尚不具备服务能力但已收到大量机器人公司的咨询其中既包括早期模型研发团队也有致力于落地实际应用场景的企业。我们正在关注这些需求。主持人当人们听说World Labs进入机器人领域可能会以为你们要制造硬件、开发机器人大脑。但你们似乎不是在做这件事。你们位于机器人开发生命周期的哪个环节与生态伙伴的边界在哪里李昀烛我们构建的是一套基础设施及配套软件让开发者创建机器人可以在其中学习和接受评估的世界。这套基础设施天然不绑定特定模型也不绑定特定机器人形态。主持人也就是说你们不是在制造机器人而是在构建环境让其他公司把自己的机器人大脑放进去导航和学习李昀烛我们的平台不挑机器人也不挑模型。不管是单臂的或双臂的、固定的或移动基座的甚至是各类夹爪与复杂末端执行器的都能直接放进我们的数字世界里跑。目的就一个让它们在真实环境里干活时又稳又快。模型也一样。我们生成的数据既能从头训练新模型也能拿来微调现在流行的VLA视觉-语言-动作模型或World Action Model。具体用哪个模型其实不重要因为模型总会换代但基础设施不会。简单说我们不站队硬件也不押注算法。我们只做一件事搭好一个通用的数字世界让任何机器人都能在里面练出真本事到了真实世界照样靠谱。机器人该按怎样的路线落地主持人你曾提到外界对人形机器人的预期或许过于激进短期内更现实的落地点是仓库这类受限场景。这种判断会如何影响World Labs的工作重心李昀烛这是个很好的问题。真实世界的机器人落地通常遵循一条演进路径从完全结构化环境到半结构化环境最后才是非结构化环境。完全结构化环境就像工厂或汽车产线所有变量都已知可控这类场景我们已经自动化了几十年。半结构化环境则像亚马逊仓库、餐厅或酒店——环境大体可控任务也针对机器人做了适配但总会出现衣物等无法预料的干扰物。而非结构化环境比如你我的家那里才是机器人领域的终极圣杯。Robustness稳健性源于对场景的充分覆盖。至少在现阶段先攻克半结构化环境比直接闯入完全非结构化环境更可行。我们终将走向后者但希望走一条更可持续、更务实的路。李飞飞人形机器人通过模仿人体来适应非结构化环境而人已经通过进化适应了非结构化环境。我们的手指和双腿并不是执行任何单一任务的最佳工具。如果人类作为一个物种的唯一目标是爬树我们很可能会拥有不同形态的手指。人类最终进化出的是一种通用性很强、但在单一任务上未必最优的身体形态。因为这种形态有利于在非结构化环境中生存。但从商业和务实的技术角度看非结构化环境加上通用身体是最难解决的问题。对某个具体问题而言这甚至未必是正确的路线。更专用的身体形态可能更适合解决更窄的任务。因此SceniX面临的挑战是保持对机器人形态的中立让基础设施能够服务不同身体形态和不同半结构化环境。主持人生成式语言模型可以远快于人类、也更便宜地生成文本或代码。但人类的大脑和身体在三维导航和物体操作方面非常高效。在可预见的未来机器人能否在日常体力任务中达到人类的能量性价比这需要五年还是几乎不可能李昀烛我觉得这需要很长时间。机器人要在真实的环境中工作说到底是一个系统问题。我们必须认真考虑硬件、软件和“大脑”如何协同甚至包括手指摩擦系数这样的细节。要让系统真正落地既需要许多要素共同到位也需要持续迭代。但令我兴奋的是机器人学习的技术前沿一直在以超出我预期的速度推进。我现在研究的问题和刚读博士时已经完全不同。这说明整个生态系统正在快速演进构建机器人系统所需的各种组件也开始汇聚。但我们必须校准自己的预测。未来会有大量进展不过要达到人类级别的能量性价比和整体能力仍然需要更长的时间。李飞飞当下AI最难做到的就是保持恰如其分且经过校准的乐观。即使是大型语言模型也没有人脑的能效。人脑的运行功耗大约只有30W所以目前差距还很大。主持人不过我觉得在图像生成或软件工程这类狭窄任务上能量性价比可能正在接近人类水平。只是机器人领域可能还差得很远。合并两年后的目标是什么主持人加入World Labs是否改变了团队的战略轨迹或者说提升了你们能够追求的目标上限李昀烛它以非常深刻的方式改变了我们的轨迹。我们看到许多能力被释放尤其是与World Labs合作后我们可以用更高效、更可扩展的方式完成整个环境建模流程。当前语言模型的能力令人惊叹但你可能仍然不会完全不看就放手让它替你预订机票或酒店通常还是要有人检查模型的输出结果。而机器人就不同了一个开箱即用的机器人模型必须能够在真实的环境中可靠地工作。目前我们既没有足够的数据也没有完整拥有让机器人开箱即用、可靠工作的全部基础设施。因此创建机器人可以在其中学习和接受评估的可扩展数字世界将释放出巨大潜力。我们可以借助数字世界中生成的数据替代真实环境中昂贵或不安全的数据采集让机器人实现可扩展的学习与评估。主持人那么双方会立即整合还是会先让SceniX保持相对独立以更长期的节奏推进李飞飞我们会审慎推进并不急于立刻整合全部代码库和团队。SceniX已经拥有一套经过深入思考、相对完整的技术栈也有自己的客户和产品。我们会留出时间。不过整合一定会发生。我们已经开始讨论仿真以及潜在的基础模型和动作条件模型SceniX也正以内部客户的身份使用Marble。我们会逐步推进整合但不会急着把团队一下子搅成一盆“沙拉碗”。笑主持人那团队会留在原地吗李飞飞昀烛会带着部分团队成员搬到旧金山。搬好后World Labs就将正式成为一家横跨美国东西海岸的公司。我们公司的总部在旧金山我住在帕洛阿尔托。我们将在纽约设立办公室这让我很兴奋因为它能帮助我们吸引东海岸的人才。我们还讨论过在两地办公室都部署机器人以便测试和完善远程操作机器人的工程技术栈。不管怎么说我们最终也需要为客户提供这样的能力。主持人如果要把目标说得具体一些两年后最理想的成功案例是什么届时你们会拿出什么样的产品这些产品谁在使用又是怎么使用的李飞飞两年后如果SceniX团队和World Labs能在少数几个重要垂直用例中获得经过验证的客户并证明我们的系统和基础设施确实有助于满足他们的自动化需求我会非常满意。这些客户将成为灯塔案例帮助我们进一步扩大业务。完整访谈https://www.youtube.com/watch?v-tabaM5l3s0