上交大秦通团队提出 VLN-AVP：不用高精地图、首次进车库就能泊车，真车部署已验证

「快慢分工 两级记忆」目录01 大模型管想感知模块管开02 刚才看到的要记住以前走过的更要记住03 实验仿真搭台 真车验证04 总结与能力边界自主代客泊车AVP这事儿说白了就是两个能力认路、停车。在已有高精地图的车库里认路问题已经被工程化解决得差不多了——输入B2层31号车辆沿着地图规划好的路径开过去就行。但真正让行业头疼的是地图覆盖不到的地方一个从没去过的陌生车库或者用户突然来一句找个带充电桩的停离出口最近的位置。坐标没了语义来了传统 AVP 直接断片。上海交通大学秦通团队联合引望智能提出的VLN-AVP框架盯的就是这个缺口。核心思路很直接不依赖预建高精地图用视觉语言大模型VLM理解自然语言指令和车库视觉线索实时做方向决策再交给底层感知模块执行可行轨迹。这套方案值不值得关注我们觉得有几个点值得拆开看图1 | VLN-AVP 将传统 AVP 的固定坐标目标转换为“找电梯口”“找充电车位”等自然语言语义目标。论文强调的是无需预先制作或加载高精地图而非系统从不建立环境记忆。01 大模型管想感知模块管开先回答一个被反复问到的问题大模型那么强为什么不能直接让它开车答案很朴素频率对不上。低速泊车场景下车辆需要 10Hz 以上连续的运动控制输出而 VLM 一次推理几百毫秒起步输出的是离散文本不是转向角和油门值。让大模型直接吐控制信号既不安全也不现实。VLN-AVP 的解法是把决策切成三层底层快系统高频 BEV 感知模块从鸟瞰图中提取车道中心线结合车辆运动学模型生成候选行驶轨迹。这些轨迹都是车能走的运动学层面可行。顶层慢系统VLM 以较低频率处理前视图像 用户指令 记忆线索输出向左向右前进停止这类宏观方向意图。中间层层级决策模块拿顶层的方向意图去匹配底层的候选轨迹选一条最符合意图的交给控制器执行。图2 | VLN-AVP 的快慢分工高频 BEV 感知生成车辆运动学可行的候选路线低频 VLM 根据自然语言和记忆决定方向层级模块再选择实际执行的轨迹。图3 | 结合长期记忆与缓存动作的层级决策模块将大模型的意图转化为底层的具体行驶轨迹。这个设计的关键洞察是语义理解和运动学约束各管各的不要混在一起。大模型擅长读标志、理解出口在哪边但它不懂车辆转弯半径BEV 感知懂车辆能走什么路但它不理解充电桩是什么意思。把它们分层衔接比强行让一个模型端到端全包更靠谱。02 刚才看到的要记住以前走过的更要记住地下车库弯多路窄一个← 出口的指示牌可能只在前视画面里出现两三秒车一转弯就出了视野。如果 VLM 只看当前帧它做下一个决策时就丢失了刚才看到的方向线索——单帧决策本质上是有记忆缺陷的。VLN-AVP 用两级记忆来补这个短板。短期记忆管刚才系统用目标检测模型把刚经过的标志牌等语义信息缓存下来VLM 做决策时可以调用这个缓存。即使当前画面里指示牌已经消失系统仍然知道三秒前左边有个出口箭头。这个机制看似简单但它解决的恰恰是地下导航连续性的核心问题。长期记忆管以前当车辆在一个陌生车库完成首次导航后系统会把沿途路口、地标及其方向关系记录成一张稀疏拓扑图。下次再进同一个车库系统先查这张图有已知路径就直接复用不必每个路口都重新调用大模型推理。图4 | 长期记忆建立的稀疏拓扑图示例。系统在重复到达的环境中逐步积累经验从而减少大模型调用。这个设计在成本上的收益是实打实的。论文的单场景重复实验里前 10 次导航完整系统调用大模型 317 次去掉长期记忆的版本调了 1403 次——差了将近 4.4 倍。每次 VLM 调用都意味着算力和延迟开销长期记忆本质上是在用空间换时间把一次性的探索成本摊到后续的重复使用上。两级记忆各管一段短期保证不掉线长期保证不重来。03 实验仿真搭台 真车验证仿真基准。为了评估自然语言引导的地下车库导航研究团队利用手持激光雷达和鱼眼相机采集真实地下车库数据再以三维高斯溅射技术构建十个连续的仿真场景并在此基础上设置了上千个导航回合的评测基准。图5 | VLN-AVP 数据集包含十个由真实地下车库采集数据构建的仿真场景上排展示渲染视角下排展示车库俯视结构。在论文报告的仿真测试中面对“找出口”这样的单目标指令VLN-AVP 的目标区域停车成功率为65.2%论文表中表现最好的自动驾驶基线 LaMPilot 为 49.7%当指令变成“在 B 区出口附近、两侧无车的位置停车”这类需要跨区域识别和多条件判断的组合目标时两者的成功率分别降至 45.4% 和 33.6%。VLN-AVP 在两种指令下都领先基线约 12-15 个百分点说明快慢分工 记忆机制的组合确实在理解复杂语义指令这件事上有增量。图6 | 一条“在 B 区出口附近、两侧无车的位置停车”的组合指令如何被拆成沿途的区域识别、方向选择与最终停车判断。真车验证。除仿真环境外研究团队还将该系统部署在搭载 NVIDIA 2060 GPU 的真实车辆上并在两个真实地下车库进行了三十次导航试验。论文报告VLN-AVP 的目标区域停车成功率为 63.3%对比方法 LaMPilot 为 36.7%移除长期记忆后的版本为 53.3%。这些小规模试验说明该框架可以在论文设定的真实场景中闭环运行并支持基于用户反馈的纠错流程。例如车辆初次停在错误电梯厅后用户可以给出“不是这里请继续”的反馈系统再结合短期记忆继续导航。图7 | 真实车辆案例第一次停在错误电梯厅后系统接受“不是这里请继续”的反馈当当前画面不再出现明显标志时短期记忆仍为后续方向判断保留线索。随着在同一车库中导航次数增加长期记忆的作用逐步显现。论文在单场景、五十次重复导航实验中观察到带长期记忆的完整系统成功率呈上升趋势在前十次导航的成本统计里完整系统共调用大模型 317 次移除长期记忆的版本为 1403 次。该结果支持长期记忆能够在这一特定设定下减少重复探索和大模型调用并提高重复导航的效率具体成本仍取决于模型、接口定价和任务长度。图8 | 在同一地下车库重复导航时长期记忆让系统逐步积累已验证的路口与地标关系曲线反映的是论文单场景重复试验的趋势而非所有车库的通用承诺。04 总结与能力边界论文将大模型的方向与空间推理能力列为后续需要加强的部分而现有实验主要集中在低速、封闭的地下车库导航。论文没有报告动态行人或车辆密集、雨雪和极暗视觉退化、多车型泛化、长时间连续运行等条件下的量产级安全指标。所以更准确的定位是这是一套面向特定场景地下车库低速泊车的语义导航框架离替代完整车规级安全系统还远。但它提供了一个完整且可复现的工程范式——从感知、决策到记忆每一层都给出了具体实现而不是停在 concept demo 阶段。REF论文标题VLN-AVP: Zero-Shot Vision-Language Navigation with Hybrid Long-Short-Term Memory for Autonomous Valet Parking论文链接https://arxiv.org/abs/2607.17767