【机器人 / 强化学习】DIVL分布隐式价值学习文章目录【机器人 / 强化学习】DIVL分布隐式价值学习0x00 概要0x01 从 IQL 到 DIVL为什么标量不够用1.1 IQL 的遗产在已知数据中沙里淘金1.2 为什么平均数会骗人1.3 从给平均分到看清各种可能性0x02 DIVL 的核心设计两种数学手段的融合2.1 Implicit仍然不瞎猜 OOD 动作2.2 Distributional从单一数值到概率分布2.3 两者结合的效果0x03 网络架构3.1 双头结构Value HeadV ψ V_\psiVψ分布蒸馏器Critic HeadQ ϕ Q_\phiQϕ动作评估员3.2 双头协作评价闭环3.3 输入体系3.4 组件关系图0x04 Adaptiveτ \tauτ根据不确定性调节乐观程度0x05 Reward 信号DIVL 如何识别正确5.1 明确的最终奖励Sparse Reward5.2 人类的干预信号Intervention5.3 隐式学习中的胜率提纯Expectile Regression0x06 DIVL 与 IQL 的对比6.1 定位差异6.2 技术差异6.3 逻辑链条对比6.4 内部信号对比6.5 局限性与前沿0x07 总结0x00 概要DIVLDistributional Implicit Value Learning是 LWD 框架中承担核心价值评估使命的引擎。如果说 IQL 解决了如何在已知动作中提取价值上限的问题那么 DIVL 则在此基础上迈出了关键一步——它不再输出单一的标量分数而是输出一个完整的概率分布。这看似简单的变化在真机部署场景中意味着从盲人摸象到全息透视的跨越。0x01 从 IQL 到 DIVL为什么标量不够用1.1 IQL 的遗产在已知数据中沙里淘金在深入 DIVL 之前我们先快速回顾 IQL 的核心思路因为 DIVL 正是建立在 IQL 的思想基础之上。IQL 解决了一个根本问题传统 Q-learning 的max a Q ( s ′ , a ′ ) \max_a Q(s, a)maxaQ(s′,a′)在离线设定下会查询未见过的动作OOD导致价值崩盘。IQL 的解决方案是引入一个 V 网络用r γ V ( s ′ ) r \gamma V(s)rγV(s′)替代r γ max a Q ( s ′ , a ′ ) r \gamma \max_a Q(s, a)rγmaxaQ(s′,a′)而 V 通过 Expectile 回归从数据集中提取高价值基准——只盯上限不看平均。但 IQL 的 V 输出的是一个标量。这个标量代表当前状态下表现较好的动作所能达到的价值水平。它的问题是当数据本身存在多峰分布时一个数字无法描述全貌。1.2 为什么平均数会骗人我们来思考一个具体的场景。传统强化学习的目标是学习一个期望值——裁判看一眼动作给个平均分50 分。这个数字代表某种期望回报。但在真实机器人场景中平均数经常掩盖关键信息。信息丢失50 分可能代表稳拿 50 分也可能代表一半几率拿 100 分大获全胜一半几率拿 0 分电机烧毁。对机器人而言这两种情况的风险天差地别。多峰分布的本性在机器人抓取中结果只有成功或失败。期望值给出的中间分在物理世界中根本不存在——物体不可能处于半抓起状态。平均值把两种截然不同的物理结果压成了一团模糊的中间态。风险视而不见传统 RL 是风险中性的。一个动作如果平均分很高但存在 1% 的概率导致设备报废这个动作就是毁灭性的。标量价值无法表达这种风险——它只告诉你还行但说不出那 1% 的灾难在哪。1.3 从给平均分到看清各种可能性普通 RL 的做法裁判看一眼机器人的动作给出一个分数80 分这是平均分。DIVL 的做法裁判会说“这个动作有 80% 的概率得 100 分成功但有 20% 的概率得 0 分摔倒或撞机。”为什么要这么做因为在真机环境里风险比平均分更重要。分布式价值学习让机器人有了物理常识——它能避开那些高回报但极度不稳定的赌博式动作同时保留了那些罕见但可复现的高回报模式不被平均掉。0x02 DIVL 的核心设计两种数学手段的融合DIVL 将两种高级的数学手段结合在一起手段来源作用类比Implicit隐式IQL不采样 OOD 动作只在已有数据中提取上限只看录像不瞎猜Distributional分布式C51 / QR-DQN捕捉回报分布、感知风险看透风险不冒险2.1 “Implicit”仍然不瞎猜 OOD 动作DIVL 名字里有Implicit这和 IQL 一脉相承。它意味着在更新 V 时不通过显式动作最大化去查询数据集外动作而是直接从数据集中的动作( s , a ) (s,a)(s,a)出发利用现成的Q ( s , a ) Q(s,a)Q(s,a)。在 LWD 的部署数据中机器人已经收集了大量真实轨迹包括成功、失败、恢复和人类干预。DIVL 的做法不是在动作空间里凭空搜索而是从 Replay Buffer 中已有动作学习价值结构。这对真机安全非常关键。真实机器人不允许算法为了探索一个可能高分但从未验证过的动作就直接让机械臂去尝试。DIVL 坚持 IQL 的底线只看真实发生过的物理经验不在没见过的动作上做危险幻想。2.2 “Distributional”从单一数值到概率分布这是 DIVL 最核心的突破——它不再输出一个确切的数字而是输出一个完整的概率分布。在给定状态s ss下DIVL 的 Value 网络V ψ ( s ) V_\psi(s)Vψ(s)输出的是一个概率向量。假设我们将价值范围[ − 10 , 100 ] [-10, 100][−10,100]分成 101 个格子Atoms输出就是[ p 0 , p 1 , … , p 100 ] [p_0, p_1, \dots, p_{100}][p0,p1,…,p100]。经过 softmax 归一化后它告诉你在这个状态下动作价值有 5% 概率是 10 分有 20% 概率是 50 分以此类推。这个分布的深刻意义体现在四个方面捕获了统计信息模型记住的是在当前状态下数据里的动作价值如何分布而非在当前状态下动作价值平均是多少。它保留的是数据集中关于这个状态的全部模式信息。提供了不确定性度量当面对未知状态时分布会变得平坦高熵。这说明模型不知道自己不知道——这正是标量价值无法做到的事情。一个自信的状态分布尖锐一个不确定的状态分布弥散。支持风险调节可以根据分布的不确定性选择更保守或更乐观的目标。分布尖锐时放心追高分布发散时谨慎保守。保留多峰结构不会把偶发的超高回报和常见的低回报压成平均值而是保留这两种模式各自的形态。2.3 两者结合的效果隐式学习保证了在杂乱数据面前不学歪只看录像不瞎猜分布学习保证了在物理世界面前不冒险看透风险。这就是 DIVL 名字的由来——DistributionalImplicitValueLearning。0x03 网络架构3.1 双头结构在 LWD 的架构中DIVL 对应两个价值头Head它们共享同一个骨干网络Backbone但承担不同的角色。Value HeadV ψ V_\psiVψ分布蒸馏器Value Head 是 DIVL 的本体——它不再输出一个数字而是输出一个分类概率分布。核心功能提取高光基准。V 头使用分位数回归不学平均分。它的任务是回答在当前状态下数据集中的动作通常能拿多少分但它给出的不是一个数字而是一个分布——告诉你在不同得分上的概率。训练机制V 的 Loss 是 Categorical Cross-Entropy。具体逻辑是把当前 Q 网络输出的值作为一个标签看这个标签落在了哪个格子Atom上然后让 V 在这个格子上的概率变大。输入输出结构输入状态 s视觉特征 z_s语言嵌入 e_l 注V 头不看动作它只评估处境的潜力 输出概率向量 p ∈ R^{|A|}例如101个格子的概率分布直觉理解V 在背书。它背下了这个状态下已知的动作好坏分布。当 Q 网络给出某个 Q 值时V 会对这个 Q 值的合理性进行判断——如果这个 Q 值在数据集中经常出现V 就会给它高概率如果是 OOD 的离谱值V 就会给它低概率。Critic HeadQ ϕ Q_\phiQϕ动作评估员核心功能评价具体某个动作的好坏并提供改进方向的梯度。Critic Head 输入的是状态 具体的动作 a。它不仅给这个动作打分更重要的是——它要被拿来求导。QAMAdjoint Matching算法会向 Q 头询问如果我把目前的动作 a 稍微往左挪一点Q 值会涨吗Q 头提供的这个分值梯度就像一股引力直接拉着 Action Head 里的向量往高分方向走。训练机制Q 的 Loss 是 Mean Squared Error但真正的关键在于目标值的构造。Q 的目标值y Q y_QyQ是通过从V ψ ( s ′ ) V_\psi(s)Vψ(s′)分布中提取一个分位数Quantile得到的。这里τ \tauτ就是乐观滤镜强度的调节旋钮——τ \tauτ接近 1 时取高分位数乐观τ \tauτ较低时取中低分位数保守。与传统 Q-learning 的区别维度传统 Q-learningDIVL 的 Q-learning学习目标平均期望回报潜在最高回报受τ \tauτ调节对低质量数据的敏感性容易被低分拉低通过分位数过滤保持对好动作的敏感性风险感知无通过 V 分布的熵感知不确定性具体对应公式如下3.2 双头协作评价闭环在架构图中这两个 Head 配合完成了一个完整的闭环蒸馏DistillationV 网络观察Q ( s , a ) Q(s,a)Q(s,a)输出的每一个值并把它们存进自己的概率格子Atoms里。这是 Implicit 的体现——V 不需要尝试新动作只需要看已有动作的 Q 值。乐观引导Bootstrap当需要更新 Q 的未来期望时不再用max Q \max QmaxQ而是从 V 的分布中通过τ \tauτ挖出一个高分位置。如果分布发散熵大τ \tauτ自动变小取值变保守如果分布集中τ \tauτ变大取值变激进。梯度产出GradientQAM 拿走 Q_phi 在当前动作点产生的梯度以此作为导航指令来优化动作生成。通俗比喻Value Head (V)像是一个睿智的观众它不干活但它看透了全局知道在某个时刻能拿到的最好结果是多少为训练提供了一个稳健的参照系。Critic Head (Q)像是一个严厉的教练——它紧盯着机器人每一步的动作 a并不断通过梯度推一把机器人的手强迫动作向更高价值的方向演进。3.3 输入体系DIVL 的输入可以分为两个层面。推理层面的输入[编码特征][DIVL 输出]图像RGB ──→[ViT]──┐ 本体感受 ──→[MLP]──┼──────→[z_s,e_l]──→ Value Head(V)─→ 状态价值分布 语言指令 ──→[LLM]──┘ 动作a ──────────────────────────────────────→ Critic Head(Q)─→ 动作价值Value Head 输入视觉特征和语言嵌入不看动作只评估处境的潜力。Critic Head 除了视觉和语言特征外还输入具体的动作矢量。训练层面的输入当 DIVL 在后台 Learner 进行训练更新时它从 Replay Buffer 中抽取完整的五元组当前状态 s、执行动作 a、即时奖励 r、下一时刻状态 s’、终止标志 done。特殊的隐藏输入分位数采样τ \tauτ。由于 DIVL 是分布式的它还有一个数学层面的输入——分位数采样点。为了描绘概率分布模型会输入不同的分位点比如从 0 到 1 之间的多个采样点让模型预测在不同风险概率下的回报。特殊的隐性输入Intervention 信号。在 LWD 这种真机部署框架中有一个非常特殊的信号——人类接管标志位。当检测到人类接管时系统会强制给出一个负的 Reward。这个信号让 DIVL 意识到虽然最后任务成功了人替我干完了但刚才那一刻我的价值是暴跌的。这解决了机器人由于人类补救而产生的自我感觉良好的错觉。3.4 组件关系图三个核心信号流蒸馏信号 1V 观察 Q 的输出并存入概率格子Loss 为交叉熵乐观引导信号 2从 V 分布中根据τ \tauτ提取分位数作为 Q 的 bootstrap target梯度产出信号 3QAM 获取Q ϕ Q_\phiQϕ在动作点的导数作为导航指令0x04 Adaptiveτ \tauτ根据不确定性调节乐观程度IQL 中的τ \tauτ是一个固定的保守性旋钮——τ \tauτ越高V 越乐观越偏向数据中的高价值动作。但在真实部署中不同状态的不确定性并不一样。有些状态非常熟悉数据充足价值分布集中有些状态很陌生数据稀少价值分布分散。如果对所有状态都使用同一个乐观程度就容易出问题对于熟悉状态我们可以更激进对于不确定状态应该更保守。DIVL 的解决思路是利用价值分布的归一化熵H ( s ) H(s)H(s)来动态调整τ \tauτ。τ ( s t H ) clip ( τ base − α H ( s t H ) , τ min , τ max ) \tau(s_{tH}) \text{clip}(\tau_{\text{base}} - \alpha H(s_{tH}), \tau_{\min}, \tau_{\max})τ(stH)clip(τbase−αH(stH),τmin,τmax)分布弥散高熵当前状态不确定τ \tauτ自动降低 → 保守估计避免被噪声误导分布集中低熵价值分布逐渐收敛τ \tauτ自动升高 → 更乐观地追求高回报轨迹这种自适应机制在在线阶段表现出明确的退火行为初期在线数据分布混乱自动降低τ \tauτ后期随着策略改善和数据积累自动升高τ \tauτ。通俗说当裁判很有把握时可以相信高分当裁判自己都不确定时就别太乐观。这就是 DIVL 比普通 IQL 更适合车队级部署数据的原因——它能根据现场情况实时调整自己的自信程度。0x05 Reward 信号DIVL 如何识别正确DIVL 本身并不具备判断是非的能力——它像是一个极其聪明的会计通过处理三种不同的外部信号来悟出什么是正确的。5.1 明确的最终奖励Sparse Reward这是最直接的判定。在任务的最后一帧环境或判定器给出一个信号成功 1.0失败 0。虽然这只有一瞬间但 DIVL 通过 Bellman 倒推把这个 1.0 的信号像墨水滴进水里一样沿着时间轴往回扩散。它会意识到“只要我能走到离终点很近的这步我的价值就非常接近 1.0。”5.2 人类的干预信号Intervention在 LWD 框架中被骂就是最大的正确指引。干预瞬间被接管的那一刻系统自动标记负奖励如 -1.0。告诉 DIVL“刚才那段自主策略是死路一条。”接管过程人带走的那一段数据被标记为正样本因为那是专家的补救。正确观的建立通过对比被骂前的动作和人带我走的动作DIVL 迅速学到“避开人的拉拽、顺着人的引导才是高价值的。”5.3 隐式学习中的胜率提纯Expectile Regression如果数据集里全是杂乱的录像有的好有的坏DIVL 怎么知道谁是对的假设机器人在同一个位置尝试了 10 次抓杯子8 次没抓到价值低2 次偶然抓到了价值高。DIVL 不是取平均分0.2 分而是通过设置高分位参数τ \tauτ比如 0.9只盯住表现最好的那 2 次。潜台词是DIVL 假设既然在这种处境下曾经有人做到过这么好那么这个最高分才代表了这个状态真正的潜力。“它通过寻找数据中的统计上限来定义正确”。总结DIVL 并不产生真理它只是真理的搬运工和提纯器。它通过数学手段Expectile Bellman把最后那一秒的成功和人类干预的痛苦转化成了机器人每一秒都能感受到的、通往正确的引力。0x06 DIVL 与 IQL 的对比6.1 定位差异IQL 是一个一站式商店——一个完整且紧密耦合的强化学习算法用于单任务、点估计的价值学习。它的角色是筛选者在一堆老照片里挑出拍得好的然后让学生照着画。DIVL 是一个专业底座——一个专门的高性能评价系统Critic System用于多任务、分布式的价值学习并增加了语言调节和干预信号处理。它的角色是雕塑家DIVL 负责画出一张精确的、带不确定性的三维地图分布QAM 利用这个地图的梯度把一块粗糙的石头雕刻成完美的动作。6.2 技术差异维度IQLDIVL核心思想用非对称回归把V ( s ) V(s)V(s)往Q ( s , a ) Q(s,a)Q(s,a)的高分处推用分类预测描述Q ( s , a ) Q(s,a)Q(s,a)所有可能取值及其概率V 输出标量概率分布如 101 个格子的概率向量学习目标算一个偏乐观的标量学到数据的概率密度策略提取加权行为克隆AWR标量权重伴随匹配QAM矢量梯度组件Q V Actor 三件套Q_phi V_psi 双头Actor 是 QAM 的事不确定性表达无——无论环境多复杂只给一个数有——状态陌生时输出平坦分布高熵6.3 逻辑链条对比IQL 链条数据 → V(标量) → Q(标量) → Actor(均值方差) → 执行 LWD 链条数据 → DIVL(V分布 → Q标量) → QAM(Q梯度 → ODE提取) → Actor(Flow轨迹) → 执行6.4 内部信号对比算法内部评价信号策略提取方式最终输出IQLAdvantage标量权重加权行为克隆Weighted BCActionLWD (DIVLQAM)Q 梯度矢量方向伴随匹配Adjoint MatchingActionIQL 的策略提取不直接使用 Q 的梯度而是计算一个标量权重w exp ( β ⋅ ( Q ( s , a ) − V ( s ) ) ) w \exp(\beta \cdot (Q(s,a) - V(s)))wexp(β⋅(Q(s,a)−V(s)))告诉策略网络这个动作的得分比平均分高模仿时的权重设大一点。而 LWD 需要更精确的指引——“动作应该往哪个方向微调会更好”——这需要梯度∇ a Q \nabla_a Q∇aQ。正是这个区别让 DIVL 中的 Critic Head 不仅要打分准还要梯度稳。6.5 局限性与前沿计算开销原本只要预测一个数现在要预测一个分布如 51 个点或一系列分位数。对于基于 Transformer 的巨量 VLA 模型这会显著增加显存消耗和推理延迟。风险偏好的自动调节虽然有了分布但机器人什么时候该稳健、什么时候该冒险目前大多是人工设定的。与大模型的深度融合现有分布式 RL 多用于离散动作空间或简单连续空间。像 LWD 这样处理 50Hz 高频、长程的复杂动作流如何精准刻画时空连续的分布仍有很大探索空间。0x07 总结回顾 DIVL 的完整设计它的核心贡献可以概括为在 IQL 的隐式学习基础上引入分布式价值建模和自适应乐观实现了从标量价值到概率分布的范式转换。这套机制让机器人能够在未知状态下保持合理的探索行为分布集中时敢于乐观分布弥散时自动保守。与 QAM 结合后形成了完整的价值评估DIVL→ 动作优化QAM闭环——DIVL 负责画出一张带不确定性地形的价值地图QAM 则利用这张地图的梯度指引持续优化机器人的动作生成过程。对 LWD 而言DIVL 之所以关键是因为车队部署数据天然异质、稀疏、off-policy并且包含多个策略版本和人类干预。如果价值只用单一标量表达很容易把失败、恢复、罕见成功全部压扁。DIVL 通过保留价值分布的结构使模型能更稳健地利用罕见但可复现的高回报模式同时降低不确定场景下的过估计风险。
