1. 从“人机协作”到“数据污染”离线多智能体强化学习的新挑战最近几年多智能体强化学习Multi-agent Reinforcement Learning, MARL和从人类反馈中学习Learning from Human Feedback, LHF是两个非常火的研究方向。前者让多个AI智能体在复杂环境中协同或竞争目标是找到最优的群体策略后者则试图将人类模糊的偏好、价值观甚至“感觉”转化为AI模型可以理解和优化的目标函数从而让AI的行为更符合人类期望。当这两个方向结合就催生了“从人类反馈中学习的多智能体强化学习”Multi-agent Reinforcement Learning from Human Feedback, MARLHF。这个领域听起来很前沿也确实很有前景——想象一下未来我们可能通过人类的简单打分或排序就能教会一群机器人协作完成家务或者让多个交易AI在金融市场中形成健康的竞争生态。然而现实往往比理想骨感。我最近在复现和尝试将一些MARLHF的经典算法应用到实际仿真环境时遇到了一个棘手的问题数据污染。我们收集的人类反馈数据无论是来自众包平台、专家标注还是用户交互日志都不可避免地会包含噪声、偏见甚至恶意注入的错误信息。在单智能体场景下这个问题已经够头疼了到了多智能体场景数据污染的破坏力被指数级放大。一个智能体接收到错误的反馈可能导致整个团队的协作策略崩溃或者陷入无休止的、低效的纳什均衡中。这让我开始深入思考一个更具体、也更关键的问题如何构建一个能够抵抗数据污染的、鲁棒的离线多智能体强化学习框架这正是“Corruption-robust Offline Multi-agent Reinforcement Learning From Human Feedback”这个标题所指向的核心战场。简单来说它要解决的是当我们无法在线与环境交互离线只能依赖一批可能被“污染”的人类反馈数据时如何仍然能训练出表现稳健、协作高效的多智能体系统。这不仅仅是算法层面的创新更涉及到对数据本质、学习理论以及多智能体系统动力学特性的深刻理解。接下来我将结合自己的实践和思考拆解这个问题的几个关键层面。2. 核心困境拆解为什么多智能体场景下的数据污染如此致命要理解“抗污染”的必要性首先得明白在离线MARLHF的设置下数据污染会通过哪些路径“毒害”整个学习过程。这不仅仅是数据点错了那么简单其影响是系统性的。2.1 反馈信号的混淆与策略耦合在单智能体LHF中反馈比如偏好对比A轨迹优于B轨迹直接关联到单个智能体的策略。即使有噪声模型也可以通过大量数据平均掉一部分或者设计鲁棒的损失函数如Bradley-Terry模型配合稳健优化来缓解。但在多智能体环境中情况复杂得多。人类观察者给出的反馈往往是针对联合行为轨迹的全局评价。例如观看一场两个AI球员的足球配合后人类判断“这是一次成功的进攻”。这个反馈信号同时编码了多个智能体的行为贡献。如果这条反馈数据被污染比如误标为“失败的进攻”那么学习算法在反向更新时会错误地惩罚所有参与该轨迹的智能体策略。更糟糕的是由于智能体策略是耦合的一个智能体的策略变化会影响其他智能体的最佳响应这种错误的惩罚会通过策略网络传播和放大导致整个团队学习到一个完全偏离正轨的协作模式。我在一个简单的“捕食者-猎物”网格世界环境中做过测试故意将约10%的成功围捕轨迹的反馈标签翻转从“好”改为“差”。使用标准的离线MARLHF算法如基于集中式批评家的MADDPG配合偏好学习训练出的捕食者团队很快就不再尝试协作围捕而是各自为战因为算法从污染数据中“学到”协作会导致差评。这种因局部数据污染导致全局协作范式崩塌的现象在单智能体场景中是很少见的。2.2 非平稳性与均衡偏移多智能体环境的本质是非平稳的。一个智能体在学习其他智能体也在学习从数据分布的角度看环境在动态变化。离线学习的数据集是历史策略行为策略产生的静态快照。当数据中存在污染时它可能对应于某个特定历史策略互动下的“异常”情况。如果我们不加鉴别地学习可能会错误地将这种针对特定历史情境的“异常反馈”泛化认为它是普遍真理。这会导致学习算法收敛到一个错误的均衡点。例如在协作任务中如果污染数据使得某种“自私但安全”的行为获得了虚假的高反馈那么智能体可能会集体收敛到一个“人人自扫门前雪”的平庸均衡而错过了真正高效但需要冒险的协作均衡。离线学习无法通过在线探索来验证和纠正这种认知偏差因此一旦从初始的污染数据中学偏了就可能万劫不复。2.3 信用分配难题的恶化多智能体强化学习的核心挑战之一是信用分配如何将团队的共同成果或失败合理地归因到每个个体智能体上。人类反馈本应提供一种高层面的、基于结果的信用分配信号。然而污染数据提供的是一种扭曲的信用分配信号。假设在一次成功的任务中智能体A做出了关键贡献智能体B只是跟随。一条干净的反馈会强化整个联合行动。但一条被污染的、标记为失败的反馈会错误地“指责”所有智能体。更隐蔽的情况是偏见性污染反馈数据可能系统性地高估或低估某一类智能体例如总是倾向于认为攻击性角色贡献更大。这种偏见会被算法吸收导致训练出的团队角色权重严重失衡某些智能体策略变得过于激进或保守破坏团队协作的平衡。3. 构建鲁棒性算法层面的核心思路与设计取舍面对上述困境设计抗污染的离线MARLHF算法需要从多个层面入手。以下是我在研究和实践中总结的几个关键思路它们不是孤立的往往需要组合使用。3.1 基于分布稳健优化的价值函数学习这是从底层学习目标上注入鲁棒性。传统强化学习优化的是期望回报但对污染数据敏感。分布稳健优化Distributionally Robust Optimization, DRO的思想是我们承认数据分布即收集到的离线数据集可能不是真实的、干净的数据分布而是存在于一个“不确定性集合”中。我们的优化目标不是针对这个可能有问题的经验分布而是针对这个不确定性集合中最坏的情况进行优化从而得到一个在最坏情况下表现也不差的策略。在离线MARLHF中我们可以将人类反馈模型如奖励模型的学习过程构建为一个DRO问题。具体来说不是简单地最大化在经验数据上的似然而是最小化在数据分布的一个邻域通常用散度如f-散度或Wasserstein距离定义内的最坏情况损失。数学上目标函数大致形式如下[ \min_{\theta} \max_{Q \in \mathcal{U}(P_n)} \mathbb{E}{(x,y) \sim Q} [\ell(f\theta(x), y)] ]其中(P_n)是经验数据分布(\mathcal{U}(P_n))是其某个邻域(\ell)是损失函数(f_\theta)是奖励模型。这样训练出的奖励模型对于数据集中的小比例污染即分布的小幅扰动不敏感。然后再用这个鲁棒的奖励模型去指导多智能体策略的离线学习。这个方法的好处是理论扎实提供性能保证。但难点在于如何定义合适的邻域(\mathcal{U})以及如何高效求解这个min-max优化问题尤其是在多智能体高维空间下计算成本可能很高。3.2 对抗性数据清洗与重要性采样另一个直观的思路是在训练前或训练中识别并降低污染数据点的权重。这可以看作是在数据层面进行“消毒”。对抗性数据清洗我们可以训练一个“污染检测器”。例如利用干净数据子集如果有的话或通过算法初步筛选出的高置信度数据训练一个分类器来区分正常反馈和异常反馈。也可以采用无监督方法如基于反馈特征如轨迹的静态特征、反馈者ID、时间戳等的离群点检测如Isolation Forest, Local Outlier Factor。被标记为异常的数据点可以在训练中被剔除或赋予极低的权重。稳健重要性采样在离线强化学习中重要性采样用于纠正行为策略与当前学习策略之间的分布偏移。我们可以将其扩展不仅纠正策略偏移也纠正数据可靠性。为每个数据点((s, a, r, s))在LHF中(r)由奖励模型给出赋予一个可靠性权重(w)。这个权重可以基于该数据点被污染检测器判为正常的概率。该数据点所在“数据批次”的反馈一致性。如果一条轨迹获得了多个反馈这些反馈之间的一致性越高权重越大。反馈提供者的可信度历史如果可追踪。然后在策略梯度更新或价值函数更新中将TD误差或梯度乘以这个权重(w)。这样不可靠的数据对模型更新的影响就变小了。注意纯粹的清洗有风险可能会误杀有价值的、但看似“反常”的数据这些数据可能代表了探索到的新策略。因此加权通常比直接剔除更安全。3.3 多智能体特有的结构约束与正则化利用多智能体问题的结构信息可以作为对抗污染的天然正则化器。角色不变性约束在许多协作任务中智能体具有对称性或特定的角色。例如在足球游戏中两个前锋的角色是相似的。我们可以对策略网络或价值网络施加角色不变性或置换等变性的约束。即使反馈数据被污染导致对某个特定智能体实例的评价出现偏差这种结构约束也能帮助模型从其他角色相似智能体的干净数据中泛化出正确的行为模式从而抵抗针对单个实例的污染攻击。集中式训练与分布式执行中的保守主义在CTDE框架下我们可以设计更保守的批评家Critic学习目标。例如除了最小化TD误差还可以增加一项策略约束或价值正则化防止策略因为少数异常反馈而做出过于激进的改变。具体可以借鉴离线单智能体RL中的方法如CQLConservative Q-Learning将其扩展到多智能体场景。CQL通过在价值函数学习中增加一个“最小化Q值”的项来防止对OODOut-of-Distribution动作的高估。在多智能体中我们需要考虑联合动作空间保守地估计联合Q值从而避免因污染数据导致的某些联合动作被错误地高估或低估。基于共识的奖励建模如果同一段联合轨迹能从多个独立来源如多个标注员获得反馈我们可以采用鲁棒聚合机制来生成最终奖励信号而不是简单平均。例如使用中位数而不是均值或者使用鲁棒优化方法如上文DRO来聚合多个反馈。这假设污染是局部的只影响部分标注员而多数标注员是可靠的。通过寻求多个反馈之间的共识可以过滤掉离群的、可能是污染的反馈。4. 实践框架设计一个模块化的抗污染离线MARLHF系统理论需要落地。结合上述思路我尝试设计并实现了一个模块化的抗污染离线MARLHF训练框架。这个框架不特指某一个算法而是一个可插拔的管道方便研究者尝试不同的抗污染模块。整个流程如下图所示概念描述输入离线数据集(\mathcal{D})包含联合状态轨迹(\tau)和对应的人类反馈如偏好对((\tau^A, \tau^B, y))其中(y)表示哪个更好。鲁棒奖励学习模块选项ADRO路径采用分布稳健优化训练奖励模型(R_\phi(\tau))。定义经验分布邻域求解min-max问题得到对污染不敏感的(\phi)。选项B聚合/清洗路径若有多源反馈先进行鲁棒聚合如中位数、截尾均值。或运行离群点检测算法为每个数据点计算可靠性权重(w_i)。带权重的离线数据集构建将学习到的鲁棒奖励模型(R_\phi)应用于所有轨迹生成带奖励标签的数据集(\mathcal{D} {(\tau, R_\phi(\tau), w)})。如果走清洗路径(w)来自检测器如果走DRO路径可以默认(w1)或者结合其他启发式方法赋予权重。抗污染的多智能体策略学习模块采用CTDE架构如MADDPG、MAPPO的离线变种。在批评家更新中引入基于可靠性权重(w)的重要性采样并加入保守正则项如多智能体版本的CQL约束。在演员更新中可以考虑加入策略约束如与行为策略的KL散度约束防止策略因个别异常奖励而偏离太远。输出训练好的多智能体策略网络({\pi_{\theta_i}}_{i1}^N)。在实际编码中一个关键的工程细节是如何高效计算多智能体CQL中的正则项。对于联合动作空间直接枚举是不现实的。我们通常采用采样估计或者利用函数近似通过训练一个独立的“最小化Q网络”来估计下界。5. 实验评估与效果验证如何衡量“抗污染”能力设计好了算法如何证明它有效在离线设置下我们不能在线交互评估变得更具挑战性。我通常采用以下多层评估方案模拟污染数据集构建这是基础。在已有的干净离线数据集如来自某个专家策略或标准算法的交互数据上人工注入不同比例和类型的污染。随机翻转随机选择一定比例的反馈标签进行翻转好变差差变好。针对性攻击针对特定状态如某个智能体在特定位置、特定动作类型如攻击动作或特定智能体的反馈进行翻转模拟有偏见的攻击。对抗性污染使用一个小的对抗网络试图生成能最大程度误导当前奖励模型的扰动反馈这更高级模拟自适应攻击。核心评估指标奖励模型鲁棒性在干净测试集和污染测试集上分别评估学习到的奖励模型(R_\phi)的准确率对于偏好学习即预测人类偏好的准确率。鲁棒的模型在污染测试集上性能下降应很小。最终策略性能这是黄金标准。使用训练好的多智能体策略在模拟环境中进行rollout这是允许的因为评估不同于在线训练计算累计真实环境奖励与学习所用的人类反馈奖励模型无关。比较在干净数据上训练的策略、在污染数据上用普通方法训练的策略、以及在污染数据上用我们的抗污染方法训练的策略的性能。理想情况下我们的方法性能应接近“干净数据训练”的基线并显著优于“普通方法污染数据”。策略稳定性观察训练过程中策略性能的波动情况。抗污染方法应该带来更平滑、更稳定的学习曲线避免因遇到污染数据批次而导致的性能骤降。协作度量对于协作任务设计一些特定指标如任务完成率、智能体间动作的互信息衡量协调程度、资源分配公平性等。检查污染是否破坏了协作以及我们的方法是否保持了协作性。消融实验至关重要。分别关闭框架中的各个抗污染模块如去掉DRO、去掉权重、去掉保守正则化观察性能下降多少以验证每个模块的实际贡献。在我的实验中在一个名为“Level-Based Foraging”的经典多智能体协作环境中当数据中存在5%的随机翻转污染时标准的离线MARLHF算法性能下降了约40%。而采用了DRO奖励学习加权保守Q学习的方法性能下降被控制在10%以内并且团队协作行为如食物分享频率得到了很好的保持。6. 当前局限与未来可能的突破方向尽管抗污染离线MARLHF很有必要但目前仍处于早期阶段存在不少局限对污染类型的假设大多数方法假设污染是随机的、或简单有偏的。对于更狡猾的、自适应的对抗性污染攻击者知道你的学习算法现有方法的防御能力可能不足。未来需要研究更强大的对抗性训练机制。计算开销DRO、鲁棒聚合、额外的正则化项都会增加计算成本。对于大规模多智能体问题如数十上百个智能体如何保持算法的可扩展性是一个工程挑战。理论保证的薄弱多智能体非平稳性使得理论分析极其困难。目前大多数方法缺乏严格的、在污染存在下的性能下界保证。将鲁棒统计和学习理论更深入地与MARL结合是一个重要的理论方向。与模仿学习/逆强化学习的交叉离线MARLHF与多智能体模仿学习MAIL和逆强化学习MAIRL有密切联系。人类反馈可以看作是一种弱形式的演示。如何将抗污染的思想应用到这些相关领域也是一个值得探索的方向。从我个人的实践体会来看这个领域最吸引人的地方在于它迫使我们更深入地思考数据的本质和智能体间的关系。它不仅仅是加几个正则化项那么简单而是要求我们对多智能体系统的脆弱性有更敏锐的洞察。一个实用的建议是在着手设计复杂算法之前先用小规模环境如PettingZoo中的简单游戏和极端污染设置如30%的翻转率进行快速原型测试直观感受污染的影响和不同防御机制的效果这往往比直接啃理论论文更能抓住问题的要害。
离线多智能体强化学习抗数据污染：鲁棒算法设计与实践
1. 从“人机协作”到“数据污染”离线多智能体强化学习的新挑战最近几年多智能体强化学习Multi-agent Reinforcement Learning, MARL和从人类反馈中学习Learning from Human Feedback, LHF是两个非常火的研究方向。前者让多个AI智能体在复杂环境中协同或竞争目标是找到最优的群体策略后者则试图将人类模糊的偏好、价值观甚至“感觉”转化为AI模型可以理解和优化的目标函数从而让AI的行为更符合人类期望。当这两个方向结合就催生了“从人类反馈中学习的多智能体强化学习”Multi-agent Reinforcement Learning from Human Feedback, MARLHF。这个领域听起来很前沿也确实很有前景——想象一下未来我们可能通过人类的简单打分或排序就能教会一群机器人协作完成家务或者让多个交易AI在金融市场中形成健康的竞争生态。然而现实往往比理想骨感。我最近在复现和尝试将一些MARLHF的经典算法应用到实际仿真环境时遇到了一个棘手的问题数据污染。我们收集的人类反馈数据无论是来自众包平台、专家标注还是用户交互日志都不可避免地会包含噪声、偏见甚至恶意注入的错误信息。在单智能体场景下这个问题已经够头疼了到了多智能体场景数据污染的破坏力被指数级放大。一个智能体接收到错误的反馈可能导致整个团队的协作策略崩溃或者陷入无休止的、低效的纳什均衡中。这让我开始深入思考一个更具体、也更关键的问题如何构建一个能够抵抗数据污染的、鲁棒的离线多智能体强化学习框架这正是“Corruption-robust Offline Multi-agent Reinforcement Learning From Human Feedback”这个标题所指向的核心战场。简单来说它要解决的是当我们无法在线与环境交互离线只能依赖一批可能被“污染”的人类反馈数据时如何仍然能训练出表现稳健、协作高效的多智能体系统。这不仅仅是算法层面的创新更涉及到对数据本质、学习理论以及多智能体系统动力学特性的深刻理解。接下来我将结合自己的实践和思考拆解这个问题的几个关键层面。2. 核心困境拆解为什么多智能体场景下的数据污染如此致命要理解“抗污染”的必要性首先得明白在离线MARLHF的设置下数据污染会通过哪些路径“毒害”整个学习过程。这不仅仅是数据点错了那么简单其影响是系统性的。2.1 反馈信号的混淆与策略耦合在单智能体LHF中反馈比如偏好对比A轨迹优于B轨迹直接关联到单个智能体的策略。即使有噪声模型也可以通过大量数据平均掉一部分或者设计鲁棒的损失函数如Bradley-Terry模型配合稳健优化来缓解。但在多智能体环境中情况复杂得多。人类观察者给出的反馈往往是针对联合行为轨迹的全局评价。例如观看一场两个AI球员的足球配合后人类判断“这是一次成功的进攻”。这个反馈信号同时编码了多个智能体的行为贡献。如果这条反馈数据被污染比如误标为“失败的进攻”那么学习算法在反向更新时会错误地惩罚所有参与该轨迹的智能体策略。更糟糕的是由于智能体策略是耦合的一个智能体的策略变化会影响其他智能体的最佳响应这种错误的惩罚会通过策略网络传播和放大导致整个团队学习到一个完全偏离正轨的协作模式。我在一个简单的“捕食者-猎物”网格世界环境中做过测试故意将约10%的成功围捕轨迹的反馈标签翻转从“好”改为“差”。使用标准的离线MARLHF算法如基于集中式批评家的MADDPG配合偏好学习训练出的捕食者团队很快就不再尝试协作围捕而是各自为战因为算法从污染数据中“学到”协作会导致差评。这种因局部数据污染导致全局协作范式崩塌的现象在单智能体场景中是很少见的。2.2 非平稳性与均衡偏移多智能体环境的本质是非平稳的。一个智能体在学习其他智能体也在学习从数据分布的角度看环境在动态变化。离线学习的数据集是历史策略行为策略产生的静态快照。当数据中存在污染时它可能对应于某个特定历史策略互动下的“异常”情况。如果我们不加鉴别地学习可能会错误地将这种针对特定历史情境的“异常反馈”泛化认为它是普遍真理。这会导致学习算法收敛到一个错误的均衡点。例如在协作任务中如果污染数据使得某种“自私但安全”的行为获得了虚假的高反馈那么智能体可能会集体收敛到一个“人人自扫门前雪”的平庸均衡而错过了真正高效但需要冒险的协作均衡。离线学习无法通过在线探索来验证和纠正这种认知偏差因此一旦从初始的污染数据中学偏了就可能万劫不复。2.3 信用分配难题的恶化多智能体强化学习的核心挑战之一是信用分配如何将团队的共同成果或失败合理地归因到每个个体智能体上。人类反馈本应提供一种高层面的、基于结果的信用分配信号。然而污染数据提供的是一种扭曲的信用分配信号。假设在一次成功的任务中智能体A做出了关键贡献智能体B只是跟随。一条干净的反馈会强化整个联合行动。但一条被污染的、标记为失败的反馈会错误地“指责”所有智能体。更隐蔽的情况是偏见性污染反馈数据可能系统性地高估或低估某一类智能体例如总是倾向于认为攻击性角色贡献更大。这种偏见会被算法吸收导致训练出的团队角色权重严重失衡某些智能体策略变得过于激进或保守破坏团队协作的平衡。3. 构建鲁棒性算法层面的核心思路与设计取舍面对上述困境设计抗污染的离线MARLHF算法需要从多个层面入手。以下是我在研究和实践中总结的几个关键思路它们不是孤立的往往需要组合使用。3.1 基于分布稳健优化的价值函数学习这是从底层学习目标上注入鲁棒性。传统强化学习优化的是期望回报但对污染数据敏感。分布稳健优化Distributionally Robust Optimization, DRO的思想是我们承认数据分布即收集到的离线数据集可能不是真实的、干净的数据分布而是存在于一个“不确定性集合”中。我们的优化目标不是针对这个可能有问题的经验分布而是针对这个不确定性集合中最坏的情况进行优化从而得到一个在最坏情况下表现也不差的策略。在离线MARLHF中我们可以将人类反馈模型如奖励模型的学习过程构建为一个DRO问题。具体来说不是简单地最大化在经验数据上的似然而是最小化在数据分布的一个邻域通常用散度如f-散度或Wasserstein距离定义内的最坏情况损失。数学上目标函数大致形式如下[ \min_{\theta} \max_{Q \in \mathcal{U}(P_n)} \mathbb{E}{(x,y) \sim Q} [\ell(f\theta(x), y)] ]其中(P_n)是经验数据分布(\mathcal{U}(P_n))是其某个邻域(\ell)是损失函数(f_\theta)是奖励模型。这样训练出的奖励模型对于数据集中的小比例污染即分布的小幅扰动不敏感。然后再用这个鲁棒的奖励模型去指导多智能体策略的离线学习。这个方法的好处是理论扎实提供性能保证。但难点在于如何定义合适的邻域(\mathcal{U})以及如何高效求解这个min-max优化问题尤其是在多智能体高维空间下计算成本可能很高。3.2 对抗性数据清洗与重要性采样另一个直观的思路是在训练前或训练中识别并降低污染数据点的权重。这可以看作是在数据层面进行“消毒”。对抗性数据清洗我们可以训练一个“污染检测器”。例如利用干净数据子集如果有的话或通过算法初步筛选出的高置信度数据训练一个分类器来区分正常反馈和异常反馈。也可以采用无监督方法如基于反馈特征如轨迹的静态特征、反馈者ID、时间戳等的离群点检测如Isolation Forest, Local Outlier Factor。被标记为异常的数据点可以在训练中被剔除或赋予极低的权重。稳健重要性采样在离线强化学习中重要性采样用于纠正行为策略与当前学习策略之间的分布偏移。我们可以将其扩展不仅纠正策略偏移也纠正数据可靠性。为每个数据点((s, a, r, s))在LHF中(r)由奖励模型给出赋予一个可靠性权重(w)。这个权重可以基于该数据点被污染检测器判为正常的概率。该数据点所在“数据批次”的反馈一致性。如果一条轨迹获得了多个反馈这些反馈之间的一致性越高权重越大。反馈提供者的可信度历史如果可追踪。然后在策略梯度更新或价值函数更新中将TD误差或梯度乘以这个权重(w)。这样不可靠的数据对模型更新的影响就变小了。注意纯粹的清洗有风险可能会误杀有价值的、但看似“反常”的数据这些数据可能代表了探索到的新策略。因此加权通常比直接剔除更安全。3.3 多智能体特有的结构约束与正则化利用多智能体问题的结构信息可以作为对抗污染的天然正则化器。角色不变性约束在许多协作任务中智能体具有对称性或特定的角色。例如在足球游戏中两个前锋的角色是相似的。我们可以对策略网络或价值网络施加角色不变性或置换等变性的约束。即使反馈数据被污染导致对某个特定智能体实例的评价出现偏差这种结构约束也能帮助模型从其他角色相似智能体的干净数据中泛化出正确的行为模式从而抵抗针对单个实例的污染攻击。集中式训练与分布式执行中的保守主义在CTDE框架下我们可以设计更保守的批评家Critic学习目标。例如除了最小化TD误差还可以增加一项策略约束或价值正则化防止策略因为少数异常反馈而做出过于激进的改变。具体可以借鉴离线单智能体RL中的方法如CQLConservative Q-Learning将其扩展到多智能体场景。CQL通过在价值函数学习中增加一个“最小化Q值”的项来防止对OODOut-of-Distribution动作的高估。在多智能体中我们需要考虑联合动作空间保守地估计联合Q值从而避免因污染数据导致的某些联合动作被错误地高估或低估。基于共识的奖励建模如果同一段联合轨迹能从多个独立来源如多个标注员获得反馈我们可以采用鲁棒聚合机制来生成最终奖励信号而不是简单平均。例如使用中位数而不是均值或者使用鲁棒优化方法如上文DRO来聚合多个反馈。这假设污染是局部的只影响部分标注员而多数标注员是可靠的。通过寻求多个反馈之间的共识可以过滤掉离群的、可能是污染的反馈。4. 实践框架设计一个模块化的抗污染离线MARLHF系统理论需要落地。结合上述思路我尝试设计并实现了一个模块化的抗污染离线MARLHF训练框架。这个框架不特指某一个算法而是一个可插拔的管道方便研究者尝试不同的抗污染模块。整个流程如下图所示概念描述输入离线数据集(\mathcal{D})包含联合状态轨迹(\tau)和对应的人类反馈如偏好对((\tau^A, \tau^B, y))其中(y)表示哪个更好。鲁棒奖励学习模块选项ADRO路径采用分布稳健优化训练奖励模型(R_\phi(\tau))。定义经验分布邻域求解min-max问题得到对污染不敏感的(\phi)。选项B聚合/清洗路径若有多源反馈先进行鲁棒聚合如中位数、截尾均值。或运行离群点检测算法为每个数据点计算可靠性权重(w_i)。带权重的离线数据集构建将学习到的鲁棒奖励模型(R_\phi)应用于所有轨迹生成带奖励标签的数据集(\mathcal{D} {(\tau, R_\phi(\tau), w)})。如果走清洗路径(w)来自检测器如果走DRO路径可以默认(w1)或者结合其他启发式方法赋予权重。抗污染的多智能体策略学习模块采用CTDE架构如MADDPG、MAPPO的离线变种。在批评家更新中引入基于可靠性权重(w)的重要性采样并加入保守正则项如多智能体版本的CQL约束。在演员更新中可以考虑加入策略约束如与行为策略的KL散度约束防止策略因个别异常奖励而偏离太远。输出训练好的多智能体策略网络({\pi_{\theta_i}}_{i1}^N)。在实际编码中一个关键的工程细节是如何高效计算多智能体CQL中的正则项。对于联合动作空间直接枚举是不现实的。我们通常采用采样估计或者利用函数近似通过训练一个独立的“最小化Q网络”来估计下界。5. 实验评估与效果验证如何衡量“抗污染”能力设计好了算法如何证明它有效在离线设置下我们不能在线交互评估变得更具挑战性。我通常采用以下多层评估方案模拟污染数据集构建这是基础。在已有的干净离线数据集如来自某个专家策略或标准算法的交互数据上人工注入不同比例和类型的污染。随机翻转随机选择一定比例的反馈标签进行翻转好变差差变好。针对性攻击针对特定状态如某个智能体在特定位置、特定动作类型如攻击动作或特定智能体的反馈进行翻转模拟有偏见的攻击。对抗性污染使用一个小的对抗网络试图生成能最大程度误导当前奖励模型的扰动反馈这更高级模拟自适应攻击。核心评估指标奖励模型鲁棒性在干净测试集和污染测试集上分别评估学习到的奖励模型(R_\phi)的准确率对于偏好学习即预测人类偏好的准确率。鲁棒的模型在污染测试集上性能下降应很小。最终策略性能这是黄金标准。使用训练好的多智能体策略在模拟环境中进行rollout这是允许的因为评估不同于在线训练计算累计真实环境奖励与学习所用的人类反馈奖励模型无关。比较在干净数据上训练的策略、在污染数据上用普通方法训练的策略、以及在污染数据上用我们的抗污染方法训练的策略的性能。理想情况下我们的方法性能应接近“干净数据训练”的基线并显著优于“普通方法污染数据”。策略稳定性观察训练过程中策略性能的波动情况。抗污染方法应该带来更平滑、更稳定的学习曲线避免因遇到污染数据批次而导致的性能骤降。协作度量对于协作任务设计一些特定指标如任务完成率、智能体间动作的互信息衡量协调程度、资源分配公平性等。检查污染是否破坏了协作以及我们的方法是否保持了协作性。消融实验至关重要。分别关闭框架中的各个抗污染模块如去掉DRO、去掉权重、去掉保守正则化观察性能下降多少以验证每个模块的实际贡献。在我的实验中在一个名为“Level-Based Foraging”的经典多智能体协作环境中当数据中存在5%的随机翻转污染时标准的离线MARLHF算法性能下降了约40%。而采用了DRO奖励学习加权保守Q学习的方法性能下降被控制在10%以内并且团队协作行为如食物分享频率得到了很好的保持。6. 当前局限与未来可能的突破方向尽管抗污染离线MARLHF很有必要但目前仍处于早期阶段存在不少局限对污染类型的假设大多数方法假设污染是随机的、或简单有偏的。对于更狡猾的、自适应的对抗性污染攻击者知道你的学习算法现有方法的防御能力可能不足。未来需要研究更强大的对抗性训练机制。计算开销DRO、鲁棒聚合、额外的正则化项都会增加计算成本。对于大规模多智能体问题如数十上百个智能体如何保持算法的可扩展性是一个工程挑战。理论保证的薄弱多智能体非平稳性使得理论分析极其困难。目前大多数方法缺乏严格的、在污染存在下的性能下界保证。将鲁棒统计和学习理论更深入地与MARL结合是一个重要的理论方向。与模仿学习/逆强化学习的交叉离线MARLHF与多智能体模仿学习MAIL和逆强化学习MAIRL有密切联系。人类反馈可以看作是一种弱形式的演示。如何将抗污染的思想应用到这些相关领域也是一个值得探索的方向。从我个人的实践体会来看这个领域最吸引人的地方在于它迫使我们更深入地思考数据的本质和智能体间的关系。它不仅仅是加几个正则化项那么简单而是要求我们对多智能体系统的脆弱性有更敏锐的洞察。一个实用的建议是在着手设计复杂算法之前先用小规模环境如PettingZoo中的简单游戏和极端污染设置如30%的翻转率进行快速原型测试直观感受污染的影响和不同防御机制的效果这往往比直接啃理论论文更能抓住问题的要害。