1. 项目概述从“稻草”到“黄金”的智能体轨迹重塑在大型语言模型LLM驱动的智能体开发中我们常常面临一个经典困境智能体在复杂任务中探索时会产生大量失败或次优的轨迹这些轨迹就像散落一地的“稻草”看似无用实则蕴含着宝贵的经验。而“Spinning Straw into Gold: Relabeling LLM Agent Trajectories in Hindsight for Successful Demonstrations”这个项目其核心思想正是借鉴了强化学习中的“事后经验回放”理念通过一种巧妙的轨迹重标注技术将这些失败的“稻草”轨迹转化为能够指导模型学习的、高质量的“黄金”示范。这不仅仅是数据增强更是一种从根本上改变我们利用失败经验来训练更鲁棒、更高效LLM智能体的方法论。简单来说它解决的核心问题是如何让智能体从自己的失败中学到东西而不是仅仅依赖人类精心标注的、有限的成功范例。传统的监督学习或模仿学习需要大量完美的示范数据成本高昂且难以覆盖所有场景。而这个项目提出的方法允许智能体在自主探索哪怕探索得很糟糕后系统性地回顾并重新解释其行动序列从中提取出“如果当时这么做就能成功”的局部或全局策略片段。最终目标是用这些自动生成的“成功示范”来微调或引导智能体使其在未来的任务中表现更佳。无论你是研究强化学习与LLM结合的研究者还是致力于构建实用AI助理的工程师理解并应用这套思想都能显著提升你手中智能体的学习效率和最终性能。2. 核心思路与方案选型背后的考量2.1 为什么传统的示范学习在LLM智能体中会“碰壁”在深入技术细节前我们必须先理解痛点。LLM智能体通常通过思维链、工具调用、环境交互等一系列动作来完成目标。为其提供示范数据最直接的方法是人工编写完美的任务解决轨迹。但这种方法存在几个致命缺陷成本与可扩展性为每一个复杂任务如“在数据库中查询某信息并生成报告”编写详尽的成功轨迹需要领域专家投入大量时间且难以穷尽所有可能的用户意图和环境状态。覆盖度不足人工编写的示范往往是“主干道”清晰但单一。而真实交互中智能体极易因微小的理解偏差或环境反馈而“误入歧途”走入人工示范未曾覆盖的“分支小路”。一旦偏离智能体便不知所措因为它没见过如何从错误中恢复的示范。脆弱性基于有限完美示范训练的智能体往往对分布外的状态非常敏感缺乏应对意外和从错误中恢复的鲁棒性。因此我们需要一种能够自动生成高质量、多样化示范数据的方法特别是能涵盖从错误中恢复的策略。2.2 事后重标注将强化学习的智慧引入LLM训练项目的核心方案“Hindsight Relabeling”并非全新概念它在机器人强化学习领域如Hindsight Experience Replay, HER已被证明非常有效。其核心思想是即使一个轨迹最终失败了我们也可以“事后诸葛亮”地假设如果目标是轨迹中某个中间状态达到的结果那么这个轨迹对于这个新目标而言就是成功的。将这个思想迁移到LLM智能体任务上需要进行关键的范式转换。LLM智能体的轨迹是由一系列文本思考、动作、观察组成的其“目标”通常也是文本描述。因此重标注的本质是对轨迹文本进行语义层面的重新解释和编辑。方案选型上项目采用了以LLM自身作为“重标注器”的路径。这基于一个关键假设强大的LLM如GPT-4、Claude 3等具备足够的因果推理和反事实思考能力能够分析一段失败的轨迹并推断出在何种修正下该轨迹可以导向成功。这比训练一个专门的重标注模型更通用、更快速迭代。具体流程通常包含以下环节轨迹收集让目标LLM智能体在特定任务环境中进行大量试错探索保存所有轨迹无论成功与否。这些轨迹是原始的“稻草”。失败轨迹筛选从收集的轨迹中识别出那些未达成最终目标的轨迹。LLM重标注将失败轨迹连同任务描述、环境背景等提交给一个更强大的“裁判LLM”。提示Prompt该LLM完成以下一项或多项操作目标重解释识别轨迹中实际达成的某个有价值的子目标并以此为基础重写轨迹的初始指令使原轨迹对这个新指令而言是成功的。动作修正在轨迹的关键决策点指出智能体做出的错误动作并提供正确的动作选项及理由。轨迹补全/编辑直接对失败的轨迹进行文本编辑插入缺失的步骤或修改错误的动作将其转变为一条成功的轨迹。示范数据池构建将重标注后得到的“成功”轨迹与原始的真实成功轨迹混合构成一个扩增后的高质量示范数据集。智能体训练使用这个混合数据集通过监督式微调、逆强化学习或作为搜索过程的启发式引导来训练或改进目标LLM智能体。这个方案的优势在于它形成了一个自我改进的闭环智能体探索 - 产生数据含失败- LLM重标注 - 生成新示范 - 训练智能体 - 更好的探索。它极大地降低了对人工示范的依赖并让智能体能从自身最真实的错误中学习。注意这里的关键是“裁判LLM”的选择和提示工程的质量。裁判LLM的能力必须显著高于被训练的智能体否则可能产生误导性的“伪成功”示范。通常需要使用GPT-4、Claude 3等顶级闭源模型或经过严格对齐的开源模型。3. 核心细节解析与实操要点3.1 轨迹的表示与存储格式在代码层面如何表示一条轨迹至关重要它直接影响后续重标注和训练的便利性。一个通用且灵活的结构是采用JSON格式的列表记录每一步的“角色”和“内容”。[ { role: user, content: 初始任务指令例如请帮我查询上季度华东区的销售总额并分析同比增长情况。 }, { role: assistant, content: 智能体的思考或动作例如我需要先登录销售数据库系统。动作login_database。 }, { role: environment, content: 环境对动作的反馈例如登录成功。当前权限可查询‘sales_q1_q2’表。 }, { role: assistant, content: 接下来我应该查询‘sales_q1_q2’表中华东区上季度的数据。动作execute_sql参数SELECT SUM(amount) FROM sales_q1_q2 WHERE regionEast AND quarterQ2。 }, { role: environment, content: 查询失败。错误表‘sales_q1_q2’不存在。有效的表有‘sales_2024_Q1’, ‘sales_2024_Q2’。 }, // ... 后续步骤 ]这种结构清晰地区分了智能体、用户和环境三方的交互便于解析和后续处理。在收集轨迹时务必确保环境反馈如工具调用结果、API返回、网页内容被准确、结构化地记录在environment角色中。3.2 重标注提示工程的设计艺术这是整个项目的核心技艺。给裁判LLM的提示Prompt必须精心设计以引导其产生高质量的重标注结果。一个有效的提示通常包含以下几个部分角色与任务定义明确告诉LLM它现在是一个“高级任务规划与诊断专家”。输入格式说明清晰地展示轨迹的数据结构说明每个字段的含义。失败轨迹展示提供1-2条具体的失败轨迹作为示例。重标注任务指令这是最关键的部分需要详细说明重标注的具体要求。例如“请分析以下智能体执行失败的轨迹。你的任务是首先指出导致任务最终失败的最关键错误步骤是第几步其次为该步骤提供1-3个更合适的动作或思考内容最后基于你的修正简要描述一条从该修正点开始能够成功完成任务的新轨迹。”“假设智能体的初始目标略有不同。请审视这条未完成原始任务‘A’的轨迹找出一个智能体实际上完成了的有意义的子目标‘B’并重写初始指令使得这条轨迹对于新指令‘B’而言是完美成功的。”输出格式规范严格要求LLM以指定的JSON格式输出例如{“critical_error_step”: N, “suggested_actions”: [“...”], “revised_plan”: “...”}。这便于自动化解析。实操心得在初期一定要进行大量的小样本测试和人工评估。观察裁判LLM在哪些类型的失败上重标注效果好如工具选择错误、参数填写错误哪些效果差如对任务目标的根本性误解。根据评估结果迭代优化你的提示词。通常提供更详细的环境背景知识如工具文档片段能显著提升重标注的准确性。3.3 从重标注结果到训练数据的转换裁判LLM输出的重标注结果是文本形式的“建议”或“修正后轨迹”。我们需要将其转化为模型可以直接学习的训练数据格式。这里主要有两种策略轨迹修补法直接使用LLM生成的“修正后完整轨迹”作为一条新的成功示范。这种方法简单直接但需要LLM具有极强的长文本连贯生成能力否则修补的轨迹可能不自然。动作替换/插入法更可控的方法是只采纳LLM指出的关键错误步骤的修正建议。在原始失败轨迹中用修正后的动作替换错误的动作或插入缺失的动作然后沿用原始轨迹中该步骤之后真实的环境反馈。如果修正得当后续的真实反馈应该会导向成功。这种方法生成的轨迹混合了LLM的修正和真实的环境交互通常更可靠。例如针对前面SQL查询失败的轨迹裁判LLM可能指出关键错误是表名错误并建议动作改为查询sales_2024_Q2表。我们采纳这个修正替换该步骤的动作而后续“查询成功并返回数据”的环境反馈是真实发生的假设表中有数据。这样我们就得到了一条从“登录”到“修正查询”再到“获得结果”的局部成功轨迹。注意转换后的数据必须经过严格过滤。需要设计规则或再用一个LLM分类器来判断生成的新轨迹在逻辑上是否自洽、是否真的能解决子目标。过滤掉那些虽然修改了动作但整体逻辑依然牵强的“噪声数据”。4. 实操过程与核心环节实现4.1 构建一个基础的轨迹收集环境我们以一个简单的“网页信息检索与总结”智能体任务为例演示核心流程。智能体可以执行搜索_网络(关键词)、点击_链接(URL)、提取_正文(selector)、总结_内容(文本)等动作。首先我们需要一个模拟环境来运行智能体并记录轨迹。这里用Python伪代码展示框架class WebTaskEnvironment: def __init__(self, initial_goal): self.goal initial_goal # 初始任务如“找出OpenAI最新模型的特点” self.state { ‘current_page‘: ‘search_engine‘, ‘content‘: ‘‘, ‘history‘: [] } self.available_actions [‘搜索‘, ‘点击‘, ‘提取‘, ‘总结‘, ‘结束‘] def step(self, agent_action): 执行动作返回观察环境反馈、奖励、是否结束 trajectory_step { ‘role‘: ‘assistant‘, ‘content‘: agent_action } self.state[‘history‘].append(trajectory_step) # 模拟环境逻辑 if agent_action.startswith(‘搜索_网络‘): query agent_action.split(‘(‘)[1].split(‘)‘)[0] # 模拟返回搜索结果 observation f“搜索 ‘{query}‘ 完成。返回了10条结果前三条的标题是1. ... 2. ... 3. ...” reward 0 done False elif agent_action ‘结束‘: observation “任务流程结束。” # 这里需要根据最终内容与目标的匹配度计算奖励 reward self._calculate_final_reward() done True # ... 其他动作处理 trajectory_step_env { ‘role‘: ‘environment‘, ‘content‘: observation } self.state[‘history‘].append(trajectory_step_env) return observation, reward, done def get_trajectory(self): 返回完整的交互轨迹 # 在轨迹开头加上初始目标 full_trajectory [{ ‘role‘: ‘user‘, ‘content‘: self.goal }] full_trajectory.extend(self.state[‘history‘]) return full_trajectory # 运行智能体这里用一个随机策略模拟 env WebTaskEnvironment(“找出OpenAI最新模型的特点并总结其三大改进”) trajectories_collection [] for episode in range(100): # 收集100条轨迹 env.reset() done False while not done: # 这里替换成你真实的LLM智能体调用 action random.choice(env.available_actions) “_模拟参数” obs, reward, done env.step(action) traj env.get_trajectory() trajectories_collection.append((traj, reward)) # 保存轨迹和最终奖励4.2 实现事后重标注模块接下来我们实现重标注的核心函数。这里使用OpenAI API调用GPT-4作为裁判LLM。import openai import json def hindsight_relabel_failed_trajectory(failed_trajectory, original_goal): 对一条失败轨迹进行事后重标注。 Args: failed_trajectory: list of dict, 失败的轨迹数据。 original_goal: str, 原始任务目标。 Returns: dict: 重标注结果包含修正建议和新轨迹。 # 1. 构建提示 system_prompt “””你是一个高级AI智能体训练师。你的任务是分析AI智能体执行任务的失败轨迹并通过重写目标或修正关键动作将其转化为有价值的成功示范。请严格按JSON格式输出。“”” user_prompt f“”” 原始任务目标{original_goal} 智能体执行轨迹格式[角色: 内容] {json.dumps(failed_trajectory, indent2, ensure_asciiFalse)} 请执行以下分析 1. 识别轨迹中智能体实际完成的最有价值的“子目标”是什么即使最终任务失败 2. 基于这个子目标重写一条新的、更具体的任务指令使得当前这条轨迹对于新指令而言是一次完美的成功执行。 3. 指出原轨迹中导致无法完成原始目标的最关键的一个错误动作或决策是什么请提供修正后的正确动作。 请以以下JSON格式输出 {{ “identified_subgoal”: “描述识别出的子目标”, “relabeled_instruction”: “为重标注生成的新任务指令”, “critical_error”: {{ “step_index”: 出错的步骤编号从0开始assistant步骤, “original_action”: “原错误动作”, “suggested_correction”: “建议的正确动作或思考” }} }} “”” # 2. 调用裁判LLM try: response openai.ChatCompletion.create( model“gpt-4”, messages[ {“role”: “system”, “content”: system_prompt}, {“role”: “user”, “content”: user_prompt} ], temperature0.2, # 低温度保证输出稳定性 response_format{ “type”: “json_object” } # 要求JSON输出 ) result json.loads(response.choices[0].message.content) return result except Exception as e: print(f“重标注调用失败: {e}”) return None # 对收集到的失败轨迹进行批处理 successful_demos [] for traj, reward in trajectories_collection: if reward SUCCESS_THRESHOLD: # 判断为失败 relabel_result hindsight_relabel_failed_trajectory(traj, original_goal) if relabel_result and validate_relabel_result(relabel_result): # 将重标注结果转换为一条新的训练数据 new_demo convert_to_training_example(traj, relabel_result) successful_demos.append(new_demo)4.3 构建与使用增强后的训练数据集假设我们通过上述方法从100条原始轨迹其中70条失败中生成了50条高质量的重标注示范。我们将这50条新示范与原有的30条真实成功示范合并得到一个包含80条示范的数据集。这个数据集的格式需要适配你选择的训练方法。如果是进行监督式微调每条数据可能形如输入: |system|你是一个网页信息助手。/s|user|{relabeled_instruction}/s|assistant|{corrected_trajectory_text}/s其中corrected_trajectory_text是将修正后的轨迹可能只修正了关键步骤扁平化成的连贯文本。接下来你可以使用这个数据集配合LoRA、QLoRA等参数高效微调方法对基础LLM进行微调。在训练时一个重要的技巧是对重标注数据赋予适当的权重。由于重标注数据是合成而非完全真实的可能存在噪声。可以在损失函数中为其设置一个略低于真实成功示范的权重例如0.8或者在课程学习中先使用高置信度的真实数据再逐渐加入重标注数据。实操心得不要期望一次重标注就能解决所有问题。这是一个迭代过程。用第一轮增强后的数据训练出的智能体V1再去收集新的轨迹其中会包含V1特有的失败模式。然后用这些新失败轨迹进行第二轮重标注生成针对V1弱点的新示范进而训练出V2。如此循环智能体能力会像滚雪球一样增强。5. 常见问题与排查技巧实录在实际操作中你会遇到各种各样的问题。下面是我在实践过程中遇到的一些典型情况及其解决方法。5.1 裁判LLM的重标注质量不稳定问题表现生成的“新指令”与原始轨迹牵强附会或者“修正动作”不切实际无法在真实环境中执行。排查与解决提供更多上下文在提示词中不仅给出轨迹还应提供环境的基本规则、工具的功能描述。例如在数据库任务中附上简化的数据表Schema。使用更具体的指令不要笼统地说“修正错误”。改为“请从以下五个常见错误类型工具选择错误、参数格式错误、逻辑顺序错误、目标理解偏差、信息提取遗漏中判断该轨迹的主要错误类型并进行相应修正。”引入多步验证设计一个两阶段流程。第一阶段裁判LLM只负责“诊断”输出错误类型和位置。第二阶段另一个或同一个LLM根据诊断结果和更详细的工具手册来“开处方”生成具体修正。这往往比一步到位效果更好。设置置信度过滤在提示中要求裁判LLM输出其对修正建议的置信度0-1。在后续处理中只保留高置信度如0.7的结果。5.2 重标注后数据噪声导致模型性能下降问题表现使用增强数据集微调后模型在某些任务上的表现反而比只用少量干净数据时更差出现了“知识遗忘”或“行为怪异”。排查与解决严格的数据清洗实现一个自动化的验证流程。例如对于每条重标注生成的“成功轨迹”可以将其初始指令和最终状态提交给另一个LLM进行“成功与否”的二元判断过滤掉判断为失败的。混合比例与课程学习严格控制重标注数据与原始真实数据的混合比例。可以从1:4重标注:真实开始逐步增加。更高级的做法是采用课程学习初期只用高质真实数据后期逐步引入重标注数据。损失函数加权在计算训练损失时为原始真实数据样本分配更高的权重如1.0为重标注数据分配较低的权重如0.5-0.8以降低噪声数据的影响。评估指标多样化不要只看最终任务成功率。监控模型在验证集上各个子技能上的表现如工具调用准确率、参数正确率。如果重标注后某个子技能显著下降说明该批重标注数据在这个技能上噪声较大需要针对性复查。5.3 计算成本与迭代速度的平衡问题表现使用GPT-4等高级模型进行大批量轨迹重标注API成本高昂且串行处理速度慢影响迭代周期。排查与解决分层处理策略不是所有失败轨迹都值得用最强模型重标注。可以先用一个轻量级模型如GPT-3.5 Turbo或规则系统进行初筛只对那些包含明显、可修正错误的轨迹如工具调用语法错误、明确的查询失败才调用GPT-4进行深度分析和重标注。批量并行处理将重标注请求批量打包利用API的并行处理能力。同时设置合理的速率限制和重试机制。构建重标注缓存对于相似的失败模式其重标注结果是可以复用的。可以计算轨迹的语义哈希或关键错误特征建立缓存。遇到相似轨迹时优先从缓存中获取结果避免重复调用。考虑蒸馏在项目后期当重标注模式相对稳定后可以尝试用大量GPT-4生成的重标注数据来训练一个专门用于重标注的、参数较小的开源模型如7B-13B级别的模型实现成本替代。5.4 智能体陷入“局部最优”行为模式问题表现经过几轮重标注训练后智能体变得过于“保守”总是重复几种固定的成功策略失去了探索新颖但可能更优解决方案的能力。排查与解决在重标注中鼓励多样性在给裁判LLM的提示中加入“请提供一种与常见做法不同的、创新的修正方案”等要求主动生成多样化的成功示范。保留部分探索性失败在训练数据中可以有意识地保留少量“有教育意义的失败”原始轨迹并标注其错误原因让模型知道什么是错的而不仅仅是什么是对的。引入不确定性在智能体采样动作时不要总是选择最高概率的动作可以保留一个较小的随机探索概率ε-greedy或者在训练阶段采用熵正则化项鼓励策略的多样性。定期注入新任务不断引入全新的、未见过的任务目标迫使智能体跳出原有数据分布的舒适区重新激发其探索和泛化能力。这个从“稻草”中纺出“黄金”的过程其魅力在于它建立了一个数据驱动的自我进化系统。它承认失败是探索的必然副产品并智慧地将其转化为进步的阶梯。当你看到智能体在那些曾经让它跌倒的坑洼处如今能稳健地跨过甚至利用时你就会深刻体会到这些“事后诸葛亮”般的重标注是如何将看似无用的经验点石成金的。
LLM智能体事后轨迹重标注：从失败经验中自动生成高质量训练数据
1. 项目概述从“稻草”到“黄金”的智能体轨迹重塑在大型语言模型LLM驱动的智能体开发中我们常常面临一个经典困境智能体在复杂任务中探索时会产生大量失败或次优的轨迹这些轨迹就像散落一地的“稻草”看似无用实则蕴含着宝贵的经验。而“Spinning Straw into Gold: Relabeling LLM Agent Trajectories in Hindsight for Successful Demonstrations”这个项目其核心思想正是借鉴了强化学习中的“事后经验回放”理念通过一种巧妙的轨迹重标注技术将这些失败的“稻草”轨迹转化为能够指导模型学习的、高质量的“黄金”示范。这不仅仅是数据增强更是一种从根本上改变我们利用失败经验来训练更鲁棒、更高效LLM智能体的方法论。简单来说它解决的核心问题是如何让智能体从自己的失败中学到东西而不是仅仅依赖人类精心标注的、有限的成功范例。传统的监督学习或模仿学习需要大量完美的示范数据成本高昂且难以覆盖所有场景。而这个项目提出的方法允许智能体在自主探索哪怕探索得很糟糕后系统性地回顾并重新解释其行动序列从中提取出“如果当时这么做就能成功”的局部或全局策略片段。最终目标是用这些自动生成的“成功示范”来微调或引导智能体使其在未来的任务中表现更佳。无论你是研究强化学习与LLM结合的研究者还是致力于构建实用AI助理的工程师理解并应用这套思想都能显著提升你手中智能体的学习效率和最终性能。2. 核心思路与方案选型背后的考量2.1 为什么传统的示范学习在LLM智能体中会“碰壁”在深入技术细节前我们必须先理解痛点。LLM智能体通常通过思维链、工具调用、环境交互等一系列动作来完成目标。为其提供示范数据最直接的方法是人工编写完美的任务解决轨迹。但这种方法存在几个致命缺陷成本与可扩展性为每一个复杂任务如“在数据库中查询某信息并生成报告”编写详尽的成功轨迹需要领域专家投入大量时间且难以穷尽所有可能的用户意图和环境状态。覆盖度不足人工编写的示范往往是“主干道”清晰但单一。而真实交互中智能体极易因微小的理解偏差或环境反馈而“误入歧途”走入人工示范未曾覆盖的“分支小路”。一旦偏离智能体便不知所措因为它没见过如何从错误中恢复的示范。脆弱性基于有限完美示范训练的智能体往往对分布外的状态非常敏感缺乏应对意外和从错误中恢复的鲁棒性。因此我们需要一种能够自动生成高质量、多样化示范数据的方法特别是能涵盖从错误中恢复的策略。2.2 事后重标注将强化学习的智慧引入LLM训练项目的核心方案“Hindsight Relabeling”并非全新概念它在机器人强化学习领域如Hindsight Experience Replay, HER已被证明非常有效。其核心思想是即使一个轨迹最终失败了我们也可以“事后诸葛亮”地假设如果目标是轨迹中某个中间状态达到的结果那么这个轨迹对于这个新目标而言就是成功的。将这个思想迁移到LLM智能体任务上需要进行关键的范式转换。LLM智能体的轨迹是由一系列文本思考、动作、观察组成的其“目标”通常也是文本描述。因此重标注的本质是对轨迹文本进行语义层面的重新解释和编辑。方案选型上项目采用了以LLM自身作为“重标注器”的路径。这基于一个关键假设强大的LLM如GPT-4、Claude 3等具备足够的因果推理和反事实思考能力能够分析一段失败的轨迹并推断出在何种修正下该轨迹可以导向成功。这比训练一个专门的重标注模型更通用、更快速迭代。具体流程通常包含以下环节轨迹收集让目标LLM智能体在特定任务环境中进行大量试错探索保存所有轨迹无论成功与否。这些轨迹是原始的“稻草”。失败轨迹筛选从收集的轨迹中识别出那些未达成最终目标的轨迹。LLM重标注将失败轨迹连同任务描述、环境背景等提交给一个更强大的“裁判LLM”。提示Prompt该LLM完成以下一项或多项操作目标重解释识别轨迹中实际达成的某个有价值的子目标并以此为基础重写轨迹的初始指令使原轨迹对这个新指令而言是成功的。动作修正在轨迹的关键决策点指出智能体做出的错误动作并提供正确的动作选项及理由。轨迹补全/编辑直接对失败的轨迹进行文本编辑插入缺失的步骤或修改错误的动作将其转变为一条成功的轨迹。示范数据池构建将重标注后得到的“成功”轨迹与原始的真实成功轨迹混合构成一个扩增后的高质量示范数据集。智能体训练使用这个混合数据集通过监督式微调、逆强化学习或作为搜索过程的启发式引导来训练或改进目标LLM智能体。这个方案的优势在于它形成了一个自我改进的闭环智能体探索 - 产生数据含失败- LLM重标注 - 生成新示范 - 训练智能体 - 更好的探索。它极大地降低了对人工示范的依赖并让智能体能从自身最真实的错误中学习。注意这里的关键是“裁判LLM”的选择和提示工程的质量。裁判LLM的能力必须显著高于被训练的智能体否则可能产生误导性的“伪成功”示范。通常需要使用GPT-4、Claude 3等顶级闭源模型或经过严格对齐的开源模型。3. 核心细节解析与实操要点3.1 轨迹的表示与存储格式在代码层面如何表示一条轨迹至关重要它直接影响后续重标注和训练的便利性。一个通用且灵活的结构是采用JSON格式的列表记录每一步的“角色”和“内容”。[ { role: user, content: 初始任务指令例如请帮我查询上季度华东区的销售总额并分析同比增长情况。 }, { role: assistant, content: 智能体的思考或动作例如我需要先登录销售数据库系统。动作login_database。 }, { role: environment, content: 环境对动作的反馈例如登录成功。当前权限可查询‘sales_q1_q2’表。 }, { role: assistant, content: 接下来我应该查询‘sales_q1_q2’表中华东区上季度的数据。动作execute_sql参数SELECT SUM(amount) FROM sales_q1_q2 WHERE regionEast AND quarterQ2。 }, { role: environment, content: 查询失败。错误表‘sales_q1_q2’不存在。有效的表有‘sales_2024_Q1’, ‘sales_2024_Q2’。 }, // ... 后续步骤 ]这种结构清晰地区分了智能体、用户和环境三方的交互便于解析和后续处理。在收集轨迹时务必确保环境反馈如工具调用结果、API返回、网页内容被准确、结构化地记录在environment角色中。3.2 重标注提示工程的设计艺术这是整个项目的核心技艺。给裁判LLM的提示Prompt必须精心设计以引导其产生高质量的重标注结果。一个有效的提示通常包含以下几个部分角色与任务定义明确告诉LLM它现在是一个“高级任务规划与诊断专家”。输入格式说明清晰地展示轨迹的数据结构说明每个字段的含义。失败轨迹展示提供1-2条具体的失败轨迹作为示例。重标注任务指令这是最关键的部分需要详细说明重标注的具体要求。例如“请分析以下智能体执行失败的轨迹。你的任务是首先指出导致任务最终失败的最关键错误步骤是第几步其次为该步骤提供1-3个更合适的动作或思考内容最后基于你的修正简要描述一条从该修正点开始能够成功完成任务的新轨迹。”“假设智能体的初始目标略有不同。请审视这条未完成原始任务‘A’的轨迹找出一个智能体实际上完成了的有意义的子目标‘B’并重写初始指令使得这条轨迹对于新指令‘B’而言是完美成功的。”输出格式规范严格要求LLM以指定的JSON格式输出例如{“critical_error_step”: N, “suggested_actions”: [“...”], “revised_plan”: “...”}。这便于自动化解析。实操心得在初期一定要进行大量的小样本测试和人工评估。观察裁判LLM在哪些类型的失败上重标注效果好如工具选择错误、参数填写错误哪些效果差如对任务目标的根本性误解。根据评估结果迭代优化你的提示词。通常提供更详细的环境背景知识如工具文档片段能显著提升重标注的准确性。3.3 从重标注结果到训练数据的转换裁判LLM输出的重标注结果是文本形式的“建议”或“修正后轨迹”。我们需要将其转化为模型可以直接学习的训练数据格式。这里主要有两种策略轨迹修补法直接使用LLM生成的“修正后完整轨迹”作为一条新的成功示范。这种方法简单直接但需要LLM具有极强的长文本连贯生成能力否则修补的轨迹可能不自然。动作替换/插入法更可控的方法是只采纳LLM指出的关键错误步骤的修正建议。在原始失败轨迹中用修正后的动作替换错误的动作或插入缺失的动作然后沿用原始轨迹中该步骤之后真实的环境反馈。如果修正得当后续的真实反馈应该会导向成功。这种方法生成的轨迹混合了LLM的修正和真实的环境交互通常更可靠。例如针对前面SQL查询失败的轨迹裁判LLM可能指出关键错误是表名错误并建议动作改为查询sales_2024_Q2表。我们采纳这个修正替换该步骤的动作而后续“查询成功并返回数据”的环境反馈是真实发生的假设表中有数据。这样我们就得到了一条从“登录”到“修正查询”再到“获得结果”的局部成功轨迹。注意转换后的数据必须经过严格过滤。需要设计规则或再用一个LLM分类器来判断生成的新轨迹在逻辑上是否自洽、是否真的能解决子目标。过滤掉那些虽然修改了动作但整体逻辑依然牵强的“噪声数据”。4. 实操过程与核心环节实现4.1 构建一个基础的轨迹收集环境我们以一个简单的“网页信息检索与总结”智能体任务为例演示核心流程。智能体可以执行搜索_网络(关键词)、点击_链接(URL)、提取_正文(selector)、总结_内容(文本)等动作。首先我们需要一个模拟环境来运行智能体并记录轨迹。这里用Python伪代码展示框架class WebTaskEnvironment: def __init__(self, initial_goal): self.goal initial_goal # 初始任务如“找出OpenAI最新模型的特点” self.state { ‘current_page‘: ‘search_engine‘, ‘content‘: ‘‘, ‘history‘: [] } self.available_actions [‘搜索‘, ‘点击‘, ‘提取‘, ‘总结‘, ‘结束‘] def step(self, agent_action): 执行动作返回观察环境反馈、奖励、是否结束 trajectory_step { ‘role‘: ‘assistant‘, ‘content‘: agent_action } self.state[‘history‘].append(trajectory_step) # 模拟环境逻辑 if agent_action.startswith(‘搜索_网络‘): query agent_action.split(‘(‘)[1].split(‘)‘)[0] # 模拟返回搜索结果 observation f“搜索 ‘{query}‘ 完成。返回了10条结果前三条的标题是1. ... 2. ... 3. ...” reward 0 done False elif agent_action ‘结束‘: observation “任务流程结束。” # 这里需要根据最终内容与目标的匹配度计算奖励 reward self._calculate_final_reward() done True # ... 其他动作处理 trajectory_step_env { ‘role‘: ‘environment‘, ‘content‘: observation } self.state[‘history‘].append(trajectory_step_env) return observation, reward, done def get_trajectory(self): 返回完整的交互轨迹 # 在轨迹开头加上初始目标 full_trajectory [{ ‘role‘: ‘user‘, ‘content‘: self.goal }] full_trajectory.extend(self.state[‘history‘]) return full_trajectory # 运行智能体这里用一个随机策略模拟 env WebTaskEnvironment(“找出OpenAI最新模型的特点并总结其三大改进”) trajectories_collection [] for episode in range(100): # 收集100条轨迹 env.reset() done False while not done: # 这里替换成你真实的LLM智能体调用 action random.choice(env.available_actions) “_模拟参数” obs, reward, done env.step(action) traj env.get_trajectory() trajectories_collection.append((traj, reward)) # 保存轨迹和最终奖励4.2 实现事后重标注模块接下来我们实现重标注的核心函数。这里使用OpenAI API调用GPT-4作为裁判LLM。import openai import json def hindsight_relabel_failed_trajectory(failed_trajectory, original_goal): 对一条失败轨迹进行事后重标注。 Args: failed_trajectory: list of dict, 失败的轨迹数据。 original_goal: str, 原始任务目标。 Returns: dict: 重标注结果包含修正建议和新轨迹。 # 1. 构建提示 system_prompt “””你是一个高级AI智能体训练师。你的任务是分析AI智能体执行任务的失败轨迹并通过重写目标或修正关键动作将其转化为有价值的成功示范。请严格按JSON格式输出。“”” user_prompt f“”” 原始任务目标{original_goal} 智能体执行轨迹格式[角色: 内容] {json.dumps(failed_trajectory, indent2, ensure_asciiFalse)} 请执行以下分析 1. 识别轨迹中智能体实际完成的最有价值的“子目标”是什么即使最终任务失败 2. 基于这个子目标重写一条新的、更具体的任务指令使得当前这条轨迹对于新指令而言是一次完美的成功执行。 3. 指出原轨迹中导致无法完成原始目标的最关键的一个错误动作或决策是什么请提供修正后的正确动作。 请以以下JSON格式输出 {{ “identified_subgoal”: “描述识别出的子目标”, “relabeled_instruction”: “为重标注生成的新任务指令”, “critical_error”: {{ “step_index”: 出错的步骤编号从0开始assistant步骤, “original_action”: “原错误动作”, “suggested_correction”: “建议的正确动作或思考” }} }} “”” # 2. 调用裁判LLM try: response openai.ChatCompletion.create( model“gpt-4”, messages[ {“role”: “system”, “content”: system_prompt}, {“role”: “user”, “content”: user_prompt} ], temperature0.2, # 低温度保证输出稳定性 response_format{ “type”: “json_object” } # 要求JSON输出 ) result json.loads(response.choices[0].message.content) return result except Exception as e: print(f“重标注调用失败: {e}”) return None # 对收集到的失败轨迹进行批处理 successful_demos [] for traj, reward in trajectories_collection: if reward SUCCESS_THRESHOLD: # 判断为失败 relabel_result hindsight_relabel_failed_trajectory(traj, original_goal) if relabel_result and validate_relabel_result(relabel_result): # 将重标注结果转换为一条新的训练数据 new_demo convert_to_training_example(traj, relabel_result) successful_demos.append(new_demo)4.3 构建与使用增强后的训练数据集假设我们通过上述方法从100条原始轨迹其中70条失败中生成了50条高质量的重标注示范。我们将这50条新示范与原有的30条真实成功示范合并得到一个包含80条示范的数据集。这个数据集的格式需要适配你选择的训练方法。如果是进行监督式微调每条数据可能形如输入: |system|你是一个网页信息助手。/s|user|{relabeled_instruction}/s|assistant|{corrected_trajectory_text}/s其中corrected_trajectory_text是将修正后的轨迹可能只修正了关键步骤扁平化成的连贯文本。接下来你可以使用这个数据集配合LoRA、QLoRA等参数高效微调方法对基础LLM进行微调。在训练时一个重要的技巧是对重标注数据赋予适当的权重。由于重标注数据是合成而非完全真实的可能存在噪声。可以在损失函数中为其设置一个略低于真实成功示范的权重例如0.8或者在课程学习中先使用高置信度的真实数据再逐渐加入重标注数据。实操心得不要期望一次重标注就能解决所有问题。这是一个迭代过程。用第一轮增强后的数据训练出的智能体V1再去收集新的轨迹其中会包含V1特有的失败模式。然后用这些新失败轨迹进行第二轮重标注生成针对V1弱点的新示范进而训练出V2。如此循环智能体能力会像滚雪球一样增强。5. 常见问题与排查技巧实录在实际操作中你会遇到各种各样的问题。下面是我在实践过程中遇到的一些典型情况及其解决方法。5.1 裁判LLM的重标注质量不稳定问题表现生成的“新指令”与原始轨迹牵强附会或者“修正动作”不切实际无法在真实环境中执行。排查与解决提供更多上下文在提示词中不仅给出轨迹还应提供环境的基本规则、工具的功能描述。例如在数据库任务中附上简化的数据表Schema。使用更具体的指令不要笼统地说“修正错误”。改为“请从以下五个常见错误类型工具选择错误、参数格式错误、逻辑顺序错误、目标理解偏差、信息提取遗漏中判断该轨迹的主要错误类型并进行相应修正。”引入多步验证设计一个两阶段流程。第一阶段裁判LLM只负责“诊断”输出错误类型和位置。第二阶段另一个或同一个LLM根据诊断结果和更详细的工具手册来“开处方”生成具体修正。这往往比一步到位效果更好。设置置信度过滤在提示中要求裁判LLM输出其对修正建议的置信度0-1。在后续处理中只保留高置信度如0.7的结果。5.2 重标注后数据噪声导致模型性能下降问题表现使用增强数据集微调后模型在某些任务上的表现反而比只用少量干净数据时更差出现了“知识遗忘”或“行为怪异”。排查与解决严格的数据清洗实现一个自动化的验证流程。例如对于每条重标注生成的“成功轨迹”可以将其初始指令和最终状态提交给另一个LLM进行“成功与否”的二元判断过滤掉判断为失败的。混合比例与课程学习严格控制重标注数据与原始真实数据的混合比例。可以从1:4重标注:真实开始逐步增加。更高级的做法是采用课程学习初期只用高质真实数据后期逐步引入重标注数据。损失函数加权在计算训练损失时为原始真实数据样本分配更高的权重如1.0为重标注数据分配较低的权重如0.5-0.8以降低噪声数据的影响。评估指标多样化不要只看最终任务成功率。监控模型在验证集上各个子技能上的表现如工具调用准确率、参数正确率。如果重标注后某个子技能显著下降说明该批重标注数据在这个技能上噪声较大需要针对性复查。5.3 计算成本与迭代速度的平衡问题表现使用GPT-4等高级模型进行大批量轨迹重标注API成本高昂且串行处理速度慢影响迭代周期。排查与解决分层处理策略不是所有失败轨迹都值得用最强模型重标注。可以先用一个轻量级模型如GPT-3.5 Turbo或规则系统进行初筛只对那些包含明显、可修正错误的轨迹如工具调用语法错误、明确的查询失败才调用GPT-4进行深度分析和重标注。批量并行处理将重标注请求批量打包利用API的并行处理能力。同时设置合理的速率限制和重试机制。构建重标注缓存对于相似的失败模式其重标注结果是可以复用的。可以计算轨迹的语义哈希或关键错误特征建立缓存。遇到相似轨迹时优先从缓存中获取结果避免重复调用。考虑蒸馏在项目后期当重标注模式相对稳定后可以尝试用大量GPT-4生成的重标注数据来训练一个专门用于重标注的、参数较小的开源模型如7B-13B级别的模型实现成本替代。5.4 智能体陷入“局部最优”行为模式问题表现经过几轮重标注训练后智能体变得过于“保守”总是重复几种固定的成功策略失去了探索新颖但可能更优解决方案的能力。排查与解决在重标注中鼓励多样性在给裁判LLM的提示中加入“请提供一种与常见做法不同的、创新的修正方案”等要求主动生成多样化的成功示范。保留部分探索性失败在训练数据中可以有意识地保留少量“有教育意义的失败”原始轨迹并标注其错误原因让模型知道什么是错的而不仅仅是什么是对的。引入不确定性在智能体采样动作时不要总是选择最高概率的动作可以保留一个较小的随机探索概率ε-greedy或者在训练阶段采用熵正则化项鼓励策略的多样性。定期注入新任务不断引入全新的、未见过的任务目标迫使智能体跳出原有数据分布的舒适区重新激发其探索和泛化能力。这个从“稻草”中纺出“黄金”的过程其魅力在于它建立了一个数据驱动的自我进化系统。它承认失败是探索的必然副产品并智慧地将其转化为进步的阶梯。当你看到智能体在那些曾经让它跌倒的坑洼处如今能稳健地跨过甚至利用时你就会深刻体会到这些“事后诸葛亮”般的重标注是如何将看似无用的经验点石成金的。