1. 项目概述从“推理”到“思考”的范式跃迁最近微软研究院放出的MAI-Thinking-1模型在圈内引起了不小的讨论。这个标题“微软 MAI-Thinking-1 怎么训出来mid 之后的 RL 爬山不是多轮 FT”本身就充满了信息量和争议点。它直指当前大模型训练的一个核心痛点当我们已经拥有了一个在通用任务上表现不错的“中等”mid模型后如何让它更进一步获得真正的“思考”和“推理”能力传统的做法往往是进行多轮指令微调SFT但微软的路径显然不同他们强调的是在SFT之后用强化学习RL进行“爬山式”的优化。这背后反映的是一个根本性的认知转变。过去几年我们见证了模型规模Scaling Law带来的奇迹但大家也逐渐意识到单纯堆砌参数和SFT数据模型可能学会了“模仿回答”但未必掌握了“解决问题”的内在逻辑链。MAI-Thinking-1瞄准的正是这个缺口——它不是一个追求全能冠军的模型而是一个专精于复杂、多步推理任务的“解题专家”。其训练方法的核心即标题中点出的“RL爬山”为我们提供了一种超越传统微调、激发模型内在推理潜力的新思路。对于任何关注模型能力跃迁、特别是推理能力提升的从业者来说理解这套方法论都至关重要。2. 核心理念拆解为什么是“RL爬山”而非“多轮FT”要理解MAI-Thinking-1的训练哲学我们首先要拆解“多轮FT”的局限性以及“RL爬山”为何能成为破局点。2.1 传统SFT的天花板与“模仿陷阱”指令微调SFT的本质是让模型学习人类标注的“标准答案”分布。它非常高效能快速将基座模型对齐到人类偏好教会模型遵循指令、使用合适的格式。然而当任务复杂度上升到需要多步逻辑推理、规划或探索时SFT的弊端就显现了数据依赖与成本高质量的复杂推理标注数据极其稀缺且昂贵。标注者不仅需要给出最终答案还需要写出完整、正确的推理链Chain-of-Thought, CoT这对标注者的专业素养要求很高。模仿而非创造模型倾向于模仿数据中的表面模式而非真正理解背后的推理原理。它可能学会了“套用”某种解题模板但一旦遇到数据分布外的新颖问题或需要灵活调整推理路径时就容易失效。奖励滞后问题在复杂推理中最终答案的对错往往取决于中间每一步的正确性。SFT只提供了最终输入-输出对模型无法从漫长的推理过程中获得细粒度的、步骤级的反馈。它不知道自己在哪一步开始“跑偏”了。因此多轮FT很可能陷入“内卷”投入大量成本标注更多数据但模型能力的提升却进入平台期始终在“模仿优秀答案”的层面打转无法突破到“自主生成优秀推理”的层面。2.2 “RL爬山”的范式优势探索与精细化奖励强化学习RL提供了一个截然不同的框架。在这里模型智能体通过与环境任务的交互来学习。在推理任务中环境就是问题本身模型的行动是生成下一个推理token或步骤而奖励则根据生成内容的质量如最终答案正确性、步骤合理性来给出。“爬山”这个比喻非常形象。它意味着目标明确山顶就是高质量完成推理任务。路径探索RL允许模型尝试不同的推理路径探索而不仅仅是重复数据中的路径。步步为营通过设计合理的奖励函数可以对推理的中间步骤提供反馈引导模型朝着正确的方向“攀登”即使最初的尝试是错的。GRPO算法的关键角色标题和相关热词中提到的GRPOGroup Relative Policy Optimization是这套方法得以实现的关键技术。与需要训练额外奖励模型的PPOProximal Policy Optimization相比GRPO是一种无奖励模型的RL算法。它直接基于一个“胜者组”的选择来优化策略。具体到推理训练中流程大致如下对于同一个问题让当前策略模型生成多个例如4个不同的推理路径和答案。根据一个无需训练、预先定义的评分函数例如最终答案匹配度 推理步骤的连贯性、合理性检查对这些结果进行排序。选出得分最高的结果作为“胜者组”。GRPO的核心是让模型的策略生成方式朝着“更像胜者组”的方向优化同时避免与原始策略偏离太远保持稳定性。这种方法的好处是极大地简化了RL的训练流程。我们不再需要耗费巨资去训练一个可能带有偏差、且需要与策略模型同步更新的奖励模型而是依赖一个确定性的、可解释的评分规则。这使得RL训练在复杂推理任务上变得可行且高效。注意这里的评分函数设计是灵魂。它不能只看最终答案否则退化为稀疏奖励必须融入对推理过程的评估比如检查数学推导的符号变换是否正确、逻辑步骤是否环环相扣、是否引入了无关信息等。这通常需要结合规则、轻量级验证器verifier或利用模型自身的判断能力。3. MAI-Thinking-1的训练架构与成本考量结合热词中提到的“MoE”和“dense和moe”我们可以推测MAI-Thinking-1很可能采用了混合专家Mixture of Experts, MoE架构。这与“成本优化策略”紧密相关。3.1 MoE架构在能力与成本间寻找平衡一个纯粹的稠密Dense模型所有参数在每次前向传播时都会被激活。要获得强大的推理能力可能需要一个参数量巨大的模型这带来惊人的训练和推理成本。MoE架构则不同。它将模型划分为多个“专家”例如64个每个专家是一个独立的神经网络子模块。同时有一个路由网络Router根据输入token动态选择少数几个例如2个最相关的专家进行处理。这样每次激活的参数量只是总参数的一小部分但模型的总知识容量却可以做得非常大。对于MAI-Thinking-1这样的推理专项模型MoE架构的优势非常明显经济性可以用更低的计算成本激活参数少维持一个超大规模的总参数体量容纳更丰富的知识和推理模式。专业化潜力不同的专家可以潜移默化地擅长处理不同类型的子问题如代数、几何、逻辑、常识推理路由机制能自动组合所需专家应对复杂综合题。训练稳定性GRPO等RL算法在优化大规模模型时可能面临波动MoE的结构化设计可能有助于约束优化路径让训练更平稳。3.2 训练流程全景图综合以上分析我们可以勾勒出MAI-Thinking-1可能的训练流程基座模型准备从一个强大的、经过预训练的中等规模Mid通用模型开始。这个模型已经具备了基本的语言理解和生成能力。SFT阶段对齐与初始化使用高质量的、包含CoT的复杂推理数据集进行指令微调。这一步的目的不是让模型达到顶峰而是对齐到推理任务格式并激发其初步的逐步推理能力为后续RL提供一个好的起点。这对应了“mid之后”的起点。RL爬山阶段能力突破这是核心阶段。采用GRPO算法以SFT后的模型为初始策略。环境一个包含大量复杂推理问题如数学竞赛题、逻辑谜题、代码生成的池子。行动模型自回归地生成整个推理链和答案。奖励/评分使用一个结合了最终答案正确性和推理过程质量如步骤合理性、无事实错误的规则化评分函数。优化对每个问题模型生成多个解决方案评分后通过GRPO更新策略使其更倾向于产生高评分解决方案的生成模式。迭代与收敛重复步骤3让模型在“尝试-评估-优化”的循环中不断“爬山”逐步强化其生成正确、严谨、高效推理链的能力直到在验证集上性能收敛。这个流程清晰地体现了“不是多轮FT”的思想SFT只做一次作为“热身”真正的能力提升引擎是RL阶段的持续探索和优化。4. 实操要点与核心环节实现如果我们想借鉴这个思路在自己的领域或任务上尝试类似的“RL爬山”训练有哪些实操要点呢4.1 数据准备质量重于数量RL阶段虽然不依赖大量标注数据但对初始SFT数据和RL评估所用的“问题集”质量要求极高。SFT数据需要包含清晰、正确、多样化的推理过程示范。数据来源可以是人工精标、从高质量社区如AoPS数学论坛清洗整理、或利用强模型如GPT-4生成后再经严格校验。RL问题集需要覆盖目标推理能力的各个方面且最好包含“陷阱题”和多种解法以鼓励模型探索。问题的难度应呈梯度便于观察模型的进步。4.2 评分函数设计奖励模型的灵魂这是整个RL训练成败的关键。一个简单的“答案对错”二元奖励信息太稀疏模型很难学习。必须设计能反映推理过程质量的稠密奖励信号。一个可行的评分函数组件示例最终答案匹配权重较高答案完全正确得满分部分正确得部分分。步骤分解奖励将标准答案的推理链分解为关键步骤。使用一个轻量级模型如经过微调的较小模型或规则判断生成推理链是否包含了这些关键步骤。每匹配一个关键步骤给予奖励。逻辑连贯性惩罚检查生成文本中是否存在逻辑矛盾如“因为AB且BA”、事实错误或与题目条件冲突的陈述。出现则扣分。冗余与效率惩罚对重复啰嗦、引入无关信息的推理链进行轻微扣分鼓励简洁高效。这个评分函数本身不需要训练但它需要精心设计和调试以确保其评估标准与人类对“优秀推理”的认知一致。4.3 GRPO实现的关键参数在具体实现GRPO时有几个参数需要特别关注生成样本数K对于每个问题需要模型生成多少个候选解决方案进行评比。K太小选择不够有区分度K太大计算成本高。通常4-8是一个合理的范围。胜者组大小选择排名前多少的样本作为优化目标。通常就是排名第一的样本或者前25%的样本。KL散度系数β这个系数控制新策略与旧策略之间的偏离程度。在推理任务中为了防止模型在探索中“遗忘”已有的语言和推理基础这个系数通常需要设置得相对保守确保优化是渐进、稳定的“爬山”而不是“跳崖”。4.4 利用MoE架构的注意事项如果使用MoE架构路由学习确保在SFT阶段路由网络就能学会根据问题类型合理选择专家。可以在SFT数据中增加问题类型的隐式或显式信息。负载均衡需要引入负载均衡损失防止少数专家被过度激活而多数专家闲置影响模型容量利用。推理成本虽然激活参数少但MoE模型由于路由逻辑和专家切换其实际推理延迟可能高于参数量相同的Dense模型。需要在能力提升和推理速度间做权衡。5. 常见问题与排查技巧实录在实际操作中你可能会遇到以下典型问题问题1RL训练开始后模型生成的推理链变得语无伦次或格式混乱。排查这通常是KL散度系数β设置过小导致RL更新过于激进破坏了模型在SFT阶段学到的语言基础和指令遵循能力。解决增大β值加强对旧策略的约束。同时检查评分函数是否过度奖励“最终答案正确”而完全忽略了生成文本的语言质量。可以在评分中加入基本的语言流畅度检查。问题2模型性能很快达到平台期似乎不再提升。排查首先检查评分函数的区分度。是否大多数生成的解决方案得分都差不多如果是评分函数可能不够敏感无法识别细微的质量差异。解决细化评分函数。例如不仅看关键步骤有无还可以评估步骤顺序的合理性、推导的严谨性。可以考虑引入一个经过少量数据微调的“推理过程验证器”作为评分组件之一提供更细腻的反馈。问题3训练不稳定损失值波动很大。排查GRPO虽然比PPO稳定但在大规模MoE模型上仍可能波动。检查问题集的难度是否跳跃过大或者某个批次的问题恰好都是模型极不擅长的类型。解决对问题集进行难度分级在训练初期让模型更多接触中等难度问题逐步增加难题比例。也可以考虑使用滑动平均的策略参数或引入更保守的梯度裁剪。问题4模型学会了“走捷径”比如针对特定题型记忆答案模式而非真正推理。排查这是过拟合的一种表现。检查你的RL问题集是否足够大、足够多样。如果问题重复模式明显模型就会学会匹配模式。解决扩大和多样化问题集。在评分函数中可以增加对“推理新颖性”的鼓励例如对与常见解法不同的、但正确的推理路径给予额外奖励或者定期引入全新的、从未见过的题目类型。问题5MoE模型中某些专家从未被激活。排查查看路由网络的负载分布。如果存在“僵尸专家”说明路由学习失败或这些专家初始化不良。解决在训练初期可以暂时使用软性路由Soft Routing或引入更强的负载均衡损失。也可以检查SFT数据是否覆盖了足够多的领域以激发所有专家的潜力。我个人在尝试类似方法的体会是RL训练推理模型就像在引导一个极其聪明但缺乏经验的学生。你不能只给他看标准答案SFT更要给他出各种难题并在他解题后不是简单判对错而是详细点评他每一步的得失精细化评分函数。这个过程开始会比较慢且需要导师我们精心设计题目和评分标准但一旦走上正轨学生自主解题的能力会获得质的飞跃。MAI-Thinking-1的路径揭示了一个重点对于高阶认知能力生成式的方法RL探索可能比判别式的方法模仿数据具有更深的潜力。这不仅仅是训练一个模型更像是在构建一种新的、模型与任务环境互动进化的范式。