1. 先搞清楚推理模型为什么会陷入死循环如果你跑过一些开源的小型推理模型比如数学解题、代码生成类的模型大概率遇到过这种情况模型输出到一半突然开始重复同一段话比如“等等让我重新思考一下...”然后这段文字反复出现直到达到最大生成长度。这就是典型的“死循环”doom loop现象。Liquid AI 开源的 Antidoom 方法专门针对这种问题。它不像传统方法那样简单粗暴地给重复词加惩罚权重repetition_penalty而是精准定位到触发循环的第一个词token通过微调让模型在那个位置更倾向于选择其他合理的词。实测显示这种方法能将死循环率从 10% 以上降到 1% 左右而且不会明显影响模型原有能力。死循环通常由三个机制共同导致1.1 高频词偏好 模型不确定性模型在训练过程中会对某些词形成过度偏好比如“等等”“所以”“但是”这类转折或自省词。当模型遇到难题、不确定下一步该怎么推理时就容易fall back到这些高频词上而不是继续推进解题。在 LFM2.5-2.6B 的早期版本中触发死循环的前几名 token 是“the”11.39%“So”4.51%“Alternatively”3.22%“Wait”2.56%“But”2.46%这些词本身没问题但在模型卡住时它们就成了“安全牌”反复出现却无法推动推理。1.2 上下文自我强化一旦循环开始每次重复都会让同一段文字在后续生成中概率更高。就像滚雪球越滚越大直到模型完全被困住。1.3 贪婪解码的副作用推理任务通常用低温temperature0 或接近 0采样以保证结果可复现。但在低温下模型只会选概率最高的词一旦循环触发就没有退路。即使调高温度如果循环词的概率已经被推到接近 1采样也难跳出。2. Antidoom 如何定位并修复死循环点Antidoom 的核心思路不是全局调整模型而是精准打击循环起点。整个流程分为四步生成样本、检测循环、构建训练集、微调。2.1 生成容易触发循环的测试样本首先需要一批容易让模型卡住的题目比如高难度数学题或代码题。Liquid AI 提供了专门的提示词集合antidoom-mix-v1.0用低温采样生成大量补全结果。2.2 自动检测循环片段循环的定义是同一段文字重复至少 4 次且总长度超过 60 字符。这个阈值能较好平衡误判和漏判。检测到循环后定位到第一次重复的第一个 token这就是要修复的“病因点”。2.3 构建“好词/坏词”训练对在病因点位置取出模型原本概率最高的几个候选词top-k log-prob过滤掉无意义的短词或符号保留最多 20 个合理替代词作为“好词”chosen tokens而触发循环的那个词就是“坏词”rejected token。每个训练样本是一个三元组[提示前缀, 坏词, 好词列表]。为了防止模型过度压制某几个高频词比如把“Wait”完全禁用训练前会对分布做正则化处理。2.4 用 FTPO 做精准微调FTPOFinal Token Preference Optimization是 Antidoom 使用的训练算法它和常见的 DPODirect Preference Optimization有几点关键区别只训练最后一个token不对完整序列做偏好优化只针对生成中途的某一个关键token。支持多候选好词不是一个好词换一个坏词而是让模型学会从一组合理词中选。在logit空间计算损失避免softmax带来的梯度扩散减少对无关词的影响。两部分正则化对好词和坏词给予较大调整空间对其他词严格约束保持模型原有能力。实际训练时通常用 LoRArank128-256跑 1 个 epoch学习率在 4e-6 到 2e-5 之间。过早停止条件设为 chosen_win0.35即好词胜率35%这时死循环率已大幅下降继续训练反而可能损害模型。3. 自己跑通 Antidoom 管道的实操步骤虽然 Antidoom 代码已开源github.com/Liquid4All/antidoom但直接跑起来需要一些前置准备。下面是我在测试环境8×MI325 GPU验证过的步骤3.1 环境准备项目依赖 PyTorch、Transformers、Accelerate 等常见库。建议用 Python 3.10并预留足够磁盘空间存放训练数据和模型缓存。git clone https://github.com/Liquid4All/antidoom cd antidoom pip install -r requirements.txt3.2 数据生成与循环检测首先要用你的目标模型比如 Qwen3.5-4B 或 LFM2.5-2.6B在难题集上生成补全from antidoom.generation import generate_loops # 使用官方提供的提示词集或自建难题集 results generate_loops( model_nameyour_model_path, prompt_mixLiquidAI/antidoom-mix-v1.0, max_length2048, temperature0.1 # 低温更容易触发循环 )生成完成后运行循环检测from antidoom.detection import find_doom_loops loops find_doom_loops(results, min_repeats4, min_chars60)检测结果会列出每个循环的起止位置和触发词。3.3 构建训练集基于检测结果提取每个循环的第一个 token 及其替代词from antidoom.training_data import build_antidoom_dataset dataset build_antidoom_dataset( loops, top_k50, # 考虑top50候选词 max_alternatives20 # 最多保留20个好词 )这一步会输出符合 FTPO 格式的训练集。3.4 配置并运行训练Antidoom 提供了训练脚本关键参数如下python train_antidoom.py \ --model_name your_model_path \ --dataset_path ./generated_dataset.json \ --lora_rank 128 \ --learning_rate 5e-6 \ --epochs 1 \ --early_stop_chosen_win 0.35训练过程中要监控两个指标死循环率在验证集上的循环发生率chosen_win好词胜率超过 0.35 就可考虑停止3.5 验证效果训练完成后用同样的难题集测试修复效果from antidoom.eval import evaluate_doom_loop_rate loop_rate_before 10.2 # 训练前基准 loop_rate_after evaluate_doom_loop_rate( modelyour_finetuned_model, prompt_mixLiquidAI/antidoom-mix-v1.0 ) print(f死循环率: {loop_rate_before}% - {loop_rate_after}%)理想情况下循环率应降至 1-2%且模型在数学、代码等基准任务上的分数不会下降。4. 实际落地时的参数调优与避坑指南Antidoom 方法虽然有效但直接套用可能遇到问题。下面是我踩过的一些坑和应对方案4.1 模型适配性问题不是所有推理模型都适用相同的参数。比如小模型1-3B参数LoRA rank 可以设高一些128-256学习率用 4e-6 到 1e-5。大模型7Brank 可以降到 64-128学习率用 1e-6 到 5e-6避免过拟合。如果发现训练后模型表现变差首先检查 chosen_win 是否过高0.5。过高的胜率意味着模型被过度调整可能破坏了原有分布。4.2 训练数据质量决定效果Antidoom 的效果很大程度上取决于训练集中的“好词”选择。如果替代词不合理模型可能学会避开循环词但推理质量会下降。建议手动检查一批训练样本确保好词确实在语境中合理好词多样性足够不是简单替换为另一两个高频词没有引入明显不匹配的词比如在数学推理中替换为代码术语4.3 多次迭代修复有时一轮训练后原本的循环词被压制了但其他词可能成为新的循环触发点。这时需要多轮 Antidoom第一轮训练后用同一批难题集重新测试统计新出现的循环词针对新词构建训练集进行第二轮训练通常 2-3 轮后循环率会稳定在低位Liquid AI 的实验显示Qwen3.5-4B 经过两轮训练后死循环率从 22.9% 降到了 0.5%。4.4 温度参数的重新认识传统认为推理任务应该用低温采样但 Antidoom 实验揭示了一个反直觉现象修复死循环后低温temp0.1-0.3的表现反而优于高温temp1.0。这是因为高温采样本身是一种“以多样性换稳定性”的妥协——通过引入随机性来避免循环但也会降低输出质量。一旦根除了死循环就不需要这种妥协了。在实际应用中建议修复前温度设为 0.3-0.7 平衡循环风险和质量修复后温度可以降到 0.1-0.2 提升稳定性5. 与其他防循环方法的对比与选型建议除了 Antidoom业内还有几种常见的防循环方法各有适用场景5.1 重复惩罚repetition_penalty这是最直接的方法在生成时降低已出现词的权重。优点实现简单Hugging Face 等库直接支持无需训练即插即用缺点容易误伤合理的重复比如代码中的重复结构只是掩盖问题不是根本解决可能降低模型创造性适用场景快速原型、对输出质量要求不高的演示。5.2 非似然训练Unlikelihood Training在训练阶段就降低重复词的概率。优点从源头减少循环倾向一次训练长期受益缺点需要全量训练成本高可能影响模型其他能力适用场景从头训练新模型时可以考虑加入。5.3 Antidoom 的差异化价值相比上述方法Antidoom 的优势在于精准性只调整问题词不影响其他词分布效率基于 LoRA 的微调几小时就能完成可叠加性可以多次迭代逐步优化保真度最大程度保留模型原有能力选型建议如果已经有一个表现良好但偶尔循环的模型用 Antidoom如果正在从头训练考虑加入非似然训练如果只是临时测试先用重复惩罚凑合6. 扩展到其他模型和任务的实践思路Antidoom 虽然主要针对推理模型但思路可以扩展到其他场景6.1 对话模型中的话题循环有些对话模型容易陷入重复同一话题的循环。可以类似地检测对话中重复的话题开场白定位触发词比如“话说回来”“其实”构建替代词训练集用 FTPO 微调6.2 代码生成中的模式重复代码生成时模型可能反复使用同一段代码模式。这时循环检测要适配代码结构比如重复的函数调用模式好词选择要符合语法规则训练时要保持代码完整性6.3 长文本生成中的结构循环生成长文章时模型可能在不同段落使用相同的过渡句。修复思路在段落边界检测重复模式提供多样化的过渡词选择微调时注意保持文章连贯性无论应用到什么场景核心都是三步精准定位问题点、构建合理的替代方案、最小化微调影响。Antidoom 的价值不在于提出了多复杂的算法而是展示了一种思路与其全局调整模型不如精准修复具体问题。这种“外科手术式”的优化方法在很多模型调优场景中都值得借鉴。最后提醒一点虽然 Antidoom 能显著降低死循环率但不能完全消除模型的所有问题。如果模型本身能力不足再好的防循环技术也帮不上忙。修复循环只是让模型能充分发挥已有能力而不是赋予它新的能力。
