在一场模型交叉评审实验中有人把 Claude 参与整理的一份关于黎曼猜想Riemann Hypothesis的论文草稿交给另一个模型做结构化评审得到的综合得分是 67.30%。这个数字看起来像一句临时测试结果但它背后有一套可以固化下来的评估流程准备论文文本、设计评审维度、调用模型 API、解析 JSON 输出、汇总多轮评分。下面先解释 67.30% 这类分数是怎么算出来的再搭建一个最小可运行的自动评审工作台最后给出安装 Claude Code、调用 GPT 接口时最常见的报错排查方法。文章面向已经会写 Python 脚本、想用大模型做论文辅助审稿或输出质量评估的开发者。1. 先理解“67.30%”在评审数学论文时到底代表什么1.1 这个数字不是模型智商而是评审规则下的得分大模型面对同一个数学论证可以给出多种回答整体说“证明思路合理”逐行检查推导或者干脆拒绝评价。如果没有固定规则这些回答无法换算成百分比。67.30% 能够出现前提是把评审拆成固定维度、固定评分区间、固定权重再按公式汇总。换句话说任何一个分数都绑定一套评审规则。规则变了分数就没有可比性。这也是为什么不能拿这个数字去判断“论文是否证明了黎曼猜想”它只表示“在这套规则下模型对论文的平均评价”。工程上要把评分规则当代码一样管理起来哪些维度、权重多少、分数范围是多少、输出格式是什么全部固定下来。1.2 直接问“这篇论文对不对”为什么不靠谱直接让模型判断对错会碰到三个问题。第一模型容易顺着问题的权威性做出过度乐观确认尤其当论文结构完整、术语密集、引用很多的时候模型倾向于认为“看起来体系完整所以大概率正确”。第二评价结果没有粒度无法定位到底是哪一步推导可疑、哪个引理没有出处、哪条符号前后不一致。第三同一次判断很难复现不同轮次可能给出截然不同的结论。更好的策略是把“对不对”换成“按哪些维度、扣什么分、给出什么定位证据”。比如“数学推导正确性”维度要求模型指出第几页第几行哪一个不等式方向存疑“关键引理支撑”维度要求模型指出哪个引理缺少出处。这样评审结果既能打分又便于人工复核。1.3 用加权公式把六个维度汇总成百分制评审维度可以设计成六项每项权重之和等于 1。下面这套维度权重来自一次对数学论文草稿做评审的示例配置可以直接作为模板调整。维度权重评分说明数学推导正确性0.30检查证明中的推导、放缩、换元、极限交换是否合法符号定义一致性0.20检查同一符号在正文中的定义是否前后一致关键引理支撑0.20检查关键定理依赖的引理是否被证明或给出准确出处文献引用存在性0.10检查引用条目是否在参考文献中存在编号是否对应结构与可读性0.10检查章节组织、命题序号、证明结构是否清晰可复现性0.10检查推导所需条件是否完整给出读者能否按步骤复现每个维度由模型打 0 到 1 之间的小数分加权求和后乘以 100 得到百分制综合分。后面会看到一次评审中六个维度的得分分别是 0.62、0.70、0.55、0.80、0.75、0.82那么综合分就是0.30 * 0.62 0.20 * 0.70 0.20 * 0.55 0.10 * 0.80 0.10 * 0.75 0.10 * 0.82 0.673换算成百分制就是 67.30%。这里有两个前提要注意所有维度分数必须在 [0,1] 区间内权重要么和为 1要么在汇总时做归一化。如果模型返回的是 0 到 100 的分数要先除以 100 再参与加权否则结果会被放大一百倍。2. 搭建环境Claude Code 与 GPT API 都要先跑通2.1 环境清单复现这套流程不需要 GPU普通开发机即可。跨模型评审需要两个部分Claude Code 负责与 Claude 模型交互OpenAI 兼容接口供评分脚本调用。实际项目中先花五分钟检查环境能省掉后面大量排错时间。项目建议版本用途Node.js20 LTS 或更高运行 Claude Code CLInpm10 或随 Node 自带安装 anthropic-ai/claude-codeClaude Code以官方 npm 最新版为准与 Claude 模型交互的命令行工具Python3.10 或更高运行评审脚本openai 包1.x 或更高调用 OpenAI 兼容接口2.2 安装 Claude Code以及三个常见安装报错安装命令很简单
大模型论文自动评审实战：从评分机制到Claude与GPT部署
在一场模型交叉评审实验中有人把 Claude 参与整理的一份关于黎曼猜想Riemann Hypothesis的论文草稿交给另一个模型做结构化评审得到的综合得分是 67.30%。这个数字看起来像一句临时测试结果但它背后有一套可以固化下来的评估流程准备论文文本、设计评审维度、调用模型 API、解析 JSON 输出、汇总多轮评分。下面先解释 67.30% 这类分数是怎么算出来的再搭建一个最小可运行的自动评审工作台最后给出安装 Claude Code、调用 GPT 接口时最常见的报错排查方法。文章面向已经会写 Python 脚本、想用大模型做论文辅助审稿或输出质量评估的开发者。1. 先理解“67.30%”在评审数学论文时到底代表什么1.1 这个数字不是模型智商而是评审规则下的得分大模型面对同一个数学论证可以给出多种回答整体说“证明思路合理”逐行检查推导或者干脆拒绝评价。如果没有固定规则这些回答无法换算成百分比。67.30% 能够出现前提是把评审拆成固定维度、固定评分区间、固定权重再按公式汇总。换句话说任何一个分数都绑定一套评审规则。规则变了分数就没有可比性。这也是为什么不能拿这个数字去判断“论文是否证明了黎曼猜想”它只表示“在这套规则下模型对论文的平均评价”。工程上要把评分规则当代码一样管理起来哪些维度、权重多少、分数范围是多少、输出格式是什么全部固定下来。1.2 直接问“这篇论文对不对”为什么不靠谱直接让模型判断对错会碰到三个问题。第一模型容易顺着问题的权威性做出过度乐观确认尤其当论文结构完整、术语密集、引用很多的时候模型倾向于认为“看起来体系完整所以大概率正确”。第二评价结果没有粒度无法定位到底是哪一步推导可疑、哪个引理没有出处、哪条符号前后不一致。第三同一次判断很难复现不同轮次可能给出截然不同的结论。更好的策略是把“对不对”换成“按哪些维度、扣什么分、给出什么定位证据”。比如“数学推导正确性”维度要求模型指出第几页第几行哪一个不等式方向存疑“关键引理支撑”维度要求模型指出哪个引理缺少出处。这样评审结果既能打分又便于人工复核。1.3 用加权公式把六个维度汇总成百分制评审维度可以设计成六项每项权重之和等于 1。下面这套维度权重来自一次对数学论文草稿做评审的示例配置可以直接作为模板调整。维度权重评分说明数学推导正确性0.30检查证明中的推导、放缩、换元、极限交换是否合法符号定义一致性0.20检查同一符号在正文中的定义是否前后一致关键引理支撑0.20检查关键定理依赖的引理是否被证明或给出准确出处文献引用存在性0.10检查引用条目是否在参考文献中存在编号是否对应结构与可读性0.10检查章节组织、命题序号、证明结构是否清晰可复现性0.10检查推导所需条件是否完整给出读者能否按步骤复现每个维度由模型打 0 到 1 之间的小数分加权求和后乘以 100 得到百分制综合分。后面会看到一次评审中六个维度的得分分别是 0.62、0.70、0.55、0.80、0.75、0.82那么综合分就是0.30 * 0.62 0.20 * 0.70 0.20 * 0.55 0.10 * 0.80 0.10 * 0.75 0.10 * 0.82 0.673换算成百分制就是 67.30%。这里有两个前提要注意所有维度分数必须在 [0,1] 区间内权重要么和为 1要么在汇总时做归一化。如果模型返回的是 0 到 100 的分数要先除以 100 再参与加权否则结果会被放大一百倍。2. 搭建环境Claude Code 与 GPT API 都要先跑通2.1 环境清单复现这套流程不需要 GPU普通开发机即可。跨模型评审需要两个部分Claude Code 负责与 Claude 模型交互OpenAI 兼容接口供评分脚本调用。实际项目中先花五分钟检查环境能省掉后面大量排错时间。项目建议版本用途Node.js20 LTS 或更高运行 Claude Code CLInpm10 或随 Node 自带安装 anthropic-ai/claude-codeClaude Code以官方 npm 最新版为准与 Claude 模型交互的命令行工具Python3.10 或更高运行评审脚本openai 包1.x 或更高调用 OpenAI 兼容接口2.2 安装 Claude Code以及三个常见安装报错安装命令很简单