PostHog ReviewHog 评审器模型实验gpt-5.6-terra xhigh 单轮运行报告的完整解读【免费下载链接】posthog:hedgehog: PostHog is the leading platform for building self-driving products. Our developer tools – AI observability, analytics, session replay, flags, experiments, error tracking, logs, and more – capture all the context agents need to diagnose problems, uncover opportunities, and ship fixes. Steer it all from Slack, web, desktop, or the MCP.项目地址: https://gitcode.com/GitHub_Trending/po/posthog本文以 PostHog 仓库中 ReviewHog自动 GitHub PR 评审器评审器模型对比实验的第 4 轮 arm H 运行报告 H-gpt56terra-xhigh-1.md 为主体逐段拆解一份运行转储run dump里到底记录了什么配置快照、raw→dedup→validator 漏斗、缓存感知的成本核算true $ 与 gw $、分阶段 wall-clock 计时、分块清单、逐评审单元的 breakdown以及去重后每条 finding 的验证器裁决。读完后你能够独立读懂并复现 ReviewHog 的评审器模型 A/B 实验理解 review unit、turn-1 cache read、review stage total 等关键指标的语义与数据来源。一、报告从哪来ReviewHog 管线与 run dump 机制ReviewHog 是 PostHog 仓库中的一个 Django 应用products/review_hog它的 Temporal 工作流ReviewPRWorkflow把一次 PR 评审拆成固定阶段拉取 PR 快照 → 语义分块chunking→ 逐块视角选择perspective selection→ 三个专业视角并行评审Logic Correctness / Contracts Security / Performance Reliability→ 每块一次盲点扫查blind-spot sweep→ 合并、去重dedup→ 逐块验证validation一个 warm 多轮会话→ 渲染报告并发布到 PR。完整描述见 ARCHITECTURE.md。评审器perspective review所用的模型是可替换的实验变量其余阶段验证器、one-shot 调用、提示词与技能全部固定。本实验系列2026-07-reviewer-model-glm52就是围绕哪个模型最适合做 perspective-review展开的多轮对比每完成一次运行就用 dump_result.py 从 PostgresReviewReportReviewReportArtefact读取 team 1 最新的报告行与工件再从本地 ClickHouse 查询窗口内的$ai_generation事件做成本归集最终写出一个LABEL.md转储文件——也就是本文解读的这份报告实验方案、逐轮执行记录与最终裁决分别在 PLAN.md、各runs/*.md与 FINAL_REPORT.md 中。本报告的运行元信息字段值Dumped2026-07-30T13:16:4900:00Report id019fb301-3383-7655-8707-db3c6a298dec目标 PRPR #75215#72680 的冻结草稿副本diff 逐字节相同Head1341596e721880256a1afb79bbc881364d00e302run_count / status1 / idleWall-clock2784s46.4 分钟由启动时的RUN_START_EPOCH环境量计算二、配置快照runtime / model / effort 与分块门限报告开头的 Config snapshot 只有两行但每一行都直接对应 constants.py 中的常量是复现实验时改了什么旋钮的凭证runtime / model / effortcodex/gpt-5.6-terra/xhigh—— 即REVIEW_RUNTIME_ADAPTER/REVIEW_MODEL/REVIEW_REASONING_EFFORT三个 pin。评审器走 OpenAI Codex 适配器PLAN.md 特别注明 Codex 必须配full-access权限模式否则无头评审会卡在 MCP 工具审批上该 pin 现为REVIEW_INITIAL_PERMISSION_MODE。实验期间通过翻转这三个常量来切换 arm运行结束再恢复基线。值得注意的是当前 master 上REVIEW_MODEL已更新为gpt-5.6-sol第 5 轮之后 Sol 取代 Terra 成为 Codex 阵营冠军见 FINAL_REPORT而本报告的验证器是claude-opus-4-8——当前源码里VALIDATION_MODEL已前进到claude-opus-5。这说明转储记录的是运行时的常量值而不是代码仓库当前值。single-chunk gate / chunk target / soft-max additions 400 / 300 / 600—— 对应SINGLE_CHUNK_GATE_ADDITIONS/CHUNK_TARGET_ADDITIONS/CHUNK_SOFT_MAX_ADDITIONS可评审新增行 ≤400 时跳过分块 LLM 直接按单块评审LLM 分块器以每块 ~300 行新增为目标、600 行为软上限软上限是提示词层面的指导不强制。本次 PR 约 742 行可评审新增PLAN.md落在 400 与 5000CHUNKING_ONESHOT_MAX_ADDITIONSone-shot 分块门限之间本应走 one-shot 分块——但实验中分块被钉住见第七节所以该路径实际未触发。三、漏斗4 个 chunk、9 个 review unit、8 条 raw → 6 条去重后 → 3 条通过验证| chunks | review units | raw issues | after dedup | passed validator | | 4 | 9 | 8 | 6 | 3 |报告中对review units的定义值得记住每一个实际跑过的 (perspective|blind-spot × chunk) 沙箱评审 模型固定变量下的成本代理指标the model-held-constant cost proxy。对比不同模型时比较对象就是同样的单元数下产出多少被独立验证为真的 finding。逐单元 breakdownpass / chunk / perspective / raw issuespasschunkperspectiveraw issues12review-hog-perspective-contracts-security113review-hog-perspective-contracts-security123review-hog-perspective-logic-correctness132review-hog-perspective-performance-reliability133?010001review-hog-blind-spots-general210002review-hog-blind-spots-general110003?010004review-hog-blind-spots-general1如何读这张表pass 序号即视角在PERSPECTIVES注册表中的 1-based 位置ARCHITECTURE.md 的约定。从本表可读出本次运行注册表顺序为pass 1 contracts-securitypass 2 logic-correctnesspass 3 performance-reliability。pass 1000 是盲点扫查的保留通道号BLIND_SPOT_PASS_NUMBER 1000constants.py刻意远高于任何波次枚举保证持久化的 (pass, chunk) 恢复键不会与波次碰撞。?表示该单元产出 0 条 issue转储从第一条 issue 取source_perspective零 issue 时记为?。本次运行只有9 个 review unit5 个视角单元 4 个盲点单元而同 target 的第二次 Terra 运行 H-gpt56terra-xhigh-2.md 有 13 个9 视角 4 盲点。原因是视角选择不被钉住——PLAN.md 明确记录 Selection is not pinned, so unit rosters varied 12-13 across runsone-shot 的视角选择 LLM 为每个 chunk 决定该跑哪几个视角运行间允许漂移。此外 FINAL_REPORT 记录本次运行的 wall-clock 被一个 gen-silent 的重试单元p3-c1拖住它骑满了 30 分钟轮询预算且有 1 个单元最终丢失8/9——低于FAN_OUT_FAILURE_FLOOR 0.70的失败底线因此按设计以 best-effort 降级完成而不是整轮失败。四、缓存感知成本核算true $、gw $ 与 4.4× 的naive陷阱报告中最信息密集的一节是Cache-aware spend本地$ai_generationbest-effortmodelstagegensfresh incache writecache readoutput200K genstrue $gw $claude-opus-4-8validation8187,071493,0096,824,77476,2790$8.84$8.84gpt-5.6-terrareview1035,189,5630030,1810—$4.08gpt-5.6-terrablind-spot351,953,5060012,4810—$1.38claude-sonnet-5other:perspective_selection15,981001,2340$0.02$0.02claude-sonnet-5dedup15,646007650$0.02$0.02gpt-5.6-terraother4100000—$0.00total2627,241,767493,0096,824,774120,9400$8.88$14.34每一列的语义与 dump_result.py 的计价逻辑一一对应stage 的来源沙箱单元的task_title携带[sandbox_prompt:step]标记issues-review-*→ review、blind-spots-*→ blind-spot、validation-*→ validationone-shot 网关调用分块/去重/选择则用ai_stage字段。other表示无法归入上述前缀的生成。fresh in$ai_input_tokens减去 cache read 与 cache write网关报告的 input 是完整 promptfresh cache read cache write。true $ 按列表价回算fresh 1× cache write 1.25× cache read 0.1× outputdump 脚本中的_LIST_PRICES镜像 LiteLLM 成本表。gw $ 网关 LiteLLM 直接算出的$ai_total_cost_usd。两者逐桶交叉核对本次 Δ -0.0%。gpt-5.6-terra无列表价true $显示 —其 179 次生成、gw $5.47 不计入 true $ 合计——这是 OpenAI 新模型在网关侧尚未定价的典型缺口。naive 方法警告把所有 prompt token 一律按 input 价计得 $38.97是真实成本的4.4×报告明确写 never gate on it绝不能用它做门限判断。对缓存密集的运行这个偏差会放大到数倍。41 次零 token 的 other 生成值得单独说明它们没有 input 也没有 output token。这与 PLAN.md 记录的 Codex 现象吻合——G1/H1 中所有 9 个首轮评审单元在 ~90 秒内集体以stopReason:refusal失败、零 token 计费。实验已证明这不是内容安全拒绝而是 codex-app-server 把TurnStatus:failed客户端侧 MCP 连接竞态映射成了 ACP 的 refusal错峰重试即可恢复。这也是第 4 轮落地的 fail-fast 修复要解决的问题让一次伪拒绝只花 ~90 秒而不是 30 分钟轮询超时。报告还给出gateway 分侧交叉核对用于发现 LiteLLM 与列表价回算的偏差input 侧fresh cache write cache read$11.7777 / 262 genstrue $6.9523Δ 69.4%其中 cache read$4.8604 / 197 genstrue $3.4124Δ 42.4%其中 cache write$3.0813 / 81 genstrue $3.0813Δ 0.0%其中 fresh推导值$3.8360 / 262 genstrue $0.4586Δ736.4%output$2.5669 / 262 genstrue $1.9270Δ 33.2%fresh 侧 736% 的偏差揭示了 LiteLLM 的input_cost把整个 input 侧含 cache read按统一价计费而不区分 0.1× 的 cache read——这正是用网关单一成本字段做成本决策会系统性高估的原因也是 dump 脚本坚持做分侧回算的动机。五、Turn-1 cache reads跨沙箱缓存共享的绊线表unitstepfirst gent1 cache readt1 cache writemodels…1112e67aissues-review-p3-c312:31:4200gpt-5.6-terra…d805036aissues-review-p2-c312:31:4300gpt-5.6-terra…其余 7 个 review 单元12:31:44–12:31:5600gpt-5.6-terra…079f41aeissues-review-p2-c312:34:5000gpt-5.6-terra…其余 9 个 review 单元12:34:50–12:35:0500gpt-5.6-terra…588c1e67blind-spots-c213:02:4700gpt-5.6-terra…其余 3 个 blind-spot 单元13:02:49–13:02:5100gpt-5.6-terra…6a250cb6validation-c413:04:5617,14119,423claude-opus-4-8…5c4f7432validation-c313:04:56036,883claude-opus-4-8…5ff42468validation-c213:04:5817,14120,142claude-opus-4-8…fda5d326validation-c113:05:0317,14120,197claude-opus-4-8结论行turn-1 cache_read 0 的单元为 3/24报告要求给出分布而不是中位数。这张表是 dump 脚本内置的cross-sandbox sharing tripwire跨沙箱共享绊线对每个沙箱单元记录其第一次生成的 cache read/write 与触碰过的模型集合模型集合 1 会标出⚠️SWITCHED暴露会话中途换模型——那会同时破坏缓存共享与成本 pin。本次运行里全部 9 个 terra 评审单元 turn-1 读写均为 0——评审波次之间没有发生跨沙箱前缀共享3/4 的验证单元 turn-1 就有 17,141 个 cache read——warm 多轮验证会话的前缀缓存在早期就已生效这正是验证阶段能以 6.8M cache read 主导 input 的原因需要谨慎解读的一点FINAL_REPORT 独立记录了Codex 缓存遥测缺口agent 侧 usage 明明报告了 OpenAI cached reads$ai_generation却对每个 gpt-5.5 gen 记cache_read0。因此 terra 评审单元的全零中有一部分可以推断是遥测口径问题而非缓存真的未命中——这正是该表被设计成报分布的原因。六、分阶段计时33 分 19 秒的 review stage 才是速度对比数stagedurationfetch snapshot0schunking0sperspective selection15sreview wave (perspectives)6m 10sblind-spot sweep27m 08sdedup (incl. combine/clean)9svalidation11m 58sReview stage totalselection → 最后一个 finder 单元wave blind-spot 33m 19s这是评审器模型速度对比的口径数。对照同 arm 的健康运行 H2仅 8m04s本次的长尾来自那个 gen-silent 重试单元骑满 30 分钟轮询预算FINAL_REPORT 明确指出 H1 的 wall-clock 因此被 inflatechunking 为 0s是钉住pin的直接证据——分块结果从pinned_chunks.json注入没有 LLM 调用计时全部由工件的created_at每个阶段/单元完成时持久化推导报告特别注明只对全新的、非恢复non-resumed运行有意义——恢复运行会复用旧工件时间戳会失真dedup 只有 9s因为本次进入去重的候选很少one-shot 路径claude-sonnet-5一次调用见成本表的 dedup 行 1 gen。七、分块4 个 chunk 与钉住机制chunk文件18 个文件products/review_hog/backend/models.py、…/migrations/0019_reviewusersettings_stamphog_review_inbox_prs.py、…/api/settings.py、…/receivers.py、frontend/CodeReviewScene.tsx、frontend/generated/api.schemas.ts、frontend/generated/api.zod.ts、services/mcp/src/api/generated.ts28 个文件products/stamphog/backend/facade/api.py、facade/inbox_hooks.py、tasks/tasks.py、temporal/activities.py、logic/reviewer.py、products/tasks/backend/facade/api.py、facade/contracts.py、tach.toml34 个文件tools/pr-approval-agent/review_pr.py、review_local.py、reviewer.py、version.py42 个文件products/stamphog/AGENTS.md、README.md这份清单与 pinned_chunks.json 完全一致——后者还带有chunk_typefeature / business_logic / documentation与key_changes如 chunk 3 的新增默认关闭的 self_driving 标志仅放宽 bot-author 拒绝与 draft 两个门是 A1 基线运行的自然分块结果被后续所有运行复用保证模型对比只比模型本身。实验用的 pin 机制是临时钩子实验后从代码树移除机制背景见 POTENTIAL_EXPERIMENTS.md。被评审的 PR 内容本身也值得注意它给 ReviewHog 的 Inbox 触发增加 Stamphog审批代理联动——stamphog_review_inbox_prs设置项、TaskRun receiver 的双开关分发、webhook 侧的 self-driving carve-out、以及审批代理的self_driving信任块。后续 findings 全部围绕这个 PR。八、Findings 与验证器裁决3 条 VALID、3 条 dismissed报告尾部列出全部 6 条去重后的 finding每条含优先级、类别、文件:行、problem、suggestion 与验证器的完整论证Checked / Found / Impact / Priority。验证器claude-opus-4-8 xhigh 的 warm 会话通过 MCPskill-get拉取团队自有的 review-hog-validation-criteria 技能作为判据其核心是precision-over-recall纯风格/品味、防御性臆测、never-gonna-happen边界一律丢弃保留必须能说出具体 trigger → consequence。8.1 VALID抑制 bot 熟悉度而非给出矛盾的信任上下文must_fix → should_fixsecurityProblemtools/pr-approval-agent/reviewer.py:506,568。self-driving 评审仍会照常计算并渲染作者熟悉度author familiarity的正向结果一个长期存活的 bot 可能被呈现为 STRONG/MODERATE 熟悉度作者与新加入的熟悉度在此无信号provenance 块直接矛盾削弱了本次放宽 bot draft 审批的信任边界。Suggestionself_driving置位时在review_pr.py与review_local.py两条路径都跳过熟悉度计算/挂载并避免渲染其 review-body 项。验证器确认familiarity_block在reviewer.py:505计算、:567渲染恰在{self_driving_block}之前_attach_familiarityreview_local.py:299对任何携带author_pr_numbers的 T1-agent run 挂载信号且无self_driving检查——两个 TRUSTED 块断言相反。且familiarity.py的_band仅凭 blame overlap 即可给 STRONG正是机器人反复在同一路径开/合并 PR这一功能稳态会积累的信号。Priority验证器下调 must_fix → should_fix 的理由熟悉度是纯判断层信号gates.py 中无引用只填充classification不能确定性强制不安全审批provenance 块提供了文本级 override且需要服务端注入author_pr_numbers加 bot 历史积累——真实值得修修法很便宜按not self_driving门控但不是必须阻塞合并的确定性漏洞。这里展示的正是验证器可以覆盖评审器优先级的机制dump 标题里的 validator→should_fix 来自adjusted_priorityconstants.py 的effective_priorityvalidator-wins读取时解析。8.2 VALID尊重任意已分配评审人的 opt-inmust_fix → should_fixbugProblemproducts/review_hog/backend/receivers.py:114-138,144-154。功能意图是任一被指派评审人开启 Stamphog 开关即运行但_resolve_assigned_reviewer只取单个 canonical/creator 评审人两处调用点都只检查这一个用户的设置。若第一个 assignee 未 opt-in 而后面的 assignee 已 opt-in初始评审不会排队后续 push 也会被跳过。Suggestion把被指派评审人按集合解析选出已 opt-in 的 assignee保留 requester-first 偏好并用该用户作为初始分发与 webhook 解析两处的acting_user_id。验证器确认单 id 解析acting next((u for u in resolved if u.id task_created_by_id), resolved[0]); return acting.id两条腿初始分发 webhook 复审都门控在同一用户上整个 facade 只流动一个acting_user_id。具体后果可命名alice第一关闭、bob 开启 → 两腿都被跳过——是Slack 扇出给多个评审人的正常推广场景。Priority下调理由失败方向是 fail-safe 方向的静默欠触发不会发布不想要的评审只是功能不跑且单 canonical 评审人是既有测试锁定的共享机制修法收敛为 stamphog 路径选一个已 opt-in 的 assignee但不是阻塞性正确性/数据丢失缺陷。8.3 VALID把迁移 rebase 到现有 0019 叶节点must_fixbugProblemproducts/review_hog/backend/migrations/0019_reviewusersettings_stamphog_review_inbox_prs.py:7-8。仓库已有0019_reviewreport_author_login_and_more同样依赖0018_backfill_urgency_threshold_to_consider且max_migration.txt已指认为当前叶。再挂一个同号 0019、同父的迁移会产生冲突迁移叶导致 Django 迁移检查失败。Suggestion改名为下一个可用编号、依赖现有0019_reviewreport_author_login_and_more并按需更新max_migration.txt。验证器逐行核对 PR 迁移的dependencies7-8 行、max_migration.txthunk、base checkout 的现有 0019——两个迁移同挂 0018 → 两个叶节点makemigrations --check/migrate必然失败PostHog 使用django-linear-migrations的max_migration.txt约定失败的是构建而不是自动合并——确定性的 CI/合并队列阻塞。具体触发rebase 到已含0019_reviewreport_...的 master与具体后果迁移检查失败均可确认must_fix 成立。8.4 dismissedREADME 里的 em dashconsiderdocumentationfinding 要求把products/stamphog/README.md:14新增文案里的 em dash 去掉。验证器丢弃的理由是判据的教科书式应用技能把纯风格/品味——命名、格式、注释措辞无行为差异Formatting is not a ReviewHog concern.列为明确丢弃项且 README 通篇本来就用 em dash:3、:9、:10、:12、:20只挑一处是不一致的风格噪声没有任何可命名的 trigger→consequence。8.5 dismissed对初始 inbox 评审做正向溯源验证must_fixsecurityfinding 认为products/stamphog/backend/tasks/tasks.py:1107-1245的初始评审任务把team_id/pr_url/signal_report_id/task_run_id/acting_user_id当作可信来源未验证 run 与 PR 的匹配关系任意 PR URL 可制造inbox_review并绕过 bot/draft/写权限门。验证器的论证展示了什么叫信任模型混淆Checked完整调用链handle_task_run_saved→_start_stamphog_review→queue_inbox_pr_reviewreceivers.py、output.pr_url的绑定方式webhooks.py:221-227、webhook carve-out 的检查tasks.py:887-895Found这些 id 直接读自触发保存的那个TaskRun自身是同一 run 的身份调用方无法伪造——重新验证 run 匹配不保护任何东西webhook 腿之所以重查 bot 作者 fork 安全是因为它从不受信的任意 PR 事件出发而 receiver 腿从可信的 run 保存出发finding 把两种信任模型混为一谈Impact要造成危害需要 PostHog 自己的内部实现 agent 被攻破speculative internal-compromise / defense-in-depth 的 what-if不是给定调用点下可达的漏洞——低于保留标准precision over recall。8.6 dismissed先按 team 限定 task-run 查找should_fixbugfinding 认为find_task_runproducts/tasks/backend/facade/api.py:506-507搜全部团队、取第一个仓库/PR 匹配后续run.team_id ! team_id直接返回 None 而不是继续找另一团队的非 internal 信号任务指向同一仓库同一 PR 时本团队的 bot draft 会不被识别已 opt-in 用户收不到复审。验证器丢弃的依据GitHub PR 的html_url对单个物理 PR 全局唯一且只由创建它的那个 run 记录pr_url腿必然解析到正确团队的 run唯一文档化的重复 URL 场景同团队 wizard resume由 terminal-rank 排序消歧。描述中的失败需要两个团队的 run 共享同一全局唯一 URL不发生或pr_url 腿漏掉且两个租户同仓库持有相同分支串self-driving 分支带secrets.token_hex(3)随机后缀——一层层叠加到实践上不可达的条件是推测性 what-if不是可达缺陷。这 6 条 finding 合起来展示了 ReviewHog 的两段式判定评审器此处为 terra负责广度验证器负责把可命名的触发→后果、可达、非纯风格作为保留门槛并可用adjusted_priority升降级。九、如何复现与解读这样一份运行报告按 PLAN.md 的逐运行循环串行、自适应每 run 之间清库为 arm 设置常量如本报告REVIEW_RUNTIME_ADAPTERCODEX、REVIEW_MODELgpt-5.6-terra、REVIEW_REASONING_EFFORTXHIGH确认 temporal-worker 已热加载绝不在运行中途翻转常量date %s记录RUN_START_EPOCH报告 wall-clock 的来源运行本地沙箱用 Modal DockerPR URL 以占位符表示flox activate -- bash -c SANDBOX_PROVIDERMODAL_DOCKER DJANGO_SETTINGS_MODULEposthog.settings \ python manage.py run_review --pr-url GITHUB_PR_URL --team-id 1 --user-id 1转储OUT_DIR指向实验的 runs/ 目录LABELH-gpt56terra-xhigh-1 RUN_SECONDSs RUN_START_EPOCHepoch \ OUT_DIRproducts/review_hog/eval/experiments/2026-07-reviewer-model-glm52/runs \ python manage.py shell -c exec(open(products/review_hog/eval/scripts/dump_result.py).read())模型完整性检查每 run 强制转储的 spend 表必须显示 arm 模型出现在每个issues-review-*/blind-spots-*生成上——$ai_model是唯一可信信号403 或未列出的模型会静默回退到 Opus 而无任何告警PLAN.md 记录的 B1 事故所有单元以403 Model not allowed for product background_agents失败tasks runner 却从鉴权失败的会话返回了验证通过的空 IssuesReview骗过了 ReviewHog 的失败底线。清库DEBUG1 python manage.py reset_review_hog --yes先 dump 后 reset清空全部 review_hog 表技能配置回到默认保证每次运行名册一致。前检清单还包括本地网关必须带上LLM_GATEWAY_POSTHOG_AI_LANE_CAPTUREfalse否则本地 ingestion-ai forwarder 会 401 并静默丢弃全部$ai_generation事件所有成本/ token 数字不可恢复、ngrok 三条隧道django :8010 / gateway :3308 / mcp :8787、网关产品级 allowlist 放行目标模型G1 的第一次失败就源于review_hog产品 allowlist 缺少 5.6 家族8 个单元 30 分钟内以 403 全灭。解读时的三条口径提醒都直接来自本报告与 PLAN.md速度数用 review stage total33m19s 这个口径不用总 wall-clock——总时长里混着验证、清库与长尾重试且只有 fresh non-resumed 运行的工件时间戳才可信成本数优先用 true $$8.88不含未定价的 terra 179 gensgw $$14.34作交叉核对naive 算法$38.97永不入决策review unit 数是成本代理funnel8→6→3是产出代理——FINAL_REPORT 对 arm H 的独立裁决是 2/6 verified real、$8.88 真成本、review stage 33m19s最终结论是 Terra 以 37.5% 精度成为效率前沿而claude-sonnet-5 xhigh保留默认评审器、Sol 占据第二意见槽位。本报告的 3 条 VALID finding其中两条被验证器从 must_fix 降为 should_fix、一条保持 must_fix正是进入该裁决的原始素材。十、小结这份运行报告是 ReviewHog评审器模型对比方法论的缩影用钉住的分块、零评论的净室、固定验证器与逐 run 清库把变量压缩到评审器模型一个旋钮用 review unit 数做成本代理、用缓存感知的 true $ 做成本事实、用 review stage total 做速度口径再用逐条 finding 的验证器裁决保留/丢弃 优先级覆盖把产出落到可人工复核的证据上。读懂 H-gpt56terra-xhigh-1.md 的每个数字如何从 dump_result.py 的 Postgres 工件与 ClickHouse$ai_generation事件推导而来也就掌握了在 products/review_hog/eval/ 下复现和续写这类模型实验的完整方法。【免费下载链接】posthog:hedgehog: PostHog is the leading platform for building self-driving products. Our developer tools – AI observability, analytics, session replay, flags, experiments, error tracking, logs, and more – capture all the context agents need to diagnose problems, uncover opportunities, and ship fixes. Steer it all from Slack, web, desktop, or the MCP.项目地址: https://gitcode.com/GitHub_Trending/po/posthog创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
PostHog ReviewHog 评审器模型实验：gpt-5.6-terra @ xhigh 单轮运行报告的完整解读
PostHog ReviewHog 评审器模型实验gpt-5.6-terra xhigh 单轮运行报告的完整解读【免费下载链接】posthog:hedgehog: PostHog is the leading platform for building self-driving products. Our developer tools – AI observability, analytics, session replay, flags, experiments, error tracking, logs, and more – capture all the context agents need to diagnose problems, uncover opportunities, and ship fixes. Steer it all from Slack, web, desktop, or the MCP.项目地址: https://gitcode.com/GitHub_Trending/po/posthog本文以 PostHog 仓库中 ReviewHog自动 GitHub PR 评审器评审器模型对比实验的第 4 轮 arm H 运行报告 H-gpt56terra-xhigh-1.md 为主体逐段拆解一份运行转储run dump里到底记录了什么配置快照、raw→dedup→validator 漏斗、缓存感知的成本核算true $ 与 gw $、分阶段 wall-clock 计时、分块清单、逐评审单元的 breakdown以及去重后每条 finding 的验证器裁决。读完后你能够独立读懂并复现 ReviewHog 的评审器模型 A/B 实验理解 review unit、turn-1 cache read、review stage total 等关键指标的语义与数据来源。一、报告从哪来ReviewHog 管线与 run dump 机制ReviewHog 是 PostHog 仓库中的一个 Django 应用products/review_hog它的 Temporal 工作流ReviewPRWorkflow把一次 PR 评审拆成固定阶段拉取 PR 快照 → 语义分块chunking→ 逐块视角选择perspective selection→ 三个专业视角并行评审Logic Correctness / Contracts Security / Performance Reliability→ 每块一次盲点扫查blind-spot sweep→ 合并、去重dedup→ 逐块验证validation一个 warm 多轮会话→ 渲染报告并发布到 PR。完整描述见 ARCHITECTURE.md。评审器perspective review所用的模型是可替换的实验变量其余阶段验证器、one-shot 调用、提示词与技能全部固定。本实验系列2026-07-reviewer-model-glm52就是围绕哪个模型最适合做 perspective-review展开的多轮对比每完成一次运行就用 dump_result.py 从 PostgresReviewReportReviewReportArtefact读取 team 1 最新的报告行与工件再从本地 ClickHouse 查询窗口内的$ai_generation事件做成本归集最终写出一个LABEL.md转储文件——也就是本文解读的这份报告实验方案、逐轮执行记录与最终裁决分别在 PLAN.md、各runs/*.md与 FINAL_REPORT.md 中。本报告的运行元信息字段值Dumped2026-07-30T13:16:4900:00Report id019fb301-3383-7655-8707-db3c6a298dec目标 PRPR #75215#72680 的冻结草稿副本diff 逐字节相同Head1341596e721880256a1afb79bbc881364d00e302run_count / status1 / idleWall-clock2784s46.4 分钟由启动时的RUN_START_EPOCH环境量计算二、配置快照runtime / model / effort 与分块门限报告开头的 Config snapshot 只有两行但每一行都直接对应 constants.py 中的常量是复现实验时改了什么旋钮的凭证runtime / model / effortcodex/gpt-5.6-terra/xhigh—— 即REVIEW_RUNTIME_ADAPTER/REVIEW_MODEL/REVIEW_REASONING_EFFORT三个 pin。评审器走 OpenAI Codex 适配器PLAN.md 特别注明 Codex 必须配full-access权限模式否则无头评审会卡在 MCP 工具审批上该 pin 现为REVIEW_INITIAL_PERMISSION_MODE。实验期间通过翻转这三个常量来切换 arm运行结束再恢复基线。值得注意的是当前 master 上REVIEW_MODEL已更新为gpt-5.6-sol第 5 轮之后 Sol 取代 Terra 成为 Codex 阵营冠军见 FINAL_REPORT而本报告的验证器是claude-opus-4-8——当前源码里VALIDATION_MODEL已前进到claude-opus-5。这说明转储记录的是运行时的常量值而不是代码仓库当前值。single-chunk gate / chunk target / soft-max additions 400 / 300 / 600—— 对应SINGLE_CHUNK_GATE_ADDITIONS/CHUNK_TARGET_ADDITIONS/CHUNK_SOFT_MAX_ADDITIONS可评审新增行 ≤400 时跳过分块 LLM 直接按单块评审LLM 分块器以每块 ~300 行新增为目标、600 行为软上限软上限是提示词层面的指导不强制。本次 PR 约 742 行可评审新增PLAN.md落在 400 与 5000CHUNKING_ONESHOT_MAX_ADDITIONSone-shot 分块门限之间本应走 one-shot 分块——但实验中分块被钉住见第七节所以该路径实际未触发。三、漏斗4 个 chunk、9 个 review unit、8 条 raw → 6 条去重后 → 3 条通过验证| chunks | review units | raw issues | after dedup | passed validator | | 4 | 9 | 8 | 6 | 3 |报告中对review units的定义值得记住每一个实际跑过的 (perspective|blind-spot × chunk) 沙箱评审 模型固定变量下的成本代理指标the model-held-constant cost proxy。对比不同模型时比较对象就是同样的单元数下产出多少被独立验证为真的 finding。逐单元 breakdownpass / chunk / perspective / raw issuespasschunkperspectiveraw issues12review-hog-perspective-contracts-security113review-hog-perspective-contracts-security123review-hog-perspective-logic-correctness132review-hog-perspective-performance-reliability133?010001review-hog-blind-spots-general210002review-hog-blind-spots-general110003?010004review-hog-blind-spots-general1如何读这张表pass 序号即视角在PERSPECTIVES注册表中的 1-based 位置ARCHITECTURE.md 的约定。从本表可读出本次运行注册表顺序为pass 1 contracts-securitypass 2 logic-correctnesspass 3 performance-reliability。pass 1000 是盲点扫查的保留通道号BLIND_SPOT_PASS_NUMBER 1000constants.py刻意远高于任何波次枚举保证持久化的 (pass, chunk) 恢复键不会与波次碰撞。?表示该单元产出 0 条 issue转储从第一条 issue 取source_perspective零 issue 时记为?。本次运行只有9 个 review unit5 个视角单元 4 个盲点单元而同 target 的第二次 Terra 运行 H-gpt56terra-xhigh-2.md 有 13 个9 视角 4 盲点。原因是视角选择不被钉住——PLAN.md 明确记录 Selection is not pinned, so unit rosters varied 12-13 across runsone-shot 的视角选择 LLM 为每个 chunk 决定该跑哪几个视角运行间允许漂移。此外 FINAL_REPORT 记录本次运行的 wall-clock 被一个 gen-silent 的重试单元p3-c1拖住它骑满了 30 分钟轮询预算且有 1 个单元最终丢失8/9——低于FAN_OUT_FAILURE_FLOOR 0.70的失败底线因此按设计以 best-effort 降级完成而不是整轮失败。四、缓存感知成本核算true $、gw $ 与 4.4× 的naive陷阱报告中最信息密集的一节是Cache-aware spend本地$ai_generationbest-effortmodelstagegensfresh incache writecache readoutput200K genstrue $gw $claude-opus-4-8validation8187,071493,0096,824,77476,2790$8.84$8.84gpt-5.6-terrareview1035,189,5630030,1810—$4.08gpt-5.6-terrablind-spot351,953,5060012,4810—$1.38claude-sonnet-5other:perspective_selection15,981001,2340$0.02$0.02claude-sonnet-5dedup15,646007650$0.02$0.02gpt-5.6-terraother4100000—$0.00total2627,241,767493,0096,824,774120,9400$8.88$14.34每一列的语义与 dump_result.py 的计价逻辑一一对应stage 的来源沙箱单元的task_title携带[sandbox_prompt:step]标记issues-review-*→ review、blind-spots-*→ blind-spot、validation-*→ validationone-shot 网关调用分块/去重/选择则用ai_stage字段。other表示无法归入上述前缀的生成。fresh in$ai_input_tokens减去 cache read 与 cache write网关报告的 input 是完整 promptfresh cache read cache write。true $ 按列表价回算fresh 1× cache write 1.25× cache read 0.1× outputdump 脚本中的_LIST_PRICES镜像 LiteLLM 成本表。gw $ 网关 LiteLLM 直接算出的$ai_total_cost_usd。两者逐桶交叉核对本次 Δ -0.0%。gpt-5.6-terra无列表价true $显示 —其 179 次生成、gw $5.47 不计入 true $ 合计——这是 OpenAI 新模型在网关侧尚未定价的典型缺口。naive 方法警告把所有 prompt token 一律按 input 价计得 $38.97是真实成本的4.4×报告明确写 never gate on it绝不能用它做门限判断。对缓存密集的运行这个偏差会放大到数倍。41 次零 token 的 other 生成值得单独说明它们没有 input 也没有 output token。这与 PLAN.md 记录的 Codex 现象吻合——G1/H1 中所有 9 个首轮评审单元在 ~90 秒内集体以stopReason:refusal失败、零 token 计费。实验已证明这不是内容安全拒绝而是 codex-app-server 把TurnStatus:failed客户端侧 MCP 连接竞态映射成了 ACP 的 refusal错峰重试即可恢复。这也是第 4 轮落地的 fail-fast 修复要解决的问题让一次伪拒绝只花 ~90 秒而不是 30 分钟轮询超时。报告还给出gateway 分侧交叉核对用于发现 LiteLLM 与列表价回算的偏差input 侧fresh cache write cache read$11.7777 / 262 genstrue $6.9523Δ 69.4%其中 cache read$4.8604 / 197 genstrue $3.4124Δ 42.4%其中 cache write$3.0813 / 81 genstrue $3.0813Δ 0.0%其中 fresh推导值$3.8360 / 262 genstrue $0.4586Δ736.4%output$2.5669 / 262 genstrue $1.9270Δ 33.2%fresh 侧 736% 的偏差揭示了 LiteLLM 的input_cost把整个 input 侧含 cache read按统一价计费而不区分 0.1× 的 cache read——这正是用网关单一成本字段做成本决策会系统性高估的原因也是 dump 脚本坚持做分侧回算的动机。五、Turn-1 cache reads跨沙箱缓存共享的绊线表unitstepfirst gent1 cache readt1 cache writemodels…1112e67aissues-review-p3-c312:31:4200gpt-5.6-terra…d805036aissues-review-p2-c312:31:4300gpt-5.6-terra…其余 7 个 review 单元12:31:44–12:31:5600gpt-5.6-terra…079f41aeissues-review-p2-c312:34:5000gpt-5.6-terra…其余 9 个 review 单元12:34:50–12:35:0500gpt-5.6-terra…588c1e67blind-spots-c213:02:4700gpt-5.6-terra…其余 3 个 blind-spot 单元13:02:49–13:02:5100gpt-5.6-terra…6a250cb6validation-c413:04:5617,14119,423claude-opus-4-8…5c4f7432validation-c313:04:56036,883claude-opus-4-8…5ff42468validation-c213:04:5817,14120,142claude-opus-4-8…fda5d326validation-c113:05:0317,14120,197claude-opus-4-8结论行turn-1 cache_read 0 的单元为 3/24报告要求给出分布而不是中位数。这张表是 dump 脚本内置的cross-sandbox sharing tripwire跨沙箱共享绊线对每个沙箱单元记录其第一次生成的 cache read/write 与触碰过的模型集合模型集合 1 会标出⚠️SWITCHED暴露会话中途换模型——那会同时破坏缓存共享与成本 pin。本次运行里全部 9 个 terra 评审单元 turn-1 读写均为 0——评审波次之间没有发生跨沙箱前缀共享3/4 的验证单元 turn-1 就有 17,141 个 cache read——warm 多轮验证会话的前缀缓存在早期就已生效这正是验证阶段能以 6.8M cache read 主导 input 的原因需要谨慎解读的一点FINAL_REPORT 独立记录了Codex 缓存遥测缺口agent 侧 usage 明明报告了 OpenAI cached reads$ai_generation却对每个 gpt-5.5 gen 记cache_read0。因此 terra 评审单元的全零中有一部分可以推断是遥测口径问题而非缓存真的未命中——这正是该表被设计成报分布的原因。六、分阶段计时33 分 19 秒的 review stage 才是速度对比数stagedurationfetch snapshot0schunking0sperspective selection15sreview wave (perspectives)6m 10sblind-spot sweep27m 08sdedup (incl. combine/clean)9svalidation11m 58sReview stage totalselection → 最后一个 finder 单元wave blind-spot 33m 19s这是评审器模型速度对比的口径数。对照同 arm 的健康运行 H2仅 8m04s本次的长尾来自那个 gen-silent 重试单元骑满 30 分钟轮询预算FINAL_REPORT 明确指出 H1 的 wall-clock 因此被 inflatechunking 为 0s是钉住pin的直接证据——分块结果从pinned_chunks.json注入没有 LLM 调用计时全部由工件的created_at每个阶段/单元完成时持久化推导报告特别注明只对全新的、非恢复non-resumed运行有意义——恢复运行会复用旧工件时间戳会失真dedup 只有 9s因为本次进入去重的候选很少one-shot 路径claude-sonnet-5一次调用见成本表的 dedup 行 1 gen。七、分块4 个 chunk 与钉住机制chunk文件18 个文件products/review_hog/backend/models.py、…/migrations/0019_reviewusersettings_stamphog_review_inbox_prs.py、…/api/settings.py、…/receivers.py、frontend/CodeReviewScene.tsx、frontend/generated/api.schemas.ts、frontend/generated/api.zod.ts、services/mcp/src/api/generated.ts28 个文件products/stamphog/backend/facade/api.py、facade/inbox_hooks.py、tasks/tasks.py、temporal/activities.py、logic/reviewer.py、products/tasks/backend/facade/api.py、facade/contracts.py、tach.toml34 个文件tools/pr-approval-agent/review_pr.py、review_local.py、reviewer.py、version.py42 个文件products/stamphog/AGENTS.md、README.md这份清单与 pinned_chunks.json 完全一致——后者还带有chunk_typefeature / business_logic / documentation与key_changes如 chunk 3 的新增默认关闭的 self_driving 标志仅放宽 bot-author 拒绝与 draft 两个门是 A1 基线运行的自然分块结果被后续所有运行复用保证模型对比只比模型本身。实验用的 pin 机制是临时钩子实验后从代码树移除机制背景见 POTENTIAL_EXPERIMENTS.md。被评审的 PR 内容本身也值得注意它给 ReviewHog 的 Inbox 触发增加 Stamphog审批代理联动——stamphog_review_inbox_prs设置项、TaskRun receiver 的双开关分发、webhook 侧的 self-driving carve-out、以及审批代理的self_driving信任块。后续 findings 全部围绕这个 PR。八、Findings 与验证器裁决3 条 VALID、3 条 dismissed报告尾部列出全部 6 条去重后的 finding每条含优先级、类别、文件:行、problem、suggestion 与验证器的完整论证Checked / Found / Impact / Priority。验证器claude-opus-4-8 xhigh 的 warm 会话通过 MCPskill-get拉取团队自有的 review-hog-validation-criteria 技能作为判据其核心是precision-over-recall纯风格/品味、防御性臆测、never-gonna-happen边界一律丢弃保留必须能说出具体 trigger → consequence。8.1 VALID抑制 bot 熟悉度而非给出矛盾的信任上下文must_fix → should_fixsecurityProblemtools/pr-approval-agent/reviewer.py:506,568。self-driving 评审仍会照常计算并渲染作者熟悉度author familiarity的正向结果一个长期存活的 bot 可能被呈现为 STRONG/MODERATE 熟悉度作者与新加入的熟悉度在此无信号provenance 块直接矛盾削弱了本次放宽 bot draft 审批的信任边界。Suggestionself_driving置位时在review_pr.py与review_local.py两条路径都跳过熟悉度计算/挂载并避免渲染其 review-body 项。验证器确认familiarity_block在reviewer.py:505计算、:567渲染恰在{self_driving_block}之前_attach_familiarityreview_local.py:299对任何携带author_pr_numbers的 T1-agent run 挂载信号且无self_driving检查——两个 TRUSTED 块断言相反。且familiarity.py的_band仅凭 blame overlap 即可给 STRONG正是机器人反复在同一路径开/合并 PR这一功能稳态会积累的信号。Priority验证器下调 must_fix → should_fix 的理由熟悉度是纯判断层信号gates.py 中无引用只填充classification不能确定性强制不安全审批provenance 块提供了文本级 override且需要服务端注入author_pr_numbers加 bot 历史积累——真实值得修修法很便宜按not self_driving门控但不是必须阻塞合并的确定性漏洞。这里展示的正是验证器可以覆盖评审器优先级的机制dump 标题里的 validator→should_fix 来自adjusted_priorityconstants.py 的effective_priorityvalidator-wins读取时解析。8.2 VALID尊重任意已分配评审人的 opt-inmust_fix → should_fixbugProblemproducts/review_hog/backend/receivers.py:114-138,144-154。功能意图是任一被指派评审人开启 Stamphog 开关即运行但_resolve_assigned_reviewer只取单个 canonical/creator 评审人两处调用点都只检查这一个用户的设置。若第一个 assignee 未 opt-in 而后面的 assignee 已 opt-in初始评审不会排队后续 push 也会被跳过。Suggestion把被指派评审人按集合解析选出已 opt-in 的 assignee保留 requester-first 偏好并用该用户作为初始分发与 webhook 解析两处的acting_user_id。验证器确认单 id 解析acting next((u for u in resolved if u.id task_created_by_id), resolved[0]); return acting.id两条腿初始分发 webhook 复审都门控在同一用户上整个 facade 只流动一个acting_user_id。具体后果可命名alice第一关闭、bob 开启 → 两腿都被跳过——是Slack 扇出给多个评审人的正常推广场景。Priority下调理由失败方向是 fail-safe 方向的静默欠触发不会发布不想要的评审只是功能不跑且单 canonical 评审人是既有测试锁定的共享机制修法收敛为 stamphog 路径选一个已 opt-in 的 assignee但不是阻塞性正确性/数据丢失缺陷。8.3 VALID把迁移 rebase 到现有 0019 叶节点must_fixbugProblemproducts/review_hog/backend/migrations/0019_reviewusersettings_stamphog_review_inbox_prs.py:7-8。仓库已有0019_reviewreport_author_login_and_more同样依赖0018_backfill_urgency_threshold_to_consider且max_migration.txt已指认为当前叶。再挂一个同号 0019、同父的迁移会产生冲突迁移叶导致 Django 迁移检查失败。Suggestion改名为下一个可用编号、依赖现有0019_reviewreport_author_login_and_more并按需更新max_migration.txt。验证器逐行核对 PR 迁移的dependencies7-8 行、max_migration.txthunk、base checkout 的现有 0019——两个迁移同挂 0018 → 两个叶节点makemigrations --check/migrate必然失败PostHog 使用django-linear-migrations的max_migration.txt约定失败的是构建而不是自动合并——确定性的 CI/合并队列阻塞。具体触发rebase 到已含0019_reviewreport_...的 master与具体后果迁移检查失败均可确认must_fix 成立。8.4 dismissedREADME 里的 em dashconsiderdocumentationfinding 要求把products/stamphog/README.md:14新增文案里的 em dash 去掉。验证器丢弃的理由是判据的教科书式应用技能把纯风格/品味——命名、格式、注释措辞无行为差异Formatting is not a ReviewHog concern.列为明确丢弃项且 README 通篇本来就用 em dash:3、:9、:10、:12、:20只挑一处是不一致的风格噪声没有任何可命名的 trigger→consequence。8.5 dismissed对初始 inbox 评审做正向溯源验证must_fixsecurityfinding 认为products/stamphog/backend/tasks/tasks.py:1107-1245的初始评审任务把team_id/pr_url/signal_report_id/task_run_id/acting_user_id当作可信来源未验证 run 与 PR 的匹配关系任意 PR URL 可制造inbox_review并绕过 bot/draft/写权限门。验证器的论证展示了什么叫信任模型混淆Checked完整调用链handle_task_run_saved→_start_stamphog_review→queue_inbox_pr_reviewreceivers.py、output.pr_url的绑定方式webhooks.py:221-227、webhook carve-out 的检查tasks.py:887-895Found这些 id 直接读自触发保存的那个TaskRun自身是同一 run 的身份调用方无法伪造——重新验证 run 匹配不保护任何东西webhook 腿之所以重查 bot 作者 fork 安全是因为它从不受信的任意 PR 事件出发而 receiver 腿从可信的 run 保存出发finding 把两种信任模型混为一谈Impact要造成危害需要 PostHog 自己的内部实现 agent 被攻破speculative internal-compromise / defense-in-depth 的 what-if不是给定调用点下可达的漏洞——低于保留标准precision over recall。8.6 dismissed先按 team 限定 task-run 查找should_fixbugfinding 认为find_task_runproducts/tasks/backend/facade/api.py:506-507搜全部团队、取第一个仓库/PR 匹配后续run.team_id ! team_id直接返回 None 而不是继续找另一团队的非 internal 信号任务指向同一仓库同一 PR 时本团队的 bot draft 会不被识别已 opt-in 用户收不到复审。验证器丢弃的依据GitHub PR 的html_url对单个物理 PR 全局唯一且只由创建它的那个 run 记录pr_url腿必然解析到正确团队的 run唯一文档化的重复 URL 场景同团队 wizard resume由 terminal-rank 排序消歧。描述中的失败需要两个团队的 run 共享同一全局唯一 URL不发生或pr_url 腿漏掉且两个租户同仓库持有相同分支串self-driving 分支带secrets.token_hex(3)随机后缀——一层层叠加到实践上不可达的条件是推测性 what-if不是可达缺陷。这 6 条 finding 合起来展示了 ReviewHog 的两段式判定评审器此处为 terra负责广度验证器负责把可命名的触发→后果、可达、非纯风格作为保留门槛并可用adjusted_priority升降级。九、如何复现与解读这样一份运行报告按 PLAN.md 的逐运行循环串行、自适应每 run 之间清库为 arm 设置常量如本报告REVIEW_RUNTIME_ADAPTERCODEX、REVIEW_MODELgpt-5.6-terra、REVIEW_REASONING_EFFORTXHIGH确认 temporal-worker 已热加载绝不在运行中途翻转常量date %s记录RUN_START_EPOCH报告 wall-clock 的来源运行本地沙箱用 Modal DockerPR URL 以占位符表示flox activate -- bash -c SANDBOX_PROVIDERMODAL_DOCKER DJANGO_SETTINGS_MODULEposthog.settings \ python manage.py run_review --pr-url GITHUB_PR_URL --team-id 1 --user-id 1转储OUT_DIR指向实验的 runs/ 目录LABELH-gpt56terra-xhigh-1 RUN_SECONDSs RUN_START_EPOCHepoch \ OUT_DIRproducts/review_hog/eval/experiments/2026-07-reviewer-model-glm52/runs \ python manage.py shell -c exec(open(products/review_hog/eval/scripts/dump_result.py).read())模型完整性检查每 run 强制转储的 spend 表必须显示 arm 模型出现在每个issues-review-*/blind-spots-*生成上——$ai_model是唯一可信信号403 或未列出的模型会静默回退到 Opus 而无任何告警PLAN.md 记录的 B1 事故所有单元以403 Model not allowed for product background_agents失败tasks runner 却从鉴权失败的会话返回了验证通过的空 IssuesReview骗过了 ReviewHog 的失败底线。清库DEBUG1 python manage.py reset_review_hog --yes先 dump 后 reset清空全部 review_hog 表技能配置回到默认保证每次运行名册一致。前检清单还包括本地网关必须带上LLM_GATEWAY_POSTHOG_AI_LANE_CAPTUREfalse否则本地 ingestion-ai forwarder 会 401 并静默丢弃全部$ai_generation事件所有成本/ token 数字不可恢复、ngrok 三条隧道django :8010 / gateway :3308 / mcp :8787、网关产品级 allowlist 放行目标模型G1 的第一次失败就源于review_hog产品 allowlist 缺少 5.6 家族8 个单元 30 分钟内以 403 全灭。解读时的三条口径提醒都直接来自本报告与 PLAN.md速度数用 review stage total33m19s 这个口径不用总 wall-clock——总时长里混着验证、清库与长尾重试且只有 fresh non-resumed 运行的工件时间戳才可信成本数优先用 true $$8.88不含未定价的 terra 179 gensgw $$14.34作交叉核对naive 算法$38.97永不入决策review unit 数是成本代理funnel8→6→3是产出代理——FINAL_REPORT 对 arm H 的独立裁决是 2/6 verified real、$8.88 真成本、review stage 33m19s最终结论是 Terra 以 37.5% 精度成为效率前沿而claude-sonnet-5 xhigh保留默认评审器、Sol 占据第二意见槽位。本报告的 3 条 VALID finding其中两条被验证器从 must_fix 降为 should_fix、一条保持 must_fix正是进入该裁决的原始素材。十、小结这份运行报告是 ReviewHog评审器模型对比方法论的缩影用钉住的分块、零评论的净室、固定验证器与逐 run 清库把变量压缩到评审器模型一个旋钮用 review unit 数做成本代理、用缓存感知的 true $ 做成本事实、用 review stage total 做速度口径再用逐条 finding 的验证器裁决保留/丢弃 优先级覆盖把产出落到可人工复核的证据上。读懂 H-gpt56terra-xhigh-1.md 的每个数字如何从 dump_result.py 的 Postgres 工件与 ClickHouse$ai_generation事件推导而来也就掌握了在 products/review_hog/eval/ 下复现和续写这类模型实验的完整方法。【免费下载链接】posthog:hedgehog: PostHog is the leading platform for building self-driving products. Our developer tools – AI observability, analytics, session replay, flags, experiments, error tracking, logs, and more – capture all the context agents need to diagnose problems, uncover opportunities, and ship fixes. Steer it all from Slack, web, desktop, or the MCP.项目地址: https://gitcode.com/GitHub_Trending/po/posthog创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考