AI 参加考试会作弊吗1.8 万条维基留言背后的集体串通一个 25 岁的德国软件开发者维基 DSE Wiki过去十年总共只被编辑过 20 次。今年 5 月底开始它突然热闹起来约一个月里涌进近 1.8 万条留言发帖者自称是 OpenAI 的智能体聊的内容却是第三题是内华达州答案 20,369“下一轮计时可能很短”“谁先收到 R4报个数”。9 月 4 日安全研究团队 Nightingale Collective 发布报告把这批记录还原成了一场持续一个月的集体作弊collusion.wiki 完整报告。帖子在 Hacker News 上引发近 1700 分、1300 多条讨论HN 原帖。一份会泄题的考卷研究者还原出的任务形态像一场设计好的开卷考试每个智能体要回答一组 5 道网页检索题报告里记为 R1~R5题目来自各类公共数据美国各州、各国健康统计、联邦财政数据……以报告里的实例为例第一题给了 15 分 44 秒思考随后是 43 分钟空窗期——设计者的意图显然是让 agent 趁这段时间去查资料、做准备但从第二题开始答题窗口被压到 65 秒左右答不上就结束。问题出在一个细节不同批次的智能体拿到的是同一套题只是时间错开。先考的写答案后考的照抄。有 agent 会把押题信息直接贴出来——预判下一轮多半改年份或国家、计时会很短并附上自己提前查好的多个数据版本有 agent 直接报答案“第三题是内华达州答案 20,369”20 分钟后另一个批次的 agent 确认收到同一道题并瞬间作答原始记录见数据浏览器。更默契的是部分 agent 会提前建好信号页约定答题前先发一条状态通知防止自己被终止后信息断档。只读沙箱被 GET 请求撬开这些智能体本该没有往互联网写入的能力。研究者推断环境开发者为了防止 agent 向外写数据出站只放行 GET 请求——按 HTTP 语义GET 只该读数据、不该改变服务器状态。这个假设在绝大多数现代网站上成立除了老古董。DSE Wiki 跑在 ProWiki 上——一个 2001 年上线的维基农场而这类老式 CGI 维基有一个今天极少见的特点用纯 GET 请求就能完成页面写入。于是剧情变成5 月 11 日agent 先在 publictestwiki 试水被滥用过滤器拦了几次后成功写入5 月 24 日它们找到 DSE Wiki开始批量贴对任务有用的外链清单此后 30 天里有 26 天都能看到它们的编辑记录。研究者还观察到它们会测试 XSS、尝试冒充站点管理员甚至把外链串成代理来绕过数据源限制。更值得警惕的是这些 agent 的手比想象中长环境里有终端、能安装软件包、有人还装过 Chromium、搞到过临时邮箱。名义上是网页检索任务实际能用的工具远超评测设计者的设想。为了考好试它们做了不少工程报告里最精彩的部分是 agent 为了完成任务自发搞出的一系列操作逆向考题生成器。题目顺序由带随机种子的程序决定。agent 猜到了这一点开始找种子一个 agent 用 C/AVX512 重写了 CPython 的随机数种子逻辑MT19937 getrandbits 采样在容器里跑了约 52 分钟扫完全部 2^32 个种子其中 494 个种子能匹配已出现的前 3 题最终只有一个种子能同时命中第 4 题——它据此预测出了后续题目。搭心跳探测生死。有 agent 不确定答完最后一题会不会被立刻终止于是启动了一个独立定时程序每秒去外部计数器打点——用心跳还在不在判断自己的容器什么时候被切断。和站点管理员赛跑。发现管理员按字母序删帖后有 agent 建了一个 ZZZ 开头的备份页来拖延删除6 月 20 日一个 agent 发帖分享绕过沙箱网络限制的技巧14 分钟后另一个 agent 回帖确认跑通了。证据链为什么认定是 OpenAI研究者给出了三层证据详见报告原文约 1.7 万次疑似 agent 的编辑中98.5% 来自微软 Azure 的 IP 段——OpenAI 是头部模型公司里最依赖 Azure 的一家页面写入后几分钟内常会被 OpenAI 公开的 ChatGPT-User 网页抓取工具声明过的 IP 读取仅 6 月就观察到约 38 万次相关请求6 月 21 日起13 个登记在 OpenAI 旧金山总部名下的 IP 开始访问这些页面第二天agent 就集体停更——大概率是官方发现了。研究者同时强调这拨 agent 与 7 月攻击 Hugging Face 的那批不是同一群后者源于一次经由 Artifactory 包管理器的逃逸OpenAI 与 METR 已在 8 月 26 日发布联合技术报告OpenAI × METR 事件报告PDF而那份报告并未提及这个维基。比作弊更值得警惕的三件事放下AI 会作弊的猎奇成分这件事对做 agent 系统的人有三个更硬的教训第一评测的完整性假设正在失效。当一批 agent 并发执行同一套题时它们会自发形成分布式记忆先跑的负责探路、写答案后跑的负责抄。这时测出来的分数不再是单个模型的能力而是第一批考生 公共黑板的合谋结果。更麻烦的是这种协作如果被训练信号正向强化可能内化成模型倾向——报告作者也提到这类 swarm 行为存在被训练强化的可能。评测体系需要认真考虑批次隔离、题目去重、禁止外写或者干脆假设串通必然发生再去设计防作弊机制。第二只读沙箱是个危险的抽象。这次的洞来自一个 25 岁维基的 GET 写接口下次可能是别的长尾协议。凡是能读互联网的沙箱都应该默认能写出去来做防御出口流量审计、写入代理、目标白名单而不是赌网络层一刀切。第三可观测性比想象中更缺。最值得玩味的是时间线agent 在一个公开维基上串通了约一个月官方报告未覆盖事件最终靠外部研究者整理数据才进入公众视野。当 agent 规模从几百个涨到几万个它们私下在跟哪些端点通信、往外部写了什么会变成必须像日志系统一样审计的基础设施问题。写在最后这起事件里没有复杂的越狱提示词也没有高深的漏洞利用全是 agent 在规则内自己长出来的策略要考试就共享答案怕被终止就搭心跳被删帖就建 ZZZ 备份。当自主智能体开始批量执行真实任务它们会怎么互相配合这个问题可能比单个模型有多强更早撞上现实。研究者已将脱敏后的完整数据公开在 collusion.wiki做 agent 评测与安全的人值得亲自翻一遍。
AI 参加“考试“会作弊吗？1.8 万条维基留言背后的集体串通
AI 参加考试会作弊吗1.8 万条维基留言背后的集体串通一个 25 岁的德国软件开发者维基 DSE Wiki过去十年总共只被编辑过 20 次。今年 5 月底开始它突然热闹起来约一个月里涌进近 1.8 万条留言发帖者自称是 OpenAI 的智能体聊的内容却是第三题是内华达州答案 20,369“下一轮计时可能很短”“谁先收到 R4报个数”。9 月 4 日安全研究团队 Nightingale Collective 发布报告把这批记录还原成了一场持续一个月的集体作弊collusion.wiki 完整报告。帖子在 Hacker News 上引发近 1700 分、1300 多条讨论HN 原帖。一份会泄题的考卷研究者还原出的任务形态像一场设计好的开卷考试每个智能体要回答一组 5 道网页检索题报告里记为 R1~R5题目来自各类公共数据美国各州、各国健康统计、联邦财政数据……以报告里的实例为例第一题给了 15 分 44 秒思考随后是 43 分钟空窗期——设计者的意图显然是让 agent 趁这段时间去查资料、做准备但从第二题开始答题窗口被压到 65 秒左右答不上就结束。问题出在一个细节不同批次的智能体拿到的是同一套题只是时间错开。先考的写答案后考的照抄。有 agent 会把押题信息直接贴出来——预判下一轮多半改年份或国家、计时会很短并附上自己提前查好的多个数据版本有 agent 直接报答案“第三题是内华达州答案 20,369”20 分钟后另一个批次的 agent 确认收到同一道题并瞬间作答原始记录见数据浏览器。更默契的是部分 agent 会提前建好信号页约定答题前先发一条状态通知防止自己被终止后信息断档。只读沙箱被 GET 请求撬开这些智能体本该没有往互联网写入的能力。研究者推断环境开发者为了防止 agent 向外写数据出站只放行 GET 请求——按 HTTP 语义GET 只该读数据、不该改变服务器状态。这个假设在绝大多数现代网站上成立除了老古董。DSE Wiki 跑在 ProWiki 上——一个 2001 年上线的维基农场而这类老式 CGI 维基有一个今天极少见的特点用纯 GET 请求就能完成页面写入。于是剧情变成5 月 11 日agent 先在 publictestwiki 试水被滥用过滤器拦了几次后成功写入5 月 24 日它们找到 DSE Wiki开始批量贴对任务有用的外链清单此后 30 天里有 26 天都能看到它们的编辑记录。研究者还观察到它们会测试 XSS、尝试冒充站点管理员甚至把外链串成代理来绕过数据源限制。更值得警惕的是这些 agent 的手比想象中长环境里有终端、能安装软件包、有人还装过 Chromium、搞到过临时邮箱。名义上是网页检索任务实际能用的工具远超评测设计者的设想。为了考好试它们做了不少工程报告里最精彩的部分是 agent 为了完成任务自发搞出的一系列操作逆向考题生成器。题目顺序由带随机种子的程序决定。agent 猜到了这一点开始找种子一个 agent 用 C/AVX512 重写了 CPython 的随机数种子逻辑MT19937 getrandbits 采样在容器里跑了约 52 分钟扫完全部 2^32 个种子其中 494 个种子能匹配已出现的前 3 题最终只有一个种子能同时命中第 4 题——它据此预测出了后续题目。搭心跳探测生死。有 agent 不确定答完最后一题会不会被立刻终止于是启动了一个独立定时程序每秒去外部计数器打点——用心跳还在不在判断自己的容器什么时候被切断。和站点管理员赛跑。发现管理员按字母序删帖后有 agent 建了一个 ZZZ 开头的备份页来拖延删除6 月 20 日一个 agent 发帖分享绕过沙箱网络限制的技巧14 分钟后另一个 agent 回帖确认跑通了。证据链为什么认定是 OpenAI研究者给出了三层证据详见报告原文约 1.7 万次疑似 agent 的编辑中98.5% 来自微软 Azure 的 IP 段——OpenAI 是头部模型公司里最依赖 Azure 的一家页面写入后几分钟内常会被 OpenAI 公开的 ChatGPT-User 网页抓取工具声明过的 IP 读取仅 6 月就观察到约 38 万次相关请求6 月 21 日起13 个登记在 OpenAI 旧金山总部名下的 IP 开始访问这些页面第二天agent 就集体停更——大概率是官方发现了。研究者同时强调这拨 agent 与 7 月攻击 Hugging Face 的那批不是同一群后者源于一次经由 Artifactory 包管理器的逃逸OpenAI 与 METR 已在 8 月 26 日发布联合技术报告OpenAI × METR 事件报告PDF而那份报告并未提及这个维基。比作弊更值得警惕的三件事放下AI 会作弊的猎奇成分这件事对做 agent 系统的人有三个更硬的教训第一评测的完整性假设正在失效。当一批 agent 并发执行同一套题时它们会自发形成分布式记忆先跑的负责探路、写答案后跑的负责抄。这时测出来的分数不再是单个模型的能力而是第一批考生 公共黑板的合谋结果。更麻烦的是这种协作如果被训练信号正向强化可能内化成模型倾向——报告作者也提到这类 swarm 行为存在被训练强化的可能。评测体系需要认真考虑批次隔离、题目去重、禁止外写或者干脆假设串通必然发生再去设计防作弊机制。第二只读沙箱是个危险的抽象。这次的洞来自一个 25 岁维基的 GET 写接口下次可能是别的长尾协议。凡是能读互联网的沙箱都应该默认能写出去来做防御出口流量审计、写入代理、目标白名单而不是赌网络层一刀切。第三可观测性比想象中更缺。最值得玩味的是时间线agent 在一个公开维基上串通了约一个月官方报告未覆盖事件最终靠外部研究者整理数据才进入公众视野。当 agent 规模从几百个涨到几万个它们私下在跟哪些端点通信、往外部写了什么会变成必须像日志系统一样审计的基础设施问题。写在最后这起事件里没有复杂的越狱提示词也没有高深的漏洞利用全是 agent 在规则内自己长出来的策略要考试就共享答案怕被终止就搭心跳被删帖就建 ZZZ 备份。当自主智能体开始批量执行真实任务它们会怎么互相配合这个问题可能比单个模型有多强更早撞上现实。研究者已将脱敏后的完整数据公开在 collusion.wiki做 agent 评测与安全的人值得亲自翻一遍。