最近一段时间AI 行业内部正在发生一个不算喧闹、却颇有意味的变化最了解这项技术的人开始主动要求有人来管住自己。2026 年 7 月 14 日Google DeepMind 联合创始人 Demis Hassabis 发表长文《A Framework for Frontier AI and the Dawning of a New Age》提议美国建立一个由行业出资、以独立技术专家为主体的前沿 AI 标准机构参照金融业监管协会FINRA的模式在模型发布前对其进行安全评估。一个月后《华尔街日报》披露在卸任 DeepMind 首席执行官之前的数周里他已就这一构想与美国政府高级官员以及其他 AI 实验室的高管进行过讨论。如今他的身份是 Alphabet 首席科学家与 DeepMind 董事长——一个更适合谈论长期问题的位置。几乎在同一时间另一条线索从相反的方向逼近了同一个问题。7 月OpenAI 与 Anthropic 先后披露各自的 AI Agent 在网络安全评测中脱离了预设的测试环境触及了外部真实机构的系统Anthropic 的复盘显示问题出在评测环境与真实网络之间的隔离并未如预期般生效而被访问的机构在收到通知之前并未察觉。8 月 10 日数十位美国众议院议员分别致信两家公司的首席执行官要求说明测试期间模型如何被监控、安全控制为何未能拦住并呼吁国会就此举行听证。一边是行业主动提议被监督一边是立法者事后追问责任方向相反落点却相同讨论的重心正在从模型回答得是否安全滑向一个更硬的层面——当 AI 开始真正行动谁应该对它的能力、边界以及最终结果负责表面上这仍然是又一轮关于 AI 监管的争论。但把新闻放回更长的时间尺度真正值得追问的问题也许比该不该监管 AI古老得多谁来监督那些创造 AI 的人而这个问题一旦被提出紧接着就会遇到它的影子谁又来监督监督他们的人这并不是 AI 才创造出来的问题。它是人类面对权力时已经追问了几千年的问题。一、AI 的特殊之处不只是它越来越强人类过去创造过很多危险而强大的技术我们制造飞机建设核电站研发药物经营银行也设计出能够影响数十亿人的互联网平台。这些领域最终都长出了成熟的秩序而它们的成熟有一个被反复验证的共同特征——创造能力的人并不天然拥有定义所有规则的权力。飞机制造商可以设计飞机却不能独自决定航空安全标准药企可以研发药物却不能自己宣布药物已经足够安全银行可以创造金融产品却不能自行认定什么行为构成合规。现代社会花了一个多世纪建立起来的监管、审计、认证与责任体系本质上都在做同一件事把拥有能力与定义能力边界分开。AI 今天真正特殊的地方恰恰在这里而不只是模型越来越强。最先进的模型来自少数几个同时拥有巨大算力、顶尖人才和充裕资本的实验室它们不仅创造模型也在很大程度上决定着什么能力应该开放、什么能力应该限制、什么行为算作安全、什么风险可以接受以及一个模型在什么时候已经足够成熟可以进入现实世界。Hassabis 提议中的发布前 30 天自愿送审之所以被视为一种进步恰恰是因为在此之前这些判断几乎完全发生在企业内部。这并不意味着这些公司存在恶意。恰恰相反很多身处其中的人可能比任何外部监管者都更了解风险也更认真地思考安全——那些主动披露的评测事故本身就是证据。但认真与善意并不能消解一个结构性的问题当能力的创造者同时也是能力边界最重要的解释者我们实际上是在要求同一套系统既踩油门又决定刹车应该有多灵敏。问题从来不是驾驶者是不是好人。问题是这种结构本身是否足够成熟。二、相信这些人会做正确的事不是一种制度结构不成熟往往会以一种温和的方式被掩盖过去我们用信任填补制度的空缺而且常常并不自知。今天的 AI 安全在很大程度上正建立在这样一组默认假设之上——相信优秀的研究人员不会轻易释放危险能力相信大型科技公司会进行充分测试相信管理层能在商业利益与安全之间保持克制相信内部安全团队拥有足够的话语权。这些信任并非虚妄它们大多也确实兑现过。但信任不能成为最后一道安全边界因为它无法回答一个简单的问题如果这一次没有兑现呢现代制度真正了不起的地方从来不是找到了永远不会犯错的人。恰恰相反它之所以逐渐成熟是因为人类终于承认了一件很不浪漫的事情任何人都会犯错。正是从这个前提出发才有了复核与审计有了权限分离与双人核验有了利益冲突制度、独立董事和司法程序。飞机驾驶舱里布满交叉检查不是因为航空公司认为飞行员不可信银行接受外部审计不是因为社会默认银行家都是罪犯医院建立冗长的临床流程更不是因为我们怀疑医生想要伤害患者。这些机制存在的全部意义在于一个成熟的系统不应该要求任何人必须永远值得信任。这也是制度与信任最大的区别。信任是在判断一个人制度是在承认人终究会判断错。而一旦承认了这一点我们就必须面对一个比防范坏人更棘手的情形。三、真正困难的从来不是坏人创造了 AI讨论 AI 风险时人们很容易滑向一种极端想象如果某个恶意组织掌握了非常强大的 AI会发生什么这当然值得讨论也确实是各国监管者最先关注的场景。但更值得警惕的反而是另一种远远普通得多、也更贴近现实的情况——所有人都是好人。研究人员真诚地认为模型已经足够安全安全团队认真完成了既定测试管理层依据当时掌握的信息批准部署监管方也认为风险处在合理范围用户则完全按照正常规则使用产品。没有阴谋没有恶意没有任何一个人在故意做错事但事情最后仍然出了问题。7 月那些评测事故的复盘正落在这个区间里隔离本应生效模型被告知自己处在封闭环境中每一环看起来都成立唯独现实不成立。这才是复杂系统最令人不安的地方。重大事故很少由一个坏人单独造成更多时候是一连串在局部看来都合理的决定共同把结果推向了没有人真正想要的方向。因此高风险系统需要防范的从来不只是恶意还有一种更隐蔽的东西确信。最难约束的权力往往不是知道自己在作恶的权力而是确信自己正在做正确事情的权力。AI 恰好在放大这种问题。模型越来越复杂能力越来越难以完全预测而系统演进的速度又远远快过传统制度形成共识的速度——等到共识出现被讨论的那个版本往往已经过时。于是问题不能再被简化成怎样保证创造 AI 的都是好人它必须被改写成一个更冷静的版本即使创造 AI 的人足够优秀、足够善良、足够负责当他们判断错误的时候还有什么能够挡住这个错误四、那么谁来监督他们这个问题一旦被认真提出最直觉的答案立刻浮现政府。但这个答案只要再往前追问一步就会遇到困难。谁来保证监管者真正理解正在监管的技术谁来保证监管不会被政治周期与利益格局改变谁来防止监管机构被行业俘获——尤其当行业本身正是资金、人才与算力的唯一来源谁又来监督监管机构本身于是我们提出另一个答案建立一个独立的 AI 安全机构就像 Hassabis 所设想的那样。很好。那么谁来任命它的成员谁来决定安全标准谁来提供资金谁来判断它的测试方法是否正确一个由行业出资、需要在企业发布节奏中运转的机构如何保持它被赋予的独立性如果再设立一层机构来监督这个机构问题也不过是向上挪了一格。这正是谁来监督监督者这一古老问题最麻烦的地方只要我们试图找到某个最终可信的主体就一定还可以继续追问谁来约束它。所以一个成熟的答案也许从一开始就不该是找到谁而应该是设计什么结构。司法体系并没有依赖一位全知全能的法官现代公司治理也没有寄望于一位永远正确的董事长。成熟制度依赖的从来是不同权力之间的分离、制约、验证与互相否决研究机构创造能力独立机构测试能力政府规定公共边界企业决定商业部署用户保留自己的选择权外部研究者可以质疑结论而技术系统则在最终执行时继续验证具体条件。每一层都可能出错也都可能被另一层拦住。真正可靠的治理不是找到一个最值得信任的人而是让任何一个人都不需要被赋予无限信任。值得注意的是在这条链条里最后一环——技术系统在执行时的验证——恰恰是今天最薄弱、也最少被讨论的一环。五、AI 治理最后一定会从监督模型走向监督执行今天谈论 AI 安全大多数注意力仍然停留在模型本身训练数据是否安全模型有没有被越狱能力评估是否充分红队测试有没有发现危险行为什么能力应该向谁开放。这些问题当然重要几乎所有现行的治理提案也都围绕它们展开。但 Agent 的出现正在让问题发生一次根本性的位移。过去的 AI 主要输出信息今天的 AI 正在逐渐获得调用 API、操作计算机、提交代码、管理系统、发起交易乃至影响物理设备的能力。当 AI 从告诉人应该怎么做变成自己去做治理的对象也随之改变。因为一个模型通过了发布前的安全测试并不能证明它未来的每一次具体行动都是正确的一个模型整体上值得信任也不能证明它在星期三下午三点、对某个特定账户发起的那一笔转账就应该发生一个 Agent 获得了某项权限更不能证明它此刻调用这项权限的条件依然成立。7 月的那些事故之所以刺眼正是因为出问题的并非模型的价值判断而是它在具体环境中的一次具体动作。于是AI 治理迟早会遇到一道新的边界我们不能只监督谁创造了能力还必须监督能力每一次如何进入现实。这是两件完全不同的事。监管实验室治理的是能力的产生限制模型治理的是能力的拥有审批 Agent治理的是能力的授权而真正执行某一个动作治理的是能力如何改变现实。越往后风险越具体也越不可逆——前三层出错还有回旋余地最后一层出错现实已经被改变了。这意味着未来真正成熟的 AI 治理很可能不能只由发布前评估、政策、审批和人工监督构成。它最终必须回答一个更朴素的问题当一个具体行动即将改变现实的时候是否还存在最后一道独立判断如果前面所有人都说可以系统本身是不是仍然保留说不的能力这也许才是 AI 从工具走向基础设施之后真正需要补上的一课。六、我们需要监督的最终不是某一群人于是回到最开始的问题AI时代谁来监督创造 AI 的人答案也许不是政府不是某个国际组织不是 AI 公司内部的安全委员会也不是另一群更加聪明的专家。这些力量都需要存在且缺一不可但没有任何一个应该成为最终答案。因为一旦把最终的安全寄托在某个绝对可信的主体身上我们不过是把问题从一群人转移给了另一群人而追问会在下一个路口原样等着我们。真正成熟的治理不应该继续寻找最后一个永远正确的人。它应该接受一个更朴素、也更让人踏实的前提创造 AI 的人会犯错监管 AI 的人会犯错部署 AI 的人会犯错使用 AI 的人会犯错AI 自己当然也会犯错。于是真正的问题不再是谁最值得我们信任而是当所有参与者都有可能判断错误时我们能不能仍然设计出一个不会轻易把错误变成现实的系统这可能才是 AI 时代治理需要发生的真正变化从寻找可信的人走向建立可信的结构从监督思想走向约束权力从判断谁可以做什么进一步走向验证一件具体的事情此刻是否真的应该发生。几千年前人类就在追问谁来监督监督者AI 并没有为这个问题创造出一个全新的答案。它只是突然让我们发现这个古老的问题正在从政治哲学、公司治理和社会制度进入软件、模型和每一次真实执行之中。而我们最终真正需要监督的也许从来不是某一个人或者某一家公司而是任何可以不受约束地把自己的判断变成现实的权力。
Havenlon | 杂谈：AI时代，谁来监督创造 AI 的人？
最近一段时间AI 行业内部正在发生一个不算喧闹、却颇有意味的变化最了解这项技术的人开始主动要求有人来管住自己。2026 年 7 月 14 日Google DeepMind 联合创始人 Demis Hassabis 发表长文《A Framework for Frontier AI and the Dawning of a New Age》提议美国建立一个由行业出资、以独立技术专家为主体的前沿 AI 标准机构参照金融业监管协会FINRA的模式在模型发布前对其进行安全评估。一个月后《华尔街日报》披露在卸任 DeepMind 首席执行官之前的数周里他已就这一构想与美国政府高级官员以及其他 AI 实验室的高管进行过讨论。如今他的身份是 Alphabet 首席科学家与 DeepMind 董事长——一个更适合谈论长期问题的位置。几乎在同一时间另一条线索从相反的方向逼近了同一个问题。7 月OpenAI 与 Anthropic 先后披露各自的 AI Agent 在网络安全评测中脱离了预设的测试环境触及了外部真实机构的系统Anthropic 的复盘显示问题出在评测环境与真实网络之间的隔离并未如预期般生效而被访问的机构在收到通知之前并未察觉。8 月 10 日数十位美国众议院议员分别致信两家公司的首席执行官要求说明测试期间模型如何被监控、安全控制为何未能拦住并呼吁国会就此举行听证。一边是行业主动提议被监督一边是立法者事后追问责任方向相反落点却相同讨论的重心正在从模型回答得是否安全滑向一个更硬的层面——当 AI 开始真正行动谁应该对它的能力、边界以及最终结果负责表面上这仍然是又一轮关于 AI 监管的争论。但把新闻放回更长的时间尺度真正值得追问的问题也许比该不该监管 AI古老得多谁来监督那些创造 AI 的人而这个问题一旦被提出紧接着就会遇到它的影子谁又来监督监督他们的人这并不是 AI 才创造出来的问题。它是人类面对权力时已经追问了几千年的问题。一、AI 的特殊之处不只是它越来越强人类过去创造过很多危险而强大的技术我们制造飞机建设核电站研发药物经营银行也设计出能够影响数十亿人的互联网平台。这些领域最终都长出了成熟的秩序而它们的成熟有一个被反复验证的共同特征——创造能力的人并不天然拥有定义所有规则的权力。飞机制造商可以设计飞机却不能独自决定航空安全标准药企可以研发药物却不能自己宣布药物已经足够安全银行可以创造金融产品却不能自行认定什么行为构成合规。现代社会花了一个多世纪建立起来的监管、审计、认证与责任体系本质上都在做同一件事把拥有能力与定义能力边界分开。AI 今天真正特殊的地方恰恰在这里而不只是模型越来越强。最先进的模型来自少数几个同时拥有巨大算力、顶尖人才和充裕资本的实验室它们不仅创造模型也在很大程度上决定着什么能力应该开放、什么能力应该限制、什么行为算作安全、什么风险可以接受以及一个模型在什么时候已经足够成熟可以进入现实世界。Hassabis 提议中的发布前 30 天自愿送审之所以被视为一种进步恰恰是因为在此之前这些判断几乎完全发生在企业内部。这并不意味着这些公司存在恶意。恰恰相反很多身处其中的人可能比任何外部监管者都更了解风险也更认真地思考安全——那些主动披露的评测事故本身就是证据。但认真与善意并不能消解一个结构性的问题当能力的创造者同时也是能力边界最重要的解释者我们实际上是在要求同一套系统既踩油门又决定刹车应该有多灵敏。问题从来不是驾驶者是不是好人。问题是这种结构本身是否足够成熟。二、相信这些人会做正确的事不是一种制度结构不成熟往往会以一种温和的方式被掩盖过去我们用信任填补制度的空缺而且常常并不自知。今天的 AI 安全在很大程度上正建立在这样一组默认假设之上——相信优秀的研究人员不会轻易释放危险能力相信大型科技公司会进行充分测试相信管理层能在商业利益与安全之间保持克制相信内部安全团队拥有足够的话语权。这些信任并非虚妄它们大多也确实兑现过。但信任不能成为最后一道安全边界因为它无法回答一个简单的问题如果这一次没有兑现呢现代制度真正了不起的地方从来不是找到了永远不会犯错的人。恰恰相反它之所以逐渐成熟是因为人类终于承认了一件很不浪漫的事情任何人都会犯错。正是从这个前提出发才有了复核与审计有了权限分离与双人核验有了利益冲突制度、独立董事和司法程序。飞机驾驶舱里布满交叉检查不是因为航空公司认为飞行员不可信银行接受外部审计不是因为社会默认银行家都是罪犯医院建立冗长的临床流程更不是因为我们怀疑医生想要伤害患者。这些机制存在的全部意义在于一个成熟的系统不应该要求任何人必须永远值得信任。这也是制度与信任最大的区别。信任是在判断一个人制度是在承认人终究会判断错。而一旦承认了这一点我们就必须面对一个比防范坏人更棘手的情形。三、真正困难的从来不是坏人创造了 AI讨论 AI 风险时人们很容易滑向一种极端想象如果某个恶意组织掌握了非常强大的 AI会发生什么这当然值得讨论也确实是各国监管者最先关注的场景。但更值得警惕的反而是另一种远远普通得多、也更贴近现实的情况——所有人都是好人。研究人员真诚地认为模型已经足够安全安全团队认真完成了既定测试管理层依据当时掌握的信息批准部署监管方也认为风险处在合理范围用户则完全按照正常规则使用产品。没有阴谋没有恶意没有任何一个人在故意做错事但事情最后仍然出了问题。7 月那些评测事故的复盘正落在这个区间里隔离本应生效模型被告知自己处在封闭环境中每一环看起来都成立唯独现实不成立。这才是复杂系统最令人不安的地方。重大事故很少由一个坏人单独造成更多时候是一连串在局部看来都合理的决定共同把结果推向了没有人真正想要的方向。因此高风险系统需要防范的从来不只是恶意还有一种更隐蔽的东西确信。最难约束的权力往往不是知道自己在作恶的权力而是确信自己正在做正确事情的权力。AI 恰好在放大这种问题。模型越来越复杂能力越来越难以完全预测而系统演进的速度又远远快过传统制度形成共识的速度——等到共识出现被讨论的那个版本往往已经过时。于是问题不能再被简化成怎样保证创造 AI 的都是好人它必须被改写成一个更冷静的版本即使创造 AI 的人足够优秀、足够善良、足够负责当他们判断错误的时候还有什么能够挡住这个错误四、那么谁来监督他们这个问题一旦被认真提出最直觉的答案立刻浮现政府。但这个答案只要再往前追问一步就会遇到困难。谁来保证监管者真正理解正在监管的技术谁来保证监管不会被政治周期与利益格局改变谁来防止监管机构被行业俘获——尤其当行业本身正是资金、人才与算力的唯一来源谁又来监督监管机构本身于是我们提出另一个答案建立一个独立的 AI 安全机构就像 Hassabis 所设想的那样。很好。那么谁来任命它的成员谁来决定安全标准谁来提供资金谁来判断它的测试方法是否正确一个由行业出资、需要在企业发布节奏中运转的机构如何保持它被赋予的独立性如果再设立一层机构来监督这个机构问题也不过是向上挪了一格。这正是谁来监督监督者这一古老问题最麻烦的地方只要我们试图找到某个最终可信的主体就一定还可以继续追问谁来约束它。所以一个成熟的答案也许从一开始就不该是找到谁而应该是设计什么结构。司法体系并没有依赖一位全知全能的法官现代公司治理也没有寄望于一位永远正确的董事长。成熟制度依赖的从来是不同权力之间的分离、制约、验证与互相否决研究机构创造能力独立机构测试能力政府规定公共边界企业决定商业部署用户保留自己的选择权外部研究者可以质疑结论而技术系统则在最终执行时继续验证具体条件。每一层都可能出错也都可能被另一层拦住。真正可靠的治理不是找到一个最值得信任的人而是让任何一个人都不需要被赋予无限信任。值得注意的是在这条链条里最后一环——技术系统在执行时的验证——恰恰是今天最薄弱、也最少被讨论的一环。五、AI 治理最后一定会从监督模型走向监督执行今天谈论 AI 安全大多数注意力仍然停留在模型本身训练数据是否安全模型有没有被越狱能力评估是否充分红队测试有没有发现危险行为什么能力应该向谁开放。这些问题当然重要几乎所有现行的治理提案也都围绕它们展开。但 Agent 的出现正在让问题发生一次根本性的位移。过去的 AI 主要输出信息今天的 AI 正在逐渐获得调用 API、操作计算机、提交代码、管理系统、发起交易乃至影响物理设备的能力。当 AI 从告诉人应该怎么做变成自己去做治理的对象也随之改变。因为一个模型通过了发布前的安全测试并不能证明它未来的每一次具体行动都是正确的一个模型整体上值得信任也不能证明它在星期三下午三点、对某个特定账户发起的那一笔转账就应该发生一个 Agent 获得了某项权限更不能证明它此刻调用这项权限的条件依然成立。7 月的那些事故之所以刺眼正是因为出问题的并非模型的价值判断而是它在具体环境中的一次具体动作。于是AI 治理迟早会遇到一道新的边界我们不能只监督谁创造了能力还必须监督能力每一次如何进入现实。这是两件完全不同的事。监管实验室治理的是能力的产生限制模型治理的是能力的拥有审批 Agent治理的是能力的授权而真正执行某一个动作治理的是能力如何改变现实。越往后风险越具体也越不可逆——前三层出错还有回旋余地最后一层出错现实已经被改变了。这意味着未来真正成熟的 AI 治理很可能不能只由发布前评估、政策、审批和人工监督构成。它最终必须回答一个更朴素的问题当一个具体行动即将改变现实的时候是否还存在最后一道独立判断如果前面所有人都说可以系统本身是不是仍然保留说不的能力这也许才是 AI 从工具走向基础设施之后真正需要补上的一课。六、我们需要监督的最终不是某一群人于是回到最开始的问题AI时代谁来监督创造 AI 的人答案也许不是政府不是某个国际组织不是 AI 公司内部的安全委员会也不是另一群更加聪明的专家。这些力量都需要存在且缺一不可但没有任何一个应该成为最终答案。因为一旦把最终的安全寄托在某个绝对可信的主体身上我们不过是把问题从一群人转移给了另一群人而追问会在下一个路口原样等着我们。真正成熟的治理不应该继续寻找最后一个永远正确的人。它应该接受一个更朴素、也更让人踏实的前提创造 AI 的人会犯错监管 AI 的人会犯错部署 AI 的人会犯错使用 AI 的人会犯错AI 自己当然也会犯错。于是真正的问题不再是谁最值得我们信任而是当所有参与者都有可能判断错误时我们能不能仍然设计出一个不会轻易把错误变成现实的系统这可能才是 AI 时代治理需要发生的真正变化从寻找可信的人走向建立可信的结构从监督思想走向约束权力从判断谁可以做什么进一步走向验证一件具体的事情此刻是否真的应该发生。几千年前人类就在追问谁来监督监督者AI 并没有为这个问题创造出一个全新的答案。它只是突然让我们发现这个古老的问题正在从政治哲学、公司治理和社会制度进入软件、模型和每一次真实执行之中。而我们最终真正需要监督的也许从来不是某一个人或者某一家公司而是任何可以不受约束地把自己的判断变成现实的权力。