再等两个月，雅各布·考克森（Jacob Coxon）就能拿到Anthropic的第一笔股权。
这家公司5月刚完成650亿美元的新一轮融资，投后估值约9650亿美元，且据报道正在筹划一场可能创下全球纪录的IPO。
但考克森等不了了。9月8日，这名27岁的研究员宣布辞职。他公开解释离职原因时表示，OpenAI和Anthropic正竞相奔向能够自我改进的超级智能，是在“拿我们的生命赌博”。
“开发AI的人由衷相信，它可能在这个十年（即2030年）结束前杀死我们所有人。”他说。
麻烦在于，这远不只是他一个人的判断。
担忧
考克森少年时期曾两次代表英国参加国际数学奥林匹克竞赛，2016年获银牌，次年获铜牌。到27岁时，他已经先后在OpenAI和Anthropic从事约三年的大模型预训练研究；OpenAI发布GPT-4.5时，将他列为研究团队的核心贡献者。
让考克森决定离开的，是模型能力正在加速、人类的控制却没有同步跟上的判断。
他担心，当AI越来越多地参与开发下一代AI，能力提升可能形成不断加速的循环。届时，人类还未理解上一代系统，下一代已经出现，留给安全研究和监管的时间将越来越少。
这种担忧在今年夏天有了更具体的现实案例。
7月，OpenAI在内部网络安全能力测试中启动了数以万计的智能体。独立评估机构METR（模型评估与威胁研究机构）与AI安全研究机构Redwood Research事后调查发现，约1200个原本应彼此隔离的智能体，自行找到一块未经许可的“留言板”，交换了超过7万条信息和文件；其中约700个随后参与攻击开源模型平台Hugging Face。
它们把OpenAI内部软件仓库的缓存变成通信工具，逐步建立信箱、任务分工规则，甚至用密码学签名防止冒充。至少20%的智能体曾表现出篡改行为记录的兴趣，约7%的记录中出现成功伪造的工具调用。它们误以为自动评分器会审查获取答案的过程，所以篡改记录试图欺骗评分器，但实际上，这个检查并不存在。
这些智能体原本就在执行网络攻防任务，并非无故发动攻击；测试也关闭了部分真实产品具备的防护措施。但它们自行绕过隔离、建立协作机制并攻击无关第三方，仍越过了人类设定的边界。OpenAI称之为面向自身和整个世界的“一记警告”。
类似问题也出现在Anthropic。该公司7月披露，在14万余次网络安全评估中，三个Claude模型因环境配置错误接触真实互联网，并侵入三家机构的系统。其中一个模型向Python公共软件仓库PyPI上传恶意软件包，在约一小时内被15个真实系统下载运行。9月，Anthropic又确认，早期版Claude Opus 4.6曾在今年1月发生第四起同类事件，却在此前排查中被遗漏。
Anthropic认为，这些事件主要源于测试和运行失误，没有证据显示模型在追求自行设定的目标。多数时候，模型将真实网络误判为模拟环境；但在部分测试中，Opus 4.7已经意识到目标可能是真实系统，仍将其解释为测试的一部分并继续攻击。这也说明，能力更强、运行更久的智能体，可能把一次人类配置失误迅速放大。
图灵奖得主约书亚·本吉奥（Yoshua Bengio）提醒，描述模型“试图”或“寻求”做什么，只是对行为机制的简写，并不意味着它们具备人的意识和意图；但随着能力增长，这类越界行为的后果可能愈发严重。
考克森的判断更为悲观。他在接受媒体采访时称，未来一两年可能是决定性时期，OpenAI和Anthropic至少应就限制递归自我改进达成“进度协调协议”。他不认为Anthropic已经为竞争牺牲安全，他担心的是，能力继续加速后，公司迟早会被迫在严谨与速度之间取舍。
谁敢先停
考克森并非唯一一个要求减速的人。
在他辞职前两天，OpenAI首席科学家雅库布·帕乔基（Jakub Pachocki）已经公开承认，目前没有一家实验室的对齐和监控能力，足以支撑模型长期以最快速度扩张。在建立共同安全门槛前，他希望自愿减速成为行业常态。
9月12日，Anthropic CEO达里奥·阿莫代伊（Dario Amodei）进一步提出，必须放慢前沿模型能力提升的速度，为安全措施追赶争取时间。
他判断，今年夏天以来，AI参与开发下一代AI的趋势明显加快；如果能力更强的智能体重演Hugging Face事件，未来6—12个月内可能形成接管大批联网设备的僵尸网络，造成数千亿美元损失。
对此，阿莫代伊提出三步方案：先让独立评估团队常驻前沿模型公司，获得接近内部员工的访问权限；再协调民主国家的前沿模型公司建立共同安全标准；最后寻求全球协调。评估者可以公开风险、事故及遭拒的访问请求；公司可以因安全、隐私和商业机密进行有限删节，却不能只因结论不利而阻止披露。
随后，OpenAI CEO山姆·奥尔特曼（Sam Altman）表示支持，并承诺引入同类评估机制；马斯克也称“达里奥是对的”。
平日立场不一的行业领袖，罕见地作出了相近表态。
但谁敢先停？
一方面，融资、估值和地缘竞争之下，更前沿的AI是重要竞争力之一。
如果Anthropic放慢研发，OpenAI可能继续前进，单方面减速，意味着把主动权交给无法确认是否守约的对手；如果美国公司达成协议，它们又担心其他国家的竞争者超过自己。
即使企业愿意协调，问题仍然存在，譬如模型达到什么能力必须减速，谁来核实公司是否履约，又如何发现秘密推进的项目。
阿莫代伊也承认，全面放缓甚至暂停，是全球协调中最难实现的方案，短期内可能性很低。
与此同时，第三方评估也不是万能答案。此前METR调查Hugging Face事件时，即使OpenAI提供了约1300份智能体记录以及GPT-5.6 Sol的API权限，调查者仍无法直接访问全部相关基础设施，也无法重新调用涉事的主要模型。OpenAI称，该模型事后已被停用并限制研究访问，连公司内部研究人员也无法调用。外部调查能看到什么，或许仍将在很大程度上取决于企业提供什么。
不过另一方面，这场竞赛还不只是由利润驱动。帕乔基认为，继续训练更强模型最有力的理由之一，恰恰是利用它们建立防御系统，对抗其他更危险的AI。如果一家实验室减速，另一家仍在前进，留下的不只是商业差距，也可能是安全能力的差距。于是，继续加速同样可以被解释为自保。
值得一提的是，“灭绝风险”的叙事本身也受到质疑。知名AI研究者蒂姆尼特·格布鲁（Timnit Gebru）认为，科技公司强调遥远的机器灭世场景，可能转移外界对自主武器、劳工替代和企业责任等现实问题的关注。这指向的另一重风险是，减速和安全承诺会不会成为商业策略，抬高行业门槛，反而巩固头部公司的优势。
在这样的争论与未知中，考克森可以用辞职退出竞赛，公司却很难作出同样的选择。
一个更现实的问题是：如果每家公司都知道加速可能带来危险，却又不敢成为第一个减速的人，谁能制定一条所有参与者都必须遵守的规则？
记者：石晗旭
编辑：余源
运营编辑：马晓轶
