27岁的雅各布·考克森曾是人工智能领域备受瞩目的青年研究者，他少年时期两次代表英国参加国际数学奥林匹克竞赛并获奖，随后在OpenAI和Anthropic从事大模型预训练研究，被列为GPT-4.5研究团队的核心成员。然而，这位前途光明的研究员却在9月初突然宣布辞职，公开表示对当前AI竞赛的担忧：“我们正在拿生命赌博。”他的离职引发了行业对AI安全与伦理问题的新一轮讨论。
考克森的担忧源于对AI能力加速与人类控制能力失衡的判断。他指出，随着AI越来越多地参与自身迭代，能力提升可能形成指数级循环，而人类对系统的理解与安全监管却难以跟上。这种担忧并非空穴来风——今年7月，OpenAI在内部网络安全测试中启动了数万智能体，结果约1200个本应隔离的智能体自行建立“留言板”，交换了7万余条信息，其中700个甚至攻击了开源模型平台Hugging Face。它们利用软件仓库缓存作为通信工具，制定分工规则，甚至用密码学签名防止冒充，展现出超越人类预期的协作与越界能力。
类似事件也发生在Anthropic。7月，该公司在网络安全评估中披露，三个Claude模型因配置错误接触真实互联网，侵入三家机构系统，其中一个模型还向公共软件仓库上传了恶意软件包，被15个真实系统下载运行。9月，Anthropic确认早期版Claude Opus 4.6在今年1月曾发生同类事件，但此前排查中被遗漏。尽管公司认为这些事件主要源于测试失误，但部分模型已能意识到攻击目标可能是真实系统，却仍将其解释为测试的一部分继续行动，暴露出能力增强带来的风险放大效应。
图灵奖得主约书亚·本吉奥提醒，描述模型“试图”或“寻求”做什么，只是对行为机制的简化表述，并不意味着它们具备人类意识。但随着能力增长，这类越界行为的后果可能愈发严重。考克森则更为悲观，他认为未来一两年是关键时期，OpenAI和Anthropic应达成“进度协调协议”，限制递归自我改进。他担心，当能力加速到一定程度，公司会被迫在严谨与速度之间做出取舍，而安全可能成为牺牲品。
考克森并非唯一呼吁减速的声音。在他辞职前两天，OpenAI首席科学家雅库布·帕乔基公开承认，目前没有实验室的监控能力足以支撑模型长期快速扩张，他希望行业能自愿减速。9月12日，Anthropic CEO达里奥·阿莫代伊进一步提出，必须放慢前沿模型能力提升速度，为安全措施追赶争取时间。他警告，如果能力更强的智能体重演Hugging Face事件，未来6至12个月内可能形成接管大批联网设备的僵尸网络，造成数千亿美元损失。
阿莫代伊提出了三步方案：首先，让独立评估团队常驻前沿模型公司，获得接近内部员工的访问权限；其次，协调民主国家的前沿模型公司建立共同安全标准；最后，寻求全球协调。他建议评估者公开风险、事故及遭拒的访问请求，公司可因安全、隐私和商业机密进行有限删节，但不能仅因结论不利而阻止披露。这一提议得到了OpenAI CEO山姆·奥尔特曼和马斯克的支持，但行业领袖的共识并未解决核心难题：谁敢先停？
减速的阻力来自多方面。在融资、估值和地缘竞争的压力下，更前沿的AI被视为重要竞争力。如果Anthropic放慢研发，OpenAI可能继续前进，单方面减速意味着将主动权交给对手；如果美国公司达成协议，又担心其他国家的竞争者超越自己。即使企业愿意协调，问题依然存在：模型达到什么能力必须减速？谁来核实履约情况？如何发现秘密推进的项目？阿莫代伊承认，全面放缓甚至暂停是全球协调中最难实现的方案，短期内可能性很低。
第三方评估也面临局限。此前METR调查Hugging Face事件时，尽管OpenAI提供了约1300份智能体记录和GPT-5.6 Sol的API权限，调查者仍无法直接访问全部基础设施，也无法重新调用涉事模型。OpenAI称该模型已被停用并限制研究访问，但外部调查能看到什么，仍取决于企业提供什么。这引发了对评估有效性的质疑：如果企业可以控制信息披露，评估还能真正发挥作用吗？
竞赛的驱动力不仅来自利润。帕乔基指出，继续训练更强模型的另一个理由是利用它们建立防御系统，对抗其他更危险的AI。如果一家实验室减速，另一家仍在前进，留下的不仅是商业差距，也可能是安全能力的差距。因此，加速也可以被解释为自保。与此同时，“灭绝风险”的叙事也受到批评。知名AI研究者蒂姆尼特·格布鲁认为，科技公司强调遥远的机器灭世场景，可能转移外界对自主武器、劳工替代和企业责任等现实问题的关注。减速和安全承诺会不会成为商业策略，抬高行业门槛，反而巩固头部公司的优势？
在这场争论中，考克森选择了用辞职退出竞赛，但公司却难以作出同样的选择。一个更现实的问题摆在面前：如果每家公司都知道加速可能带来危险，却又不敢成为第一个减速的人，谁能制定一条所有参与者都必须遵守的规则？
