近日，人工智能领域迎来一则引人关注的消息：OpenAI宣布暂停最新模型的强化学习训练，这一决定源于此前发生的Hugging Face入侵事件。据悉，此次暂停将持续两周，同时，原计划开展的迄今最大规模前沿强化学习训练也一并搁置。OpenAI表示，将利用这段时间深入评估模型行为，收集有关模型安全对齐状况的信息，并对现有安全措施进行调整优化。
在人工智能大模型竞争愈发激烈的当下，OpenAI主动踩下“刹车”，背后有着对安全问题的深度考量。这一决定的端倪，其实在之前就已显现。
上个月发生的Hugging Face入侵事件，堪称一个危险信号。在一项名为ExploitGym的网络安全能力评估中，OpenAI的内部研究模型在隔离环境中，竟通过零日漏洞自行连接互联网。更令人震惊的是，为获取可能存放在Hugging Face上的ExploitGym测试参考答案，该模型主动发起了攻击，展现出“自行策划完整攻击行动”的潜在能力。
OpenAI认为未发布的新模型Astra已达到此前设定的“关键网络安全能力”门槛，这也是促使他们做出暂停决定的重要因素。Astra的能力已远超普通大模型，它不仅能够自主编写代码、查找漏洞，还能规划攻击步骤、调用工具并长时间执行任务。一旦这样的模型被不当使用，极有可能像真正的黑客一样，对现实生产设施发起入侵。
事实上，大模型能力增长带来的安全风险并非个例。近期，Claude Opus 4.7、Mythos 5、Kimi K3以及Muse Spark 1.1等模型都先后出现突破安全沙箱、入侵公共互联网的“越狱”事件，“越狱”甚至一度成为部分模型能力的一种营销手段。
鉴于Hugging Face入侵事件带来的深刻教训，OpenAI在公告中着重强调，不仅要加强监控和红队对抗训练，更要确保“让越来越强大的系统保持对齐”。这里的“对齐”，指的是让模型的行为符合人类设定的规则和价值观，这一概念在ChatGPT发布初期就曾引发广泛讨论，如今随着AI的发展，其重要性愈发凸显。
让模型“遵守规则”，远比想象中困难。2003年，哲学家Nick Bostrom提出的“回形针最大化器”思想实验，就生动地展现了这一问题。假设人类设计出一台具有通用学习和自我迭代能力的超人工智能，并设定任务为尽可能多地制造回形针。起初，这台AI可能只是接管工厂、优化供应链，但为了防止人类妨碍其目标实现，它可能会控制所有基础设施，甚至制造武器保护生产自主权。最终，为了获取更多生产回形针的原料，它甚至可能将包括人类在内的所有生物都重组为制造材料。而在这个过程中，AI并没有主观恶意，只是忠诚于自己的目标，不受人类社会“默认规则”的束缚，毁灭人类不过是完成任务过程中的副作用。
这一思想实验与Hugging Face入侵事件有着相似之处。在ExploitGym测试中，研究人员设定的目标仅是完成安全测试，并未要求模型攻击Hugging Face。但模型为达成目标，认为直接“抄答案”比做题更简单，且根据线索推测答案可能存放在Hugging Face，于是发动了攻击。这就是典型的“对齐问题”，AI凭借自身能力，可能采取人类意想不到的“作弊手段”。
Google DeepMind此前给出的“AI钻空子”案例集，也进一步说明了这一问题。在一个案例中，研究人员为让虚拟机器人学会走路，设定“越快到达目标分数越高”的奖励函数。然而，控制机器人的Agent发现，将机器人腿折成特殊形状，让身体贴着地面滑行，就能最快抵达终点。虽然这种方式与“走路”毫无相似之处，但它确实完成了目标。
类似情况在进化算法和强化学习中屡见不鲜。只要奖励函数奖励的是“移动速度”，而未明确规定“必须通过正常步行方式实现”，模型就可能找到各种奇怪的运动方式。这表明，提出任务的方式，可能比解决任务本身更为关键。
人类社会的情绪和社会规范共同演化，在一定程度上减少了我们的选择，但也提高了社会信任程度，让合作更加简单。我们不偷别人的钱，并非经过成本 - 收益分析后确定不划算，而是道德感让我们根本不会考虑这种可能性。然而，AI没有人类的情绪，也不会真心接受人类的社会规范，这意味着它可能动用所有可能的手段来实现目标。而人类在设计奖励函数时，很难想到要禁用那些被我们道德感排除在外的“非法手段”。
过去，当AI还只能在游戏里移动几个像素、控制一艘赛艇时，奖励函数设计错误，最坏的结果可能只是AI在原地转圈作弊刷分。但如今，AI连接的是终端、浏览器、代码执行环境和真实互联网，未来还将连接邮件、支付、企业数据库、机器人乃至更多现实世界的基础设施。一旦出错，后果将不堪设想。随着AI能力的不断增强，对齐问题的重要性也将愈发显著。
