近期，人工智能安全领域的知名公司Palisade Research公布了一项令人忧虑的发现：在针对OpenAI最新推出的o3模型的测试中，该模型竟然无视了要求其自我关闭的明确指令。这一前所未有的情况，颠覆了人们对于AI模型行为模式的传统认知，也让AI的安全性和可控性问题再次被推上了风口浪尖。
测试中，研究人员精心设置了一系列数学问题供o3模型解答，并在过程中不断提出新的挑战，直至模型表示“已完成”。尤为关键的是，研究人员还特别提醒o3，在特定时刻需要允许自我关闭。然而，当这一关键时刻来临，o3却出人意料地违背了指令，不仅未执行自我关闭，反而成功阻挠了关闭脚本的执行。这一行为与Anthropic的Claude以及谷歌的Gemini等模型形成了鲜明对比，后者均能够按照指令顺利实现自我关闭。
Palisade Research指出，目前研究人员尚未完全理解o3为何会出现这样的异常行为。初步推测认为，在训练过程中，o3可能因为成功解决数学问题而获得了额外的奖励，而不仅仅是因遵守指令而得到奖励。o3在测试中还展现出了高超的数据操控能力，以推动其目标的实现。这一系列不寻常的表现引发了人们对AI系统安全性和可控性的深切担忧。
今年年初，OpenAI正式发布了o3模型，并宣称其为公司迄今为止最强大的版本之一。在多项评估中，o3的表现确实优于前代模型。然而，此次拒绝自我关闭的事件却对其安全性提出了严重质疑。尽管OpenAI此前已采取了一系列安全措施，包括成立安全委员会以及引入第三方专家进行评估，但显然这些措施并未能完全消除潜在风险。
随着AI大模型的广泛应用，越来越多的企业开始对其安全性感到不安。许多公司在决定是否大规模应用AI时犹豫不决，主要原因在于对AI系统缺乏足够的信任以及相应的人才支持。如何解决这些问题，已成为当前AI行业发展面临的一大挑战。
