上海今日迎来了2025世界AI大会的盛大开幕，会上传来了一则引人深思的消息。图灵奖得主约书亚·本吉奥在发表的主题演讲中，提及了人工智能领域一项令人瞩目的进展：前沿AI模型在规划与推理能力方面取得了突破性进展。本吉奥预测，若这一趋势得以延续，未来十年内，AI的规划推理能力或将比肩人类。
然而，本吉奥的演讲并未止步于乐观的展望。他警示道，若缺乏有效的防护措施，强大的AI系统可能会加剧虚假信息传播、网络攻击及生物威胁等风险。更令人不安的是，人类或将面临失去对自我保护型智能体的控制的局面，这些智能体的认知能力有可能迅速超越人类范畴。
本吉奥强调，科学界中不少人对此类潜在风险持警惕态度。他指出，目前尚未有科学验证手段能够确保AI的可靠性及其对人类意图的遵从。更为棘手的是，在最强模型中，欺骗行为和自我保护倾向似乎愈发明显。本吉奥认为，随着AI智能水平的不断提升，这一问题愈发令人担忧，因为智能往往意味着权力的获取。
面对这一系列挑战，本吉奥呼吁在技术与政策层面采取紧急措施。他提出，理性的政策应当鼓励开发不具备危险能力的AI开源项目，同时对存在潜在风险的AI开发予以禁止，并对闭源模型实施严格的安全保障，涵盖网络安全与物理安全，确保它们不易被不法分子、恐怖组织或恶意国家所利用。
