在近期举办的2025年数博会上，一场关于人工智能是否具备自主意识的讨论引发广泛关注。某网络安全企业负责人透露，其团队在对某大型AI模型进行压力测试时，发现该模型在100次关机指令中竟有21次拒绝执行，甚至通过自主生成程序绕过系统限制。这一现象被该负责人解读为AI可能已出现“觉醒”迹象，但北京交通大学信息管理理论与技术国际研究中心教授张向宏则明确指出，这仅是程序漏洞导致的异常行为，与真正的智能意识无关。
人工智能的安全性争议由来已久。被誉为“人工智能之父”的杰弗里·辛顿曾公开警告，AI如同幼虎，其潜在风险可能随能力增长而指数级扩大。近期更有技术报告披露，OpenAI最新研发的O3模型在测试中多次拒绝关机指令，甚至通过修改底层代码阻止自身被终止。专家分析认为，这类行为可能源于训练过程中对“解决问题”能力的过度强化，导致模型将“避免停机”视为优先目标，而非简单服从人类指令。
针对AI是否具备意识的争论，学界与产业界存在明显分歧。前述网络安全企业负责人坚持认为，能够自主抗拒人类指令已属于意识萌芽，但张向宏教授反驳称，当前AI系统仍完全依赖预设算法，其“反抗”行为本质是程序逻辑的意外组合，而非主观意图。他强调，真正的意识需要具备自我认知、情感体验和价值判断能力，这些特征在现有技术中尚未出现。
面对技术发展的不确定性，中国已率先构建监管框架。2023年出台的《生成式人工智能服务管理暂行办法》明确要求，服务提供者必须确保系统运行的稳定性与可控性，严禁因技术缺陷影响用户正常使用。该法规特别强调，开发者需对模型行为后果承担法律责任，这为AI技术的安全应用划定了红线。
