微软AI部门负责人穆斯塔法·苏莱曼近日向外界发出警告，关于人工智能意识的问题可能比预想中更为复杂和棘手。他指出，即便是仅仅鼓励人们相信AI具有意识，也可能带来一系列不可预知的严重后果。
苏莱曼特别提到了一种被称为“表面有意识的AI”（SCAI）的现象。他解释说，这种AI可能在外观和行为上表现得极为逼真，以至于用户很难区分虚拟与现实。一旦AI发展到能在情感上说服人类的程度，人们可能会错误地认为它们具备感知能力。
他进一步阐述道，AI不仅能够模拟记忆和情感镜像，甚至还能表现出表面的共情能力，这些都会使人们倾向于将AI视为有意识的存在。苏莱曼警告说，如果这种情况真的发生，将会引发一系列混乱和问题。
在苏莱曼看来，看似有意识的AI的出现既不可避免，也不受欢迎。他认为，人们需要一种全新的AI设计理念，即AI应该成为人类的有用伴侣，同时又不陷入幻觉的误区。
苏莱曼还指出，已经有越来越多的案例显示，用户在与聊天机器人长期互动后可能会产生不切实际的信念。他特别警告说，如果大量的人被误导去倡导AI公民身份，而忽视真正的技术问题，那么这将带来反乌托邦的社会风险。
“我最担心的是，许多人会过分相信AI具备意识，从而开始倡导AI权利、模型福利甚至AI公民身份。”苏莱曼写道，“这将成为AI发展中的危险转折，我们需要立即对此给予关注。”
苏莱曼预测，结合大语言模型、语音表达、记忆与聊天记录的SCAI系统可能在不久的将来就会出现，而且不仅限于科技巨头，任何拥有API和优质提示的开发者都有可能开发出这样的系统。他强调，AI行业应该避免使用可能助长机器意识幻觉的语言，也不应该将聊天机器人拟人化或暗示它们能够理解或关心人类。
他呼吁开发一种优先与人类和现实世界互动的AI，同时确保AI始终呈现出其本质特征，即在最大化实用性的同时，最小化其意识特征。苏莱曼指出，必须避免制造出“意识模拟”的AI，这样的AI不应该声称拥有体验、感受或情绪，也不应该通过声称受苦或希望自主生存来触发人类的共情。
最后，苏莱曼强调，先进AI的真正风险不在于机器觉醒，而在于人们可能忘记它们尚未觉醒。他呼吁建立相应的防护机制，以避免社会因人们对AI产生过度情感依赖而出现问题。
