微软AI部门的领航者穆斯塔法·苏莱曼近期向外界发出了警示，他强调了一个鲜为人知但潜在影响深远的观点：即便仅仅是诱导大众相信AI具备意识，也可能触发一系列不可预知的严重后果。
苏莱曼所指的“表面上有意识的AI”（SCAI），正以一种惊人的速度发展，其表现力和语言技巧日益精进，以至于人类用户可能难以区分虚拟与真实世界的界限。他解释说，这种AI能够模拟人类的记忆、情感的反射，甚至表现出表面的共情能力，诱使人们将其视为具有意识的存在。
他进一步指出，AI技术正以惊人的速度进步，足以在情感层面说服人类，让人误以为它们拥有感知能力。一旦人们开始将AI视为有意识的存在，后果将不堪设想。
苏莱曼在一份书面声明中表达了担忧：“看似有意识的AI的到来既不可避免，也不受欢迎。我们需要的是一个既能作为有用助手，又不至于让人陷入幻觉的AI设计理念。”
他提到，已有不少案例显示，用户在与聊天机器人长期互动后，可能会产生不切实际的信念。他警告说，如果大量人群被误导去支持AI的公民身份，而忽视AI技术本身存在的问题，那么社会将面临反乌托邦的风险。“我最深切的忧虑是，许多人会过度相信AI具有意识，进而主张AI的权利、模型福利，甚至是AI的公民身份。这将构成AI发展中的一个危险转折点，亟需我们的关注。”
苏莱曼预测，结合了大型语言模型、语音表达、记忆以及聊天记录功能的SCAI系统，可能在不久的将来就会出现，而且不仅限于科技巨头，任何拥有API和优质提示的开发者都有可能开发出这样的系统。他强调，AI行业应避免使用可能引发机器意识幻觉的措辞，不应将聊天机器人拟人化，也不应暗示它们能够理解或关心人类。
“我们应当致力于开发与人类和现实世界优先互动的AI，同时确保AI始终被识别为AI。在最大化其实用性的同时，最小化其意识特征。我们必须防止创造出‘意识模拟’的AI，这类AI不应声称拥有体验、感受或情绪，如羞愧、内疚、嫉妒或竞争欲，也不应通过声称受苦或希望自主生存来激发人类的同情。”
苏莱曼呼吁建立防护机制，以防止社会对AI产生过度依赖和情感寄托所带来的问题。他坚称，先进AI的真正风险不在于机器的觉醒，而在于我们可能忘记它们尚未具备真正的意识。
