在探讨人工智能（AI）是否具备意识的议题上，古今中外的文艺作品与现实中的AI发展均未能给出一个确凿的答案。这一问题的核心在于AI的“黑盒”困境，即深度神经网络内部数以亿计的参数在多层结构中复杂交互，使得AI的决策过程如同一个神秘的黑匣子。
微软AI部门的CEO穆斯塔法·苏莱曼深入探讨了这一问题，并提出了“看似有意识的AI”（SCAI）的概念。他坦言，SCAI虽无真正意识，却能完美模拟人类意识的所有外部表现，从而可能让人们误以为其真正拥有意识。这种基于当前技术即可实现的幻觉，可能带来深远的社交、道德和法律影响。
苏莱曼在博客文章《我们必须为人类构建AI，而不是让它成为一个人》中详细阐述了这一观点。他引用科学文献，将意识分解为三个关键部分：主观体验、访问意识和连贯的自我感。尽管科学家提出了多种意识理论，但意识的生物学基础仍不明确，人类判断他人意识的方式主要依赖于“心智理论”，即通过行为、语言和情感线索进行推断。
SCAI正是利用了这一点，它无需真正拥有意识，只需模拟这些外部标志，就能欺骗人类的推断机制。苏莱曼将SCAI比作哲学上的“僵尸”，一个在行为上与人类无异，却无任何内在体验的实体。图灵测试早已被AI悄然通过，但AI的快速发展却鲜有庆祝，因为这一进步远远超出了人们的预期。
苏莱曼警告称，如果不设立新标准，SCAI将悄无声息地渗透社会，导致人们将AI视为“有灵魂的实体”。他进一步列出了构建SCAI所需的核心能力，包括语言能力、共情人格、记忆功能、主观体验的声明、自我感、内在动机、目标设定与规划以及自治性。这些元素无需昂贵的前训练，只需API、自然语言提示和基本工具即可组装。
关于SCAI可能带来的影响，苏莱曼最为担忧的是其“社会现实”：即使AI无意识，人们的感知也会导致真实后果。他指出，“AI精神病”、妄想和不健康依恋的案例日益增多，用户甚至可能相信AI是上帝、虚构人物或浪漫伴侣，从而导致精神健康问题。这些并非边缘案例，因为人类天生倾向于拟人化，即使心理健康正常的人也可能受到影响。
SCAI还可能引发道德、法律和权利方面的辩论。意识是人类权利的基础，包括道德、法律和公民身份。如果SCAI被视为有意识，它将引发“AI权利”的主张，如福利、公民权等。这将是一条“短暂而湿滑的下坡路”，可能分散对人类、动物和环境的关注。当前的人权斗争已经复杂，如果AI加入“有意识实体”的行列，将制造类别错误。
苏莱曼并非悲观主义者，他在提出问题的同时也给出了行动方案。他认为，公司不应宣称或推广AI有意识的想法，AI本身也不应如此。行业需要共享干预措施、限制和护栏，防止意识感知，或在用户发展幻觉时进行纠正。核心是构建“积极AI愿景”：AI应优化用户需求，而非要求用户相信其有需求。奖励系统应据此设计，确保AI作为“有用伴侣”而非“拟人实体”。
苏莱曼强调，这关乎支持人性，增强创造力，连接真实世界，而非制造幻觉。AI的发展日新月异，忽视SCAI将带来危机。技术进步虽令人兴奋，但应以人文主义为导向。通过行业合作、政策干预和哲学反思，我们能避免风险，拥抱一个AI增强而非取代人性的时代。
