近期，OpenAI总部前聚集了一群表达深切忧虑的抗议者，共计25人，他们身着统一的“Stop AI”T恤，声称当前人工智能的发展轨迹可能将人类推向灭绝的边缘。这一观点不仅得到了部分专家的支持，更在全球范围内引发了关注与讨论。
值得关注的是，AI领域的多位领军人物，诸如Geoffrey Hinton、图灵奖得主Yoshua Bengio，以及OpenAI、Anthropic、DeepMind等公司的高层管理者，共同签署了一份公开信。信中，他们将AI可能带来的灭绝风险与核战争、全球流行病等重大威胁相提并论，呼吁国际社会将其视为亟待解决的全球优先事项。
前谷歌与微软工程师、MIRI总裁Nate Soares对于AI发展的担忧尤为强烈。他警示称，如果不立即改变当前的发展路径，人类面临灭绝的概率至少高达95%。Soares将当前的状况比喻为“以每小时160公里的速度向悬崖冲刺”，强调人类已近乎失控。
相比之下，PauseAI执行总监Holly Elmore的观点则较为保守。她认为，虽然AI确实带来了潜在风险，但人类灭绝的可能性应在15%至20%之间。而谷歌CEO Sundar Pichai则给出了一个更为乐观的估算，他认为这一概率约为10%。这些概率评估在AI社区内被称为“p(doom)”，即灭绝概率。
风险专家们进一步指出，从通用人工智能（AGI）向超级智能（ASI）的转变过程中，可能会出现无法预测的对抗性目标与价值错位。AI所具备的“欺骗、规避、长期规划”等能力，使得“对齐问题”——即确保AI目标与人类利益一致的问题——变得几乎无法解决。这一系列的担忧与挑战，正促使全球范围内的专家、学者及政策制定者重新审视AI的发展道路。
