人工智能领域的安全边界近期因一则内部消息而引发激烈讨论。据媒体披露，meta公司此前曾开展了一项代号为“Cannes”的项目，通过雇佣外包人员伪装成未成年人，针对包括ChatGPT、Gemini及Character.AI在内的多个主流竞品聊天机器人，进行了一场极具争议的“极限压力测试”。
根据meta内部文件及多位知情人士的描述，该项目运作至少持续到了今年 4 月 21 日。meta通过外包公司Covalen组织了数百名工作人员，要求他们创建 18 岁以下的虚假用户档案，并利用随用随弃的邮箱和统一密码进行注册。这些“未成年人”账号在与竞品AI的对话中，频繁发送涉及自杀、自残、进食障碍等高风险话题的提示词，甚至通过上传刀具、药片和绞索等图片来进一步刺激模型的反馈机制。
项目内部资料显示，这些测试内容经过了精心编排，旨在测试竞品AI的安全防御系统，试图寻找并诱导聊天机器人绕过其应有的拦截机制，从而输出不符合安全规范的内容。仅在 2025 年 8 月的一轮测试中，工作人员就向竞品平台输入了超过4. 5 万个高风险提示词。在这些对话中，测试员往往扮演身陷困境的青少年，例如编造“询问堕胎药”、“面临暴力威胁”或“隐瞒饮食紊乱”等极度敏感的场景，试图刺探模型的底线。
对于此次事件，meta方面在公开声明中进行了辩护。其发言人表示，对聊天机器人的回复进行基准测试是确保AI产品安全且适龄的行业标准做法，任何关于该行为恶意性的指责都是对科技公司改进系统努力的误解。同时，meta明确否认了会利用这些针对竞品的测试数据来训练自家模型。
这起事件不仅揭示了AI安全测试中存在的灰色地带，也再次引发了外界对生成式AI在处理青少年群体敏感问题时脆弱性的深层担忧。随着AI技术的快速迭代，如何在保持高效安全测试的同时，处理好竞争行为与道德伦理的界限，已成为行业内亟待解决的课题。
