上海交通大学、上海人工智能实验室与香港中文大学联合开展了一项针对文字生成图像（T2I）模型的前沿研究，通过构建“反事实世界基准测试”（CF-World）系统，揭示了当前顶尖模型在应对物理规律变化时的认知局限。该研究以预印本形式发布于arXiv平台（编号2606.24548），为评估AI视觉推理能力提供了全新维度。
研究团队以哲学家罗素的“归纳主义火鸡”隐喻切入：火鸡通过三百天规律进食经验总结出“农夫出现=有食物”的定律，却在感恩节因规则突变遭遇生存危机。当前AI图像生成器恰似这只火鸡——尽管能生成逼真图像，但本质仍是对训练数据中视觉模式的统计归纳，而非真正理解物理世界的因果逻辑。当面对“水在室温下结冰”这类反常识指令时，模型普遍陷入逻辑混乱。
CF-World测试体系包含1091组跨学科场景，覆盖物理学、生物学、化学、地理学和社会学五大领域，每组场景设置三重递进关卡：第一关验证基础生成能力（如绘制室温下的水）；第二关在明确告知修改后的物理规则后要求作画（如水的熔点改为100℃时绘制室温水）；第三关仅修改规则不提供结果提示（如仅告知熔点变化，要求自主推断水的形态）。这种设计有效区分了模型的记忆能力与推理能力。
自动化评分系统CF-eval采用视觉语言模型（VLM）担任考官，从视觉完整性（1-3分）、核心评估点（12-16分）、逻辑一致性（7-9分）三个维度加权评分。为避免低质量基础生成干扰反事实评估，研究设定“门槛机制”：若第一关得分低于0.5分，则后续关卡直接判零。人工校准实验显示，该阈值能准确区分“偶然正确”与“真正理解”，在150张边界图片测试中达到94%的准确率。
参与测试的14个模型包括开源的SANA 1.5、Janus-Pro-7B等，以及闭源的Nano Banana Pro、GPT-Image-1.5等。结果显示，所有模型均呈现“基础关高分-反事实关断崖式下滑”的特征：开源模型第一关平均得分0.81，第二关骤降至0.34，第三关进一步跌至0.19；闭源模型表现稍优，但Nano Banana Pro从第一关的0.93分仍下滑至第三关的0.67分。特别值得注意的是，基础关得分最高的Qwen-Image在反事实抵抗率上反而低于得分较低的FLUX.2-dev，印证了“训练数据越丰富，旧规则束缚越强”的悖论。
研究通过三组机制实验定位问题根源：在因果规则解耦测试中，模型面对抽象符号规则时仍表现低迷，证明其缺乏独立修改物理规律的能力；属性解耦实验显示，模型在组合“穿西装的海豚”等罕见概念时已出现错误，说明视觉共现关系干扰了独立属性表达；去名词化实验则揭示了不同架构的深层差异——扩散模型受词汇触发机制影响显著，而统一多模态模型的问题已延伸至语义表征层面。
为确保评分客观性，研究团队对比了VLM与人工标注的评分一致性。在1000张样本测试中，Gemini模型与专业标注员的评分差异集中在±0.125区间内，证明自动化评估的可靠性。针对不同VLM的评判偏差，研究通过调整提示词策略（如要求Qwen扮演“严苛评判官”）实现了评判标准统一。
这项研究指出，当前AI图像生成本质是“视觉记忆的重组游戏”，而非真正的因果推理。当用户要求绘制“引力变为斥力的太阳系”时，模型仍倾向于生成常规轨道图像，因其训练数据中从未出现反重力场景。研究构建的CF-World测试平台，为开发具备物理逻辑理解能力的新一代模型提供了基准框架，其设计的先验抵抗率（PRR）和推理保留率（RRR）指标，已成为衡量模型反事实推理能力的重要标准。
