在电商平台上寻找同款不同色的商品，或是根据文字描述调整图片中的天气效果——这种需要同时理解图像和文字的搜索需求，正随着人工智能技术的发展迎来新的突破。由中科院自动化所、阿里巴巴通义实验室等机构联合研发的EDIR评估基准，为这一领域提供了更精准的"测量工具"，让AI模型的组合图像检索能力首次得到全面、客观的评估。
传统评估方法存在明显短板：要么覆盖范围狭窄，仅针对服装或特定场景；要么分类粗糙，无法区分"颜色变化"与"材质替换"等细微差异。更严重的是，部分模型通过"投机取巧"的方式——仅依赖文字描述而忽视图像内容——就能在现有测试中取得不错成绩。这种评估方式如同用模糊的镜片观察世界，既无法准确反映模型的真实能力，也难以发现技术改进的关键方向。
研究团队创新性地采用"逆向生成"策略构建测试样本：先设计详细的编辑指令，再通过图像编辑技术生成对应的目标图片。这种方法确保每个测试案例都经过精确设计，覆盖属性修改、物体操作、关系调整、全局环境变化及复合修改五大类、十五小类场景。从"将红色外套改为蓝色"的颜色调整，到"在客厅添加书架"的空间操作，再到"把白天照片转为夜景"的环境变化，测试案例全面覆盖用户实际需求。
数据生成过程犹如精密的工业流水线。研究人员从4亿张图片中筛选出36.8万张清晰、适合编辑的"种子图片"，再为每张图片设计15-18个编辑指令。这些指令经过AI改写为自然语言查询后，最终形成108.7万个高质量测试样本。通过双重质检机制——确保图像符合指令要求、查询语句与图像变化完全匹配——研究团队构建出包含5000个查询和17.8万张图片的EDIR基准库。
实验结果显示，现有模型在EDIR上的表现远低于预期。基于CLIP架构的传统模型平均准确率仅18.4%，难以识别细微差异；新一代多模态语言模型（MLLM）虽将准确率提升至36.9%，但能力分布极不均衡。例如，某领先模型在"添加物体"任务中达到74%的准确率，却在"删除物体"任务中仅获24%——这种差距如同数学家不会基础运算，暴露出技术发展的严重偏科现象。
进一步分析发现，模型存在四大典型缺陷：难以理解否定指令（如"不要红色"）、组合推理能力不足、对材质纹理等细节不敏感、处理复杂约束时易遗漏条件。这些问题在传统评估中难以被发现，因为现有测试集存在"评估偏食症"——某些类型查询占比过高，而关键能力测试不足；以及"模态偏见"——部分测试中仅用文字描述就能获得更好成绩，参考图片反而成为摆设。
针对性训练实验揭示了问题的深层原因。研究人员利用数据合成技术生成22.5万个训练样本后，模型在颜色、材质等类别的准确率显著提升（最高达59.0%），表明这些问题可通过增加训练数据解决；但在数量判断、空间推理等类别，提升幅度有限（最高仅33%），反映出当前模型架构存在根本局限。这种区分"数据饥饿型"与"架构局限型"问题的能力，为技术改进指明了方向。
EDIR基准的推出，为图像检索领域提供了更公平、更全面的评估标准。其测试案例的平衡设计——每个子类别包含300个样本（复合类别800个）——确保模型在各方面得到充分考验。人工评估显示，该基准的假阳性率仅8.0%，假阴性率7.3%，质量达到行业领先水平。这一工具不仅能帮助研究人员诊断模型缺陷，也为电商、设计、内容创作等领域的实际应用提供了技术参考。
尽管存在数据合成成本较高、复合查询复杂度有限等挑战，EDIR已为技术发展奠定重要基础。它像一面清晰的镜子，照出当前AI模型在组合图像检索中的优势与不足。随着更多研究人员利用这一工具，我们有望看到真正理解复杂视觉查询的智能系统——无论是寻找"蓝色同款汽车"，还是创作"无帽版人物肖像"，AI都将更精准地满足人类需求。
Q&A
Q1：组合图像检索技术有哪些实际应用场景？A：该技术可广泛应用于电商（寻找同款不同色商品）、设计（调整场景风格或元素）、内容创作（修改图片细节）等领域。例如，用户上传红色裙子图片并输入"找蓝色同款"，或提供风景照并要求"转为雪景"，均属于组合图像检索的应用范畴。
Q2：EDIR基准如何确保测试公平性？A：EDIR通过两大机制避免"作弊"：一是采用"先设计指令再生成图片"的方法，确保查询与图像紧密关联；二是实验证明，在EDIR上仅用文字描述的表现明显低于同时使用图文的表现，而传统基准（如CIRCO）存在仅用文字表现更好的反常现象。
Q3：当前AI模型在哪些任务上表现最差？A：实验显示，模型在"删除物体"（准确率24%）、"视角变换"（24.7%）、"数量判断"（24%）等任务上表现最差。即使经过针对性训练，这些类别的提升幅度也显著低于"颜色变化"（提升13%）、"材质修改"（提升21.7%）等任务，反映出当前技术对空间推理、复杂约束等能力的支持不足。
