东京大学研究团队近期在人工智能领域取得突破性进展，针对日语多模态理解任务开发出全新评估基准JMMMU-Pro，并创新性地提出Vibe基准构建法。这项研究揭示了当前开源AI模型在处理图文混合内容时存在的显著短板，为多语言AI发展提供了重要参考。
传统评估体系将图像与文字分开处理，这种模式与现实场景存在明显脱节。研究团队发现，当用户用手机拍摄包含日语文字和图表的考试卷、产品说明书或网页截图时，现有开源模型在理解这类复合信息时表现堪忧。为解决这个问题，研究团队将原有JMMMU基准中的1320个问题重新设计，将文字与图像融合成完整视觉单元，形成更贴近真实应用的测试环境。
创新性的Vibe基准构建法采用人机协作模式，利用Nano Banana Pro图像生成模型自动创建测试样本。通过预设背景类型、字体样式、图像比例等九类参数，系统可生成模拟手机拍摄、电脑截图、黑板板书等多样化场景。人工质检团队对生成样本进行三轮筛选，确保文字清晰度与内容准确性，最终实现95%样本的自动化生成。
实验结果引发行业震动：14个参与测试的开源模型中，表现最优的Qwen3-VL-8B准确率仅47.27%，九个模型得分低于32%。与之形成鲜明对比的是，GPT-5.2和Gemini3Pro分别取得83.33%和87.04%的高分。这种差距在需要文化理解的题目中尤为突出，例如涉及日本传统艺术或历史典故的问题，开源模型错误率较闭源模型高出41%。
深入分析显示，开源模型存在双重缺陷：基础层面的光学字符识别（OCR）能力不足，导致37%的错误源于文字识别错误；高阶层面的视觉文本整合能力欠缺，即使准确识别文字也难以建立图文逻辑关联。研究特别指出，英语中心模型在日语文本识别时表现混乱，多语言模型在复杂布局处理上力不从心，日语专项模型则缺乏跨学科知识迁移能力。
该研究对产业应用具有重要启示。当前开源模型在处理用户实际需求时存在明显断层，例如解读药品说明书、分析图表数据等场景。商业闭源模型的优势不仅体现在技术层面，更反映出其在数据质量、训练策略和资源投入上的系统性领先。研究团队建议开发者应重点关注OCR精度提升、跨模态对齐算法优化，以及文化特异性知识注入等关键领域。
技术方法论层面，Vibe基准构建法开创了数据集生产新范式。通过参数化控制生成过程，该方法可快速扩展至其他语言体系。研究团队已验证其在阿拉伯语、泰语等文字系统中的适配性，仅需调整字体库和布局参数即可生成符合目标语言习惯的测试样本。这种灵活性为构建全球多语言评估体系奠定基础。
学术价值方面，该研究重新定义了多模态评估维度。除最终答案准确性外，研究团队提出推理路径分析、错误类型分类等评估指标，为模型优化提供更精细的指导。实验发现，链式思维提示在复杂任务中可使模型性能提升19%，这为改进模型推理机制指明方向。
当前研究仍存在局限性。约5%的特殊样本（如化学公式、乐谱）仍需人工制作，选择题形式限制了模型解释能力的评估，跨文化适应性测试尚未全面展开。研究团队建议后续工作应聚焦于生成模型精度提升、评估维度扩展，以及多语言基准的标准化建设。
