斯坦福大学联合图宾根AI中心、马克斯·普朗克信息研究所、谷歌、ETH苏黎世、华盛顿大学等数十家顶尖机构，共同完成了一项针对视觉语言模型（VLM）训练数据优化的系统性研究。该研究以arXiv预印本形式发布，编号为arXiv:2606.28551，为如何高效构建既能看图又能回答问题的AI模型提供了全新视角。研究团队通过整合160个公开数据集、构建包含6万亿多模态词元的超级数据池，并设计了一套可扩展的实验框架，揭示了数据筛选与配比对模型性能的关键影响。
相较于数据筛选，研究证实“数据配比”才是影响模型性能的核心因素。团队将数据分为四大类：图文配对数据（如网络图片与说明文字）、多模态交织文档（如网页或学术论文中的图文混合内容）、纯文字数据（防止模型语言能力退化）以及多模态指令微调数据（人工编写的“问答对”）。通过调整图文配对与指令微调数据的比例，实验发现：小规模模型（10亿参数）在“图文为主”配方下表现最佳，但随着模型规模扩大至40亿参数，“指令为主”配方（70%指令微调数据）的性能提升斜率显著更陡，最终在大规模实验中超越其他配方。这一“规模依赖性”现象表明，数据配方研究需覆盖多规模验证，避免单一规模下的结论误导。
针对指令数据占比高可能导致重复使用的担忧，研究团队通过控制实验证明：适度重复（如2倍）对性能影响微弱，且“指令为主”配方在重复2倍时的性能（50.2%）与“图文为主”配方使用全新数据的性能（50.3%）几乎持平。这意味着，优质配方的收益足以抵消数据重复的负面影响。进一步验证显示，即使指令数据重复8倍，性能仅下降至48.6%，仍高于部分未优化配比的模型。
基于上述发现，研究团队提出了最优数据配方：10%图文配对、5%多模态文档、15%纯文字、70%指令微调，并构建了DCVLM-Baseline数据集。对比实验表明，该配方训练的模型在33个核心基准测试中全面超越现有开源数据集。例如，40亿参数的DCVLM-Baseline模型在训练量仅为FineVision（当前最大开源VLM数据集）一半的情况下，核心基准得分高出5.4个百分点，甚至超越FineVision训练的80亿参数模型。这一成果证明，正确配比数据可显著降低算力需求，推动模型训练效率革命。
研究同时揭示了当前模型的局限性：DCVLM-Baseline在OCR文字识别与推理能力上落后于FineVision约5个百分点，研究团队认为这与FineVision包含更多高分辨率文档数据有关。该模型在安全性基准测试中表现较弱，需后续改进。为促进领域发展，研究团队开源了数据池、评测工具及模型检查点，支持全球研究者在同一平台上验证结论。实验还排除了多种无效干预手段，如调整采样温度、使用AI生成图文描述等，为后续研究指明了方向。
对于普通用户而言，这项研究直接关联着AI的日常应用场景：从解读图片中的公式、检查合同条款，到识别菜品食材，模型性能的提升均源于此类底层研究。研究团队强调，尽管指令数据至关重要，但图文配对与多模态文档仍是基础，未来需探索如何将原始多模态数据转化为高质量指令，以及在万亿词元量级上验证结论。完整论文可通过arXiv编号2606.28551检索。
