当前，各大科技公司的大模型竞争进入白热化阶段，OpenAI的GPT、Anthropic的Claude、谷歌的Gemini以及中国的DeepSeek等模型不断推陈出新。然而，随着AI模型排行榜频繁出现刷分作弊现象，如何客观评估大模型性能成为业界关注的焦点。在此背景下，一个名为LMArena的线上评测平台应运而生，通过实时对战和用户投票的方式，为大模型性能评估提供了新的思路。
在LMArena平台上，文字、视觉、搜索、文生图、文生视频等多个细分领域的AI大模型每天进行上千场实时对战。普通用户通过匿名投票的方式，选出自己认为表现更好的模型。这种评测方式得到了许多AI研究者的认可，他们认为大模型竞赛的下半场需要重新思考模型评估标准。当技术创新趋于饱和时，准确衡量和理解模型的智能边界将成为拉开差距的关键。
传统的大模型评估主要依赖固定的题库，如MMLU、BIG-Bench、HellaSwag等。这些题库涵盖学科、语言、常识推理等多个维度，通过比较模型的答对率或得分来评估性能。然而，随着模型能力的增强和训练数据的扩大，传统Benchmark的局限性逐渐显现。题库泄露导致模型可能只是“记住”答案而非真正理解问题，且静态Benchmark无法反映模型在真实交互中的表现。
LMArena的竞技场模式被视为应对传统Benchmark失灵的新方案。其核心机制源于伯克利实验室的研究，2023年5月由全球顶尖学府组成的非营利性开放研究组织LMSYS推出了Chatbot Arena（LMArena的前身）。当时，LMSYS团队为了比较自己发布的开源模型Vicuna和斯坦福大学推出的Alpaca的性能，尝试了多种评测方法，最终发现人类比较（Pairwise Comparison）的方式更为可靠。
在Chatbot Arena上，用户输入问题后，系统会随机分配两个模型生成回答，用户通过投票选择更好的回答。投票结束后，系统基于Bradley–Terry模型实现Elo式评分机制，形成动态排行榜。这种机制让评测成为一场“真实世界的动态实验”，而非一次性的闭卷考试。平台通过“人机协同评估框架”确保评测的开放性和可控性，所有数据和算法均开源，任何人都可以复现或分析结果。
2024年底，LMArena的功能和评测任务扩展至代码生成、搜索评估、多模态图像理解等细分领域，并更名为LMArena。谷歌最新文生图模型Nano Banana最早通过LMArena以神秘代号引发关注，Gemini 3.0也被发现在该平台上进行测试。如今，几乎所有头部模型都在LMArena上“打擂台”，将其作为测试普通用户反馈的“常规赛场”。
然而，随着LMArena的火爆，其公平性也受到质疑。用户的语言背景、文化偏好和使用习惯可能影响投票结果，导致模型因“讨人喜欢”而非真正智能而获胜。研究发现，LMArena的结果与传统Benchmark分数之间并非强相关，存在“话题偏差”与“地区偏差”。一些公司为“上榜”优化模型回答风格，甚至提供“专供版”模型，导致评测公正性受到争议。
2025年5月，LMArena背后的团队注册公司“Arena Intelligence Inc.”，并完成1亿美元种子轮融资。公司化后，平台可能探索数据分析、定制化评测和企业级报告等商业服务。这引发了业界对其中立性的担忧，当资本介入后，LMArena是否还能保持“开放”与“中立”成为焦点问题。
尽管LMArena暴露出新矛盾，但传统Benchmark仍在持续演化。近年来，研究者推出了难度更高的版本，如MMLU Pro、BIG-Bench-Hard，以及聚焦细分领域的Benchmark，如AIME 2025、SWE-Bench、AgentBench等。这些新Benchmark模拟模型在真实世界中的工作方式，从单一考试题集演化为多层次体系。
与此同时，评测进一步走向“真实世界”。例如，Alpha Arena平台让六大模型在加密货币交易市场中进行对战，以实际收益和策略稳定性作为评测依据。虽然这种“实战式评测”更多是“噱头”，但为大模型在动态、对抗环境中的检验提供了新思路。
未来的模型评估可能是一种融合式框架，静态Benchmark提供可复现、可量化的标准，Arena提供动态、开放、面向真实交互的验证。随着大模型能力提升，原有测试集“太简单”的问题愈发突出，Arena的自动难度过滤提出了阶段性解决方案，但真正的方向是由人类专家与强化学习环境共同推动的高难度数据建设。
朱邦华认为，大模型评估的未来是螺旋式共演。模型的突破迫使评测体系升级，新的评测又反过来定义模型的能力边界。高质量的数据成为连接两者的中轴，研究者需要筛选、组合与聚合成百上千个数据集，建立兼顾统计有效性与人类偏好的聚合框架。这将是一场持续进行的实验，最终构建一个动态、开放、可信的智能测量体系。
