近日,清华大学 NLP 实验室、OpenBMB 和面壁智能联合发布并开源了 Ultraeval-Audio,这是一个专为音频模型设计的测评框架。Ultraeval-Audio 不仅为音频大模型领域建立了一整套完整的评测方法论,还将这一体系具体化为一个开箱即用的工程框架,从而完善了音频评测的整体结构。
Ultraeval-Audio 的最新版本 v1.1.0在原有 “一键测评” 功能的基础上,增加了热门音频模型的一键复现能力,并扩展了对文本转语音(TTS)、自动语音识别(ASR)、编解码(Codec)等专业模型的支持。这一版本引入了隔离推理的运行机制,旨在降低模型复现的门槛,提高评测流程的可控性与可迁移性。
值得注意的是,Ultraeval-Audio v1.1.0已经成为 MiniCPM-o2.6、VoxCPM 等众多高影响力音频及全模态模型的重要测评工具。该框架的开源将显著提高研究者在音频模型开发过程中的效率,推动相关领域的研究进展。
开源地址也已公开,研究者们可以通过 GitHub 获取更多信息。Ultraeval-Audio 的发布,标志着音频模型评测的标准化进程迈出了重要一步,助力音频技术的快速发展。
开源地址:https://github.com/OpenBMB/Ultraeval-Audio
划重点:











