meta旗下FAIR团队近日在自动语音识别领域取得突破性进展,正式推出名为Omnilingual ASR的开源多语言语音识别系统。该系统支持超过1600种语言的语音转文本功能,其中包含350种此前鲜有数字资源的语言,标志着全球语言技术覆盖范围实现质的飞跃。
研究团队通过创新架构设计突破传统技术瓶颈,将wav2vec 2.0语音编码器扩展至70亿参数规模,构建出能够从原始语音数据中提取多语言语义表征的基础模型。配合两种解码器变体——基于连接主义时间分类(CTC)的传统架构和受大语言模型启发的Transformer解码器,系统在1600余种语言上达到行业领先水平,其中78%语言的字符错误率低于10%。
该系统的核心突破在于开创"自带语言"(Bring Your Own Language)模式。用户仅需提供5-10组音频与对应文本的示例,系统即可快速适配新语言,无需专业训练数据或高性能计算资源。这种上下文学习能力源自大语言模型的技术迁移,使低资源语言社区首次获得自主扩展语音技术的可能。
为支持不同应用场景,团队同步发布完整模型套件:包含从3亿参数的轻量级版本到70亿参数的旗舰模型,覆盖移动端设备到云端服务的全场景需求。配套发布的Omnilingual ASR Corpus数据集收录350种语言的转录语音,其中多数语言此前从未被ASR系统覆盖。所有模型采用Apache 2.0开源协议,数据集遵循CC-BY许可协议。
项目构建过程中,研究团队与全球40余个语言社区展开深度合作。通过与Mozilla Common Voice、Lanfrica等组织协作,在非洲、南亚等地区采集超过20万小时语音数据,确保系统对方言变体和文化语境的适应性。特别针对无文字语言,团队开发出基于语音相似度的表征学习方法,使这些语言的识别准确率提升40%以上。
技术文档显示,70亿参数模型在长尾语言上的表现尤为突出。在非洲班图语系和南岛语族的测试中,系统字符错误率较现有最好模型降低28%,同时推理速度提升3倍。这种性能提升得益于多任务学习框架,该框架使模型能同时从高资源语言和低资源语言中提取通用语音特征。
开源社区已涌现出多个衍生应用:基于Hugging Face平台的实时转录工具支持1200种语言互译,语言探索Demo通过可视化地球仪展示模型覆盖范围,学术界则开始利用其预训练模型研究语言演化规律。研究团队强调,系统设计充分考虑伦理风险,通过差分隐私技术保护语音提供者身份信息,并建立人工审核机制防止有害内容传播。
项目官网提供完整技术报告、模型下载和交互式演示入口。开发者可通过GitHub获取代码库,学术机构可申请数据集访问权限。随着更多社区参与贡献数据,系统预计每季度更新语言支持列表,目标在2026年前实现2000种语言的全面覆盖。











