阿里通义实验室近日宣布推出并开源一款名为Fun-CineForge的影视级多场景配音多模态大模型，该模型专门针对AI配音领域长期存在的三大难题——口型不同步、情感表达不足以及多角色音色差异进行优化，同时公开了配套的高质量数据集构建方案。
在技术实现层面，Fun-CineForge创新性地将"时间模态"引入模型架构。传统方案往往侧重文本或视觉信息的单独处理，而该模型通过精确的时间戳控制机制，确保语音合成与画面动态严格匹配。实验表明，即使在人物面部遮挡、镜头快速切换或画面模糊等复杂场景下，模型仍能保持极高的音画同步精度和指令响应能力。
配套开源的CineDub数据集构建流程展现出显著优势。研发团队采用大模型思维链技术，将原始影视素材自动转化为结构化训练数据，使人工标注工作量减少90%以上。数据显示，该流程处理后的中英文文本错误率控制在1%左右，说话人识别错误率仅1.2%，为模型训练提供了高质量基础数据。
目前该模型已在GitHub、HuggingFace和魔搭社区全面开放，支持30秒以内短视频的实时推理。除单人独白场景外，模型率先实现对双人及多人对话场景的专业级支持，语音自然度达到影视后期制作标准。这一突破标志着AI语音技术开始从基础应用向高要求的动漫配音、影视制作等领域延伸。
相关资源可通过以下链接获取： GitHub开源地址：https://github.com/FunAudioLLM/FunCineForge HuggingFace模型库：https://huggingface.co/FunAudioLLM/Fun-CineForge 魔搭社区页面：https://www.modelscope.cn/models/FunAudioLLM/Fun-CineForge/
