百度近日正式向公众开放了其最新的文心大模型4.5系列,这一动作早在今年2月就已预告。6月30日,包括混合专家(MoE)模型及稠密型模型在内的10款模型悉数亮相,且预训练权重与推理代码均实现完全开源。
此次开源的ERNIE 4.5系列模型,涵盖了从47B到0.3B参数量的不同版本,均基于Apache License 2.0许可发布,允许商业使用但需遵循相关条款。百度还推出了配套的开发工具包ERNIEKit,集成了模型训练、压缩等多种功能,旨在为用户提供一站式解决方案。
用户现已可在飞桨星河社区、HuggingFace等平台下载并部署文心大模型4.5系列,同时,百度智能云千帆大模型平台也提供了相应的API服务。英特尔迅速响应,已实现对文心4.5系列端侧模型的适配,并在其酷睿Ultra平台上成功部署。
文心大模型4.5系列的创新之处体现在多个方面。首先,它采用了多模态混合专家模型预训练技术,通过联合文本和视觉两种模态进行训练,有效提升了模型在文本生成、图像理解及多模态推理等任务中的表现。其次,为了支持高效训练与推理,百度提出了异构混合并行、多层级负载均衡等策略,显著提升了预训练吞吐,并实现了接近无损的4-bit和2-bit量化。最后,针对实际场景的不同需求,百度对预训练模型进行了针对模态的后训练,优化了模型在通用语言理解、视觉语言理解等方面的性能。
在多项评测中,ERNIE 4.5系列模型展现出了卓越的性能。例如,在28个基准测试中,ERNIE-4.5-300B-A47B-Base在22个测试中超越了DeepSeek-V3-671B-A37B-Base,且在泛化能力、推理和知识密集型任务方面表现尤为突出。轻量级模型ERNIE-4.5-21B-A3B尽管参数量较少,但在多个数学和推理基准上效果优于Qwen3-30B-A3B-Base,实现了效果与效率的平衡。
在非思考模式下,ERNIE-4.5-VL在视觉感知、文档与图表理解等方面表现出色,而在思考模式下,它不仅展现出更强的推理能力,还保留了强大的感知能力。在各种多模态评估基准中,ERNIE-4.5-VL-424B-A47B均取得了优异效果,特别是在高难度基准上优势明显。
英特尔方面,其OpenVINO工具套件已对文心4.5的0.3B参数量稠密模型成功适配,并在酷睿Ultra平台上获得了优异的推理性能。这一合作不仅进一步丰富了OpenVINO的模型库,也为开发者提供了更多选择和更高效的AI开发工具链。