百度于6月30日正式宣布,其文心大模型4.5系列已全面开源。此次开源的模型系列包括了具有47B和3B激活参数的混合专家(MoE)模型,以及一款0.3B参数的稠密型模型等共10款模型。不仅如此,百度还实现了预训练权重和推理代码的完全开放,为用户提供了极大的便利。
文心大模型4.5系列已在飞桨星河社区和HuggingFace等平台上线,用户可以直接下载并部署使用。同时,百度智能云千帆大模型平台也提供了开源模型的API服务,进一步拓宽了模型的应用场景。
早在今年年初,百度就已透露了文心大模型4.5系列的推出计划,并确定了6月30日的开源日期。这一系列模型在MoE架构上进行了创新,提出了一种全新的多模态异构模型结构,适用于从大语言模型向多模态模型的持续预训练。这一创新不仅保持了文本任务的性能,还显著提升了多模态理解能力。
文心大模型4.5系列的技术优势主要体现在多模态混合专家模型预训练、高效训练推理框架以及针对模态的后训练等方面。这些关键技术的突破,使得模型在多模态理解上表现出色。同时,模型权重按照Apache 2.0协议开源,为学术研究和产业应用提供了有力支持。
百度还基于飞桨平台提供了开源的产业级开发套件,广泛兼容多种芯片,降低了模型的后训练和部署门槛。这一举措无疑将进一步推动文心大模型4.5系列在产业中的应用和发展。
值得注意的是,此次文心大模型4.5系列的开源,标志着百度在框架层和模型层实现了“双层开源”。作为国内AI领域的领军企业,百度在算力、框架、模型到应用的四层布局中构建了显著的AI全栈技术优势。飞桨作为中国首个自主研发、功能丰富的产业级深度学习平台,为文心大模型4.5系列的开源提供了坚实的基础。
与此同时,文心大模型开发套件ERNIEKit和大模型高效部署套件FastDeploy也同步升级发布。这些套件为文心大模型4.5系列及开发者提供了开箱即用的工具和全流程支持,进一步提升了模型的开发和部署效率。