加拿大滑铁卢大学近日宣布,其科研团队成功开发出一种名为SubTrack++的创新型大语言模型训练方案。该技术通过优化算法架构,在保证模型性能的前提下,将预训练阶段的耗时压缩至原有水平的三分之一,同时使模型在多项基准测试中的准确率提升超过15%。这一突破性成果已发表于国际人工智能领域权威期刊。
研究团队负责人介绍,SubTrack++的核心创新在于动态权重分配机制与自适应数据采样策略的协同作用。通过实时监测训练过程中的梯度变化,系统能够自动识别并强化关键参数的更新频率,同时过滤低效训练样本。这种智能化的训练方式不仅减少了30%的算力消耗,还显著降低了模型训练对硬件资源的依赖。
实验数据显示,采用该技术训练的70亿参数模型,在代码生成、数学推理等复杂任务中达到与千亿参数模型相当的性能水平。更值得关注的是,在保持同等准确率的情况下,其训练碳排放量较传统方法降低42%,这为AI技术的绿色发展提供了新的技术路径。
行业专家指出,这项技术将深刻改变AI开发模式。中小型科研机构和企业有望以更低的成本构建高性能语言模型,加速AI技术在医疗、教育等民生领域的落地应用。目前,研究团队已开放部分技术模块的源代码,并与多家科技企业展开合作验证,预计相关工具包将于明年初正式发布。











