Hugging Face近期震撼发布了SmolLM3，一款轻量级大语言模型，凭借其30亿参数的高效设计与卓越性能，迅速吸引了业界的广泛关注。这款模型在多个基准测试中，不仅超越了同级别的Llama-3.2-3B和Qwen2.5-3B，甚至与拥有40亿参数的Gemma3模型不相上下。
SmolLM3，作为解码器专用的Transformer模型，采用了创新的分组查询注意力（GQA）和NoPE技术，这些优化措施使其在保持高效推理的同时，也具备了处理长上下文的能力。模型在包含网页、代码、数学和推理数据的多样化11.2万亿token数据集上进行预训练，使其在多个领域展现出强大的表现。
尤为SmolLM3引入了双模式推理功能，即“思考”和“非思考”模式。在复杂任务中，开启思考模式的SmolLM3表现出显著提升，如在AIME2025、LiveCodeBench和GPQA Diamond等测试中，其性能均优于非思考模式。这种灵活的推理模式，使得SmolLM3能够根据任务需求动态调整，兼顾速度与深度推理。
在处理长上下文方面，SmolLM3同样表现出色。训练时支持64K上下文，并通过YaRN技术可扩展至128K token。模型原生支持六种语言，并在其他语言上也进行了少量训练，展现出优异的多语言能力。在Global MMLU和Flores-200等测试中，SmolLM3的多语言能力均位居同级别模型前列。
Hugging Face一贯坚持开源精神，此次不仅公开了SmolLM3的模型权重，还完整开源了训练数据混合、训练配置和代码。开发者可通过Hugging Face的smollm存储库获取相关资料，这种透明的“训练蓝图”极大地降低了学术研究和商业应用的门槛。
SmolLM3专为高效推理而设计，采用分组查询注意力机制显著减少了推理时的KV缓存占用。结合WebGPU支持，使其非常适合在浏览器或边缘设备上运行。相较于更大规模的模型，SmolLM3在性能与计算成本之间找到了平衡点，为教育、编码、客户支持等场景提供了高性价比的解决方案。
SmolLM3的发布，标志着小规模语言模型在性能与效率上取得了重大突破。其开源特性、长上下文支持和多语言能力，使其成为学术研究、初创公司和中小型企业的理想选择。无论是开发者还是企业用户，这款高效、多功能的模型无疑将为他们带来新的机遇和挑战。
Hugging Face通过开源SmolLM3的训练细节和数据，为行业树立了透明与协作的典范。我们期待看到这款模型在更多实际场景中的应用表现，并期待其后续的更新与发展。
