近日，社交平台小红书在其一向低调的AI领域迈出了重要一步，宣布开源了其首个自研的大型语言模型。
小红书的人文智能实验室（hi lab）在GitHub和Hugging Face等平台发布了名为dots.llm1的开源文本大模型。此次开源不仅包括了基础的base模型和instruct模型，还涵盖了微调后的Instruct模型、长文base模型、多个退火阶段的base模型、超参数以及每1万亿个token的中间训练checkpoint等详尽的训练信息。
据了解，dots.llm1模型在6月9日进行了更新，主要修复了停止符号的配置，属于模型维护的常规操作。dots.llm1在性能上表现不俗，大部分性能与阿里的Qwen 2.5模型相当，部分性能甚至与Qwen 3模型持平。
dots.llm1采用了混合专家模型（MoE）架构，拥有1420亿参数，但在推理过程中仅激活140亿参数，从而在保证高性能的同时，大幅降低了训练和推理成本。该模型使用了11.2万亿token的高质量训练数据，这些数据经过了人工校验和实验验证，其质量显著优于开源的TxT360数据。
在预训练阶段，dots.llm1经历了两阶段的监督微调（SFT）训练，最终得到了base模型和instruct模型。其中，base模型是“基座模型”，完成了预训练阶段；而instruct模型则是在base模型的基础上，通过指令微调得到的，便于直接部署和使用。
在激活140亿参数的情况下，dots.llm1.inst在中英文通用场景、数学、代码以及对齐任务上均展现出了出色的表现。与阿里的通义Qwen2.5-32B/72B-Instruct相比，dots.llm1具备竞争力；同时，在中英文、数学以及对齐任务上，dots.llm1的表现与阿里的Qwen3-32B相当或更优。与DeepSeek相比，dots.llm1的整体性能高于DeepSeek的V2模型，但略低于V3模型。
在中文性能上，dots.llm1.inst展现出了显著优势。在CLUEWSC上，dots.llm1.inst取得了92.6分，在中文语义理解方面达到了业界领先水平。在C-eval上，dots.llm1.inst取得了92.2分，超越了包括DeepSeek-V3在内的所有模型。
小红书自2013年成立以来，一直是移动互联网创业浪潮中的佼佼者，也是少数未上市的企业之一。自2016年初起，小红书将原本人工运营的内容改为了机器分发的形式，通过大数据和AI技术，将社区中的内容精准地匹配给感兴趣的用户。随着2022年底ChatGPT热潮的爆发，小红书在2023年加大了对大模型的研发投入。
近年来，小红书加快了AI技术的落地步伐，推出了一款名为“点点”的AI搜索应用，并在小红书内置了“问一问”功能，帮助用户在平台上查找信息。小红书的估值也在不断攀升。据金沙江创投旗下的股份交易文件显示，截至2025年3月底，小红书的估值已从200亿美元大幅跃升至260亿美元，远超B站、知乎等上市公司的市值。
随着阿里、腾讯、字节等大厂纷纷发力AI大模型领域，小红书也不甘落后，瞄准了AI技术，致力于大语言模型的落地。小红书hi lab的目标是训练一个更强大的模型，计划在训练和推理效率之间取得最佳平衡，集成更高效的架构设计，并探索使用更稀疏的混合专家（MoE）层来提升计算效率。hi lab还将加深对最佳训练数据的理解，探索实现更接近人类学习效率的方法。
小红书hi lab团队还表示，他们将为社区贡献更多更优的全模态大模型，这意味着小红书在AI领域的探索和发展还将持续深入。
