OpenAI在近日凌晨震撼发布了名为GPT-oss的大型语言模型，该模型分为1200亿参数和200亿参数两个版本，并慷慨地采用了Apache 2.0许可协议，允许商业使用。
这款新模型针对AI Agent进行了专门优化，不仅支持函数调用、网络搜索，还能执行Python代码，为开发者提供了前所未有的便捷工具，助力他们快速打造出既安全又功能强大的智能体。
在性能表现上，GPT-oss-120B展现出了与o4-mini相当的实力，尽管它需要80GB的GPU资源来运行。而GPT-oss-20B则能媲美o3-mini，且对硬件配置的要求更为亲民，仅需16GB GPU即可流畅使用。
OpenAI透露，为了训练GPT-oss，他们在英伟达H100上投入了超过200万小时的计算资源，使其成为目前开源模型中训练时长名列前茅的佼佼者。
OpenAI的掌门人Sam Altman亲自撰写长文，深入解读了GPT-oss模型的重要性。他强调，GPT-oss是当下最先进的开放权重推理模型，在现实应用中表现出色，性能直追o4-mini，更令人兴奋的是，用户甚至可以在自己的电脑上进行本地运行，小规模的版本理论上也能在手机上流畅运作。
Altman表示，OpenAI很荣幸能将这款凝聚了巨额研发资金的模型推向全球，让更多人有机会接触并受益于人工智能技术。他坚信，GPT-oss带来的正面影响将远超其潜在的负面影响。
在具体应用场景中，GPT-oss-120B在复杂健康问题上的表现与o3不相上下，OpenAI还全力以赴地缓解了最严重的安全问题，特别是在生物安全领域。在安全基准测试中，GPT-oss模型的表现同样令人瞩目，与OpenAI的前沿模型不相上下。
Altman还强调了个人赋能的理念，他认为虽然大多数人可能更倾向于使用像ChatGPT这样便捷的服务，但在需要时，人们应该能够直接控制和修改自己的人工智能，这在隐私保护方面具有显著优势。
对于此次发布，OpenAI满怀期待，希望它能激发新的研究灵感和产品开发。他们预测，这一领域的创新速度将大幅提升，能够参与并推动这一进程的人数也将大幅增加。
OpenAI致力于确保通用人工智能（AGI）能够为全人类带来福祉。他们为能在基于美国创造的、以民主价值观为基础的开放人工智能技术栈上进行开发而感到兴奋，这一技术栈将免费向所有人开放，旨在实现广泛的益处。
然而，Altman关于GPT-oss-20B能在手机上运行的言论也引发了一些质疑。不少网友表示，既然20B版本需要16GB GPU，那么如何在普通手机上运行仍是个谜。
尽管存在这样的疑问，但不可否认的是，GPT-oss的发布意义重大。它标志着开源运动获得了前所未有的认可，整个行业的行事准则正在发生深刻变革。
从技术细节来看，GPT-oss-120b采用了混合专家（MoE）模型架构，由36层组成，总参数量高达1168亿，其中每token前向传递中活跃的参数为51亿。相比之下，GPT-oss-20b由24层组成，总参数量为209亿，每token前向传递中活跃的参数为36亿。这种参数分布使得模型在处理复杂任务时能够更高效地分配计算资源。
GPT-oss模型中的MoE模块包含固定数量的专家，负责处理不同的输入特征。GPT-oss-120b的每个MoE模块包含128个专家，而GPT-oss-20b的每个MoE模块则包含32个专家。这些专家通过一个标准的线性路由器进行选择，确保模型能够根据输入数据的复杂性动态分配计算资源。
在注意力模块设计方面，GPT-oss借鉴了GPT-3的架构，采用带状窗口和全密集模式交替的方式，带宽为128个token。这种设计使得模型在处理长序列数据时能够保持高效性能。
GPT-oss在推理和工具调用能力方面同样表现出色，与OpenAI的前沿模型o4-mini不相上下。例如，在AIME美国数学邀请赛测试中，GPT-oss-120b模型在高推理模式下达到了96.6%的准确率；在编程领域，GPT-oss-120b在Codeforces编程竞赛问题测试中的Elo评分也接近o4-mini。
GPT-oss在多语言能力测试中也展现出了强大的适应性，在法语、德语和西班牙语等语言的测试中，高推理模式下的准确率均达到了较高水平。
