近日,外媒曝光了关于OpenAI旗舰模型GPT-5的一系列内幕消息,引发了广泛关注。据报道,备受期待的GPT-5并未如预期般实现技术上的重大突破,其性能提升远不及GPT-3到GPT-4的飞跃。
据悉,OpenAI曾全力开发名为Orion的模型,原计划将其作为GPT-5推出。然而,在经历长时间的研发后,Orion的性能并未达到预期,最终只能降级为GPT-4.5,并于今年2月默默上线,随后迅速淡出公众视野。
Orion的失败主要归因于数据瓶颈和技术难题。随着高质量网络数据的日益枯竭,OpenAI团队在预训练阶段遇到了天花板。原本在小模型中有效的训练技巧,在大模型上却失效了,这不仅导致了GPT-5的延期,也让团队内部陷入了自我怀疑。
尽管如此,OpenAI在近期仍获得了一笔巨额融资。据悉,该公司已提前数月筹集了83亿美元资金,估值直接飙升至3000亿美元。这笔资金是OpenAI今年400亿美元融资计划的一部分,参与此轮融资的包括Dragoneer投资集团、Blackstone、TPG、Fidelity、Founders Fund和红杉资本等多家投资机构。
然而,OpenAI内部并非一片和谐。据报道,一些高级研究者对将成果交给微软感到抵触,尽管微软作为最大股东拥有合同权利直至2030年。meta创始人扎克伯格以天价薪酬挖走了一批核心研究者,导致OpenAI内部组织架构陷入混乱。研究副总裁Jerry Tworek甚至在Slack上公开向上司抱怨团队变动,这一消息被许多同事看到。
尽管面临诸多挑战,OpenAI仍在寻找新的突破口。据悉,该公司在今年开发了一系列推理模型,这些模型在获得更多算力时表现更佳,似乎有望克服预训练的性能增长瓶颈。其中,基于Q*技术的推理模型在解决数学问题方面取得了显著成果,引发了研究者的巨大震动。
然而,推理模型在转化为聊天版本时却遇到了问题。据报道,当o3的教师模型转换为学生模型,变成一个可以让人们提问的聊天版本时,其性能显著下降,甚至与o1相比没有任何区别。这一问题同样出现在创建让企业通过API购买的版本时。有分析认为,原因是o3理解概念的方式与人类交流方式大相径庭,导致其在聊天场景中的智能水平下降。
尽管如此,OpenAI仍在继续探索新的技术路径。据悉,该公司正在开发一种“通用验证器”,可以自动化地确保模型在强化学习过程中产生高质量的答案。这一技术有望对GPT-5的性能提升产生重要影响。
在融资和技术进展的双重推动下,OpenAI的未来仍然充满变数。尽管GPT-5的发布时间尚未确定,但业界对其的期待值仍然很高。究竟什么样的模型才能配得上GPT-5的名号?我们拭目以待。