在AI领域的一次震撼曝光中,前OpenAI安全副总裁Lilian Weng疑似揭示了神秘新公司Thinking Machines的首个创新产品——一款专为AI训练设计的“手动调参仪表盘”。这一消息迅速引起了业界的广泛关注。
Lilian Weng,这位曾经的OpenAI研究大佬,如今是Thinking Machines Lab的联合创始人。她近期转发了一段视频,展示了一个看似仪表盘的神秘装置。据推测,这可能就是Thinking Machines即将推出的首款产品。
这款产品的理念令人瞩目:在AI训练过程中,研究人员可以直接使用它来手动调整所有超参数。这一创新方法,无疑为AI训练带来了全新的可能性。
Lilian Weng宣称,Thinking Machines迟早会涉足硬件领域,而现在正是最佳时机。这一表态,让业界对这家估值高达90亿美元的神秘公司更加充满期待。
据悉,分享这段视频的还有前谷歌DeepMind员工Stephen Roller,他后来跳槽至Character AI,现在又加入了Thinking Machines Lab。Stephen表示,在Character AI,他们通常不需要复杂的参数遍历或启发式方法来确定学习率,而是依靠Noam Shazeer的手动调整就能达到理想效果。
这一方法引起了开发者们的广泛讨论和兴奋。有人认为,这似乎比大多数现有的调度方法都要有效。同时,也有人提出疑问,关于为何需要绘制学习率的平均值。Stephen回应说,这只是他们模板的一个副作用,实际上他们会跟踪所有指标的平均值和分母。
Thinking Machines Lab由Murati牵头,汇聚了一大批OpenAI的天才核心员工。尽管尚未发表任何论文,但公司的估值已经高达90亿美元。其创始团队成员包括Lilian Weng、OpenAI联创John Schulman、ChatGPT共同创始人Barret Zoph等众多业界大佬。
在更大的产业背景下,Thinking Machines的这款“调参仪表盘”不仅是一个极客味十足的训练工具,更可能揭开下一场AI大战的序幕——一场关于谁能占据AI硬件入口的全新较量。与此同时,OpenAI也早已在这一领域悄悄布局,意图打造无处不在、永不离线的全新AI硬件形态。