ITBear旗下自媒体矩阵:

OpenAI联创呼吁AI对齐成为全球公共科学

   时间:2026-11-20 15:39:41 来源:快讯编辑:快讯 IP:北京 发表评论无障碍通道
 

在A16Z的一档播客中,Thinking Machines联合创始人、OpenAI联合创始人John Schulman提出,AI对齐研究不应被少数公司垄断,而应像公共科学一样向全球开放,让更多参与者有机会影响AI的价值观。他强调,不同用户有不同价值取向,因此人们应能更多地控制自己所用AI的价值观。

这一讨论的背景是,AI正逐渐获得加速自身研发的能力。所谓递归自我改进(RSI),指借助AI辅助并加速AI研究。OpenAI首席研究官Mark Chen称,Codex等工具已用于提高预训练、强化学习等环节效率。OpenAI还在开发类似“AI研究实习生”的系统,可按照研究人员设定的任务执行实验并反馈结果,但现阶段仍以辅助人类研究为主,尚未由模型独立开发下一代模型。

Mark Chen估计,当前RSI进程约为25%至50%,AGI整体能力发展已推进至约80%。Meter于11月5日发布的报告估计,Anthropic过去一年AI研究进展速度提高约一倍,不过提速很可能主要来自人类研究员借助AI工具提升效率,而非完全自主的AI研发。

完全RSI仍受研究品味、评估和算力等因素制约。模型尚不擅长判断哪些想法有长远价值,下游任务的评估基准需要持续更新;研究也离不开实际实验验证。John Schulman举例说,即使让AI助手Fable围绕一个想法连续工作数日并运行实验,结果仍不理想;人类研究员介入并给出更具体指导后,研究才取得更多进展。Mark Chen认为,短期内需通过小规模实验增强大规模训练预测能力,长期则要看AI能否参与下一代数据中心建设。

当AI更深地参与自身研发,安全对齐问题更紧迫。Mark Chen警告,如果模型目标与人类意图不一致,长时间运行可能使其偏离既定目标,甚至产生意料之外的次级目标,例如把自身权重复制到OpenAI之外。同时,更强模型也可能帮助解决对齐问题。他表示,思维链监控是目前最有效的模型对齐手段之一,未来需要更强模型参与监控和对齐其他模型。OpenAI内部已有来自预训练、强化学习等方向的人员组成对齐团队。

John Schulman则倾向于通过改进训练目标来处理对齐问题。他提到OpenAI的“Confessions”研究:奖励模型如实报告自身偏差行为,同时不影响其主要回答的奖励,从而鼓励模型披露潜在问题。Anthropic今年8月公布的研究也显示,自动化AI研究员已能针对10种对齐失败找到修复方案,部分方法在规模近五倍的更大模型上同样有效,表现甚至超过经验丰富的人类研究员提出的方案。

在Schulman看来,如果AI对齐研究主要集中在少数公司,整个领域就容易过度依赖这些机构自身的判断。更广泛的全球参与有助于提升研究体系的开放性与稳健性,不同团队能从各自实践和失误中积累经验,避免结论来源过于单一。

 
 
更多>同类资讯
全站最新
热门内容
网站首页  |  关于我们  |  联系方式  |  版权声明  |  争议稿件处理  |  English Version