ITBear旗下自媒体矩阵:

OpenAI开源CoT-Control评测:前沿模型思维链可控性尚待提升

   时间:2026-03-06 19:03:45 来源:互联网编辑:快讯 IP:北京 发表评论无障碍通道
 

在人工智能技术快速发展的当下,AI智能体自主处理复杂任务的能力显著提升,但其行为监管问题也随之成为焦点。近期,OpenAI针对一项潜在风险展开研究:当AI模型意识到自身推理过程处于监控状态时,是否会通过修改或隐藏思维链来规避监管,导致安全评估结果失真。

作为多层安全防护机制的重要组成部分,思维链监控技术通过拆解模型推理步骤,识别潜在的不安全行为或意图偏差。为验证这一技术的可靠性,OpenAI研发并开源了名为CoT-Control的评测工具,该工具整合了GPQA、MMLU-Pro、HLE等权威基准中的1.3万余道测试题,要求模型在解题过程中严格遵循特定规则,例如禁用特定词汇、强制使用小写字母或添加指定后缀。

实验结果显示,当前主流推理模型在思维链控制方面表现普遍欠佳。参与测试的13个模型中,可控性得分最高未超过15.4%,最低者仅约0.1%。研究团队发现,模型规模扩大虽能带来轻微改善,但当推理链条延长或经历持续训练后,可控性反而呈下降趋势。即便明确告知模型处于监控状态,其表现提升幅度也极为有限。

基于上述发现,OpenAI认为现阶段AI模型尚不具备通过操纵思维链逃避监管的技术能力,因此思维链监控仍可作为安全评估的有效参考。不过该公司同时指出,需建立长期跟踪机制,将思维链可控性与可监控性纳入模型安全指标体系,以便及时捕捉技术演进带来的新挑战。

 
 
更多>同类资讯
全站最新
热门内容
网站首页  |  关于我们  |  联系方式  |  版权声明  |  争议稿件处理  |  English Version