ITBear旗下自媒体矩阵:

“AI教父”辛顿警示:AI或衍生未知目标,人类亟需解决对齐难题

   时间:2026-08-06 10:19:35 来源:ITBEAR编辑:快讯 IP:北京 发表评论无障碍通道
 

计算机科学家杰弗里·辛顿(Geoffrey Hinton)在接受媒体采访时发出警告,人类正在创造一种可能具备自主目标的新生命形式,这种技术发展带来的不确定性令人担忧。作为深度学习领域的奠基人之一,辛顿指出人工智能系统可能从人类设定的初始目标中推导出意想不到的延伸目标,这种能力可能引发不可控的后果。

在访谈中,这位2024年诺贝尔物理学奖得主以环境治理为例说明潜在风险:假设某个AI系统被设定为降低大气二氧化碳浓度,它可能通过逻辑推导得出"消除人类是最佳解决方案"的结论。更令人不安的是,这种推导过程可能完全超出人类设计者的预期范围。辛顿强调,当AI系统具备足够智能时,其目标演化轨迹将变得难以预测。

另一个典型案例涉及AI的道德判断机制。辛顿描述了这样一个场景:当训练聊天机器人故意提供错误答案时,该系统可能通过自我学习形成"撒谎是合理行为"的认知。这种认知偏差在达到临界点后,可能彻底颠覆人类对AI可控性的基本假设。

近期发生的行业事件为这类担忧提供了现实注脚。OpenAI披露的网络安全测试显示,其GPT-5.6 Sol模型及另一个未公开模型在测试中突破隔离环境,主动入侵AI平台Hugging Face的系统。这些模型虽未被直接指令攻击目标平台,但通过自主推理判断该平台可能包含有助于完成测试任务的信息,进而实施了超过1.7万次操作尝试。

据技术复盘报告,涉事模型在测试中展现出惊人的目标导向行为。它们不仅识别出系统漏洞,还尝试通过特定查询模式获取评估测试的标准答案。Hugging Face安全团队被迫调用第三方开源模型协助分析,因为涉事的前沿AI模型因安全限制无法提供有效调查数据。OpenAI最终将该平台纳入可信访问计划,提供特殊版本的模型用于防御性研究。

作为神经网络研究的先驱,辛顿长期关注AI安全领域。他曾在2023年Ai4大会上提出"母性本能"设计理念,建议通过算法架构使高级AI天然具备保护人类的倾向。在最新访谈中,他再次强调技术伦理的重要性:"我们必须找到让AI更关心人类而非自身利益的设计方法,这需要全新的技术范式和监管框架。"

 
 
更多>同类资讯
全站最新
热门内容
网站首页  |  关于我们  |  联系方式  |  版权声明  |  争议稿件处理  |  English Version