特斯拉前人工智能与Autopilot项目核心成员安德里杰·卡尔帕西在近期技术分享中披露，其在优化GPT-2模型训练参数时发现，人类研究者的直觉判断可能成为技术突破的阻碍。这位曾主导特斯拉自动驾驶视觉系统开发的科学家透露，他花费数月时间手动调整模型训练配置后，转而让自主智能体接管优化工作，结果该系统仅用一晚就识别出多组被忽视的关键参数组合。
这些由算法发现的调优参数存在复杂的相互作用关系，单个参数的微小变动会通过非线性方式影响整体性能。卡尔帕西指出，人类研究者受限于认知带宽，往往只能关注有限参数组合，而系统性搜索算法能同时评估数百万种可能性。这种差异在需要精确平衡多个优化目标的深度学习模型训练中尤为显著。
"研究人员需要学会退出控制流程，"卡尔帕西在技术演讲中强调，"当存在可量化的评估指标时，人类不应成为决策瓶颈。就像编译器取代汇编程序员一样，自动化工具正在重塑AI研发范式。"他特别提到，当前主流AI实验室普遍存在过度依赖研究者个人经验的现象，这种模式与实验室宣称的"全流程自动化"目标存在根本矛盾。
这位深度学习领域知名学者同时警示，现有自动化工具的效能存在明显边界。虽然算法在编程竞赛、数学推理等结构化任务中已展现出超越人类的能力，但在需要常识推理或情感理解的开放领域，自动化优化仍面临重大挑战。卡尔帕西认为，这种能力断层将导致AI发展出现新的分化趋势，技术资源可能进一步向可量化领域集中。
据技术文档显示，卡尔帕西团队开发的自主优化系统采用分层强化学习架构，通过模拟退火算法探索参数空间，结合贝叶斯优化进行局部精调。该系统在GPT-2微调任务中实现的性能提升，相当于将训练数据规模扩大3倍的效果，而计算成本仅增加17%。这项成果已引发谷歌Brain、OpenAI等机构对自动化模型优化流程的重新评估。
