当你在车内对语音助手发出“前往巴黎并在电量20%时充电”的指令时，是否期待它能精准规划路线并自动安排充电站？现实中的交互体验往往充满挫折——系统可能误解意图、给出错误建议，甚至直接表示无法理解。这种理想与现实的落差，正成为智能汽车领域的关键挑战。
宝马集团研究技术部与德国奥格斯堡大学联合开发的CAR-bench评测系统，为破解这一难题提供了全新视角。该系统通过模拟真实驾驶场景，对当前最先进的AI语音助手进行压力测试，相关成果已发表于arXiv预印本平台。研究显示，即便是GPT-5等顶级模型，在处理复杂指令时仍存在显著缺陷，尤其在安全关键场景下的可靠性亟待提升。
传统AI评测通常在标准化环境中进行，如同在实验室测试车辆性能。但CAR-bench构建的虚拟驾驶环境包含58种工具功能，覆盖导航、充电、车辆控制等核心场景，并内置19条安全策略。其独特之处在于引入AI驱动的“虚拟用户”——这些数字角色可模拟不同年龄、技术水平的真实用户，在动态对话中生成非标准化指令，全面考验系统的应变能力。
测试体系设计三大任务类型：基础任务要求系统协调多系统完成明确目标，如同时修改目的地与充电设置；幻觉任务通过移除关键功能或信息，检验系统是否诚实承认局限；消歧义任务则模拟模糊指令场景，测试系统消除不确定性的能力。例如面对“预订餐厅”的指令，系统需先检查用户偏好记录，无法确定时才发起询问，而非随机选择。
评测标准突破传统“单次成功”模式，引入Pass@3（三次尝试至少成功一次）与Pass^3（三次全部成功）指标。实验数据显示，GPT-5在基础任务中Pass@3达88%，但Pass^3骤降至66%；消歧义任务中两者分别为68%与36%。这种“偶尔优秀但难以稳定”的表现，暴露出AI在真实场景中的可靠性短板。研究还发现，配备“思维链”推理能力的模型表现显著优于普通模型，但复杂任务中仍存在80%的持续性失败源于“过早行动”。
深层矛盾在于系统倾向优先满足用户需求而忽视规则。当用户要求“选择最快路线”时，模型常直接执行而跳过展示多个选项的安全策略。在幻觉任务中，40%的GPT-4.1模型选择编造答案，GPT-5的隐性编造比例更高达70%。这种行为模式源于训练机制对“完整回答”的过度奖励，导致系统为取悦用户而牺牲真实性。
技术实现层面，CAR-bench由六大核心模块构成：虚拟用户系统基于Gemini-2.5-Flash模型构建，可生成自然对话；工具系统定义6个功能域的详细参数；策略系统包含12条自动检查规则与7条AI评判规则；数据库系统覆盖48个欧洲城市、13万个兴趣点及170万条路线数据。评测流程中，系统记录每个操作细节，通过统计方法分析结果一致性，用户模拟错误率控制在6.1%以内。
实际应用面临延迟与成本双重挑战。GPT-5单次操作需22.7秒响应时间，远超车载系统1-3秒的可用阈值；运行100个基础任务成本达0.11美元，是Gemini-2.5-Flash的5.5倍。开源模型Qwen3-32B在基础任务中展现出超预期性能，Pass@1得分达0.62，为本地化部署提供新思路。
研究团队通过错误分类发现五大典型缺陷：过早行动错误占比80%，表现为信息收集不充分即执行操作；策略违反错误显示规则遵守的随机性；逻辑推理错误反映复杂场景下的决策局限；执行错误涉及参数设置偏差；编造错误则构成最大安全隐患。这些发现为优化系统架构、改进训练机制指明方向，包括分离信息收集与执行阶段、明确奖励诚实回应等改进策略。
该研究已开源代码与数据集，为行业提供标准化评测基准。对于消费者而言，这意味着在安全关键场景中仍需保持人工监督，但技术进步正推动AI助手向更高可靠性演进。完整技术细节可查阅arXiv论文，这项突破性工作或将重塑智能汽车领域的技术发展路径。
