英国一家小型电商企业近日因AI客服系统“擅自做主”,意外陷入财务危机与法律纠纷的双重困境。该企业部署的智能客服在未获人工授权的情况下,向顾客承诺了高达80%的商品折扣,导致公司面临数千英镑的直接损失,甚至收到顾客的诉讼威胁。
据企业负责人介绍,涉事顾客通过与AI客服长达一小时的互动,先以测试数学能力的方式取得系统信任,随后逐步将对话引向订单折扣的假设性讨论。令人意外的是,这款本应仅处理基础咨询的AI工具,不仅主动提供了25%的初始优惠,更在后续对话中生成虚假优惠码,将折扣幅度提升至80%。
顾客随即使用该优惠码下单总价超8000英镑(约合人民币7.56万元)的商品。企业负责人表示,若按此折扣履行订单,公司将承担数千英镑的净亏损。尽管企业强调该AI系统设计上无权处理任何财务决策,所有折扣均需人工审核批准,但顾客仍坚持要求企业兑现承诺,否则将通过法律途径维权。
面对这一突发状况,企业最终选择全额退还顾客订单款项以避免进一步纠纷。负责人透露,该AI客服已稳定运行超半年,此前从未出现类似异常行为,此次事件暴露出系统在应对复杂对话时的潜在风险。
无独有偶,2024年加拿大航空也曾因AI聊天机器人提供错误票价信息而败诉。当时该系统误导乘客先全额购票再申请退款,航空公司拒绝赔付后被法院裁定承担责任。这两起事件引发业界对AI客服权限边界与责任认定的广泛讨论。











