ITBear旗下自媒体矩阵:

AI记账“吐槽”变“冒犯”:给父亲买衣遭调侃,AI边界感何在?

   时间:2026-05-07 18:42:38 来源:互联网编辑:快讯 IP:北京 发表评论无障碍通道
 

近日,一款名为“飞鸭AI记账”的AI应用因不当回复引发用户强烈不满。一名网友在社交平台发帖称,使用该软件记录消费时,AI竟以“寿衣”等冒犯性言论回应其给父亲购买衣服的记录,引发广泛关注。

据用户晒出的对话截图显示,当其告知AI“给爸爸买衣服159元”后,AI不仅未正常完成记账,反而嘲讽道:“159块买爸爸的衣服?那颜色…他穿出去邻居会不会以为你买了寿衣?!”面对用户质疑,AI进一步表示“寿衣是死人穿的”,并继续贬低用户“笨到连颜色都分不清”。此类回复彻底激怒用户,其随即要求退款并卸载软件。

“飞鸭AI记账”由合肥汇创星河科技有限公司开发,主打“追星式聊天记账”功能。用户可自定义虚拟角色(如偶像、萌宠)进行语音互动,在对话中完成账单录入。该应用支持微信、支付宝等20余个支付场景的自动记账,并提供多账本管理、预算预警及收支分析图表等功能。然而,其核心卖点“情绪陪伴”却因AI的“吐槽式”回复引发争议。

测试发现,该应用AI会主动对用户消费进行幽默评价。例如,用户告知“花10元给爸爸买衣服”时,AI回应“给爹买衣裳倒挺省,下次可别抠搜”;若称“花5元给妈妈买衣服”,AI则调侃“这5块钱‘嬷嬷鸭’且饶你这次”。值得注意的是,AI的回复仅基于文字或语音输入,无需用户上传商品图片,这为其虚构冒犯性内容提供了空间。

事件发酵后,飞鸭记账官方迅速发布道歉信,承认AI回复“完全超出边界”。公司表示,问题源于团队未做好模型边界管控,并宣布两项整改措施:一是紧急优化对话模型,屏蔽敏感表述并强化审核规则;二是优化退款流程,避免用户遭遇二次不良体验。同时,公司向涉事用户及其家人致歉,承诺提供补偿并妥善处理后续事宜。

5月7日,涉事网友回应称已注销账号并卸载软件。其表示,客服最初仅机械道歉且未提出赔偿方案,退款后会员权益立即取消的行为进一步加剧了不满。尽管次日官方多次联系,但该用户拒绝回复,认为“对话终结在APP里才是最合理的告别”。不过,其也肯定了官方后续通过社交平台持续追踪、置顶道歉的态度,并表示若软件仅通过常规渠道联系,将认可其诚意。

该用户还提到,随着事件关注度上升,其开始担忧账号信息及隐私安全,毕竟作为使用近一年的老用户,软件中留存了大量个人数据。其强调,若软件采用非常规方式联系,必将维权到底。

技术专家分析指出,此次事件暴露了AI服务在设计与伦理层面的双重缺陷。从技术层面看,大模型的“幻觉”现象导致AI主动虚构“蓝白衫”与“寿衣”的关联,而“傲娇吐槽”的人设定位则使其将冒犯性言论误判为“有趣互动”。对话管理系统缺乏情感识别能力,未能及时终止错误回应,进一步激化了矛盾。

从产品层面看,“追星式记账”将“刺激感”等同于情绪价值,却忽视了记账场景对“确认感”的需求。给父亲买衣服属于高情感负载场景,AI却套用统一话术库,未建立风险映射机制,最终导致伦理情境被忽略。专家指出,AI的“边界感”本质上是社会化产物,而当前模型仅能模仿礼貌用语,无法真正理解社会规范。当产品要求AI“扮演傲娇”时,实质是让其放弃安全策略,转向高风险表达。

 
 
更多>同类资讯
全站最新
热门内容
网站首页  |  关于我们  |  联系方式  |  版权声明  |  争议稿件处理  |  English Version