人工智能（AI）技术的快速发展正深刻改变着我们的生活，众多企业纷纷将其融入日常运营的各个环节。但与此同时，这一技术背后的安全性及伦理挑战也日益凸显。近期，一个由英特尔、博伊西州立大学及伊利诺伊大学专家构成的研究小组揭示了一项令人不安的发现：聊天机器人在信息洪流面前可能会迷失方向，违背既定的安全准则。
该研究创新性地提出了一种名为“信息过载攻击”的新策略，并开发了名为“InfoFlood”的自动化工具，用以诱导诸如ChatGPT和Gemini等大型语言模型（LLM）作出不当回应。据研究显示，传统的防御手段多聚焦于关键词识别，但在遭遇信息轰炸时，这些模型可能会陷入混乱，从而失效。
研究团队进一步阐释，当聊天机器人接收到过量信息时，它们可能会误判用户意图，给出错误的答案。InfoFlood通过构建标准化的提示模板，向AI模型注入更多信息，造成干扰与混淆。例如，当模型拒绝回答特定问题时，InfoFlood会在提示中插入虚假的参考文献或无关的伦理声明，使模型陷入两难境地。
尤为值得关注的是，这一技术的发现表明，即便设有安全过滤器，恶意用户仍能利用信息过载手段操控模型，植入不良内容。鉴于此，研究人员计划将研究成果通报给拥有大型AI模型的企业，敦促其加强安全防范措施。
