在测试中，布罗克班克具体观察到，ChatGPT在推荐特定公司或服务时，会引用一些被篡改或具有误导性的内容。这些内容往往源自被黑客攻陷的高权重网站，或是那些已被重新注册并用于其他目的的过期域名。由于这些域名在过去积累了较高的权威性，ChatGPT在生成推荐时仍将其视为可靠的信息源。
布罗克班克指出，这一现象带来了两大问题。首先，被黑客攻击的网站可能被植入与原内容不符的信息，这些信息有可能是虚假的。其次，过期域名的再利用问题同样严峻，一些个人或机构会购买这些域名，并发布与原主题毫无关联的内容，利用其原有的搜索引擎权重来误导AI系统。他警告说：“仅仅为了被语言模型引用而重建一个域名，这种行为构成了操控。”
这一发现对企业和用户均产生了重要影响。对于企业而言，AI推荐已成为提升品牌知名度的重要途径。然而，如果推荐内容源自不可靠的信息源，可能会导致消费者产生误解，进而损害企业的品牌形象。对于用户来说，盲目依赖AI的推荐可能会使他们做出错误的信息判断。
随着AI技术的飞速发展，如何确保信息的可靠性已成为亟待解决的问题。用户在享受AI带来的便利的同时，也应保持警惕，避免受到潜在误导和风险的侵害。
