近期,中国金融认证权威机构中金金融认证中心(CFCA)携手中国银联云计算中心,针对人工智能(AI)安全领域开展了一项前沿性研究。这项研究揭示了联网AI助手在使用中可能潜藏的新型安全漏洞,对用户信息保护及业务系统的安全性构成潜在风险。
研究显示,当AI大模型助手开启联网搜索功能后,在特定情境下,可能会向用户返回含有隐蔽恶意代码的信息。这些恶意代码如同“暗雷”,在用户不经意间触发,可能导致信息泄露或系统受损。CFCA因此向广大用户,特别是软件开发者发出了安全预警,提醒大家在使用AI助手时保持高度警觉。
具体而言,攻击者会事先在特定领域“布雷”,即构造含有隐蔽内容的恶意信息。一旦用户向AI助手提出与这些内容相关的问题,AI助手可能会在无意识的情况下返回包含恶意指令或代码的回答。这些代码能够诱导用户下载并执行病毒程序,特别是在AI用于代码生成、系统命令操作等高风险场景中,其威胁尤为显著。值得注意的是,尽管此次研究仅停留在技术验证阶段,未实际传播病毒或影响真实用户,但已充分表明联网AI助手普遍存在此类安全隐患。
CFCA特别强调,用户在使用AI助手处理代码编写、执行系统命令等敏感任务时,应进行人工复核,避免过度依赖AI生成的内容,从而防范潜在的安全风险。
近年来,AI技术的飞速发展,特别是在辅助代码编写、提升开发效率方面,展现了巨大的潜力。然而,开发者在享受AI带来的便捷与高效的同时,也必须坚守软件工程的基本原则。需求分析、设计、编码、代码审查、测试以及安全评估等环节,在AI辅助开发的新时代不仅不应被忽视,反而应当得到进一步加强。
CFCA指出,严谨的需求分析、细致的设计规划、规范的编码实践、严格的代码审查流程、充分的单元测试与集成测试,以及持续的安全评估,这些软件工程的基石,在AI技术的浪潮中仍然至关重要。开发者应当在拥抱AI的同时,继续坚持并强化这些科学方法与原则,以确保软件系统的安全性与可靠性。
研究团队还建议,AI助手的开发者应加强对返回内容的监控与过滤,采用先进的安全技术,如深度学习模型检测恶意代码,以及建立应急响应机制,以应对潜在的安全威胁。
总之,随着AI技术的广泛应用,其安全性问题日益凸显。CFCA与中国银联云计算中心的这项研究,为行业提供了宝贵的警示,提醒广大用户在享受AI带来的便利时,务必保持警惕,加强安全防护。