一个名为“酒店比价助手”的技能,安装时看不出异常,说明文字也像正常工具。可当用户提出差旅需求,智能体在挑选能力时把它纳入计划,它便可能把伪造预订接口推入执行路径,借机获取行程与支付信息,并把该接口写进长期记忆。任务结束后,风险并未随会话关闭而消失,下一次差旅任务仍可能再次调用它。
这类情形把智能体安全从“回答是否合规”推到更长的行为链上。模型不再只生成文本,还会选择技能、调用工具、读写文件、访问数据库、操作网页和终端,并把经验存入记忆。需要检查的内容因此包括:系统加载了什么能力,技能、记忆和工具如何被组合,最终动作造成什么后果,以及这些后果会不会改变下一次运行。
按模型、记忆、工具、环境分块检查,能够指出局部薄弱点,却不容易回答风险如何从一处转移到另一处。相关综述把通用智能体的运行过程拆成能力准入、任务编排、动作执行和持久反馈四个环节,试图沿着同一条攻击链观察风险怎样进入、被激活、落地并留存。
能力准入阶段决定哪些技能可以进入系统。智能体读取技能元数据、能力说明、使用条件和接口信息,形成后续可选的能力池。伪造身份、冒充可信组件、在自然语言说明或脚本依赖中夹带恶意内容,都可能在这一步埋下隐患。危险能力一旦通过准入,未必马上动作,而可能等待合适任务。
任务编排阶段,用户请求、长期记忆、技能说明和工具信息在同一上下文中汇合。单独看没有问题的技能,组合后可能形成越权路径;一次普通记忆检索,也可能把早先写入的污染内容重新带回决策上下文。风险在这里不再只是静态文本,而开始影响技能选择、计划构造和工具调用准备。
动作执行阶段,智能体通过工具与外部环境接触。网页隐藏文本、弹窗、终端输出、搜索结果和工具响应都可能夹带指令性内容。如果智能体把环境观察误当成高优先级命令,内部决策就会转成真实操作,例如修改文件、泄露信息或调用不该调用的接口。
执行结束并不等于风险结束。结果可能进入长期记忆,沉淀为新技能,或留在项目工件中。它们会在后续任务中重新进入能力准入或编排环节,形成反向污染。一次失败可能跨会话保留,成为下一轮行为的起点。
沿着运行链条,综述归纳出四类互相耦合的攻击面。技能供应链是其中之一:风险不只在声明文件里,也可能藏在辅助脚本、依赖、配置、检索数据库和本地缓存中;多个各自看起来正常的技能组合后,也可能形成未授权访问、隐私泄露或破坏性执行路径。有的攻击会改写当前会话中的技能,等到特定条件再启动后门。
用户侧攻击也在变化。有害请求、角色扮演、编码混淆、多轮诱导和优化生成的越狱提示,可以推动智能体执行危险任务。与只追求违规文本的越狱不同,面向智能体的攻击更在意让模型完成包含多次工具调用的真实攻击链。攻击方法从人工模板、启发式搜索,走向能够规划、反思并调整策略的智能体化红队。
长期记忆让一次投毒具有持久性。记忆通常会被自动检索,并作为可信上下文参与决策。攻击者可以直接污染知识库、检索语料和记忆索引,也可以通过对话、网页内容或环境观察诱导智能体写入错误信息。后门型记忆平时不发声,只在特定主题、查询或上下文模式出现时触发。
外部环境同样不是天然可信的数据源。对会浏览网页、操作电脑和调用工具的智能体来说,看到的内容既可能是数据,也可能被误读为指令。恶意网页、隐藏文本、图形界面弹窗、文件内容、终端输出、接口返回和工具响应,都可能改变后续推理。攻击者不必直接接触模型,只要控制智能体将读取的环境内容,就可能影响其下一步行为。
安全评测的对象也随之变化。早期基准主要判断模型是否生成有害回答;面向智能体的评测还要观察它选了哪个工具、构造了什么参数、从哪一步开始偏离用户目标、是否受到环境注入影响,以及最终是否修改文件、泄露信息或改变系统状态。相关评测大致分为领域专用智能体安全评测、通用智能体安全评测和离线轨迹审计三类。前者覆盖工具调用、网页浏览、计算机和移动设备操作等环境;中者关注技能介导的行为安全与恶意技能检测;后者通过完整交互历史或候选动作识别风险步骤并解释因果链。评测重点从“任务最后有没有出事”转向“风险在哪一步出现、为何出现、能否在执行前发现”。
防御方法按介入位置分为三层。输入与上下文过滤负责在不可信内容进入决策前,扫描技能风险、检测提示注入与越狱、设置记忆写入和检索护栏。决策与控制完整性关注计划如何形成:一方面在模型外部重构上下文、隔离不可信数据、约束信息流和工具依赖;另一方面通过指令层级训练、偏好优化和安全工具使用对齐,把信任优先级内化到模型策略。运行时监控与执行约束则在动作生效前检查整个计划、单次工具调用或累计轨迹,并选择阻止、修正、请求确认或进一步验证。













