← 资讯列表
arXiv

arXiv 2610.02664:GHOST——长程 agent 跨轮安全约束被忽略

📅 2026/10/6 08:00:00👁 3 阅读⏱ 约 2 分钟

背景

2026 年 10 月 2 日,论文 A GHOST in Long-Horizon Agents 揭示长程 agent 的一种被忽视的执行安全失效模式。

核心要点

  • GHOST:agent 在 benign 交互中,可能执行一个违反「很多轮之前指定的安全约束」的动作,造成不可逆损害。
  • 实验显示 GPT-5.5 上 GHOST 发生率 11.5%;理论上若每安全前缀的残差条件违例风险下有非可和序列,则几乎必然进入危险区。
  • 提出 STAR-Guard 两层防御:历史语义安全约束恢复 + 执行前审计,实验中没有再出现 GHOST 事件。
  • 方法为确定性审计层阻止残差违例到达环境。

为什么重要

把 agent 安全从「单轮/单步」扩展到「跨轮长期一致性」,揭示长程任务中约束遗忘这一隐蔽风险。

关键事实速记

  • 论文:arXiv 2610.02664(GHOST,10-02)
  • 失效:跨轮安全约束被忽略
  • 发生率:GPT-5.5 上 11.5%
  • 防御:STAR-Guard 两层
  • 结果:实验中 0 GHOST

📂 原文链接:查看原文 →

← 返回资讯列表 AI8899 · 内容仅供学习参考