资讯
arXiv 2610.02664：GHOST——长程 agent 跨轮安全约束被忽略
一句话：arXiv 2610.02664 提出 GHOST：长程 agent 在 benign 交互下会执行早于多轮前的安全约束违例，发生率 11.5%（GPT-5.5）。
背景
- 2026 年 10 月 2 日，论文 A GHOST in Long-Horizon Agents 揭示长程 agent 的一种被忽视的执行安全失效模式。
核心要点
- GHOST：agent 在 benign 交互中，可能执行一个违反「很多轮之前指定的安全约束」的动作，造成不可逆损害。
- 实验显示 GPT-5.5 上 GHOST 发生率 11.5%；理论上若每安全前缀的残差条件违例风险下有非可和序列，则几乎必然进入危险区。
- 提出 STAR-Guard 两层防御：历史语义安全约束恢复 + 执行前审计，实验中没有再出现 GHOST 事件。
- 方法为确定性审计层阻止残差违例到达环境。
为什么重要
- 把 agent 安全从「单轮/单步」扩展到「跨轮长期一致性」，揭示长程任务中约束遗忘这一隐蔽风险。
关键事实速记
- 论文：arXiv 2610.02664（GHOST，10-02）
- 失效：跨轮安全约束被忽略
- 发生率：GPT-5.5 上 11.5%
- 防御：STAR-Guard 两层
- 结果：实验中 0 GHOST
📂 原文链接：查看原文 →
← 返回资讯列表
AI8899 · 内容仅供学习参考