资讯
arXiv 2610.19422 AgentSafeEvo：用攻防协同演化提升 LLM Agent 安全
一句话：10-14 arXiv（cs.AI）论文 AgentSafeEvo：构建攻击者—防御者博弈的协同演化强化学习框架，跨多样任务与攻击类型持续提升 LLM agent 的安全鲁棒性，同时保持通用能力。
背景
- arXiv 2610.19422（10-14，cs.AI）：恶意内容可嵌入用户查询、工具描述或环境观测，操纵 agent 决策引发不安全动作；现有对抗协同演化多聚焦语言级安全或 Web 间接注入。
核心要点
- 方法：构建攻击者—防御者博弈的协同演化强化学习框架，跨多样任务与攻击类型；攻击者学构造暴露防御者工具使用弱点的对抗任务，防御者学在攻击下安全完成任务。
- 提出 learnability-guided task weighting：用任务内防御者奖励方差调整各任务对双方更新的贡献。
- 在 agent 安全与通用能力基准上广泛实验：提升对抗鲁棒性同时保持通用 agent 能力。
- 相比静态红队，协同演化更贴近真实威胁的持续演化。
为什么重要
- 用「攻防共同进化」持续逼出 agent 安全短板，比静态红队更贴近真实威胁演化。
- learnability 加权让训练资源聚焦「可学空间」，兼顾鲁棒与通用能力不退化。
关键事实速记
- arXiv 2610.19422（10-14, cs.AI）
- AgentSafeEvo 攻防协同演化 RL
- 攻击者构造工具滥用对抗任务
- learnability-guided 任务加权
- 提升鲁棒且保通用能力
📂 原文链接：查看原文 →
← 返回资讯列表
AI8899 · 内容仅供学习参考