资讯
arXiv agent 安全评估不可泛化：基准间指标崩塌
一句话：10/5 简报：三篇 arXiv 论文独立指出 agent 安全评估指标在基准间不泛化，提示注入检测排名跨基准崩塌。
背景
- 2026 年 10 月 5 日，Daily AI Briefing 汇总三篇同日论文，指出 agent 安全评估的「基准→部署」鸿沟。
核心要点
- TPRS（威胁保持表征敏感性）：ASB 上把威胁相关工具名换为中性名，GPT-5-mini ASR +11.67、Claude Haiku 4.5 +13.21 点，效应多由表面正字特征介导。
- Passing the Test You Trained On：提示注入检测器在 AgentDojo/tau-bench 间排名崩塌，BIPIA 最佳检测器在 AgentDojo 仅捕 2%，最佳 AgentDojo 检测器在 tau-bench 仅 15%。
- Do LLMs Know Colombian Law?：15 个模型法律自由文本事实正确率≤0.45，相关性 vs 正确率呈负相关（rho=-0.46），仅约半数引用规范正确。
- 建议：部署导向评估须用 agent 自身工具输出、报告低误报率、审计检测器训练数据。
为什么重要
- agent 安全评测的高分可能只是「训练集过拟合」，跨基准/跨表征即崩塌，呼吁以真实工具输出与低误报为硬指标。
关键事实速记
- 简报：Shift Zone 10-05
- TPRS：威胁名中性化使 ASR +11~13 点
- 检测器：AgentDojo 2%↔tau-bench 15%
- 法律：自由文本正确率≤0.45
- 建议：低误报+审计训练数据
📂 原文链接：查看原文 →
← 返回资讯列表
AI8899 · 内容仅供学习参考