arXiv agent 安全评估不可泛化：基准间指标崩塌

背景

2026 年 10 月 5 日，Daily AI Briefing 汇总三篇同日论文，指出 agent 安全评估的「基准→部署」鸿沟。

核心要点

• TPRS（威胁保持表征敏感性）：ASB 上把威胁相关工具名换为中性名，GPT-5-mini ASR +11.67、Claude Haiku 4.5 +13.21 点，效应多由表面正字特征介导。
• Passing the Test You Trained On：提示注入检测器在 AgentDojo/tau-bench 间排名崩塌，BIPIA 最佳检测器在 AgentDojo 仅捕 2%，最佳 AgentDojo 检测器在 tau-bench 仅 15%。
• Do LLMs Know Colombian Law?：15 个模型法律自由文本事实正确率≤0.45，相关性 vs 正确率呈负相关（rho=-0.46），仅约半数引用规范正确。
• 建议：部署导向评估须用 agent 自身工具输出、报告低误报率、审计检测器训练数据。

为什么重要

agent 安全评测的高分可能只是「训练集过拟合」，跨基准/跨表征即崩塌，呼吁以真实工具输出与低误报为硬指标。

关键事实速记

• 简报：Shift Zone 10-05
• TPRS：威胁名中性化使 ASR +11~13 点
• 检测器：AgentDojo 2%↔tau-bench 15%
• 法律：自由文本正确率≤0.45
• 建议：低误报+审计训练数据