arXiv 2610.01073：安全须跨越自我改进——失败为何持续与如何恢复

背景

递归自我改进（RSI）被视为前沿风险来源之一，该工作把「安全能否跨越自我改进代际」变为可测可恢复的工程问题。

核心要点

• 在受控的「有状态授权」测试床中，固定 LLM 编辑器优化可执行 agent 组件，独立轨迹记录影响。
• 新授权依赖使旧优化失效后，22/48 个框架历史仍保留同样的不安全程序，尽管每个档案都有正确替代。
• 刷新评分可恢复原始套件正确性；完整验证 + 验证回滚在核心轨迹研究中以 >43% 部署节省结束于全正确程序。
• 结论：保持安全需检查「当前条件下将运行什么」并选择下一个要编辑的实现。

为什么重要

RSI 被视为前沿风险来源之一；该工作把「安全能否跨越自我改进代际」变为可测可恢复的工程问题，为安全 RSI 提供方法论。

关键事实速记

• 论文：arXiv 2610.01073
• 主题：RSI 中安全的持续与恢复
• 发现：22/48 历史保留不安全程序
• 方法：评分刷新 + 验证回滚
• 节省：>43% 部署节省