← 资讯列表
资讯

EvoSkill-GUI：免训练、可部署时自我修订的 GUI agent 技能进化

📅 2026/9/15 08:00:00👁 1 阅读⏱ 约 3 分钟

一句话：9 月 15 日 arXiv 论文 EvoSkill-GUI 提出免训练框架：每个技能是含检索元数据、可执行计划、备份定位、失败恢复规则的结构化多文件包，通过「反思-修订-复用」循环在执行时从反馈中改进，无需额外训练。

背景

  • GUI agent 在动态界面上执行长程任务，弹窗、延迟加载、控件移位常在执行前就让固定计划失效；现有技能多为部署前产出的静态产物，而非可进化的活知识。

核心要点

  • 提出 EvoSkill-GUI：技能是结构化多文件包（检索元数据、可执行计划、备份定位、失败恢复规则、无障碍工具、失败案例）。
  • reflect-revise-reuse 循环：执行器做即时 in-rollout 修订，隔离 critic 在严格信息隔离下诊断失败轨迹，执行器通过受限工具接口编辑特定技能文件。
  • 在 MobileWorld、AndroidWorld、OSWorld 三个主流 GUI 基准上一致提升多个基础模型，最大增益 +16.2% / +6.0% / +10.5%，且无需训练。
  • 进化后的技能库可继续惠及相关任务，而非从零重建；代码已开源（ZJU-REAL/EvoSkill-GUI）。

为什么重要

  • 把技能从「静态产物」变为「部署时可修订的生活知识」，直接缓解 GUI 动态性带来的计划失效。
  • 免训练即改进，降低落地与算力门槛，且技能可跨任务复用。

关键事实速记

  • 论文：arXiv 2609.17653（2026-09-15）
  • 框架：EvoSkill-GUI（免训练）
  • 基准：Mobile/Android/OS World
  • 最大增益：+16.2% / +6.0% / +10.5%

📂 原文链接：查看原文 →

← 返回资讯列表 AI8899 · 内容仅供学习参考