← 资讯列表
资讯

Mr.LHDR:多模态长程深度研究智能体基准,最强系统仅 43.1% 准确率

📅 2026/9/10 08:00:00👁 1 阅读⏱ 约 2 分钟

一句话:arXiv 论文 Mr.LHDR 提出多模态、真实、长程深度研究智能体基准,要求跨长链相互依赖证据推理;即便最强系统总体准确率也仅 43.1%。

背景

每个问题由隐藏的“节点-关系图”构造,平均需 12.1 个必要中间结论、平均依赖深度 10.4 才能得出唯一可验证答案;证据含图像、地图、PDF、图表、视频帧等多模态元素。

核心要点

  • 基准:8 类真实长程深度研究,平均 12.1 个中间结论、依赖深度 10.4。
  • 多模态证据不可或缺:去掉图像使 DACS 下降 12.6 分。
  • 结果:最强系统总体准确率 43.1%、严格准确率 34.3%,终答准确率高估完整研究成功率。

为什么重要

揭示当前深度研究智能体的瓶颈在于“持续、依赖一致的证据整合”而非孤立事实检索,为评测与训练指明方向。

关键事实速记

  • 提交:2026-09-10;类型:多模态长程深度研究基准。
  • 结果:最强系统 OA 43.1% / SA 34.3%。
  • 发现:去图像 DACS -12.6 分。

📂 原文链接:查看原文 →

← 返回资讯列表 AI8899 · 内容仅供学习参考