
资讯
Mr.LHDR:多模态长程深度研究智能体基准,最强系统仅 43.1% 准确率
一句话:arXiv 论文 Mr.LHDR 提出多模态、真实、长程深度研究智能体基准,要求跨长链相互依赖证据推理;即便最强系统总体准确率也仅 43.1%。
背景
每个问题由隐藏的“节点-关系图”构造,平均需 12.1 个必要中间结论、平均依赖深度 10.4 才能得出唯一可验证答案;证据含图像、地图、PDF、图表、视频帧等多模态元素。
核心要点
- 基准:8 类真实长程深度研究,平均 12.1 个中间结论、依赖深度 10.4。
- 多模态证据不可或缺:去掉图像使 DACS 下降 12.6 分。
- 结果:最强系统总体准确率 43.1%、严格准确率 34.3%,终答准确率高估完整研究成功率。
为什么重要
揭示当前深度研究智能体的瓶颈在于“持续、依赖一致的证据整合”而非孤立事实检索,为评测与训练指明方向。
关键事实速记
- 提交:2026-09-10;类型:多模态长程深度研究基准。
- 结果:最强系统 OA 43.1% / SA 34.3%。
- 发现:去图像 DACS -12.6 分。
📂 原文链接:查看原文 →
← 返回资讯列表
AI8899 · 内容仅供学习参考