2026-10-28 AI 论文精读

本期精读 10 月 26 日 arXiv 上的三篇新作：用「决策模型」替代检索器的 DecisionRAG、让自主研究系统可评测可进步的 Auto-Research Arena、以及用主动分支学习给长程 Agent 做信用分配的 FOCUS。

1. Retriever-Free Retrieval: Navigating Documents with Decision Models

论文标题：Retriever-Free Retrieval: Navigating Documents with Decision Models
作者/机构：Chao Wan, Paul Jünger, Beixi Du, Bodong Liu, Navaneetha Krishnan, Kilian Q. Weinberger
解决的问题：语言模型越来越强，但检索仍然高度依赖词汇匹配或固定嵌入空间里的相似度搜索——这造成一种「能力不对称」：检索器找不到的东西，再强的生成模型也救不回来。如何让检索本身也拥有语言模型的理解能力？
核心方法：提出 DecisionRAG，把预训练语言模型的能力带到检索端：用「决策模型」在单次前向传播中联合评估候选分支，全程不生成任何 Token。关键洞察是——让候选内容在共享上下文中被「并排审判」，它们的相关性估计就变得可比。就像一个人在图书馆里浏览一样，DecisionRAG 顺着语料库的内在结构走：从宽泛主题一路下探到具体段落，在每一层决定哪些分支值得继续探索。整个过程无需任务特定训练，也不需要一阶段检索器。
结果：在没有任务特定训练、没有一阶段检索器的情况下，DecisionRAG 在 MultiDoc2Dial 上以 13.8 R@1、在 Natural Questions 上以 17.4 Hit@1 的优势超过「稠密检索 + 8B 重排器」；在四个基准上（包括一个 268 万段落的 Wikipedia 语料库），单查询检索仅需 0.7–1.8 秒。
arXiv链接：https://arxiv.org/abs/2610.35868

2. Auto-Research Arena: Benchmarking and Advancing Auto-Research in Language Modeling

论文标题：Auto-Research Arena: Benchmarking and Advancing Auto-Research in Language Modeling
作者/机构：Xi Chen, Chongjian Ge, Yiran Xu, Yiqun Mei, Henrik I. Christensen, Hao Tan, Ziwen Chen, Hanwen Jiang（UCSD 等）
解决的问题：自主研究系统越来越强，但现有基准要么只做「考试」不促「进步」——好的基准既要能评测性能，也要能支撑有意义的研究进展。如何在一个共享实验环境下，让不同研究目标可比较、可发现？
核心方法：提出 Auto-Research Arena，一个多目标自主研究基准。它把「合格性」与「进步」解耦：模型质量与资源约束决定一个结果是否合格（admissibility），而选定的研究目标在合格结果之间度量进步。作者在语言模型预训练上落地了 Arena：九个目标横跨模型、数据、训练与推理效率四个维度，并用两个基础模型评测了七个研究 Harness。
结果：Arena 能清晰区分现有 Harness 在不同研究目标上的表现，且多个看似精巧的方法被简单的顺序搜索基线反超——说明当前自主研究系统还有大量提升空间。更有价值的是，Arena 暴露出一片与活跃研究方向对齐的更广阔的模型与系统想法；把这些发现复用进新一轮「质量驱动搜索」后，在数据与 FLOPs 匹配的情况下训练损失更低、同规模模型下留出集 BPB 也更低。代码已开源（github.com/Auto-Research-Arena/auto-research-arena）。
arXiv链接：https://arxiv.org/abs/2610.35866

3. FOCUS: Active Critic Learning for Long-Horizon Language Model Agents

论文标题：FOCUS: Active Critic Learning for Long-Horizon Language Model Agents
作者/机构：Zhengping Jiang, William Jurayj, Liaoyaqi Wang, Chunsheng Zuo, Anqi Liu, Benjamin Van Durme（JHU 等）
解决的问题：稀疏的结果奖励让长程语言模型 Agent 很难把功劳归给早期的动作。学习的 critic 可以提供中间状态的价值估计，但这些估计可能不准；而用重复续写采样来估计中间价值又代价高昂。能不能让 critic 在「最该学的地方」学得更准？
核心方法：提出 FOCUS，一种用选择性分支（selective branching）辅助 critic 网络学习价值估计的 RL 方法。rollout 控制器为 critic 做「主动学习」：只从预计最能降低 critic 估计误差的状态采样续写，用精化后的价值估计以 TD(λ) 优势为相邻状态之间的片段打分，采样得到的证据同时作为 critic 的训练目标。FOCUS 还通过模块化上下文管理接口支持长程 Agent 强化学习，把上下文管理与 rollout 分配解耦。
结果：在逐步骤生成预算匹配的条件下，FOCUS 在法律推理、深度搜索与代码定位基准上全面超过 GRPO 与 VinePPO：Qwen3.5-9B 规模下，BrowseComp-Plus 上比最强基线高 7.2 分（55.4 vs 48.2），DeonticBench 上高 4.1 分（56.5 vs 52.4）。
arXiv链接：https://arxiv.org/abs/2610.35801