2026-10-21 AI 论文精读

本期精读 10 月 19 日 arXiv 上的三篇新作：面向真实世界视觉工具调用的多模态记忆 Harness OpenVLHarness、把「能力权重切换」变成 Agent 动作的 WeAct、以及用学习式 Token 剪枝加速 Prefill 的 TokenGate。

1. OpenVLHarness: Real World Visual Agentic Tool-Use with Multimodal Memory

论文标题：OpenVLHarness: Real World Visual Agentic Tool-Use with Multimodal Memory
作者/机构：Yu Zhou, Cheng-Fu Yang, Rui Sun, Di Wu, Sibo Peng, Mingyang Zhang, Zhen Yang, Ruiyi Zhang, Nanyun Peng, Zhe Gan, Kai-Wei Chang
解决的问题：多模态大模型（MLLM）在视觉推理上进步迅速，但很多任务需要的「证据」无法靠内部推理获得——作者的对照实验显示，在 22 个基准上单纯增加底模的推理预算只能换来微薄提升。这类任务依赖通过异构工具获取的接地感知、外部知识与数值测量结果，而这些工具的输出必须先转化为模型可读的观察、并跨推理步骤持续保留。
核心方法：提出多模态推理 Harness——OpenVLHarness，围绕「能力层 + 持久多模态记忆」构建。能力层把任务级工具接口与证据渲染结合在一起，统一访问异构后端并把输出转成模型可读的观察；持久多模态记忆把对应的图像、结构化数据与网页引用作为可寻址工件（addressable artifacts）在整个查询期间保留；另有一个编码接口让模型写程序对存储数据进行计算，把多个工具的结果组合起来。三者共同支撑「获取—检查—组合」多模态证据的迭代过程。
结果：在 22 个基准上、跨 8 个开源与闭源骨干模型，OpenVLHarness 相对匹配的无工具基线平均提升 9.7–12.6 分——其中 Qwen3-VL-8B +11.2、Kimi K3 +9.7、GPT-6 Astra +9.9。值得注意的还有一个效率结论：GPT-6 Luna 在中档推理强度下搭配 OpenVLHarness，即可超过同模型（以及 Codex、Visual Sketchpad）在最高推理强度下的表现 7.7–8.5 分，而模型 Token 成本仅为后者的至多 37%。
arXiv链接：https://arxiv.org/abs/2610.26860

2. WeAct: Dynamic Weight Switching as Agent Actions

论文标题：WeAct: Dynamic Weight Switching as Agent Actions
作者/机构：Rui Shi, Xunjian Yin, Jiacheng Sang, Zichuan Liu, Shuyan Zhou
解决的问题：长程 Agent 需要从交错出现的轨迹里学会多种异构能力，但用共享参数不断学习新能力会侵蚀旧能力——灾难性遗忘。一条轨迹中不同阶段往往需要不同能力，而常规的联合训练和静态 adapter 合并都在整个执行过程中保持固定的参数配置，无法按需切换。
核心方法：提出 WeAct（Weight-level Internal Actions，权重级内部动作）——在冻结的骨干模型上训练相互独立、按能力划分的 LoRA adapter，并把「adapter 选择」加入 Agent 的动作空间。这些「内部动作」复用模型原生的工具调用接口，在共享上下文中按需组合能力，从而让模型在一条轨迹内动态切换「能力配置」而非固定一套参数。
结果：在 8 个深度研究（deep-research）基准上，Qwen3-32B 搭配 WeAct，相对全参微调版本平均准确率提升 6.2%（且训练计算量更小），相对最强的静态 LoRA 合并方法提升 27.5%。WeAct 还天然支持模块化持续适应：新增一个代码计算 adapter 即可扩展现有能力、更新写作 adapter 即可提升报告质量，二者都不触碰骨干与其他 adapter——为 Agent 的持续学习提供了一条不遗忘的路径。
arXiv链接：https://arxiv.org/abs/2610.26847

3. TokenGate: Adapting LLMs for Fast and Memory-Efficient Prefill with Learned Token Pruning

论文标题：TokenGate: Adapting LLMs for Fast and Memory-Efficient Prefill with Learned Token Pruning
作者/机构：Liana Patel, Rishabh Ranjan, Ion Stoica, Matei Zaharia, Carlos Guestrin（UC Berkeley / Stanford 等）
解决的问题：人类专家读长输入（代码仓库、长文档）时会先略读、只精读关键部分；而语言模型让每个输入 Token 都穿过每一层，长上下文输入的 prefill 阶段计算与内存开销巨大。能不能让模型也学会「先过滤再精读」？
核心方法：提出 TokenGate——一个即插即用的小组件，挂在已有训练好的模型上，实现端到端可学习的长上下文 Token 剪枝，以加速 prefill 并降低峰值内存。针对 top-K 剪枝的不可微问题，作者设计了「Token 门控注意力」（token-gated attention）：受 MoE 启发，用 Token 重要性分数对注意力 logits 重新加权，从而让剪枝决策端到端可学习，无需两阶段训练。
结果：在多种任务上，TokenGate 将首 Token 延迟（TTFT）最高提升 11.3 倍、峰值内存最高降低 3.4 倍，且无精度损失；相对此前最强的 Token 剪枝方法，prefill 最高再快 6.4 倍、峰值内存再降一半。它原生兼容标准 Transformer（如 Qwen3）和混合注意力模型（如 Qwen3.5），适配成本与常规参数高效微调相当。代码已开源（github.com/tokengate-models/TokenGate）。
arXiv链接：https://arxiv.org/abs/2610.26754