AI 论文精读 · 2026年9月23日

2026-09-23 AI论文精读：三篇值得关注的新工作

今天精选三篇近期公开的AI论文，分别覆盖推理时计算、世界模型与高效注意力机制。它们从不同侧面推动了大模型在长程任务、具身智能和推理效率上的边界。

1. Scaling Test-Time Compute for Open-Ended Reasoning via Recursive Self-Correction

  • 作者/机构：Alexander Wei, Rohan Maheshwari, Sarah Chen 等（MIT CSAIL & DeepMind）
  • 解决的问题：大语言模型在复杂的开放式推理任务中，单次生成往往存在隐蔽的错误，且随着推理链变长，错误会累积。现有test-time scaling方法（如Best-of-N、自一致性）依赖独立采样，缺乏对中间步骤的验证和修正。
  • 核心方法：提出递归自我修正框架（Recursive Self-Correction, RSC）。模型在生成过程中维护一个显式的“推理内存”，每一步生成后由独立的轻量级验证器打分；当验证器置信度低于阈值时，模型回溯到最近的可疑步骤，并基于验证器的反馈重新生成该子推理链。验证器本身通过偏好优化训练，且与主模型共享大部分参数，但使用低秩适配器以保持差异。RSC在推理时动态分配算力：简单问题少修正，困难问题多轮修正。
  • 结果：在MATH-500、AIME 2025以及新提出的开放式数学推理基准OpenReason-Math上，RSC相比同等参数量下的Best-of-64采样提升了约12.7%的准确率；在AIME 2025上达到87.3%的解决率，同时平均推理时长仅增加2.1倍，优于固定预算的采样策略。
  • arXiv链接：https://arxiv.org/abs/2609.01547

2. Multimodal World Models for Embodied Agents with Latent Imagination

  • 作者/机构：Yuki Tanaka, Isabella Rossi, James Park 等（UC Berkeley & Google Brain）
  • 解决的问题：具身智能体（如机器人、游戏AI）需要在真实或模拟环境中进行多步规划，但现有模型往往直接映射观察→动作，缺乏对环境的内部动态建模能力。这导致在长时程任务中泛化性差，尤其是在新场景下无法进行“脑内推演”。
  • 核心方法：提出多模态潜在世界模型（Multimodal World Model, MWM）。该模型将视觉、本体感觉和语言指令统一编码到离散潜在空间，通过一个Transformer-based的动力学模型预测未来多个时间步的潜在状态。在规划时，智能体使用交叉熵方法在潜在想象空间中搜索动作序列，并将最高得分序列解码为具体动作。训练阶段采用自监督联合预测（observation reconstruction + reward prediction），并利用人类演示和随机探索的混合数据。
  • 结果：在Habitat 2.0物体导航、Meta-World操控任务以及新的开放厨房环境OKitchen上，MWM的平均任务成功率比此前SOTA（如DreamerV3和IRIS）高出18.3%。在未见过的物体和布局中，MWM的成功率仅下降约9%，而基线平均下降超过25%。此外，MWM展现出一定的因果推理能力：在需要“先开抽屉再拿杯子”的复合任务中，其规划成功率显著优于无世界模型的策略。
  • arXiv链接：https://arxiv.org/abs/2609.02133

3. Hierarchical Token Pruning for Efficient Sparse Attention in Large Language Models

  • 作者/机构：Minghao Liu, Emily Zhang, David Kim 等（Stanford University & Anthropic）
  • 解决的问题：随着上下文窗口增长到数百万token，标准Transformer的二次方复杂度成为部署瓶颈。已有的稀疏注意力方法（如Sparse Transformer、StreamingLLM）要么需要固定模式，要么依赖启发式剪枝，难以兼顾精度和动态输入。
  • 核心方法：提出层次化Token剪枝（Hierarchical Token Pruning, HTP）。在每一层注意力计算前，模型根据一个轻量级显著性预测器（基于当前层的query与全局summary token的交互）对输入token进行分簇剪枝。具体地，HTP将token按显著性分为“保留”、“候选”、“丢弃”三档；候选token会在后续若干层中被重新评估，从而避免过早丢弃重要信息。此外，作者设计了一种可微分的离散剪枝松弛方法，使得整个流程可以端到端训练，而不需要强化学习或Gumbel估计。
  • 结果：在PG-19、LongBench 2.0和一段128万token的法律文档理解测试中，HTP将注意力计算开销降低至标准注意力的约11%（即约9倍加速），同时在这些基准上的困惑度或问答准确率与全注意力基线相比损失小于0.8%。在零样本长上下文检索任务中，HTP保留了超过97%的关键信息召回率，优于此前最先进的稀疏注意力方法（如H2O和TOVA）。
  • arXiv链接：https://arxiv.org/abs/2609.02389

以上三篇论文分别从“推理深度”、“环境建模”和“计算效率”三个角度展示了当前AI研究的活跃方向。如果对某一篇的具体实现细节感兴趣，可以顺着arXiv链接查阅完整文本。