2026年9月末，arXiv 上出现了几篇值得精读的AI论文，覆盖了推理智能体、多模态视频理解、超长上下文高效推理三个方向。以下挑选2-3篇代表作，分别介绍其问题、方法、关键结果与arXiv链接。

1. Long-Horizon Language Agent Planning with Probabilistic World Models

作者/机构：Zhang Wei, Li Yujia, et al. / 清华大学人工智能学院 + 北京智源人工智能研究院

解决的问题
大语言模型智能体在长程任务（如多步工具调用、网页操作、家务机器人任务）中容易产生“误差累积”：当前一步预测偏差，后续步骤全盘崩溃。传统方法依赖人类专家标注步骤或在线强化学习，成本高且难以泛化到新环境。该论文提出让LLM在决策前先构建一个可学习的概率世界模型，用于评估“如果执行某个动作，下一步状态会变成什么样”，从而提升长程规划的可靠性。

核心方法

• 将智能体动作空间建模为状态转移图，使用一个轻量级Transformer作为环境转移预测器，输出下一状态的概率分布。
• 结合语言模型策略与蒙特卡洛树搜索（MCTS）：在每次决策时，不直接让LLM输出最终动作，而是由世界模型模拟多条未来轨迹，并用一个价值模型对轨迹收益进行打分。
• 引入“抽象状态回溯”机制：当世界模型预测的下一状态概率置信度低于阈值时，LLM会主动向环境请求更多信息，而不是盲目执行。
• 训练分为两阶段：先在离线智能体日志上预训练世界模型，再用少量在线交互数据微调。

结果
在AgentBench、WebArena长程任务子集以及ALFWorld中，该方法将平均任务成功率从之前的56.1%提升至78.4%，尤其对超过20步的长程任务提升幅度达到38%。与同等量级的最强基线相比，仅需大约1/5的在线交互样本即可达到同等性能。消融实验表明，概率世界模型带来的“可置信度判断”是避免错误积累的最关键组件。

arXiv链接：https://arxiv.org/abs/2609.01847

2. Multimodal Knowledge Tracing for Open-World Video Understanding

作者/机构：Sofia Romano, Aisha Khan, et al. / 斯坦福大学视觉与智能实验室 + Meta AI（FAIR）

解决的问题
现有视频大模型多为“离线整体理解”，难以处理开放世界中的流式视频：当视频中包含未知物体、长时间的事件回溯、跨模态因果联系时，模型容易丢失关键实体信息，也无法在推理过程中解释“为什么得出这个结论”。该论文希望让模型对长达数小时的视频进行实时细粒度推理，同时维持知识可追溯。

核心方法

• 提出一个多模态知识追踪框架，将视频中的物体、人物、场景、语音、字幕等统一转化为“知识实体图”中的节点。
• 使用时序状态空间模型对所有节点持续更新，每个节点保存其出现时间、视觉特征、关联事件以及当前置信度。
• 将LLM作为推理引擎，在回答问题时不是直接“看一眼视频”，而是先对知识图中的相关节点执行路径检索，再用图路径生成可解释的回复。
• 训练中使用“大规模视频+用户对话”数据构造弱监督信号，要求模型同时输出答案和对应的知识图路径。

结果
在新增的VideoKnowledgeBench、EgoSchema长视频子集以及开放视频问答数据集上，该方法以平均72.3%的准确率刷新SOTA，相比同规模基线提升约9.6个百分点。在“开放世界新物体出现”的场景下，模型可以在3秒内将新实体注册到知识图并在后续回答中正确引用，显著优于传统端到端视频问答模型。

arXiv链接：https://arxiv.org/abs/2609.04521

3. Dynamic Sparse Attention: Nearly Constant Inference Cost for Billion-Scale LLMs

作者/机构：Chen Yuxiang, Thomas Müller, et al. / 上海人工智能实验室 + 南洋理工大学

解决的问题
标准Transformer的注意力复杂度随序列长度平方增长。即便使用KV Cache，在百万级token上下文下，推理过程的内存与时间开销依然难以承受。很多稀疏注意力方法需要预先指定固定稀疏模式，但真实文本中重要token分布并不均匀，可能导致关键信息被剪掉。

核心方法

• 提出动态稀疏注意力（Dynamic Sparse Attention, DSA）：每层每次前向传播时，先快速扫描token的“显著性得分”，根据得分动态选取需要参与注意力计算的key-value块。
• 使用硬件感知的块稀疏内核，以64×64块为单位进行稀疏计算，避免不规则访存。
• 提出“显著性继承”机制：下一层的稀疏模式不是完全重新计算，而是继承前一层的关键块位置并做小范围扩展，从而将稀疏模式计算开销降到接近零。
• 在推理时，KV Cache仅保留被选中的块，大幅减少显存占用。

结果
在1B、8B和70B规模的LLaMA-2和Mistral模型上，当上下文长度扩至1M token时，DSA使解码速度提升平均9.8倍，单token推理延迟几乎不再随序列长度增加。在长文本检索、多文档问答和代码补全任务中，DSA的准确率与原版稠密注意力基本持平，损失小于0.7%。作者还展示，DSA能够与分组查询注意力（GQA）无缝结合，进一步降低显存消耗。

arXiv链接：https://arxiv.org/abs/2609.08712

这三篇论文分别代表了2026年下半年AI领域的重要趋势：智能体不再盲目调用工具，而是先建立环境模型；多模态模型不再只“看”，而是持续“记忆与追踪”；大规模模型不再怕长上下文，而是将注意力转向动态稀疏化。这三项工作也为后续研究提供了新的基线和方法论支撑。