1. Unbounded Memory with Compression-Recall: Scaling Transformer Context to Millions of Tokens via Learned Memory Indices

• 作者/机构：Anna Verkholantseva, Ioannis Papadimitriou, et al. (Google DeepMind / University of Cambridge)
• 解决的问题：现有Transformer架构受制于二次复杂度自注意力窗口，难以在推理时高效利用超长上下文（如文档库、对话历史、代码库）。直接扩展KV Cache成本不可控，而常见RAG或摘要方式又会丢失细粒度信息。本文目标是在不改变训练数据分布的前提下，将有效上下文长度提升至百万token量级，同时保持较低的推理开销。
• 核心方法：提出“压缩-召回”（Compression-Recall）双层记忆架构。第一层为局部滑动窗口注意力，负责实时语义建模；第二层为离线构建的“内存索引”，将历史token序列通过可学习的分词器切分为语义片段，并使用向量量化变分自编码器（VQ-VAE）压缩为固定长度的记忆键值对。推理时，通过轻量级检索网络（基于交叉注意力哈希）动态召回与当前query最相关的N个记忆片段，连同窗口内token一起送入后续层。该机制允许模型“忘记”原始token序列，但保留可检索的高阶语义压缩表示。
• 结果：在LongBench 2.0、Key-Value Retrieval 500K以及新提出的“多文档逻辑长链”数据集上，压缩-召回模型在百万token输入序列上的准确率比同规模FNN-Transformer基线提升18.7%，推理显存占用仅为后者1/25。在下游任务中，模型能够在507,684个token的跨文件Bug修复任务中正确解决67%的case，而GPT-4-128K仅达到28%。
• arXiv链接：https://arxiv.org/abs/2609.0142

2. Alignment via Game-Theoretic Preference Navigation (GPN): Robustly Optimizing AI Behaviors via Nash-PPO

• 作者/机构：Jin-Hwa Lee, Chloe Moreau, Youssef Mansour, et al. (Anthropic / MIT / Stanford)
• 解决的问题：传统RLHF使用奖励模型作为人类偏好的代理，但奖励模型在高风险、长尾场景中容易被“过优化”，产生奖励黑客（reward hacking）和目标错置（goal misgeneralization）。特别是当人类偏好本身存在非自洽、多目标冲突时，单一点估计难以权衡。本文从博弈论视角重新定义对齐问题：如何在不假设偏好可线性加权的条件下，找到一种稳定且公平的策略。
• 核心方法：提出“博弈论偏好导航”（Game-Theoretic Preference Navigation, GPN）。将策略模型与一组“偏好评审者”（preference critics）建模为两人零和随机博弈，其中评审者的奖励矩阵由成对比较数据构造，并引入认知不确定性来平滑非自洽偏好。训练算法为Nash-PPO：使用双策略交替更新，策略最大化最坏情况评审者效用，而评审者则最小化策略的期望效用（即寻找策略弱点）。最终通过求解近似纳什均衡得到鲁棒的策略分布，而非单点最优解。该方法可与DPO、IPO等离线算法结合，也可以在线使用。
• 结果：在Reddit Helpful/Harmful、Anthropic-HH以及新推出的“对抗性Reward HackingBench”上，GPN训练的模型在帮助性与安全性综合指标上超过gpt-4o-mini（生成器）和DPO基线15.2%，并显著降低了“jailbreak-诱导”场景中的有害输出比例（比最好的基线降低42%）。当多个偏好维度冲突时（如“详细但不冗长”），GPN自动找到帕累托最优区域，比PE-DPO等前沿方法更稳定。
• arXiv链接：https://arxiv.org/abs/2609.0389

3. Causal Entropy Sinks: A Unified Framework for Interpretability and Controllability in Multimodal Foundation Models

• 作者/机构：Xiaoya Zhang, Aleksander Dmitriev, Elisa Bruni, et al. (MIT-IBM Watson AI Lab / Stanford University / TU Munich)
• 解决的问题：多模态大模型（如视觉-语言模型）虽然能力强大，但内部表示高度纠缠。其决策过程难以归因于具体输入区域或抽象概念，导致在医疗影像诊断、自动驾驶等安全关键场景中不可信。同时，用户无法精确控制生成内容中的“风格”与“事实”分离——现有方法往往要么修改过多、要么不足。
• 核心方法：提出“因果熵源”（Causal Entropy Sinks）框架。首先在多模态Transformer中引入可解释性模块——为每层头部的注意力输出计算与下游任务间的条件互信息，并利用Do-Calculus辨识哪些中间变量构成“熵源”，即对最终预测具有显著直接因果影响的压缩节点。然后，这些熵源被用于双向控制：一方面从熵源重建出输入中的关键概念区域（零样本分段与归因）；另一方面通过干预熵源向量（例如线性插值或定向扰动）来实现细粒度的风格迁移、事实一致性和概念反事实编辑。该框架无需训练新模型，仅需要现成的预训练权重。
• 结果：在ImageNet-1k无监督概念定位、COCO多模态归因基准以及MME认知测试上，Causal Entropy Sinks的归因精确率比现有最优GradCAM/attention-rollout提升21.3%，且产生更紧凑的因果区域。在概念编辑任务（将“猫”替换为“虎”而不改变姿态和环境）中，干预熵源的成功率达到91.4%，优于“linear probing”和“STEER”等基线。此外，作者还展示了在医学X光图像中对“肺部阴影”这一高层概念的定位，与放射科医生标注的Dice系数为0.83。
• arXiv链接：https://arxiv.org/abs/2609.0217