TinyAstral 将自进化 harness 迁移到 4B 小型通用操作智能体
TinyAstral 提出两阶段方法,先把冻结的开源教师智能体的 harness 通过递归自我改进(RSI)迭代,再把最终 harness 下的教师轨迹蒸馏进 4B 学生模型。
推荐理由:该工作把教师智能体的 harness 自进化收益蒸馏到 4B 小模型,并给出与 552B 规划器接近的跨基准结果,可供关注具身智能体轻量化的读者参考。
TinyAstral 提出两阶段方法,先把冻结的开源教师智能体的 harness 通过递归自我改进(RSI)迭代,再把最终 harness 下的教师轨迹蒸馏进 4B 学生模型。
推荐理由:该工作把教师智能体的 harness 自进化收益蒸馏到 4B 小模型,并给出与 552B 规划器接近的跨基准结果,可供关注具身智能体轻量化的读者参考。
作者在线性回归的上下文权重预测任务上构建可解析求解的 CoT 模型,用高维渐近下的随机矩阵理论推导出泛化误差关于推理深度、预训练数据量和上下文长度的精确公式。分析显示误差随深度变化存在区分指数改进、多项式改进、饱和与过思考的相变,并给出最优推理深度的缩放规律;预训练或上下文信息不足时,更长的推理反而会放大误差。
推荐理由:该工作给出 CoT 推理深度与泛化误差的精确解析式,并刻画指数与多项式改进之间的相变,为理解过思考现象提供可检验的理论框架。
研究团队提出 PertReason,包含基准 PertReasonQA 与参考模型 PertReasonLM,用于评估和改进细胞状态条件下的扰动效应机制推理。PertReasonQA 整合多种细胞环境下的单细胞遗传与化学扰动数据及知识图谱,并按细胞特异性基础状态动态生成通路,以测试模型在新细胞、未见扰动、跨模态与组合外推等分布偏移下能否给出机制上忠实的解释。
推荐理由:该基准把单细胞扰动数据与知识图谱结合,用于检验模型解释是否机制忠实,并给出参考模型的训练路径。
作者从理论上刻画了 KV cache 压缩的极小极大风险,用 cache 的内在可压缩性说明何时能实现准确压缩。结论指出,一旦注意力能精确检索单个 token,压缩只有在利用未来 query 信息时才能稳定优于随机采样,无论 cache 本身多冗余。基于此,作者提出因果掩码下的压缩设计原则,并实现为兼顾 prefill 与自回归解码的实用算法,该工作已被 NeurIPS 2026 接收。
推荐理由:论文用极小极大风险刻画 KV cache 的可压缩性,并给出因果掩码下的设计原则与可落地算法,为压缩方法提供理论依据。
作者提出 Blocked Gibbs Diffusion Transformer(BloGDiT),用分块高斯去噪替代标准联合高斯去噪,并通过迭代块重采样和随时间退火的块大小,实现对变量子集的大幅定向修改。在 Sudoku、Graph Coloring、Maximum Independent Set 和 MaxCut 上,BloGDiT 达到或超过现有方法,论文被 NeurIPS 2026 接收。
推荐理由:针对扩散模型求解约束优化时只能处理二元变量、依赖局部推理的局限,给出用 Transformer 做全局块级编辑的替代方案。
论文研究精确认证问题,即需要多少标注样例才能证明学到的假设等于目标函数,并证明在深度至少为 2 的阈值电路中,仅增加一个门就可能使认证所需样例数随输入维度指数增长;对 log-precision Transformer 也有类似的困难性结论,且只需常数级架构开销。
推荐理由:论文从理论上说明最小过参数化即可让精确认证指数级变难,并用二值加法实验展示错误模型难以通过均匀采样发现。
作者研究 Transformer 在训练中如何形成从特定位置复制信息的稀疏注意力模式,在高阶马尔可夫链设定下发现学习分阶段进行,每个阶段对应次重要位置组的稀疏模式出现。
推荐理由:论文用高阶马尔可夫链设定分析稀疏注意力模式的分阶段涌现,并给出可证明的分阶段收敛结果。
作者用表示理论形式化 SSM 的状态更新,证明对角实数与复数 SSM 只能追踪交换群,并据此提出加入四元数通道的 HyperSSM,在保持线性时间推理与并行训练的同时,仅用至多五个状态数就精确求解近期状态追踪基准中的群任务,包括 32 个生成元的 S_5,而此前 SSM 在该任务上仅相当于随机猜测;HyperSSM 还能泛化到训练时所见长度 25 倍的序列。
推荐理由:用表示理论解释 SSM 的状态追踪失败,并据此设计四元数通道的 HyperSSM,在群任务上精确求解。
作者研究序贯二分类预测中的平滑校准误差,构造了一个让结果均值随预测者累计残差移动的对手方,使任何预测者都至少产生 Ω(√T) 的期望平滑校准误差。该下界与已知上界在常数因子内一致,并进一步给出校准距离与下校准距离的 Ω(√T) 下界,从而确定了这些校准度量在序贯预测中的极小极大速率。论文摘要注明部分证明思路在作者指导下由 GPT-6 Astra 协助完成。
推荐理由:该工作构造新对手方把平滑校准误差下界推到 Ω(√T),与已知上界在常数因子内吻合,闭合了序贯预测中的极小极大速率问题。
作者提出 DASH,将 VLA 策略拆成慢速视觉语言模型(System 2)与快速 flow-matching 动作头(System 1),两者通过 LCM 协议并发运行,使控制频率只由动作头决定。
推荐理由:论文把 VLA 策略拆成慢速视觉语言模型与快速动作头两个并发进程,并在计入推理延迟的基准上比较不同规模骨干的控制频率与成功率。
作者提出 LEAP,一个面向平滑整数规划(含 MAX-CUT、MAX-k-SAT)的端到端学习增强框架:由 oracle 预测完整布尔赋值,再围绕该赋值线性化目标、求解带误差预算的线性规划并取整。
推荐理由:论文给出 LEAP 的端到端理论界与 MAX-CUT、MAX-SAT 实验,读者可据此判断学习增强整数规划的适用边界。
研究者在 8 个黑盒模型和 5 个开放权重模型上测试 persona 提示的选择性控制假设,发现仅改变目标属性也会改变未指定的非目标选择,例如风险偏好变化会带动颜色选择变化。
推荐理由:论文用 477 个留出合成世界和 200 个独立条目,揭示 persona 提示下目标属性会带动无关选择漂移,并给出注意力干预的机制解释。
作者提出智能体框架 LEAP,让通用基础模型通过与 Lean 编译器持续交互、把复杂问题拆成小单元并结合非形式化蓝图,在 2025 年 Putnam 竞赛中解出全部 12 道题。
推荐理由:LEAP 用智能体框架把通用 LLM 的形式化证明求解率从不足 10% 提到 70%,并给出 Lean-IMO-Bench 与 Putnam 结果。
研究团队提出 MonitorBench,用于系统评估大语言模型思维链的可监控性,包含覆盖 7 大类 19 项任务的 1540 个测试实例,并设置两种提示词压力测试。实验显示可监控性受被评估模型、监控模型和任务特征影响,当决策关键因素塑造中间推理过程时更高;压力测试下多数模型可主动降低可监控性,主要出现在推理过程不结构性要求这些因素的任务上。代码已开源。
推荐理由:该基准用 1540 个测试实例和压力测试提示,量化 CoT 可监控性在何种条件下下降,为 AI 控制研究提供可复用的评测入口。
研究团队提出免训练加速框架 DRAMA,通过分析多模态扩散大语言模型(dLLM)的注意力张量,发现注意力集中在少量视觉 token 上、且去噪过程中注意力分布很快趋于稳定,据此设计视觉 token 剪枝(SVTP)与自适应停止(SGAS)两种机制。
推荐理由:论文系统测量多模态 dLLM 的注意力冗余,并据此设计免训练加速方案,给出与六个基准的对比结果。
作者在已知真值的玩具模型与合成字典上考察 Elhage 等人的特征维度与带余弦阈值的特征恢复率(FRR),刻画特征维度不连续的位置,并用正则化(ridge)版本给出稳定性边界:ridge leverage score 的变化不超过权重算子范数变化的 3√3/(8√λ) 倍,且该常数无法改进。
推荐理由:论文给出特征维度与特征恢复率在权重扰动下的稳定性边界,并说明独立训练字典间证书难以成立。
作者系统检验神经元组干预中究竟多少神经元是必要的:对每组选定的 12 个 MLP 神经元穷举全部 4,096 个子集。在 Qwen3-0.6B 的资本二选一任务上,零消融 12 个选定神经元使答案 margin 下降 27%,随机神经元几乎无影响,但用其他问题的激活替换这些神经元也几乎无影响。
推荐理由:研究用穷举子集干预检验神经元组是否必要,发现少数神经元即可翻转答案且效应难以跨链迁移。
作者提出 Fit-LRP 框架,通过在非凸区域(多面体并集)上求解一系列小规模低维线性规划,精确优化仿射界,并可直接增强 LiRPA 与 α,β-CROWN 分支定界(BaB)的最后一步优化。
推荐理由:针对非凸多面体区域上基于盒的界过松问题,给出可嵌入 LiRPA 与 α,β-CROWN 的精确仿射界优化方法,并报告分支与验证时间的量化收益。
研究提出 ReasonText 基准与 GTTCA 指标,将需推理才能恢复的文本与局部可恢复文本区分开,评测十二个近期超分模型后发现它们在需推理文本上性能一致且大幅下降。
推荐理由:论文用新基准与识别指标揭示现有超分模型在需推理文本上的系统性盲区,并给出免训练插件方案。
作者提出 Control Reinforcement Learning(CRL),训练策略在每个 token 上选择 SAE 特征进行引导,并输出可解释的干预日志;自适应特征掩码在保持单特征可解释性的同时鼓励发现多样特征。
推荐理由:论文把 SAE 特征选择训练成逐 token 的干预策略,并给出分支点追踪等分析手段,读者可据此判断动态特征干预与静态分析的差异。