Oracle-to-PostgreSQL 迁移智能体是否真在学习?一项带审计的评测
研究团队对 Oracle-to-PostgreSQL 迁移智能体的经验记忆做了审计式评测:在 1,833 对文档来源参考上,持久记忆把参考一致性(RC)比无记忆基线提高 0.015 [0.004。
推荐理由:通过审计式评测拆解记忆增益中的参考泄漏与复制效应,并给出六条区分跨任务学习与指标假象的评测规则。
研究方向与科研任务
大语言模型的预训练、对齐、推理、评测与机制研究。
144 条精选近 30 天 141 条共收录 430 条
研究团队对 Oracle-to-PostgreSQL 迁移智能体的经验记忆做了审计式评测:在 1,833 对文档来源参考上,持久记忆把参考一致性(RC)比无记忆基线提高 0.015 [0.004。
推荐理由:通过审计式评测拆解记忆增益中的参考泄漏与复制效应,并给出六条区分跨任务学习与指标假象的评测规则。
作者提出 BiPOP 框架,将 LLM 与时序偏序规划结合用于长程双臂机器人操作:LLM 把自然语言指令转成 PDDL 规格,时序规划器按双臂可达性划分工作空间并处理臂间依赖、任务分配与同步约束,从而调度可并行动作。
推荐理由:论文把双臂长程操作的时空协调交给符号规划器,并用失败分析说明纯 LLM 规划器的约束违反问题。
研究提出 Platonic brain bridge 假设,认为同时处理视频、音频和文本的全能模型与大脑共享可双向利用的类脑表征。
推荐理由:论文把大脑皮层网络结构作为多模态大模型的架构先验,并给出双向验证与配套基准,可供关注脑启发建模的读者参考。
作者在线性回归的上下文权重预测任务上构建可解析求解的 CoT 模型,用高维渐近下的随机矩阵理论推导出泛化误差关于推理深度、预训练数据量和上下文长度的精确公式。分析显示误差随深度变化存在区分指数改进、多项式改进、饱和与过思考的相变,并给出最优推理深度的缩放规律;预训练或上下文信息不足时,更长的推理反而会放大误差。
推荐理由:该工作给出 CoT 推理深度与泛化误差的精确解析式,并刻画指数与多项式改进之间的相变,为理解过思考现象提供可检验的理论框架。
研究团队提出 PertReason,包含基准 PertReasonQA 与参考模型 PertReasonLM,用于评估和改进细胞状态条件下的扰动效应机制推理。PertReasonQA 整合多种细胞环境下的单细胞遗传与化学扰动数据及知识图谱,并按细胞特异性基础状态动态生成通路,以测试模型在新细胞、未见扰动、跨模态与组合外推等分布偏移下能否给出机制上忠实的解释。
推荐理由:该基准把单细胞扰动数据与知识图谱结合,用于检验模型解释是否机制忠实,并给出参考模型的训练路径。
作者从理论上刻画了 KV cache 压缩的极小极大风险,用 cache 的内在可压缩性说明何时能实现准确压缩。结论指出,一旦注意力能精确检索单个 token,压缩只有在利用未来 query 信息时才能稳定优于随机采样,无论 cache 本身多冗余。基于此,作者提出因果掩码下的压缩设计原则,并实现为兼顾 prefill 与自回归解码的实用算法,该工作已被 NeurIPS 2026 接收。
推荐理由:论文用极小极大风险刻画 KV cache 的可压缩性,并给出因果掩码下的设计原则与可落地算法,为压缩方法提供理论依据。
作者提出 KG-Guard,将知识库问答(KBQA)中的幻觉检测建模为答案节点分类问题,把每个问答实例表示为增强图,用图编码器生成节点表示后由小型 MLP 判定 LLM 给出的答案节点是否可信。
推荐理由:该工作把 KBQA 幻觉检测建模为答案节点分类,用轻量图编码器在三个基准上取得最优平均排名,并给出可回灌的节点级反馈。
作者提出一个四层框架,把可验证 AI 工作负载、证明系统、密码学内核与硬件平台串联起来,并补充六个证明系统、七类内核的实测,指出主导成本随证明系统和输入长度变化。
推荐理由:文章用四层框架梳理可验证 AI 的证明成本,并给出六个证明系统与七类内核的实测,帮助读者判断瓶颈落在哪一层。
作者分析了将贪心解码或自回归采样纳入损失函数的两种序列级监督方案,证明这两种损失函数都无下界,即存在根本缺陷。进一步借助自回归 Gumbel 技巧,作者说明基于采样的损失等价于 Gumbel 扰动下的期望贪心损失;对采样过程施加 stop gradient 后得到的矩匹配方向虽不是任何损失函数的梯度,但被证明是自回归负对数似然在函数空间中的有效下降方向。
推荐理由:论文从理论上说明两种序列级损失函数无下界,并分析停梯度后的矩匹配方向,为 teacher forcing 的继续使用提供依据。
作者提出 DETER,在过滤后的预训练语料中穿插梯度上升来主动抑制医学知识,使模型更难通过对抗微调重新获得这些知识。在 1B 参数模型上,要达到未过滤模型的 held-out PubMed loss,所需 PubMed 微调 token 超过仅做过滤时的 20 倍;保留知识则用 held-out 数据和下游任务评估。
推荐理由:论文比较了预训练阶段抑制与事后遗忘两条路径,给出对抗微调所需 token 倍数的量化差异,可供关注开放权重模型安全训练的读者参考。
研究团队提出一种重要性采样方法,通过扰动原模型权重构造可微参数化的语言模型提案,用梯度搜索放大稀有事件,并配合自适应正则平衡放大与估计稳定性。在约 120M 和约 2.6B 模型、三类事件共 300+ 个低至 10^-9 的稀有事件上评测,在概率低于 10^-7 的事件上,其估计器相对朴素蒙特卡洛平均获得超过 800 倍的计算加权效率提升,代码已开源。
推荐理由:针对智能体轨迹中的极低概率风险事件,提出通过扰动模型权重构造重要性采样提案的估计方法,并给出与朴素蒙特卡洛的计算效率对比。
CUDA-L2 以 CUDA 执行速度为强化学习奖励,自动优化半精度通用矩阵乘(HGEMM)的 CUDA 内核,覆盖 1000 组配置。
推荐理由:论文用 LLM 加强化学习自动优化 HGEMM 内核,并在 1000 组配置上给出与 cuBLAS 系列库的逐项对比。
作者提出 LLM4SCREENLIT 建议,用于评估大语言模型在系统综述文献筛选中的表现,并给出加权 Matthews 相关系数(WMCC),把 MCC 的机会校正与非对称误分类成本结合起来。
推荐理由:针对系统综述文献筛选中混淆矩阵指标易误导的问题,提出成本敏感的 WMCC 指标并给出可操作的评估建议。
作者提出 Program Learning with Verifiable Rewards(PLVR),在不更新模型权重的前提下把专家轨迹蒸馏为可复用程序:前沿模型将轨迹中的重复操作抽象为带类型的原语和规则,搜索结合参考动作与训练任务校验进行组装,冻结的小模型执行原语并由确定性验证器检查输出。
推荐理由:论文给出不更新模型权重、把专家轨迹蒸馏为可复用程序的方法,并在多个工具调用基准上给出与基线的对比。
作者提出一种让同一冻结模型在同一版 harness 上先当求解器解题、再当提议者读取完整运行记录并直接改写 harness 的自演化框架,每轮演化从五个不同领域的基准取任务,并严格分离训练与留出任务。
推荐理由:论文把同一冻结模型同时当作求解器和提议者,并给出跨五个基准的分布外评测,读者可据此判断自演化 harness 的泛化边界。
研究者在 8 个黑盒模型和 5 个开放权重模型上测试 persona 提示的选择性控制假设,发现仅改变目标属性也会改变未指定的非目标选择,例如风险偏好变化会带动颜色选择变化。
推荐理由:论文用 477 个留出合成世界和 200 个独立条目,揭示 persona 提示下目标属性会带动无关选择漂移,并给出注意力干预的机制解释。
作者提出 AgentRoom,一种面向并发编码智能体的实时协同编辑协议,运行时层在 CRDT 合并的共享文件系统上以 MCP 工具提供文件级 claim、status 和 broadcast。
推荐理由:论文把 CRDT 协同编辑引入多智能体编码,并用多组对照实验区分协调、并行与合并三者的作用。
作者提出 Agent MechSuits 白盒防御框架,从步骤级隐藏表示中检测 CLI 智能体的有害执行状态,并在单层内的 10 维子空间做表示级干预以抑制不安全行为。
推荐理由:论文把机制可解释性用于多轮 CLI 智能体的运行时安全,并给出配套基准,读者可据此判断内部干预路线与外部护栏的差异。
研究团队提出 MonitorBench,用于系统评估大语言模型思维链的可监控性,包含覆盖 7 大类 19 项任务的 1540 个测试实例,并设置两种提示词压力测试。实验显示可监控性受被评估模型、监控模型和任务特征影响,当决策关键因素塑造中间推理过程时更高;压力测试下多数模型可主动降低可监控性,主要出现在推理过程不结构性要求这些因素的任务上。代码已开源。
推荐理由:该基准用 1540 个测试实例和压力测试提示,量化 CoT 可监控性在何种条件下下降,为 AI 控制研究提供可复用的评测入口。
AURA 2.0 是 AURA 的升级版流式视频大语言模型,核心新增模型主动发起对话(MIC)能力,可在视频流中识别值得讨论的话题并在合适时机主动开启对话,无需用户提问。
推荐理由:AURA 2.0 在流式视频模型上新增模型主动发起对话等三项能力,并开源权重与推理代码,便于读者判断复现价值。