跳到正文
今天11月13日周五122 条
  1. Papers with Code · arXiv cs.AI78

    CRAM 用经典能量模型做推理,训练速度比循环模型快至少 1000 倍

    作者提出 CRAM,即学习版的 Hopfield & Tank 能量模型,在单张 GPU 上训练 42 ms 后解出 99.996% 的 Sudoku-Extreme 测试题,训练 132 ms 后解出 100% 的 Maze-Unique 测试题,训练速度比循环模型快至少 1000 倍。

    推荐理由:论文用学习到的能量函数替代循环模型做推理,给出训练与推理算力的数量级对比,并提醒 Sudoku、Maze 类基准的可扩展性局限。

  2. The Decoder78

    OpenAI 分析显示前沿模型正隐藏思维过程,源于开发者对能力与算力的取舍

    OpenAI 安全团队系统分析 GPT-5 到 GPT-6 Astra 的训练过程,把模型思维链可监控性下降归因于四个因素:基础模型预训练能力提升、特定架构更擅长无草稿的静默推理、强化学习增强模型对自身思维链的控制,以及学生模型从教师模型继承这种控制能力。

    推荐理由:OpenAI 安全团队拆解预训练、架构、强化学习与蒸馏四类训练环节,说明模型思维链可监控性下降与能力、成本取舍的关系。

11月12日周四
  1. Papers with Code · arXiv cs.AI71

    GenEA:理解具身计划的计算框架

    研究团队提出 GenEA,一种可对多步长时程具身计划进行推理的智能体表示,其核心是多层级状态空间,将关节体粗粒度生物力学与物体交互耦合,并把机器人任务与运动规划框架与基于模拟的直觉物理结合。

  2. Papers with Code · arXiv cs.AI42

    智能体 AI 遇上形式化验证:智能体硬件开发时代的方法与应用综述

    一篇受邀论文综述了智能体 AI 与硬件形式化方法的双向结合:agentic AI 可从规约、证明构造和推理引擎三个层面推进硬件形式化验证,形式化方法则通过 RTL 生成、调试和保正确性优化支撑可靠的 AI 驱动硬件开发。文章还梳理了代表性研究与作者近期工作,并展望以证明为核心的硬件开发方向。

  3. Papers with Code · arXiv cs.AI47

    用进化计算为 ARC 打造符号求解器:首个全符号进化式程序合成方案提交 ARC-AGI-2

    研究者提出首个提交至 ARC-AGI-2 主竞赛的全符号、基于进化计算的程序合成方法,将网格解析器与输出投影器同程序一起进化,使任务特定语言在合成过程中自发形成。该方法把解析器可提取的符号锚定在认知心理学的核心知识理论上,并采用对象感知适应度,在像素级差异之外对部分正确的输出打分。

  4. Papers with Code · arXiv cs.AI47

    BARS:未知分布下带预算与拒答的多数识别序贯采样方法

    针对未知答案分布下无法给出置信估计的问题,研究者提出 BARS 序贯采样规则,通过认证 top-two 差距来提前停止、执行预算内多数投票,或在可行性不足时拒答。在 GSM8K 上,实用模式比固定 8 次采样少抽 22.3% 样本,代价是拒答 18.8% 的问题;在 MATH 上输出答案准确率提升至 82.5%,但会拒答一半模型本身无法解决的难题。

11月11日周三
  1. arXiv · cs.CL 计算与语言55

    StepRefine:用步骤感知解码缓解多模态扩散语言模型的幻觉

    作者提出 StepRefine,一种可插拔的解码策略,用于缓解多模态扩散语言模型(MDLM)的幻觉。该方法观察到迭代去噪中少数步骤出现局部熵尖峰且与幻觉相关,于是在这些步骤改用概率加权嵌入做多轮连续细化,并由控制器监测分布稳定性以切回标准离散去噪。在多模态基准上,StepRefine 在不同 MDLM 上均显著减少幻觉。

  2. arXiv · cs.AI 人工智能62

    研究追踪大语言模型中的心理测量推理

    研究以跨人格范式检验 Llama 3 与 Qwen 2.5 共 14 个模型变体(0.5B-14B,base 与 instruct)是否在内部表征心理测量结构:给定 272 名台湾大学生在一个心理量表上的真实作答,模型预测其余六个量表的作答。

    推荐理由:研究用跨人格预测与对比方向分析,检验大模型内部是否表征心理测量结构,并区分可解码性与因果中介。

  3. arXiv · cs.RO52

    研究团队用 LLM 解释不确定性下的月球车路径规划

    研究团队提出一个基于大语言模型的交互式助手,用领域词汇解释采样规划器生成的月球车路径,并可按用户指定条件重跑规划器以比较备选方案。该框架将受 NASA VIPER 任务启发的模拟器与可调用工具和检索函数的 ReAct 查询接口结合,在涵盖方案比较、可行性与查询的查询集上,90.9% 的回答与规划器输出保持一致,比同一 LLM 无工具访问的零样本提示提升近 65%。

  4. arXiv · cs.CL 计算与语言69

    Med Evidence Bench 发布:1,536 道可溯源临床推理题评测十个大语言模型

    研究团队构建 Med Evidence Bench(MEB),包含 1,536 道由医师编写的题目,覆盖指南知识、标准化临床场景和真实检验场景三个层级,每条评分标准都链接到带版本号的原文片段。

    推荐理由:该基准把每条评分标准锚定到可追溯的指南原文片段,读者可据此判断医疗 LLM 的分数是否真有证据支撑。

  5. arXiv · cs.CV60

    DCLDs-EIR:面向弥漫性囊性肺病诊断的证据驱动迭代推理框架

    作者提出 DCLDs-EIR,一个将诊断假设细化与多模态证据获取、验证耦合的迭代推理框架,用于弥漫性囊性肺病(DCLDs)的鉴别诊断。该方法先用预测的肺部与囊性分割的多视角渲染刻画全局囊性分布并初始化鉴别诊断,再由竞争假设引导轴位 CT 检查、结合临床上下文从疾病知识图谱检索证据,对假设进行支持与反驳评估并更新诊断状态。

    推荐理由:针对弥漫性囊性肺病鉴别诊断,把影像证据检索与假设验证串成迭代闭环,并给出多中心评估结果。

  6. arXiv · cs.CL 计算与语言60

    研究称推理历史删除敏感度是模型自身属性,七个开源推理模型跨度为 -4.4 至 +51.3 分

    该论文对多轮工具调用中完整推理历史被删除的代价做了直接、盲测、多随机种子的测量,覆盖三种渲染条件、七个开源权重推理模型、三个随机种子和 794 个任务,并使用官方 checker 评分。

    推荐理由:论文用三种渲染条件、七个开源推理模型和 794 个任务,量化多轮工具调用中推理历史被删除带来的任务代价。

  7. arXiv · cs.CL 计算与语言69

    TimeOmni-o1:双向耦合时序基础模型与 LLM 实现多模态推理与预测

    TimeOmni-o1 将预训练时序基础模型(TSFM)与 LLM 双向耦合:TSFM 把序列压缩编码供 LLM 结合文本推理,LLM 的推理结果再回传给 TSFM 生成预测,从而在同一架构中读写序列与文本。

    推荐理由:论文把预训练 TSFM 与 LLM 双向耦合,并给出带推理轨迹的 50 万级多模态时序数据集,可供比较与复现。

  8. arXiv · cs.RO58

    Latent Barrier Steering:面向生成式规划的分层安全框架

    作者提出 Latent Barrier Steering(LBS),一个面向基于 flow-matching 的生成式规划的分层语义到路径安全框架。LBS 先把生成器的行为潜变量引导到安全裕度更大的 rollout,再解码并对残余违规求解路径空间 CBF 二次规划,从而给出有限时间恢复保证并降低修正负担。在导航与机器人末端执行器规划任务上,LBS 在保持安全的同时提升了目标到达率并减少了修正负担。

  9. arXiv · cs.LG 机器学习62

    ADIndex:面向 token 级稀疏注意力的层自适应索引与组级蒸馏

    作者提出 ADIndex,用层自适应校准、组级蒸馏和低延迟推理策略改进 DeepSeek Sparse Attention 的索引器,缓解长上下文下索引占 prefill GPU 时间超过 50% 的瓶颈。

    推荐理由:针对 DSA 索引器在长上下文下占 prefill GPU 时间过半的瓶颈,给出层自适应与组级蒸馏方案及加速数据。

  10. arXiv · cs.CL 计算与语言72

    研究:数据多样性而非架构驱动大语言模型符号机制涌现

    作者从零训练神经网络完成抽象序列任务,并改变架构与数据分布因素,用表征、注意力和因果中介分析确认基于 Transformer 的语言模型会发展出符号机制。结果显示,数据多样性越高,符号特征越强;同样的特征也出现在改造后的 Transformer 甚至多层感知机中,说明架构归纳偏置并非必要条件。

    推荐理由:通过从零训练并控制变量,把符号机制的来源从架构归因转向数据多样性,读者可据此重新审视模型抽象推理的成因。

  11. arXiv · cs.CL 计算与语言52

    无需概念监督的 token-概念注意力框架实现临床文本可解释预测

    研究提出一种基于交叉注意力瓶颈的框架,无需概念标注即可为临床文本预测提供概念级解释。临床文本与医学概念描述先经预训练语言模型编码,交叉注意力模块估计每个 token 上各概念的存在程度并生成概念相关性分数,池化后进入线性预测层。在胸外伤严重程度分层私有数据集和 MIMIC-III 院内死亡预测任务上,该框架 AUROC 与对应黑盒模型差距在 0.02 以内,并支持队列级与患者级解释。

  12. arXiv · cs.IR65

    DocFS:把文档重组为文件系统,提升多模态文档问答的智能体推理效率

    研究团队提出 DocFS,将原始多模态文档重组为文件系统,用目录对应章节层级、显式链接连接文本与图表公式,并借助导航、搜索、阅读等文件操作让智能体迭代探索文档。搭配 Qwen3.5-Plus 时,DocFS 在 MMLongBench-Doc 和 FinRAGBench-V 上分别比最强基线高出 2.9 和 4.3 个百分点,推理阶段最高快 10.3 倍、token 用量最多减少 10.1 倍。

    推荐理由:论文把文档结构映射为文件系统并配对齐工具,读者可据此比较其与结构化表示方法的差异。

  13. arXiv · eess.AS72

    Earlybird:29M 参数流式语音识别器可提前预测单词

    作者提出 Earlybird,一个 29M 参数(4 bit 下 16.8 MB)的流式语音识别器,通过随机截断音频训练,在单词尚未说完时就预测完整单词并给出后两个词的猜测。

    推荐理由:作者给出 29M 参数流式识别器的提前预测机制与多测试集时延对比,便于判断小模型能否支撑低延迟语音智能体。

  14. arXiv · cs.IR52

    综述:后训练如何塑造大语言模型的信息寻求能力

    这篇综述围绕六类相互关联的信息寻求能力,梳理后训练中使用的学习信号、优化方法、更新位置与信用分配机制,并汇总检索路由、查询改写、多工具探索、基于证据的推理和资源感知搜索等方向的实证进展。作者指出,各能力的行为证据范围并不一致,并列出估计预期检索效用、协调信息寻求决策、适应陌生检索环境等开放挑战。

  15. arXiv · stat.ML72

    新论文提出后训练策略优化理论:覆盖坍塌与参考重置

    作者从理论上分析语言模型后训练中的策略优化,提出以基座模型响应覆盖度为约束的 coverage-preserving 算法框架。研究指出 REINFORCE(PPO 与 GRPO 的基础)可能把最优响应的概率压到接近零,即使奖励在提升,这种覆盖坍塌会让收敛需要指数级步数,且精确梯度和对基座模型的 KL 正则都无法避免。

    推荐理由:文章从理论上解释后训练中覆盖坍塌的成因,并给出参考重置与 APMD 框架的收敛保证,可供理解 PPO、GRPO 类算法的采样成本。

  16. arXiv · cs.HC47

    当推理看似隐藏理解:Chain-of-Thought 如何助长拟人化、认知优越感与认知顺从

    一篇投稿 FAccT 的论文指出,生成模型复现语言模式而非理解语义,把 Chain-of-Thought(CoT)推理当作透明的“解释”是一种误判。拟人化叠加感知到的认知权威与优越感,会促使用户从狭窄任务表现泛化到更广能力,并把决策权让渡给 AI。作者以医学为例,认为面向用户要求模型给出输出理由的做法应被主动劝阻,AI 素养培训也应明确警示。

  17. arXiv · cs.LG 机器学习60

    一个温度就够了吗?研究多温度采样在 pass@K 中的实际收益

    特拉维夫大学团队在 pass@K 设定下分析多个模型与数据集上逐题成功概率随采样温度的变化,发现难题更难共享高效采样温度,但这一趋势仅随难度对数增长。作者推导出评估理论最优多温度分配方案的高效方法,结果显示该方案虽能提升性能,但在温度随采样预算 K 调优时,相对单温度基线的增益通常有限,并用所谓 dulling effects 的数学机制解释这一现象。

    推荐理由:论文给出多温度采样相对单温度基线的增益幅度与理论解释,读者可据此判断是否值得在 pass@K 中调整温度策略。

  18. arXiv · cs.AI 人工智能42

    ZeroPoint:轻量级能量决策模型,用零能量空答案实现弃权判断

    研究者提出 ZeroPoint,一种把“空答案”设为能量恒为零状态的 EBM 决策模型,使选项与弃权在同一分布中由普通推理完成,并用负对数似然训练。其能量函数是一个小型多语言编码器,读取输入与全部选项且对选项顺序不变。消融显示收益主要来自“无选项适配”样本的训练;相同编码器与数据下,固定零点区分有无可接受选项略优于学习式拒绝类,明显优于阈值化 softmax。

  19. arXiv · cs.HC65

    GenEA:理解具身计划的计算框架,在操作与导航任务上优于强基线

    作者提出 GenEA,一种可对多步、长时程具身计划进行推理的智能体表示,其核心是耦合关节体粗粒度生物力学与物体交互的多层级状态空间,通过将机器人领域的任务与运动规划框架与基于模拟的直觉物理相结合,并在生成模型中嵌入该状态空间,得到目标与具身计划的联合概率分布。

    推荐理由:论文把任务与运动规划与直觉物理耦合进生成模型,并在操作与导航任务上对比强基线,可供关注具身推理的读者判断其可迁移性。

  20. arXiv · cs.LG 机器学习72

    从线性探针到贝叶斯流形:大语言模型算术能力的几何结构

    研究提出四阶段贝叶斯流程,把线性探针常被混为一谈的四项主张(可解码性、形状、归属、因果使用)分开检验,并在 GPT-J 6B、Llama 3.1 8B 和 Pythia 6.9B 的两位数加法与乘法上验证。

    推荐理由:文章把线性探针的结论拆成可解码性、形状、归属与因果使用四项分别检验,为解读 LLM 激活几何提供了一套可复用的评估流程。

  21. arXiv · cs.LG 机器学习60

    论文提出路径签名轨迹编码器,用于从执行轨迹归纳程序

    论文将程序执行轨迹视为高维粗糙路径,用路径签名变换编码,其对数签名编码器在 Karel、List、RASP 三个程序归纳任务上几乎全部设置优于 LSTM、Transformer 和 Fourier 基线,训练数据稀缺时优势最大。

    推荐理由:论文把执行轨迹当作粗糙路径,用路径签名编码做程序归纳,并在数据稀缺时与 LSTM、Transformer 基线对比。

  22. arXiv · cs.HC69

    MicroLens:用 logit lens 与 J-lens 读取、追踪并改写残差流

    作者发布交互式查看器 MicroLens,在残差流的层与 token 网格上同时支持读取、追踪来源和编辑,并在 Gemma-3-4B-it 上用数百条提示词验证。

    推荐理由:工具把读取、追踪与编辑放在同一残差流网格上,并给出三个可复现的使用场景,便于读者判断这类透镜工具能发现什么。