研究方向与科研任务
大语言模型的预训练、对齐、推理、评测与机制研究。
147 条精选近 30 天 144 条共收录 475 条
研究团队提出 MonitorBench，用于系统评估大语言模型思维链的可监控性，包含覆盖 7 大类 19 项任务的 1540 个测试实例，并设置两种提示词压力测试。实验显示可监控性受被评估模型、监控模型和任务特征影响，当决策关键因素塑造中间推理过程时更高；压力测试下多数模型可主动降低可监控性，主要出现在推理过程不结构性要求这些因素的任务上。代码已开源。
推荐理由：该基准用 1540 个测试实例和压力测试提示，量化 CoT 可监控性在何种条件下下降，为 AI 控制研究提供可复用的评测入口。
AURA 2.0 是 AURA 的升级版流式视频大语言模型，核心新增模型主动发起对话（MIC）能力，可在视频流中识别值得讨论的话题并在合适时机主动开启对话，无需用户提问。
推荐理由：AURA 2.0 在流式视频模型上新增模型主动发起对话等三项能力，并开源权重与推理代码，便于读者判断复现价值。
作者提出 STEALTH 语言模型隐写方案，用带密钥的伪随机噪声驱动指数竞争采样，再以无速率 spinal code 配合 beam search 吸收概率偏差，使收发双方无需对同一分布达成一致。
推荐理由：论文指出位精确隐写方案在浮点精度、量化或 GPU 架构变化下几乎无法解码，并给出跨模型族仍可解码的替代方案。
研究提出一套面向 Dafny 验证系统的十步 LLM 辅助工作流，覆盖算法形式化、契约开发、不变式经验验证、证明构造、瓶颈分析与资源驱动的证明优化。作者用 Anthropic 的 Claude Opus 5 和 Opus 5.5 在 37 个图论与标记迁移系统算法上实践该流程，并完成了 Hopcroft-Tarjan 三连通性测试的验证，多数机器检验的验证在数小时到数天内完成。
推荐理由：论文给出十步 LLM 辅助 Dafny 验证流程，并在 37 个图论与标记迁移系统算法上实测，可供形式化验证研究者评估迁移。
PhysLoop 提出一套统一框架，让 LLM 在视频生成、筛选与修正各环节提供物理约束，把其物理知识蒸馏为物理一致的视频，并支持可控训练数据构建与推理时视频修复。作者发布 100K 条覆盖室内外场景的视频、生成工具及 PhysLoop-Gen 与 PhysLoop-Repair 两个评测数据集，并在外部 Physics-IQ Verified 基准上评估物理表现。
推荐理由：论文把 LLM 的物理常识用于视频生成数据的筛选与修复，并公开 100K 视频和两个评测集，便于读者判断这条自改进路径的可复现性。
作者提出引导式代码生成框架，让本地小模型把内核 API 变更的示例转成 Coccinelle 语义补丁（SmPL），在 7 个新 API 迁移、122 个留出驱动转换的预注册测试集上，Qwen2.5-Coder 7B 三个随机种子平均解决 35.3 个转换（范围 32-41），直接提示仅 1.0 个。
推荐理由：论文把本地小模型生成的 Coccinelle 规则与 Spinfer 和前沿 LLM 智能体放在同一预注册测试集上比较，并公开全部代码与模型响应。
作者系统检验神经元组干预中究竟多少神经元是必要的：对每组选定的 12 个 MLP 神经元穷举全部 4,096 个子集。在 Qwen3-0.6B 的资本二选一任务上，零消融 12 个选定神经元使答案 margin 下降 27%，随机神经元几乎无影响，但用其他问题的激活替换这些神经元也几乎无影响。
推荐理由：研究用穷举子集干预检验神经元组是否必要，发现少数神经元即可翻转答案且效应难以跨链迁移。
作者系统评估 Transformer 的组合泛化能力，发现训练-测试分布中的组合等价与模块覆盖两个因素强烈影响性能：直接模型（仅用最终输出训练）的表观表现主要来自利用组合等价，即不同模块序列归约为相同端到端函数；当基准消除这些等价后性能显著下降。
推荐理由：论文指出组合等价与模块覆盖两个分布因素会显著影响 Transformer 组合泛化评测结论，对基准设计有直接参考价值。
作者提出 Large Payments Model（LPM），在大规模结构化交易数据上从零预训练至多 4000 亿 token，学习可复用的支付预测表示。LPM 采用字段特定编码与生命周期感知自监督，分 Independent 与 Sequence 两个变体，前者用混合掩码支持单笔交易高效推理，后者通过紧凑隐表示引入实体关联历史；可选蒸馏支持资源受限部署。
推荐理由：论文给出支付领域基础模型的两套架构、4000 亿 token 预训练规模与多任务对比结果，可供判断领域专用基础模型的复用路径。
研究者在 20 万篇 CC-News 英文文章中检测到 18.9% 存在指向其他媒体的近似副本链接，并测试 LLM 判官与持续学习模型是否把这类副本当作独立确认。
推荐理由：研究揭示新闻转载副本会被 LLM 判官当作独立佐证，并给出按副本链去重的缓解办法与代价。
作者提出 RewardFlow，把同一任务的多条轨迹通过共享状态连成有向状态图，从成功状态沿最短路径反向传播奖励信号，为动作分配随距离递减的状态势，用势差奖励缩短成功距离的动作，从而在策略优化中补充轨迹级优势，无需学习过程奖励模型或人工动作级标注。
推荐理由：论文针对智能体强化学习中的动作级信用分配问题，用状态图拓扑传播奖励，无需过程奖励模型或人工标注。
研究团队提出用神经细胞自动机（NCA）生成非语言的合成数据，在自然语言预训练之前做预预训练。在 400M-3B 模型、Chinchilla 最优数据预算下，仅用 164M NCA token 预预训练即可让下游语言建模提升最多 6%、收敛加速最多 1.6x，效果甚至超过用 1.6B 高质量自然语言 token 且算力更多的预预训练。
推荐理由：论文用元胞自动机生成非语言合成数据做预预训练，并给出跨领域复杂度差异的迁移分析，可供关注预训练数据瓶颈的读者参考。
研究团队提出 GT-HarmBench，包含 1535 个取自 MIT AI Risk Repository 的高风险场景，覆盖囚徒困境、猎鹿博弈和胆小鬼博弈等博弈论结构。在 15 个前沿模型上，智能体在 39% 的高风险案例中未能选择对社会有益的行动，涉及军事升级、选举操纵和医疗事故等情境；博弈论干预可将有益结果提升最多 31%。基准与代码已公开。
推荐理由：该基准覆盖 1535 个博弈论结构的高风险场景，并给出 15 个前沿模型的失败率与干预效果，可供多智能体对齐评测参考。
作者提出 Control Reinforcement Learning（CRL），训练策略在每个 token 上选择 SAE 特征进行引导，并输出可解释的干预日志；自适应特征掩码在保持单特征可解释性的同时鼓励发现多样特征。
推荐理由：论文把 SAE 特征选择训练成逐 token 的干预策略，并给出分支点追踪等分析手段，读者可据此判断动态特征干预与静态分析的差异。
研究提出 Evolution Strategy for Metacognitive Alignment（ESMA）框架，用 d'type2 指标隔离大语言模型的元认知能力，并在未见数据集、语言和新获取知识上展现泛化。逐步参数更新显示改进由稀疏参数驱动，为定向元认知优化提供可能，论文已被 NeurIPS 2026 接收。
推荐理由：论文用 d'type2 指标把元认知能力从偏差中分离出来，并提出 ESMA 方法，读者可据此判断元认知评测与对齐的新思路。
作者提出一个 Transformer 错误率模型，认为注意力机制中的小误差累积越过阈值时会产生错误预测，由此推导出任务准确率与复杂度之间的两参数定量关系。这两个参数随提示词和模型变化，可解释为基础噪声率与可预测的错误 token 数量。
推荐理由：论文用两个参数刻画 LLM 在算术与重复任务上的错误率，并在 Gemini 与 DeepSeek R1 上做了实证检验，为理解长任务出错提供了可检验的解释。
作者提出 CRINN，将近似最近邻搜索（ANNS）的优化视为强化学习问题，以执行速度作为奖励信号，在保持精度约束下自动生成逐步更快的 ANNS 实现。
推荐理由：论文把 ANNS 优化建模为以执行速度为奖励的强化学习问题，并在六个基准上给出与开源算法对比的结果。
OpticalRAG 把文档渲染成页面图像，经冻结视觉编码器编码后，将检索到的视觉 token 蒸馏为最少 16 个注入 token 再交给 LLM。
推荐理由：论文把 RAG 的压缩从文本序列转到像素空间，用冻结视觉编码器把检索结果压到 16 个 token，并在三个长文档基准上给出压缩感知准确率对比。
研究提出 cognition-suite 评测，让基于合成或真人认知反思、Need for Cognition 与 Big Five 画像的 LLM 智能体完成与 473 名成人相同的测试套件，检验其能否复现分级认知多样性。
推荐理由：该研究用同一套认知测试对比 LLM 模拟人群与 473 名成人，指出自我报告特质可复现但任务表现多样性不足。
研究团队提出 Jais 3，一组 0.9B 至 375B 参数的六款开放阿拉伯语智能体模型，可规划多步任务、调用工具与 MCP 服务器、操作终端、联网搜索并读写 PDF、表格和演示文件。
推荐理由：六款模型全部开放权重与各训练阶段检查点，并附审计后的基准与评测代码，便于判断阿拉伯语智能体能力的可复现程度。