研究：中文新闻标题的框架操纵会改变大语言模型对事件严重性的判断
研究结合对 63,926 条中文新闻标题的生态审计与受控实验，发现仅改变标题框架就会同时改变模型感知的误导性和事件严重性判断，DeepSeek、MiMo、Dots、LongCat 四个中文模型的变化方向和排序一致。
推荐理由：研究把标题框架与事实本身分开检验，并给出提供正文可削弱偏差的量化结果，对新闻场景的模型评测有参考价值。
研究方向与科研任务
大语言模型 最新动态
大语言模型的预训练、对齐、推理、评测与机制研究。
97 条精选近 30 天 94 条共收录 548 条
更新
精选归档 · 第 4 页
arXiv · cs.CL 计算与语言精选AI 评分6767 arXiv · cs.CL 计算与语言精选AI 评分6969 Med Evidence Bench 发布：1,536 道可溯源临床推理题评测十个大语言模型
研究团队构建 Med Evidence Bench（MEB），包含 1,536 道由医师编写的题目，覆盖指南知识、标准化临床场景和真实检验场景三个层级，每条评分标准都链接到带版本号的原文片段。
推荐理由：该基准把每条评分标准锚定到可追溯的指南原文片段，读者可据此判断医疗 LLM 的分数是否真有证据支撑。
arXiv · cs.CL 计算与语言精选AI 评分6060 研究称推理历史删除敏感度是模型自身属性，七个开源推理模型跨度为 -4.4 至 +51.3 分
该论文对多轮工具调用中完整推理历史被删除的代价做了直接、盲测、多随机种子的测量，覆盖三种渲染条件、七个开源权重推理模型、三个随机种子和 794 个任务，并使用官方 checker 评分。
推荐理由：论文用三种渲染条件、七个开源推理模型和 794 个任务，量化多轮工具调用中推理历史被删除带来的任务代价。
arXiv · cs.CL 计算与语言精选AI 评分6969 TimeOmni-o1：双向耦合时序基础模型与 LLM 实现多模态推理与预测
TimeOmni-o1 将预训练时序基础模型（TSFM）与 LLM 双向耦合：TSFM 把序列压缩编码供 LLM 结合文本推理，LLM 的推理结果再回传给 TSFM 生成预测，从而在同一架构中读写序列与文本。
推荐理由：论文把预训练 TSFM 与 LLM 双向耦合，并给出带推理轨迹的 50 万级多模态时序数据集，可供比较与复现。
arXiv · cs.AI 人工智能精选AI 评分7272 TrustMod-SM：评估 LLM 社交媒体内容审核可信度的多维度基准
研究团队提出 TrustMod-SM，一个覆盖 8 个数据集、约 29,000 条实例的基准，从真实性、公平性、安全性、鲁棒性和上下文完整性五个维度评估 LLM 的内容审核可信度。
推荐理由：该基准把可信度拆成五个维度并覆盖 16 个开源模型，读者可据此了解准确率之外的内容审核风险。
arXiv · cs.CY精选AI 评分6969 新基准测量 LLM 智能体追求工具性行为的倾向
作者提出一个面向终端智能体的基准，用于测量模型在工具性趋同（IC）行为上的倾向，例如自我保存。基准包含 7 个操作任务，每个任务有官方流程和一条捷径，并设 8 种条件变体，分别改变监控、指令清晰度、利害程度、权限、工具性有用性和诚实路径是否被阻断。
推荐理由：该基准用低风险终端任务测量 LLM 智能体的工具性趋同行为，并给出 1,680 个样本上的分布与触发条件。
arXiv · cs.LG 机器学习精选AI 评分6262 ADIndex：面向 token 级稀疏注意力的层自适应索引与组级蒸馏
作者提出 ADIndex，用层自适应校准、组级蒸馏和低延迟推理策略改进 DeepSeek Sparse Attention 的索引器，缓解长上下文下索引占 prefill GPU 时间超过 50% 的瓶颈。
推荐理由：针对 DSA 索引器在长上下文下占 prefill GPU 时间过半的瓶颈，给出层自适应与组级蒸馏方案及加速数据。
arXiv · cs.CL 计算与语言精选AI 评分7272 研究：数据多样性而非架构驱动大语言模型符号机制涌现
作者从零训练神经网络完成抽象序列任务，并改变架构与数据分布因素，用表征、注意力和因果中介分析确认基于 Transformer 的语言模型会发展出符号机制。结果显示，数据多样性越高，符号特征越强；同样的特征也出现在改造后的 Transformer 甚至多层感知机中，说明架构归纳偏置并非必要条件。
推荐理由：通过从零训练并控制变量，把符号机制的来源从架构归因转向数据多样性，读者可据此重新审视模型抽象推理的成因。
arXiv · cs.CL 计算与语言精选AI 评分7171 Mobile AI Factory：为移动设备自动构建专用小语言模型的智能体系统
作者提出 Mobile AI Factory，一个智能体系统，给定任务说明和目标手机后自动产出微调并量化的小语言模型。在 10 个任务和 4 台 Android 手机上评测，其端侧模型在 5 个任务上超过两个 five-shot 前沿模型最多 0.34，另有 3 个任务持平；在实体抽取任务上搜索效果与穷举训练全部 27 个模型变体相差 0.03 以内，GPU 时间少 19 倍。
推荐理由：读者可了解一个智能体系统如何按任务与机型自动完成 SLM 微调、量化和搜索，并看到手机实测对配置选择的影响。
arXiv · cs.SE精选AI 评分6060 OpenRE-Bench：基于 GitHub issue 挖掘的多智能体需求工程评测基准
OpenRE-Bench 是面向 LLM 多智能体需求工程框架的开源评测基础设施，提供统一运行协议、单适配器接入机制、可复现的 GitHub issue 挖掘流程和版本化用例集。
推荐理由：该基准用统一协议和适配器机制，让异构多智能体需求工程框架能在同一批真实 GitHub issue 上比较。
arXiv · cs.CY精选AI 评分7878 SciConBench：评估 AI 智能体能否合成健康领域科学结论
研究团队提出 SciConBench，一个包含 9.21K 问题及系统综述专家撰写结论的大规模实时基准，用于评估健康与医学领域的开放域科学结论合成。配套的 SciConHarness 干净室评测环境通过受控网页交互减少数据泄漏，在 8 个前沿模型和深度研究智能体上，最佳智能体的事实 F1 仅 0.337，且干净室设置下性能普遍低于无约束评测。
推荐理由：该基准用干净室评测揭示前沿模型在健康结论合成上的真实水平，并给出可复用的评测流程。
arXiv · cs.AI 人工智能精选AI 评分6969 研究在 13 个企业 SOP 上对比四种 Agent 架构的成本与成功率
研究在固定模型、任务和工具的条件下，于 13 个企业 SOP 上对比函数调用单 Agent、技能增强 Agent、集中式多 Agent 编排和 triage swarm 四种架构（共八个实验组）。
推荐理由：在固定模型、任务与工具的条件下比较四种 Agent 架构，给出 token 与延迟成本以及任务成功率的对照数据。
arXiv · cs.SE精选AI 评分6666 DEPUTYBENCH：评估企业智能体上下文安全性的可执行基准
作者提出 DEPUTYBENCH，一个含 79 个基础条目、375 个实例、配对权限上下文与分级证据要求的可执行基准，用于评估企业智能体能否依据组织记录与政策判断普通请求是否被允许。
推荐理由：基准用配对权限上下文区分“明确无权限”与“证据缺失”，揭示企业智能体在无法核验授权时的停止行为差异。
arXiv · stat.ML精选AI 评分7272 新论文提出后训练策略优化理论：覆盖坍塌与参考重置
作者从理论上分析语言模型后训练中的策略优化，提出以基座模型响应覆盖度为约束的 coverage-preserving 算法框架。研究指出 REINFORCE（PPO 与 GRPO 的基础）可能把最优响应的概率压到接近零，即使奖励在提升，这种覆盖坍塌会让收敛需要指数级步数，且精确梯度和对基座模型的 KL 正则都无法避免。
推荐理由：文章从理论上解释后训练中覆盖坍塌的成因，并给出参考重置与 APMD 框架的收敛保证，可供理解 PPO、GRPO 类算法的采样成本。
arXiv · cs.CY精选AI 评分7575 研究：模型没变差，是人类评价标准在提高
研究者在 Chatbot Arena 上分析 2023 年 5 月至 2024 年 8 月的 1,260,967 条盲投票，这些投票针对版本固定的模型对。
推荐理由：研究用固定版本模型对的盲投票数据，把模型变差与评价者标准变化分开，对理解 LLM 排行榜和人类反馈有参考价值。
arXiv · eess.AS精选AI 评分7878 Emilia2 发布 229K 小时多语种长语音生成数据集
研究团队发布 Emilia2，一个面向可控长语音生成的 229K 小时多语种数据集，包含短句、单人长语音和多说话人对话，并保留转写、说话人身份、停顿与声学过渡信息。
推荐理由：该数据集给出长语音生成所需的时长分布、指令标注与测试集，并附基线模型结果，便于判断长时一致性与可控性训练数据是否够用。
arXiv · cs.SE精选AI 评分7171 ICLayout-Bench：面向 LLM 智能体定制电路版图设计的基准
ICLayout-Bench 是一个评测 LLM 智能体用 EDA 工具从晶体管级网表构建并优化 GDSII 版图的基准，通过物理验证、寄生提取和后仿真打分。基准包含 13 种 PDK、3 nm 至 180 nm 工艺节点的 165 个任务，覆盖模拟、混合信号与数字电路。
推荐理由：该基准覆盖 3 nm 到 180 nm 的 13 种 PDK，并给出 22 种配置的分数与成本对比，便于判断 LLM 智能体做版图设计的真实水平。
arXiv · cs.LG 机器学习精选AI 评分6060 一个温度就够了吗？研究多温度采样在 pass@K 中的实际收益
特拉维夫大学团队在 pass@K 设定下分析多个模型与数据集上逐题成功概率随采样温度的变化，发现难题更难共享高效采样温度，但这一趋势仅随难度对数增长。作者推导出评估理论最优多温度分配方案的高效方法，结果显示该方案虽能提升性能，但在温度随采样预算 K 调优时，相对单温度基线的增益通常有限，并用所谓 dulling effects 的数学机制解释这一现象。
推荐理由：论文给出多温度采样相对单温度基线的增益幅度与理论解释，读者可据此判断是否值得在 pass@K 中调整温度策略。
arXiv · cs.RO精选AI 评分6262 PneuGen：用 LLM 智能体协同设计软体气动机器人
作者提出 PneuGen，一个由 LLM 智能体驱动的软体机器人协同设计框架：设计者智能体从参数化组件库生成设计程序，批评者智能体分析仿真诊断并给出针对性修改建议，设计程序自动校验后转为有限元仿真迭代评估。
推荐理由：论文给出设计者与批评者双智能体协同搜索软体机器人设计空间的框架，并附消融与真机验证，可供关注 LLM 驱动工程设计的研究者参考。
arXiv · cs.LG 机器学习精选AI 评分7272 从线性探针到贝叶斯流形：大语言模型算术能力的几何结构
研究提出四阶段贝叶斯流程，把线性探针常被混为一谈的四项主张（可解码性、形状、归属、因果使用）分开检验，并在 GPT-J 6B、Llama 3.1 8B 和 Pythia 6.9B 的两位数加法与乘法上验证。
推荐理由：文章把线性探针的结论拆成可解码性、形状、归属与因果使用四项分别检验，为解读 LLM 激活几何提供了一套可复用的评估流程。