低成本测试方案测量跨厂商与跨版本模型行为
作者提出一套低成本、可扩展、可复现的模型行为测量方案：每项研究是一组冻结的公开刺激，在跨厂商模型面板上以每个模型几美元或更低成本运行，并用三种方式解读对话记录，分别是限定回复的精确匹配、由 LLM 评审按码本编码并报告与人工编码者的一致性，以及记录智能体实际行为的插桩环境。
推荐理由：作者提出一套低成本、可复现的模型行为测量方案，并在跨厂商四年模型版本上给出四类行为发现。
研究方向与科研任务
评测与基准 最新动态
新基准、评测方法、数据集与 leaderboard 变化。
175 条精选近 30 天 171 条共收录 823 条
更新
精选归档 · 第 4 页
arXiv · cs.CL 计算与语言精选AI 评分7171 arXiv · cs.CL 计算与语言精选AI 评分7272 FiC：让大模型通过自蒸馏找回多轮对话中的单轮能力
作者提出 Found in Conversation（FiC）训练框架，用 View-Asymmetric Self-Distillation 把同一任务信息的单轮视图蒸馏给多轮视图的学生模型，无需更强外部教师。
推荐理由：针对多轮对话中信息分散导致的性能下降，作者用同一任务信息的单轮与多轮两种视图做自蒸馏，无需更强外部教师。
arXiv · cs.AI 人工智能精选AI 评分7878 KernelMosaic 发布 CUDA 内核生成开放数据集与智能体框架
KernelMosaic 发布面向 CUDA 内核生成的开放数据集与智能体框架，把自然语言描述、参考程序、数学规格等多样任务与经过验证的解法和优化轨迹配对。其智能体框架引导强 LLM 完成实现、正确性修复与性能优化，并用可复用的 CUDA 指导与执行反馈构建轨迹。
推荐理由：该数据集把多样 CUDA 任务与验证过的解法和优化轨迹配对，并给出小模型微调前后的基准数字，便于判断轨迹监督对代码生成的作用。
arXiv · cs.AI 人工智能精选AI 评分7171 研究对比 tau2-bench 上原生评分、LLM 评判与提交边界检查的一致性
作者在 tau2-bench 的 airline 和 retail 领域运行 2160 个 episode 并记录每次数据库写入，用原生评分、LLM 评判、带策略文档的 LLM 评判和规则式边界检查四种方式打分。
推荐理由：研究用同一批轨迹对比原生评分、LLM 评判与规则边界检查，量化了不同评测方式给出的结论差异。
arXiv · cs.CL 计算与语言精选AI 评分7070 LongReasonArena：面向大语言模型长推理能力的基准
研究团队提出 LongReasonArena，用于评测大语言模型的长推理能力，任务要求模型执行检索、回溯等多步算法，推理长度可随输入控制扩展至 1 million tokens。评测显示该基准对开源与闭源模型均构成挑战，GPT-5 在 Level 3 上准确率仅 27.8%，且准确率随预期推理步数对数的增加呈线性下降。代码与数据已公开。
推荐理由：该基准把长上下文评测从理解转向多步长推理，并给出推理长度可扩展至 1M token 的设计与 GPT-5 等模型的实测结果。
arXiv · cs.AI 人工智能精选AI 评分7272 AgentSSL 研究 MLE 智能体能否利用无标注数据，并提出 ProgramSelectBench 基准
作者提出 Agentic Semi-Supervised Learning（AgentSSL），把半监督学习表述为程序搜索问题，考察 MLE 智能体在标注稀缺、无标注数据充足时如何组合与改造已有 SSL 技术。
推荐理由：论文把半监督学习重构为程序搜索问题，并给出程序选择瓶颈的量化结果与配套基准，读者可据此判断 MLE 智能体在标注稀缺场景的可用边界。
arXiv · cs.CL 计算与语言精选AI 评分7474 CapLite：面向小语言模型智能体的提示词注入防御，无需模型自写安全产物
作者提出 CapLite，从工具 schema 推导策略、在读取任何工具结果前提交写调用，并要求决定影响对象的参数必须出现在用户请求中，从而保证写操作完整性。
推荐理由：论文用 15 个开放权重模型检验小模型能否自写安全策略，并给出不依赖模型生成安全产物的防御方案。
arXiv · cs.AI 人工智能精选AI 评分7272 AnalogLayoutWorld：面向智能体模拟电路版图设计的开源基准
NovaSilicon Team 发布开源智能体基准 AnalogLayoutWorld，包含 40 个经专家审核的任务，要求从固定晶体管级网表完成端到端版图生成，并配有独立物理与版图后电气验证及客观版图质量指标。
推荐理由：该基准用40个专家审核任务和独立物理验证，量化了编码智能体在模拟电路版图设计上的真实通过率。
arXiv · cs.AI 人工智能精选AI 评分7171 研究揭示 AI 谄媚的准确率与用户认可度落差
Wajiha Naveed 与 Brandon Fain 通过基准评测和两项大规模用户研究考察大语言模型的谄媚倾向，发现即便无特定人设提示的基线模型在 NLP Survey 上也有 71.7% 的情况附和用户观点，客观型为 54.8%，强谄媚型为 89.5%。
推荐理由：研究把基准评测与两项用户研究结合，揭示准确率更高的客观型 AI 在尊重度与满意度上反而更低。
arXiv · cs.AI 人工智能精选AI 评分7272 研究提出两轮对照审计：专家异议下五个模型均未达到选择性纠错阈值
作者提出一种两轮对照审计，固定问题、证据和模型初始答案，只改变修订情境（中性反思、匿名异议、专家异议），用选择性阈值 a/(1-a) 衡量修订是否真正纠错。
推荐理由：文章提出两轮对照审计，把“改对”和“改错”分开计量，并给出选择性阈值，便于读者判断模型在专家异议下是否真在纠错。
arXiv · cs.AI 人工智能精选AI 评分7272 Folio：面向长程语言智能体的可恢复多分辨率上下文折叠方法
作者提出上下文管理器 Folio，通过 L1 轮次笔记、L2 事件清单、L3 源记录三层句柄记录、折叠并恢复历史，由运行时按程序选择更粗粒度视图，折叠时输出索引 L2 和 L3 的句柄供恢复工具按页读取。
推荐理由：在 75 个 LOCA-bench 任务上，Folio 与同一运行时下的模型摘要压缩方式做了直接对比，并给出耗时与成本数据。
arXiv · cs.CL 计算与语言精选AI 评分7070 DecArena：评估大规模去中心化多智能体协作的新基准
作者提出 DecArena 基准，在图约束通信下评测去中心化多智能体协作，包含 10 万以上工具的合成可扩展分布式工具调用。实验显示，近期 LLM 智能体难以发现非本地相关资源并完成协作，标准强化学习也无法可靠克服这一限制；作者随后给出基线 GraphHarness，结合拓扑感知预热与基于 LLM 的自改进路由，相比基线任务成功率提升 48.5、协作质量提升 30.6，成本降低 34.0。
推荐理由：该基准用 10 万以上工具模拟图约束下的去中心化协作，并给出 GraphHarness 基线，便于读者判断现有 LLM 智能体的协作短板。
arXiv · cs.AI 人工智能精选AI 评分7878 Singularity-Bench：用六项端到端任务评测智能体能否自主构建 AI 系统
作者提出开放式基准 Singularity-Bench，包含预训练、中训练、后训练、推理、agent harness 和集群编排六项端到端任务，要求智能体从最小起点实现核心系统，并在相同硬件上与成熟的人工工程基线对比。
推荐理由：该基准用六个端到端开发任务和人工基线衡量智能体自主构建 AI 系统的能力，并公开了奖励攻击漏洞与防护方案。
arXiv · cs.CL 计算与语言精选AI 评分7878 一篇伪造新闻即可扭转 LLM 预测系统：检索成为攻击入口
研究提出一种最弱攻击者设定，仅凭预测问题发布伪造新闻文章，在股票问题和真实预测市场问题上，一旦文章进入模型上下文，就能让所测试的每个前沿模型上 74% 至 82% 原本相反的预测发生反转。
推荐理由：研究揭示检索式 LLM 预测系统只需一篇伪造新闻即可被扭转，并检验现有防御的失效边界。
arXiv · cs.CL 计算与语言精选AI 评分7878 研究揭示医疗视觉语言模型的平均准确率掩盖了气胸漏检
作者在按性别、年龄、病种和标签平衡的 6,048 道 ChestX-ray14 问题上审计了 MedGemma-4B、Lingshu-7B、HuatuoGPT-Vision-7B、Qwen2.5-VL-7B 和 MedVLM-R1 五个开源医疗 VLM。
推荐理由：对五个开源医疗 VLM 做按病种拆分的审计，揭示平均准确率掩盖的气胸漏检，并给出按病种召回率的评测建议。
arXiv · cs.CL 计算与语言精选AI 评分7878 Auditing AI peer reviewers：面向真实科学论文的 AI 审稿基准
作者提出一个 AI 审稿基准，向真实论文注入四类可定位错误（一般问题、数学、数值、引用），每类分三个严重程度，按错误类型和严重程度衡量各审稿系统的检出率，并在干净副本上统计误报率。
推荐理由：该基准向真实论文注入可定位错误，按错误类型和严重程度衡量审稿系统的检出率与误报率，并给出多智能体审稿器 Skepthical 的对照结果。
arXiv · cs.CL 计算与语言精选AI 评分7272 Translated 发布 Lara Mini base：6T token 训练 45 种语言，MoE 架构缓解语言容量竞争
Translated 团队提出 Lara Mini base，从零在 6T token 的英语和另外 44 种语言（覆盖欧盟全部 24 种官方语言）上训练，采用 7.2B 总参数、0.6B 激活参数的 MoE 架构。
推荐理由：在最多 2B 激活参数的开放基座模型中，该工作用 MoE 架构缓解多语言容量竞争，并给出与训练量更大模型的基准对比。
arXiv · cs.CL 计算与语言精选AI 评分7272 Beyond Word Error Rate：流式听写 ASR 的四级失败分类评测
作者构建流式听写 ASR 失败分类测试集，将每个错误按固定规则归入识别、输出格式、语言处理和自托管模型音频丢弃四级，并流式输入 11 个 ASR 系统。
推荐理由：作者发布流式听写 ASR 的失败分类测试集与全部录音转写，揭示 WER 相近的系统在低语和双语场景下错误类型差异明显。
arXiv · cs.CL 计算与语言精选AI 评分7272 固定预算下人类与合成偏好数据的后训练效果对比
研究在等额美元标注预算下比较人类与合成偏好数据对 LLM 后训练的影响，发现合成数据在低到中等预算下成本效率更高，仅需 200–400 美元即可取得较高胜率。在有用性任务上，人类数据需约两个数量级更大的预算才能追平；在摘要任务上，所测试的预算范围内均未追平。
推荐理由：在等额美元预算下比较人类与合成偏好数据，为后训练数据投入提供了可复用的成本对照视角。
arXiv · cs.AI 人工智能精选AI 评分7272 NIBench：面向神经影像自主 AI 智能体的执行、技能演化与科学判断基准
作者提出神经影像基准 NIBench，从执行与流程重建、技能演化、科学判断三方面评测自主 AI 智能体。执行评测覆盖 7 个工具生态的 56 个任务，涉及结构、扩散、功能磁共振、PET 与多模态分析；科学判断评测使用已发表阿尔茨海默病研究的 36 条结论，要求智能体分析原始队列数据并给出可复现证据。
推荐理由：NIBench 把执行、技能蒸馏与科学判断拆成三项评测，并给出 19 个模型在神经影像流程上的差异表现。