跳到正文
arXiv · cs.CL 计算与语言· Chengguang Gan, Yunhao Liang, Hanjun Wei, QingHao Zhang, Shiwen Ni·· 5 小时前AI 评分58

CapLadder 研究:LLM 能否被调到指定基准分数并伪装成更弱的模型

Can We Make an LLM Dumber, or Is It Just Playing Dumb? An Empirical Study of Believable Performance Throttling

AI 导读

作者提出 CapLadder,一个经 IRT 校准、含 1,985 道题、覆盖数学、代码、多选题推理与工具使用的评测套件,用来研究能否把模型能力压到目标分数、且失败模式是否像真实弱模型。

来源:arXiv · cs.CL 计算与语言 · arxiv.org