跳到正文
arXiv · cs.CL 计算与语言· Sujan Maharjan, Lu Liu·· 5 小时前精选AI 评分78

ShadowBench 基准揭示大语言模型的词汇锚定与遗忘假象

ShadowBench: Exposing Lexical Anchoring and the Illusion of Forgetting in Large Language Models

AI 导读

作者提出 ShadowBench 基准,用双特质关联(DTA)任务评测模型在缺少显式实体名时的潜在实体关联能力,发现从各规模模型到 GPT-5.4 和 Claude-Sonnet-4.6 均存在“Shadow Gap”,去掉词汇锚点后性能下降超过 20%。

推荐理由

ShadowBench 用双特质关联任务量化模型对实体名的依赖,并给出机器遗忘只做表面擦除的证据,读者可据此判断现有评测与遗忘方法的边界。

来源:arXiv · cs.CL 计算与语言 · arxiv.org