arXiv · cs.CL 计算与语言· Sujan Maharjan, Lu Liu·· 5 小时前精选AI 评分78
ShadowBench 基准揭示大语言模型的词汇锚定与遗忘假象
ShadowBench: Exposing Lexical Anchoring and the Illusion of Forgetting in Large Language Models
AI 导读
作者提出 ShadowBench 基准,用双特质关联(DTA)任务评测模型在缺少显式实体名时的潜在实体关联能力,发现从各规模模型到 GPT-5.4 和 Claude-Sonnet-4.6 均存在“Shadow Gap”,去掉词汇锚点后性能下降超过 20%。
推荐理由
ShadowBench 用双特质关联任务量化模型对实体名的依赖,并给出机器遗忘只做表面擦除的证据,读者可据此判断现有评测与遗忘方法的边界。
来源:arXiv · cs.CL 计算与语言 · arxiv.org