研究提出 Transformer 错误率的两参数模型,在 Gemini 2.5 与 DeepSeek R1 上验证
作者提出一个 Transformer 错误率模型,认为注意力机制中的小误差累积越过阈值时会产生错误预测,由此推导出任务准确率与复杂度之间的两参数定量关系。这两个参数随提示词和模型变化,可解释为基础噪声率与可预测的错误 token 数量。
推荐理由:论文用两个参数刻画 LLM 在算术与重复任务上的错误率,并在 Gemini 与 DeepSeek R1 上做了实证检验,为理解长任务出错提供了可检验的解释。