跳到正文
arXiv · cs.AI 人工智能· Christopher Liaw, Aranyak Mehta, Grigoris Velegkas, Felix Zhou·· 4 小时前AI 评分57

新论文用草图算法估计语言模型上下文归因,评估次数降至 O(√log(1/ε)/ε)

Sketching Language Models for Context Attribution

AI 导读

论文研究语言模型上下文归因中的 leave-one-out(LOO)归因:直接计算 n 个 token 的全部 LOO 值需要 n 次模型评估,作者在稳定性假设下提出草图算法,以 O(√log(1/ε)/ε) 次评估调用、以常数概率将全部 LOO 值估计到与 ε 成正比的误差,并证明匹配的 Ω(√log(1/ε)/ε) 下界。

来源:arXiv · cs.AI 人工智能 · arxiv.org