跳到正文
热点事件持续更新

研究:RAG引用溯源新测量法

2 篇报道2 个报道来源首报4 小时前更新

先了解这件事

AI 综述

Tanzeel Abbas 等作者提出用反事实值替换法测量检索增强生成(RAG)系统的引用来源:把检索段落中的一个事实替换为错误版本,再向模型重新提问,观察引用是否随之改变。 研究称,在同一模型家族的五个规模及第二个对照家族中,1.2% 至 15.7% 的可引用论断来自参数记忆而非检索上下文,且该比例随模型规模上升。这意味着部分引用并非真正溯源到检索材料。 后续报道还称,标准验证方法在该测量下接近随机。

AI 根据报道生成 · 53 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月13日
  1. arXiv · cs.AI 人工智能
    研究揭示 RAG 引用常来自参数记忆而非检索上下文,标准验证方法接近随机

    研究提出用反事实值替换测量 RAG 系统的引用来源:将检索段落中的事实替换为错误变体后重新查询模型,发现在同一模型家族的五个规模及第二个对比模型家族上,1.2% 至 15.7% 的可引用声明来自参数记忆而非检索上下文,且该比例随模型规模上升。

  2. Papers with Code · arXiv cs.AI
    研究:RAG 系统引用常来自参数记忆而非检索上下文

    研究通过反事实值替换测量检索增强生成系统的引用来源,发现同一模型家族的五个规模及第二个对照家族中,1.2% 至 15.7% 的可引用论断来自参数记忆而非检索上下文,且该比例随模型规模上升。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。