arXiv · cs.AI 人工智能· Rishikesh Mallagundla, Pranav Patel·· 2 天前AI 评分55
TopicScope:用稀疏自编码器特征训练逐 token 主题监控器
Train on prefill, monitor at decode: Using sparse autoencoders for topic monitoring
AI 导读
作者提出 TopicScope 框架,在 SAE 特征上训练因果主题分类器,为模型回复中的每个 token 分配主题标签,标签可在生成中途变化。在 Gemma-3 1B 和 4B 上,用 prefill 隐状态特征训练的监控器能泛化到解码阶段;插入离题内容、删除主题或重排段落后,宏 F1 最多下降 5 点。消融显示,不用 SAE 达到基线性能的分类器体积要大数倍,代码、数据集与检查点已公开。
来源:arXiv · cs.AI 人工智能 · arxiv.org