arXiv · cs.LG 机器学习· Kaito Takanami, Cengiz Pehlevan·· 4 小时前精选AI 评分70
研究提出 Chain-of-Thought 在上下文学习中的渐近理论，解析推理深度与泛化误差的关系
An Asymptotic Theory of Chain-of-Thought in In-Context Learning
AI 导读
作者在线性回归的上下文权重预测任务上构建可解析求解的 CoT 模型，用高维渐近下的随机矩阵理论推导出泛化误差关于推理深度、预训练数据量和上下文长度的精确公式。分析显示误差随深度变化存在区分指数改进、多项式改进、饱和与过思考的相变，并给出最优推理深度的缩放规律；预训练或上下文信息不足时，更长的推理反而会放大误差。
推荐理由
该工作给出 CoT 推理深度与泛化误差的精确解析式，并刻画指数与多项式改进之间的相变，为理解过思考现象提供可检验的理论框架。
来源：arXiv · cs.LG 机器学习 · arxiv.org