跳到正文
arXiv · cs.AI 人工智能· Zhicheng Zheng, Cheng Zhang, Chenkai Tang, Tianxiang Zhao·· 5 小时前AI 评分58

DForkTree:用分支感知块扩散草稿树加速投机解码

DForkTree: Accelerating Speculative Decoding with Fork-Aware Block Diffusion Draft Trees

AI 导读

作者提出免训练方法 DForkTree,通过用目标模型生成的 n-gram 点互信息调整草稿模型分数,并在分支后加大权重,再用逐层 GPU 搜索恢复最优草稿树。

来源:arXiv · cs.AI 人工智能 · arxiv.org