arXiv · cs.LG 机器学习· Gaurav Sarkar (International Institute of Information Technology, Hyderabad), Syed Affan Daimi (International Institute of Information Technology, Hyderabad)·· 4 小时前AI 评分45
Mask-Pattern Position Augmentation：面向扩散 LLM 的免训练长上下文外推
Mask-Pattern Position Augmentation: Training-Free Long-Context Extrapolation for Diffusion LLMs
AI 导读
研究者提出免训练长上下文外推方法 Mask-Pattern Position Augmentation（MPPA），利用扩散大语言模型（dLLM）解码中不断变化的掩码模式，在位置索引线性插值后按掩码密度为每个位置、每个去噪步添加偏移。
来源：arXiv · cs.LG 机器学习 · arxiv.org