arXiv · cs.LG 机器学习· Jayden Teoh, Manan Tomar, Kwangjun Ahn, Edward S. Hu, Tim Pearce, Pratyusha Sharma, Akshay Krishnamurthy, Riashat Islam, Alex Lamb, John Langford·· 5 小时前精选AI 评分72
NextLat 让 Transformer 学习紧凑世界模型，推理最高加速 3.3 倍
Next-Latent Prediction Transformers Learn Compact World Models
AI 导读
作者提出 Next-Latent Prediction（NextLat），在标准下一 token 训练之外加入潜空间自监督预测，让 Transformer 的潜表示收敛到预测未来所需的信念状态。
推荐理由
论文给出 NextLat 的理论依据与多类基准对比，并报告推理加速数字，便于读者判断其可复现性。
来源：arXiv · cs.LG 机器学习 · arxiv.org