arXiv · cs.CL 计算与语言· Dan Lee, Seungwook Han, Akarsh Kumar, Pulkit Agrawal·· 5 小时前精选AI 评分70
研究团队用神经细胞自动机生成合成数据预预训练大语言模型
Training Language Models via Neural Cellular Automata
AI 导读
研究团队提出用神经细胞自动机（NCA）生成非语言的合成数据，在自然语言预训练之前做预预训练。在 400M-3B 模型、Chinchilla 最优数据预算下，仅用 164M NCA token 预预训练即可让下游语言建模提升最多 6%、收敛加速最多 1.6x，效果甚至超过用 1.6B 高质量自然语言 token 且算力更多的预预训练。
推荐理由
论文用元胞自动机生成非语言合成数据做预预训练，并给出跨领域复杂度差异的迁移分析，可供关注预训练数据瓶颈的读者参考。
来源：arXiv · cs.CL 计算与语言 · arxiv.org