arXiv · cs.AI 人工智能· Xiao Cao, Fuchen Long, Yansong Qu, Wen Xiao, Xin Zhang, Xinlong Sun, Xi Chen, Zhiyong Huang·· 4 小时前精选AI 评分60
VideoEditor-MoE:用混合专家框架把视频编辑模型扩展到 56B 参数
VideoEditor-MoE: Scaling Complex Video Editing with Mixture of Experts
AI 导读
研究团队提出 VideoEditor-MoE,一个面向复杂视频编辑的开源混合专家框架,在稀疏 MLP-MoE 层之外用 MoE-Attention 通过路由 key-value 专家扩展注意力容量,同时保留视频 token 间的全局交互。
推荐理由
论文给出 MoE-Attention 的路由设计与 14B、56B 两档扩展结果,并对比 Explicit-MoE 与 MLP-MoE 两种基线,可供判断专家路由在视频编辑中的作用。
来源:arXiv · cs.AI 人工智能 · arxiv.org