arXiv · cs.NE· Yuefeng Xu, Jun Yu·· 4 小时前AI 评分42
分块可加性何时失效？诊断并修复基于蒸馏的架构搜索中的可加性假设
When Does Blockwise Additivity Break? Diagnosing and Repairing the Additive Assumption in Distillation-Based Architecture Search
AI 导读
研究在 DeiT-S、DeiT-B、Swin-T 和 Qwen2.5-0.5B 各七个延迟预算下检验分块蒸馏架构搜索的可加性假设：微调后，可加整数规划在温和预算下最多落后成对交互感知方案 1.6 个 top-1 点，但在激进预算下差距达 17.5 点、困惑度相差 1.9 倍。
来源：arXiv · cs.NE · arxiv.org