arXiv cs.AI· Junhyuck Kim, Jihun Yun, Haechan Kim, Gyeongman Kim, Joonghyun Bae, Jaewoong Cho·· 7 天前精选AI 评分76
预印本提出将 MoE 剪枝蒸馏为稠密语言模型的系统框架
Pruning and Distilling Mixture-of-Experts into Dense Language Models

AI 导读
预印本提出一套将已训练的 MoE 模型转换为标准全稠密架构的框架,流程为对专家打分、选择与分组,拼接成稠密 FFN,再通过从 MoE 教师模型做知识蒸馏进行精修。
- 背景
- Mixture-of-Experts(MoE)已成为前沿语言模型的主流架构,但推理时需要把所有专家参数都加载进内存,因此不适合内存受限的部署场景。现有压缩方法只是减少专家数量,产出仍然是 MoE 模型,内存瓶颈并未解除。
- 做法
- 把已训练好的 MoE 转成标准全稠密架构:先对专家打分,再选择、分组,然后把专家拼接成一个稠密 FFN,最后用 MoE 教师模型做知识蒸馏精修。在 Qwen3-30B-A3B 上系统比较了 7 种打分方法、5 种分组方法和 2 种幅度缩放方法,覆盖不同的入选专家数量,共 350 种配置;另在 DeepSeek-V2-Lite 和 GPT-OSS-20B 上验证打分方法。还设置了参数量对齐的对照实验,把 MoE-to-dense 与 dense-to-dense 剪枝直接比较。
- 结论
- 打分方法的选择影响最大,作者提出的 diversity-aware 打分在 Qwen3-30B-A3B、DeepSeek-V2-Lite、GPT-OSS-20B 上均优于已有方法。在参数量匹配的受控比较中,经过约 4B token 蒸馏后,MoE-to-dense 的平均下游准确率比 dense-to-dense 剪枝高 6.3 个百分点,训练实际耗时快 1.6 倍。
- 意义
- 结果说明可以把训练好的 MoE 转成普通稠密模型,而不必保留专家结构;对需要在有限内存下部署前沿模型的场景,这提供了一条不同于减少专家数量的压缩路径。对做模型压缩和蒸馏的研究者,打分环节是收益最敏感的设计点。
- 局限
- 作者未在摘要中说明转换后的稠密模型相对原 MoE 教师保留了多少性能,也未说明蒸馏数据的具体构成;350 种配置的系统比较集中在 Qwen3-30B-A3B 上,另外两个模型只用于验证打分方法。
本页是 AI 精读,不转载论文原文;完整论文(含方法、图表与参考文献)见原文
推荐理由
给出把 MoE 转成稠密模型的可操作评分与分组配置,附与稠密剪枝的对照结果。
来源:arXiv cs.AI · arxiv.org