#MoE

MoE 和 Dense 模型比，收益主要体现在哪？代价又是什么？

考察混合专家模型的稀疏激活原理，重点是「推理 FLOPs 与参数量解耦」带来的训练/推理效率收益，以及显存占用、路由稳定性、微调难度等代价。