ohmyblog

#稀疏激活

经典题解析:MoE 混合专家的门控网络是怎么路由的

先说明属性:这是一篇经典题解析,题目出自本地历史面试资料,与任何公司的当前招聘无关。MoE(Mixture-of-Experts,混合专家)是大模型架构方向的高频考点:模型总参数可以翻到几千亿甚至上万亿,单个 token 的计算量却不能同比例膨胀,靠的就是门控网络的路由机制。