经典题解析：MHA、MQA、GQA 三种注意力怎么权衡
先说明属性：这是一篇经典题解析，题目出自本地历史面试资料，与任何公司的当前招聘无关。MHA、MQA、GQA 的对比是注意力机制方向的标准题，考点不在三个缩写各代表什么，而在于：它们其实是同一条权衡轴上的三个点——KV 头数越少，KV Cache 越小、解码越快，但质量损失越大。
先说明属性：这是一篇经典题解析，题目出自本地历史面试资料，与任何公司的当前招聘无关。MHA、MQA、GQA 的对比是注意力机制方向的标准题，考点不在三个缩写各代表什么，而在于：它们其实是同一条权衡轴上的三个点——KV 头数越少，KV Cache 越小、解码越快，但质量损失越大。