经典题解析：MHA、MQA、GQA 三种注意力怎么权衡
先说明属性：这是一篇经典题解析，题目出自本地历史面试资料，与任何公司的当前招聘无关。MHA、MQA、GQA 的对比是注意力机制方向的标准题，考点不在三个缩写各代表什么，而在于：它们其实是同一条权衡轴上的三个点——KV 头数越少，KV Cache 越小、解码越快，但质量损失越大。
#KV Cache
从 PagedAttention 面试题延伸：大模型推理的显存账本，参数、KV Cache、激活各占多少
上一篇真题解析讲了 PagedAttention 的分页机制本身，本篇把镜头拉远：一次大模型推理服务，显存到底花在哪几本账上，每本账随什么增长、怎么估算、用什么手段省。面试里被问「7B 模型部署要多少显存」时，能当场把账算清的人，和只会说「参数乘 2 字节」的人，高下立判。
经典题解析：PagedAttention 是怎么解决 KV Cache 显存浪费的
先说明属性：这是一篇经典题解析，题目出自本地历史面试资料整理，与任何公司的当前招聘无关。大模型推理服务面试里，「vLLM 为什么快」几乎必问，而答案的核心就是 2023 年 vLLM 论文提出的 PagedAttention——一道把操作系统虚拟内存思想搬进 GPU 显存管理的经…