ohmyblog

#量化

从 PagedAttention 面试题延伸:大模型推理的显存账本,参数、KV Cache、激活各占多少

上一篇真题解析讲了 PagedAttention 的分页机制本身,本篇把镜头拉远:一次大模型推理服务,显存到底花在哪几本账上,每本账随什么增长、怎么估算、用什么手段省。面试里被问「7B 模型部署要多少显存」时,能当场把账算清的人,和只会说「参数乘 2 字节」的人,高下立判。