经典题解析：首 token 延迟和吞吐，推理性能到底怎么衡量
先说明属性：这是一篇经典题解析，题目出自本地历史面试资料整理，与任何公司的当前招聘无关。「如何衡量大模型的推理速度」这道题，考的不是让你背几个缩写，而是你能不能把「快」这个模糊的词拆成可测量、可对比、可写进 SLA 的指标。
先说明属性：这是一篇经典题解析，题目出自本地历史面试资料整理，与任何公司的当前招聘无关。「如何衡量大模型的推理速度」这道题，考的不是让你背几个缩写，而是你能不能把「快」这个模糊的词拆成可测量、可对比、可写进 SLA 的指标。