从推理框架面试题延伸:从一个模型文件到一个在线 API,推理服务落地要走几步
这个系列前一天有一篇真题解析,把 vLLM、TensorRT-LLM、TGI 三个推理框架的特性横向对比了一遍——那篇回答的是「选什么」。但面试和工作中更常见的后续问题是:选定框架之后,一个躺在磁盘上的模型文件,怎么变成别人能调用的在线 API?
这个系列前一天有一篇真题解析,把 vLLM、TensorRT-LLM、TGI 三个推理框架的特性横向对比了一遍——那篇回答的是「选什么」。但面试和工作中更常见的后续问题是:选定框架之后,一个躺在磁盘上的模型文件,怎么变成别人能调用的在线 API?