LLM 推理框架选型，最容易只看“谁更快”，但真正落地时要看的是吞吐、延迟、显存利用率、模型兼容性、部署复杂度和后续运维成本。不同框架解决的问题不同，不能只拿一个指标做判断。
推理框架不是单纯的性能工具，而是企业把模型服务起来的运行底座。 如果框架选错了，后面会在资源、稳定性和扩缩容上持续付出代价。
三个框架先分清定位
vLLM
vLLM 更偏通用高吞吐推理服务，适合快速把开源 LLM 跑起来，尤其在连续批处理和显存利用方面有优势。
TensorRT-LLM
TensorRT-LLM 更偏 NVIDIA 生态下的高性能推理优化，适合对延迟和吞吐要求更高、且硬件环境比较统一的场景。
TGI
TGI 更偏模型服务化和工程化交付，适合想要一个比较完整的推理服务框架，尤其在 Hugging Face 生态里更常见。
选型时最该看的 5 个维度
1. 模型兼容性
先看你要跑的模型是否被稳定支持。不是所有框架都对所有模型表现一致。
2. 性能目标
如果你的重点是高吞吐，可以优先看批处理和显存利用；如果重点是低延迟，就要看推理路径和 kernel 优化能力。
3. 硬件环境
如果你的 GPU 类型比较统一，且主要跑 NVIDIA 生态，TensorRT-LLM 往往更有发挥空间；如果环境更开放，vLLM 往往更容易落地。
4. 运维复杂度
框架越偏极致优化，调参和部署门槛通常越高。对平台团队来说，能不能稳定运维同样重要。
5. 生态和扩展性
是否支持 OpenAI 风格接口、是否方便接网关、是否容易做监控和灰度，都会影响后续成本。
各自适合什么场景
vLLM 适合什么
- 想快速搭建通用推理服务
- 更关注吞吐和显存利用
- 需要较好的开源生态适配
- 希望部署门槛相对低一些
TensorRT-LLM 适合什么
- 重点追求极致性能
- GPU 环境比较统一
- 需要更强的工程优化空间
- 团队有能力维护更复杂的推理栈
TGI 适合什么
- 希望模型服务更标准化
- 已经在 Hugging Face 生态中
- 希望推理服务部署路径更清晰
- 更关注工程可维护性而不是极致优化
选型时最容易踩的坑
误区一：只看基准测试
基准测试跑得快，不代表你的业务模型和实际请求也会快。
误区二：只看开源热度
热度高不等于适合你的模型和你的硬件。
误区三：只看单机性能
企业真正关心的是多租户、灰度、回滚和稳定服务能力。
先做什么样的 POC
如果你要做选型 POC，建议至少覆盖这 5 项：
- 目标模型是否能稳定加载
- 高并发下的吞吐和延迟
- 显存占用和资源利用率
- 断流、重试和回退行为
- 监控、日志和审计接入方式
这样测出来的结果才有比较价值。
最终怎么决策
如果目标是快速上线通用服务，vLLM 往往更容易成为第一选择；如果目标是极致性能优化，TensorRT-LLM 更值得评估；如果目标是工程化服务交付，TGI 可能更顺手。
真正的选型结论，不是“谁最好”，而是“谁最适合你的模型、硬件和治理要求”。
常见问题
vLLM 和 TensorRT-LLM 该怎么选？
先看你的硬件环境和性能目标。通用服务优先看 vLLM，极致优化优先看 TensorRT-LLM。
TGI 适合企业生产吗？
适合，但前提是你的模型和生态能和它的服务方式匹配。
推理框架要不要和网关一起看？
要一起看。框架决定内部服务能力，网关决定外部接入和治理方式。
原创声明：本文为 Alauda 原创技术内容，非商业转载须注明出处：https://www.alauda.cn/blog/1310/。
文中图示和文章内容未经许可不得用于商业转载、培训课件、营销材料或二次分发。
