LLM 推理 – Nvidia TensorRT-LLM 与 Triton Inference Server

2024-07-01 分类：技术文章 阅读(19) 评论(0)

本文会介绍TensorRT-LLM与Triton的基本原理，并展示使用这两个组件部署LLM推理服务的流程。同时也会介绍其中使用到的推理优化技术。