TensorRT

构建引擎

遵循官方 TensorRT-LLM 文档来构建引擎。

• 对于 Mistral-7B，您可以使用LLaMA 示例
• 对于 Mixtral-8X7B，官方文档即将发布...

部署引擎

引擎构建完成后，可以使用 Triton 推理服务器及其 TensorRTLLM 后端进行部署。

遵循官方文档。