如何配置tensorrt

⑴ 模型部署入门教程（七）：TensorRT 模型构建与推理

模型部署入门教程继续更新！通过前几期的学习，我们对 ONNX 这一中间表示有了全面理解。然而，在实际生产环境中，ONNX 模型往往需要转换为可被具体推理后端使用的模型格式。本篇，我们探索深度学习框架中的巨人 - TensorRT。

TensorRT，由 NVIDIA 推出，专用于在其硬件上执行深度学习推理。它提供量化感知训练和离线量化功能，支持 INT8 和 FP16 两种优化模式。TensorRT 的应用广泛，包括视频流、语音识别、推荐、欺诈检测、文本生成和自然语言处理等领域。作为 NVIDIA GPU 上运行模型最快的推理引擎之一，TensorRT 经过高度优化。

安装 TensorRT：
- **Windows**：在带有 NVIDIA 显卡的机器上，确保安装了 CUDA 和 CUDNN。从 NVIDIA 官网下载与主机 CUDA 版本匹配的 TensorRT 压缩包。以 CUDA 10.2 为例，选择适配的 zip 包，使用命令行验证安装。

- **Linux**：安装流程与 Windows 类似，从 NVIDIA 官网下载适配的 tar 包，并执行安装测试命令。确认版本为 8.2.5.1，表示安装成功。

模型构建：
- **直接构建**：使用 TensorRT API 构建网络，类似于使用 Pytorch 或 TensorFlow 搭建网络。注意权重内容赋值至 TensorRT 网络。
- **Python API 构建**：利用 tensorrt.Builder 的功能构建配置和网络，设置参数、添加层，定义输入和输出名称，序列化网络保存。
- **C++ API 构建**：流程与 Python 类似，需注意细节，代码实现同步。

IR 转换模型：
- **Python API 转换**：使用 Pytorch 实现模型，转换为 ONNX，再转换至 TensorRT 模型。
- **C++ API 转换**：利用 NvOnnxParser 将 ONNX 文件解析至 TensorRT 网络中。

模型推理：
- **Python API 推理**：使用 MMDeploy 运行代码，验证输入输出符合预期。
- **C++ API 推理**：使用 C++ 语言实现模型推理，对比 Python API 的效果。

总结：通过本文，您掌握了构建 TensorRT 模型的两种方式：直接构建和模型转换。学习了使用 Python 和 C++ 完成构建及推理。期待下一篇文章，我们将探讨如何在 TensorRT 中添加自定义算子，敬请期待！