一、TensorRT TensorRT是英伟达推出的一款速度学习的加速框架,其支持多种数据类型: 包括FP16,FP8,FP32, INT8等数据类型。 具体加速原理是对网络层进行融合,包括横向同样大小融合,纵向多层融合为一层。 TensorRT加速的C++部署 模型转换 pytorch框架下我们使用的是.pt类型的文件,在TensorRT框架下需要我们转换为.engine类型的文件。 转换的流程就是