trt3专题

TRT3-trt-basic - 1 basic

前言: - tensorrt的工作流程如下图: - 首先定义网络- 优化builder参数- 通过builder生成engine,用于模型保存、推理等- engine可以通过序列化和逆序列化转化模型数据类型(转化为二进制byte文件,加快传输速率),再进一步推动模型由输入张量到输出张量的推理。![avatar](./figure/2.tensortr-workflow.jpg)

TRT3-trt-basic - 4 ONNX结构

1、前言: 1、ONNX的本质,是一种Protobuf格式文件 2、Protobuf则通过onnx-ml.proto编译得到onnx-ml.pb.h和onnx-ml.pb.cc或onnx_ml_pb2.py 3、然后用onnx-ml.pb.cc和代码来操作onnx模型文件,实现增删改 4、onnx-ml.proto则是描述onnx文件如何组成的,具有什么结构,他是操作onnx经常参照的东西