首页
Python
Java
前端
数据库
Linux
Chatgpt专题
开发者工具箱
trt3专题
TRT3-trt-basic - 1 basic
前言: - tensorrt的工作流程如下图: - 首先定义网络- 优化builder参数- 通过builder生成engine,用于模型保存、推理等- engine可以通过序列化和逆序列化转化模型数据类型(转化为二进制byte文件,加快传输速率),再进一步推动模型由输入张量到输出张量的推理。
阅读更多...
TRT3-trt-basic - 4 ONNX结构
1、前言: 1、ONNX的本质,是一种Protobuf格式文件 2、Protobuf则通过onnx-ml.proto编译得到onnx-ml.pb.h和onnx-ml.pb.cc或onnx_ml_pb2.py 3、然后用onnx-ml.pb.cc和代码来操作onnx模型文件,实现增删改 4、onnx-ml.proto则是描述onnx文件如何组成的,具有什么结构,他是操作onnx经常参照的东西
阅读更多...