利用python构建ONNX网络

2024-06-16 19:36
文章标签 python 构建 网络 onnx

本文主要是介绍利用python构建ONNX网络，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

利用python构建ONNX网络

利用python的API，构建一个简单的神经网络。
Y = f ( X , A , B ) Y = f(X, A, B) Y=f(X,A,B)

上述网络需要四个函数进行构建

  • make_tensor_value_info: declares a variable (input or output) given its shape and type，声明变量

  • make_node: creates a node defined by an operation (an operator type), its inputs and outputs。构建节点（算子类型）

  • make_graph: a function to create an ONNX graph with the objects created by the two previous functions。利用变量以及算子构建计算图

  • make_model: a last function which merges the graph and additional metadata。将计算图和一些额外的元数据构成一个完整的模型

例子

# importsfrom onnx import TensorProto
from onnx.helper import (make_model, make_node, make_graph,make_tensor_value_info)
from onnx.checker import check_model# inputs# 'X' is the name, TensorProto.FLOAT the type, [None, None] the shape
X = make_tensor_value_info('X', TensorProto.FLOAT, [None, None])
A = make_tensor_value_info('A', TensorProto.FLOAT, [None, None])
B = make_tensor_value_info('B', TensorProto.FLOAT, [None, None])# outputs, the shape is left undefinedY = make_tensor_value_info('Y', TensorProto.FLOAT, [None])# nodes# It creates a node defined by the operator type MatMul,
# 'X', 'A' are the inputs of the node, 'XA' the output.
node1 = make_node('MatMul', ['X', 'A'], ['XA'])
node2 = make_node('Add', ['XA', 'B'], ['Y'])# from nodes to graph
# the graph is built from the list of nodes, the list of inputs,
# the list of outputs and a name.graph = make_graph([node1, node2],  # nodes'lr',  # a name[X, A, B],  # inputs[Y])  # outputs# onnx graph
# there is no metadata in this case.onnx_model = make_model(graph)# Let's check the model is consistent,
# this function is described in section
# Checker and Shape Inference.
check_model(onnx_model)# the work is done, let's display it...
print(onnx_model)

空的形状None表示任意大小

序列化

保存

# The serialization
with open("linear_regression.onnx", "wb") as f:f.write(onnx_model.SerializeToString())

加载

from onnx import loadwith open("linear_regression.onnx", "rb") as f:onnx_model = load(f)# display
print(onnx_model)

数据的序列化

import numpy
from onnx.numpy_helper import from_arraynumpy_tensor = numpy.array([0, 1, 4, 5, 3], dtype=numpy.float32)
print(type(numpy_tensor))onnx_tensor = from_array(numpy_tensor)
print(type(onnx_tensor))serialized_tensor = onnx_tensor.SerializeToString()
print(type(serialized_tensor))with open("saved_tensor.pb", "wb") as f:f.write(serialized_tensor)

Initializer，为输入构建默认值

前面的模型将系数也做为模型的输入，这在使用时不便。

代码

import numpy
from onnx import numpy_helper, TensorProto
from onnx.helper import (make_model, make_node, make_graph,make_tensor_value_info)
from onnx.checker import check_model# initializers
value = numpy.array([0.5, -0.6], dtype=numpy.float32)
A = numpy_helper.from_array(value, name='A')value = numpy.array([0.4], dtype=numpy.float32)
C = numpy_helper.from_array(value, name='C')# the part which does not change
X = make_tensor_value_info('X', TensorProto.FLOAT, [None, None])
Y = make_tensor_value_info('Y', TensorProto.FLOAT, [None])
node1 = make_node('MatMul', ['X', 'A'], ['AX'])
node2 = make_node('Add', ['AX', 'C'], ['Y'])
graph = make_graph([node1, node2], 'lr', [X], [Y], [A, C])
onnx_model = make_model(graph)
check_model(onnx_model)print(onnx_model)

属性

from onnx import TensorProto
from onnx.helper import (make_model, make_node, make_graph,make_tensor_value_info)
from onnx.checker import check_model# unchanged
X = make_tensor_value_info('X', TensorProto.FLOAT, [None, None])
A = make_tensor_value_info('A', TensorProto.FLOAT, [None, None])
B = make_tensor_value_info('B', TensorProto.FLOAT, [None, None])
Y = make_tensor_value_info('Y', TensorProto.FLOAT, [None])# added
node_transpose = make_node('Transpose', ['A'], ['tA'], perm=[1, 0])# unchanged except A is replaced by tA
node1 = make_node('MatMul', ['X', 'tA'], ['XA'])
node2 = make_node('Add', ['XA', 'B'], ['Y'])# node_transpose is added to the list
graph = make_graph([node_transpose, node1, node2],'lr', [X, A, B], [Y])
onnx_model = make_model(graph)
check_model(onnx_model)# the work is done, let's display it...
print(onnx_model)

版本和元数据

from onnx import load, helperwith open("linear_regression.onnx", "rb") as f:onnx_model = load(f)onnx_model.model_version = 15
onnx_model.producer_name = "something"
onnx_model.producer_version = "some other thing"
onnx_model.doc_string = "documentation about this model"
prop = onnx_model.metadata_propsdata = dict(key1="value1", key2="value2")
helper.set_model_props(onnx_model, data)print(onnx_model)

Functions

定义一个函数，相比于计算图，更像一个模板

import numpy
from onnx import numpy_helper, TensorProto
from onnx.helper import (make_model, make_node, set_model_props, make_tensor,make_graph, make_tensor_value_info, make_opsetid,make_function)
from onnx.checker import check_modelnew_domain = 'custom'
opset_imports = [make_opsetid("", 14), make_opsetid(new_domain, 1)]# Let's define a function for a linear regressionnode1 = make_node('MatMul', ['X', 'A'], ['XA'])
node2 = make_node('Add', ['XA', 'B'], ['Y'])linear_regression = make_function(new_domain,            # domain name'LinearRegression',     # function name['X', 'A', 'B'],        # input names['Y'],                  # output names[node1, node2],         # nodesopset_imports,          # opsets[])                     # attribute names# Let's use it in a graph.X = make_tensor_value_info('X', TensorProto.FLOAT, [None, None])
A = make_tensor_value_info('A', TensorProto.FLOAT, [None, None])
B = make_tensor_value_info('B', TensorProto.FLOAT, [None, None])
Y = make_tensor_value_info('Y', TensorProto.FLOAT, [None])graph = make_graph([make_node('LinearRegression', ['X', 'A', 'B'], ['Y1'], domain=new_domain),make_node('Abs', ['Y1'], ['Y'])],'example',[X, A, B], [Y])onnx_model = make_model(graph, opset_imports=opset_imports,functions=[linear_regression])  # functions to add)
check_model(onnx_model)# the work is done, let's display it...
print(onnx_model)

带属性的function

import numpy
from onnx import numpy_helper, TensorProto, AttributeProto
from onnx.helper import (make_model, make_node, set_model_props, make_tensor,make_graph, make_tensor_value_info, make_opsetid,make_function)
from onnx.checker import check_modelnew_domain = 'custom'
opset_imports = [make_opsetid("", 14), make_opsetid(new_domain, 1)]# Let's define a function for a linear regression
# The first step consists in creating a constant
# equal to the input parameter of the function.
cst = make_node('Constant',  [], ['B'])att = AttributeProto()
att.name = "value"# This line indicates the value comes from the argument
# named 'bias' the function is given.
att.ref_attr_name = "bias"
att.type = AttributeProto.TENSOR
cst.attribute.append(att)node1 = make_node('MatMul', ['X', 'A'], ['XA'])
node2 = make_node('Add', ['XA', 'B'], ['Y'])linear_regression = make_function(new_domain,            # domain name'LinearRegression',     # function name['X', 'A'],             # input names['Y'],                  # output names[cst, node1, node2],    # nodesopset_imports,          # opsets["bias"])               # attribute names# Let's use it in a graph.X = make_tensor_value_info('X', TensorProto.FLOAT, [None, None])
A = make_tensor_value_info('A', TensorProto.FLOAT, [None, None])
B = make_tensor_value_info('B', TensorProto.FLOAT, [None, None])
Y = make_tensor_value_info('Y', TensorProto.FLOAT, [None])graph = make_graph([make_node('LinearRegression', ['X', 'A'], ['Y1'], domain=new_domain,# bias is now an argument of the function and is defined as a tensorbias=make_tensor('former_B', TensorProto.FLOAT, [1], [0.67])),make_node('Abs', ['Y1'], ['Y'])],'example',[X, A], [Y])onnx_model = make_model(graph, opset_imports=opset_imports,functions=[linear_regression])  # functions to add)
check_model(onnx_model)# the work is done, let's display it...
print(onnx_model)

Parsing

模型的检验

import onnx.parser
import onnx.checkerinput = '''<ir_version: 8,opset_import: [ "" : 15]>agraph (float[I,4] X, float[4,2] A, int[4] B) => (float[I] Y) {XA = MatMul(X, A)Y = Add(XA, B)}'''
try:onnx_model = onnx.parser.parse_model(input)onnx.checker.check_model(onnx_model)
except Exception as e:print(e)

形状推断

import onnx.parser
from onnx import helper, shape_inferenceinput = '''<ir_version: 8,opset_import: [ "" : 15]>agraph (float[I,4] X, float[4,2] A, float[4] B) => (float[I] Y) {XA = MatMul(X, A)Y = Add(XA, B)}'''
onnx_model = onnx.parser.parse_model(input)
inferred_model = shape_inference.infer_shapes(onnx_model)print(inferred_model)

这篇关于利用python构建ONNX网络的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1067350。

相关文章

python生成随机唯一id的几种实现方法

python生成随机唯一id的几种实现方法

《python生成随机唯一id的几种实现方法》在Python中生成随机唯一ID有多种方法,根据不同的需求场景可以选择最适合的方案,文中通过示例代码介绍的非常详细,需要的朋友们下面随着小编来一起学习学习... 目录方法 1：使用 UUID 模块（推荐）方法 2：使用 Secrets 模块（安全敏感场景）方法
阅读更多...
使用Python删除Excel中的行列和单元格示例详解

使用Python删除Excel中的行列和单元格示例详解

《使用Python删除Excel中的行列和单元格示例详解》在处理Excel数据时,删除不需要的行、列或单元格是一项常见且必要的操作,本文将使用Python脚本实现对Excel表格的高效自动化处理,感兴... 目录开发环境准备使用 python 删除 Excphpel 表格中的行删除特定行删除空白行删除含指定
阅读更多...
Python通用唯一标识符模块uuid使用案例详解

Python通用唯一标识符模块uuid使用案例详解

《Python通用唯一标识符模块uuid使用案例详解》Pythonuuid模块用于生成128位全局唯一标识符,支持UUID1-5版本,适用于分布式系统、数据库主键等场景,需注意隐私、碰撞概率及存储优... 目录简介核心功能1. UUID版本2. UUID属性3. 命名空间使用场景1. 生成唯一标识符2. 数
阅读更多...
Python办公自动化实战之打造智能邮件发送工具

Python办公自动化实战之打造智能邮件发送工具

《Python办公自动化实战之打造智能邮件发送工具》在数字化办公场景中,邮件自动化是提升工作效率的关键技能,本文将演示如何使用Python的smtplib和email库构建一个支持图文混排,多附件,多... 目录前言一、基础配置：搭建邮件发送框架1.1 邮箱服务准备1.2 核心库导入1.3 基础发送函数二、
阅读更多...
Python包管理工具pip的升级指南

Python包管理工具pip的升级指南

《Python包管理工具pip的升级指南》本文全面探讨Python包管理工具pip的升级策略,从基础升级方法到高级技巧,涵盖不同操作系统环境下的最佳实践,我们将深入分析pip的工作原理,介绍多种升级方... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核
阅读更多...
基于Python实现一个图片拆分工具

基于Python实现一个图片拆分工具

《基于Python实现一个图片拆分工具》这篇文章主要为大家详细介绍了如何基于Python实现一个图片拆分工具,可以根据需要的行数和列数进行拆分,感兴趣的小伙伴可以跟随小编一起学习一下... 简单介绍先自己选择输入的图片，默认是输出到项目文件夹中，可以自己选择其他的文件夹，选择需要拆分的行数和列数，可以通过
阅读更多...
Python中反转字符串的常见方法小结

Python中反转字符串的常见方法小结

《Python中反转字符串的常见方法小结》在Python中,字符串对象没有内置的反转方法,然而,在实际开发中,我们经常会遇到需要反转字符串的场景,比如处理回文字符串、文本加密等,因此,掌握如何在Pyt... 目录python中反转字符串的方法技术背景实现步骤1. 使用切片2. 使用 reversed() 函
阅读更多...
Python中将嵌套列表扁平化的多种实现方法

Python中将嵌套列表扁平化的多种实现方法

《Python中将嵌套列表扁平化的多种实现方法》在Python编程中,我们常常会遇到需要将嵌套列表（即列表中包含列表）转换为一个一维的扁平列表的需求,本文将给大家介绍了多种实现这一目标的方法,需要的朋... 目录python中将嵌套列表扁平化的方法技术背景实现步骤1. 使用嵌套列表推导式2. 使用itert
阅读更多...
使用Docker构建Python Flask程序的详细教程

使用Docker构建Python Flask程序的详细教程

《使用Docker构建PythonFlask程序的详细教程》在当今的软件开发领域,容器化技术正变得越来越流行,而Docker无疑是其中的佼佼者,本文我们就来聊聊如何使用Docker构建一个简单的Py... 目录引言一、准备工作二、创建 Flask 应用程序三、创建 dockerfile四、构建 Docker
阅读更多...
Python使用vllm处理多模态数据的预处理技巧

Python使用vllm处理多模态数据的预处理技巧

《Python使用vllm处理多模态数据的预处理技巧》本文深入探讨了在Python环境下使用vLLM处理多模态数据的预处理技巧,我们将从基础概念出发,详细讲解文本、图像、音频等多模态数据的预处理方法,... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2