pybind11以及打包学习

2024-06-04 17:38

文章标签 学习打包 pybind11

本文主要是介绍pybind11以及打包学习，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

pybind11以及打包学习

前言

最近在看fasttext，看到使用pybind11把c++代码封装了一下，然后打包后安装，python可以直接调用，非常方便，有点兴趣，手动试了简单例子，本篇没啥干货，简单记录下实现过程。

一 pybind11

c/c++代码都是用pybind11封装，可以直接用pip安装即可，官方给出的入门示例十分简单：

#include <pybind11/pybind11.h>int add(int i, int j) {return i + j;
}
PYBIND11_MODULE(example, m) {m.doc() = "pybind11 example plugin"; // optional module docstringm.def("add", &add, "A function which adds two numbers");
}

其中，add函数为c函数，也是需要导出的函数功能。PYBIND11_MODULE功能就是负责导出模块，第一个为宏参数(不需要双引号,setup.py中有参数对应)，第二个参数就代表模块对象(py::module)。m.def负责定义需要导出的函数。官网强调，pybind是头文件依赖，即只需要指定头文件即可，不需要其它类库。

这样看，功能封装确实挺简单，下载官网上提供的python_example示例，直接进入根目录，用pip install . ，编译安装都搞定，然后运行示例中的测视例test.py, 感受一下使用的情况：

import python_example as massert m.__version__ == '0.0.1'
assert m.add(1, 2) == 3
assert m.subtract(1, 2) == -1

这里说下示例，编译的时候有一行会报语法错误：

m.attr("__version__") = VERSION_INFO;

这里应该是编译器认为用double类型给字符串赋值了，所以总是报错，搜了一下转字符串的宏：

#define STR1(R)  #R
#define STR2(R) STR1(R)

然后调用STR2转换一下就行了。

二打包

打包主要借助setuptools提供的接口，需要的操作都在setup.py中定义，然后用pip安装。还是拿python_example当例子：

ext_modules = [Extension('python_example',# Sort input source files to ensure bit-for-bit reproducible buildssorted(['src/main.cpp']),include_dirs=[# Path to pybind11 headersget_pybind_include(),],language='c++'),
]

这个就是定义需要导出模块的一些信息，包括模块宏名，前面提到的PYBIND11_MODULE的第一个参数就是对应的Extension的第一个参数的名字，如果两者不一致，会导致编译错误；第二个参数定义了需要编译的源文件; include_dirs是依赖的头文件；language指定源语言。

class BuildExt(build_ext):"""A custom build extension for adding compiler-specific options."""def build_extensions(self):for ext in self.extensions:ext.define_macros = [('VERSION_INFO', '{}"'.format(self.distribution.get_version()))]ext.extra_compile_args = optsext.extra_link_args = link_optsbuild_ext.build_extensions(self)

这个就是自定义模块编译地方，对于每个自定义的模块(即前面的ext_modules)，在build_extensions函数中，可以对每个模块指定一些宏定义(define_macros)、编译参数(extra_compile_args)以及链接参数(extra_link_args)等, 用于模块编译的需要。

而最后一部分setup对象:

setup(name='python_example',version=__version__,author='Sylvain Corlay',author_email='sylvain.corlay@gmail.com',url='https://github.com/pybind/python_example',description='A test project using pybind11',long_description='',ext_modules=ext_modules,setup_requires=['pybind11>=2.5.0'],cmdclass={'build_ext': BuildExt},zip_safe=False,
)

定义了模块的一些信息，如模块名(import时使用)，作者，版本号之类的，其中需要关注的是cmdclass参数，这里指定了模块编译需要使用的类。整个setup.py核心内容就这些，是不是感觉也不复杂？

对了，有的同学可能会问，c/c++编译器好像没指定哦？是的，这个交给setuptools去干了，官网介绍是setuptools会找到当初安装python的那套环境去编译这些模块，也就是既然python都装上了，默认你的机器上编译环境应该是可以编译这些自定义模块的。