使用numba加速python科学计算

2023-10-17 05:20

本文主要是介绍使用numba加速python科学计算,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

技术背景

python作为一门编程语言,有非常大的生态优势,但是其执行效率一直被人诟病。纯粹的python代码跑起来速度会非常的缓慢,因此很多对性能要求比较高的python库,需要用C++或者Fortran来构造底层算法模块,再用python进行上层封装的方案。在前面写过的这篇博客中,介绍了使用f2py将fortran代码编译成动态链接库的方案,这可以认为是一种“事前编译”的手段。但是本文将要介绍一种即时编译(Just In Time,简称JIT)的手段,也就是在临近执行函数前,才对其进行编译。以下截图来自于参考链接4,讲述了关于常见的一些编译场景的区别:

用numba.jit加速求平方和

numba中大部分加速的函数都是通过装饰器(decorator)来实现的,关于python中decorator的使用方法和场景,在前面写过的这篇博客中有比较详细的介绍,让我们直接使用numba的装饰器来解决一些实际问题。这里的问题场景是,随便给定一个数列,在不用求和公式的情况下对这个数列的所有元素求平方和,即:

\[f(a)=\sum_ia_i^2 \]

我们已知类似于这种求和的形式,其实是有很大的优化空间的,相比于直接用一个for循环来求解的话。这里我们直接展示一下案例代码:

# test_jit.pyfrom numba import jit
import time
import matplotlib.pyplot as pltdef adder(max): # 普通的循环求解s = 0for i in range(max):s += i ** 2return s@jit(nopython=True)
def jit_adder(max): # 使用即时编译求解s = 0for i in range(max):s += i ** 2return sif __name__ == '__main__':time_adder = []time_jit_adder = []x = list(range(1, 10000000, 500000))for i in x:time1 = time.time()s = adder(i)time2 = time.time()s = jit_adder(i)time3 = time.time()time_adder.append(time2 - time1)time_jit_adder.append(time3 - time2)# 开始作图fig, ax1 = plt.subplots()color = 'black'ax1.set_xlabel('Numbers')ax1.set_ylabel('Time (s)', color=color)ax1.plot(x[1:], time_adder[1:], color=color, label='python')ax1.tick_params(axis='y', labelcolor=color)ax2 = ax1.twinx() # 第二个y-坐标轴color = 'red'ax2.set_ylabel('Time (s)', color=color)ax2.plot(x[1:], time_jit_adder[1:], color=color, label='jit')ax2.tick_params(axis='y', labelcolor=color)plt.title('Running time difference via using jit')fig.tight_layout()plt.legend()plt.savefig('jit.png')

运行该python文件,会在当前目录下产生一个双坐标轴的图像:


在这个计算结果中,使用了即时编译技术之后,求解的时间几乎被压缩到了微秒级别,而循环求和的方法却已经达到了秒级,加速倍数在 \(10^5\)级别。

用numba.jit加速求双曲正切函数和

在上一个案例中,也许涉及到的计算过于的简单,导致了加速倍数超出了想象的情况。因此这里我们只替换所求解的函数,看看加速的倍数是否会发生变化。这里我们采用了双曲正切求和的函数:

\[f(a)=\sum_i\frac{e^{a_i}-e^{-a_i}}{e^{a_i}+e^{-a_i}} \]

通过math来实现这个函数的计算,用以替换上一章节中求平方值的方法:

# test_jit.pyfrom numba import jit
import time
import matplotlib.pyplot as plt
import mathdef adder(max):s = 0for i in range(max):s += math.tanh(i ** 2)return s@jit(nopython=True)
def jit_adder(max):s = 0for i in range(max):s += math.tanh(i ** 2)return sif __name__ == '__main__':time_adder = []time_jit_adder = []x = list(range(1, 10000000, 500000))for i in x:time1 = time.time()s = adder(i)time2 = time.time()s = jit_adder(i)time3 = time.time()time_adder.append(time2 - time1)time_jit_adder.append(time3 - time2)fig, ax1 = plt.subplots()color = 'black'ax1.set_xlabel('Numbers')ax1.set_ylabel('Time (s)', color=color)ax1.plot(x[1:], time_adder[1:], color=color, label='python')ax1.tick_params(axis='y', labelcolor=color)ax2 = ax1.twinx()color = 'red'ax2.set_ylabel('Time (s)', color=color)ax2.plot(x[1:], time_jit_adder[1:], color=color, label='jit')ax2.tick_params(axis='y', labelcolor=color)plt.title('Running time difference via using jit')fig.tight_layout()plt.legend()plt.savefig('jit.png')

最终得到的时间对比图结果如下所示:


需要提醒的是,黑色的曲线所对应的坐标轴是左边黑色标识的坐标轴,而红色的曲线所对应的坐标轴是右边红色标识的坐标轴。因此,这个图给我们的提示信息是,使用即时编译技术之后,加速的倍率大约为 \(10^2\)。这个加速倍率相对来说更加可以接受,因为C++等语言比python直接计算的速度在特定场景下大概就是要快上几百倍。

用numba.vectorize执行向量化计算

关于向量化计算的原理和方法,在这篇文章中有比较好的描述,这里放上部分截图说明:


总结为,向量化计算的方法本质上也是一种并行化计算的方法,并行化技术的可行性是来源于 SIMD技术,在指令集的层面对数据进行并行化的处理。在 numpy的库中是自带支持SIMD的向量化计算的,因此速度非常的高,比如 numpy.dot函数就是通过向量化计算来实现的。但是numpy能够执行的任务仅仅局限在numpy自身所支持的有限的函数上,因此如果是需要一个不同的函数,那么就需要用到 numba的向量化计算模块了。
# test_vectorize.pyfrom numba import vectorize
import numpy as np
import time
import matplotlib.pyplot as pltdef ddot(max):s = 0np.random.seed(1)a1 = np.random.randn(max)np.random.seed(2)a2 = np.random.randn(max)for i in range(max):s += a1[i] * a2[i]return s@vectorize
def jit_ddot(max):s = 0np.random.seed(1)a1 = np.random.randn(max)np.random.seed(2)a2 = np.random.randn(max)for i in range(max):s += a1[i] * a2[i]return sdef numpy_ddot(max):np.random.seed(1)a1 = np.random.randn(max)np.random.seed(2)a2 = np.random.randn(max)return np.dot(a1, a2)if __name__ == '__main__':time_ddot = []time_jit_ddot = []time_numpy_ddot = []x = list(range(1, 1000000, 50000))for i in x:time1 = time.time()s = ddot(i)time2 = time.time()s = jit_ddot(i)time3 = time.time()s = numpy_ddot(i)time4 = time.time()time_ddot.append(time2 - time1)time_jit_ddot.append(time3 - time2)time_numpy_ddot.append(time4 - time3)fig, ax1 = plt.subplots()color = 'black'ax1.set_xlabel('Numbers')ax1.set_ylabel('Time (s)', color=color)ax1.plot(x[1:], time_ddot[1:], color=color, label='python')ax1.tick_params(axis='y', labelcolor=color)ax2 = ax1.twinx()color = 'red'ax2.set_ylabel('Time (s)', color=color)ax2.plot(x[1:], time_jit_ddot[1:], color=color, label='jit')ax2.plot(x[1:], time_numpy_ddot[1:], 's', color=color, label='numpy')ax2.tick_params(axis='y', labelcolor=color)plt.title('Running time difference via using jit')fig.tight_layout()plt.legend()plt.savefig('jit.png')

运行结果如下:


可以看到虽然相比与numpy的同样的向量化计算方法,numba速度略慢一些,但是都比纯粹的python代码性能要高两个量级。这里也给我们一个启发,如果追求极致的性能,最好是尽可能的使用numpy中已有的函数。当然,在一些数学函数的计算上, numpy的速度比 math还是要慢上一些的,这里我们就不展开介绍了。

总结概要

本文介绍了numba的两个装饰器的原理与测试案例,以及python中两坐标轴绘图的案例。其中基于即时编译技术jit的装饰器,能够对代码中的for循环产生较大的编译优化,可以配合并行技术使用。而基于SIMD的向量化计算技术,也能够在向量的计算中,如向量间的乘加运算等场景中,实现巨大的加速效果。这都是非常底层的优化技术,但是要分场景使用,numba这个强力的工具并不能保证在所有的计算场景下都能够产生如此的加速效果。

版权声明

本文首发链接为:https://www.cnblogs.com/dechinphy/p/numba.html
作者ID:DechinPhy
更多原著文章请参考:https://www.cnblogs.com/dechinphy/

参考链接

  1. https://zhuanlan.zhihu.com/p/78882641
  2. https://blog.csdn.net/yuanzhoulvpi/article/details/105307338
  3. https://zhuanlan.zhihu.com/p/68805601
  4. https://zhuanlan.zhihu.com/p/193035135
  5. https://zhuanlan.zhihu.com/p/72953129

这篇关于使用numba加速python科学计算的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/223186

相关文章

Python中你不知道的gzip高级用法分享

《Python中你不知道的gzip高级用法分享》在当今大数据时代,数据存储和传输成本已成为每个开发者必须考虑的问题,Python内置的gzip模块提供了一种简单高效的解决方案,下面小编就来和大家详细讲... 目录前言:为什么数据压缩如此重要1. gzip 模块基础介绍2. 基本压缩与解压缩操作2.1 压缩文

Spring IoC 容器的使用详解(最新整理)

《SpringIoC容器的使用详解(最新整理)》文章介绍了Spring框架中的应用分层思想与IoC容器原理,通过分层解耦业务逻辑、数据访问等模块,IoC容器利用@Component注解管理Bean... 目录1. 应用分层2. IoC 的介绍3. IoC 容器的使用3.1. bean 的存储3.2. 方法注

Python设置Cookie永不超时的详细指南

《Python设置Cookie永不超时的详细指南》Cookie是一种存储在用户浏览器中的小型数据片段,用于记录用户的登录状态、偏好设置等信息,下面小编就来和大家详细讲讲Python如何设置Cookie... 目录一、Cookie的作用与重要性二、Cookie过期的原因三、实现Cookie永不超时的方法(一)

Python内置函数之classmethod函数使用详解

《Python内置函数之classmethod函数使用详解》:本文主要介绍Python内置函数之classmethod函数使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录1. 类方法定义与基本语法2. 类方法 vs 实例方法 vs 静态方法3. 核心特性与用法(1编程客

Python函数作用域示例详解

《Python函数作用域示例详解》本文介绍了Python中的LEGB作用域规则,详细解析了变量查找的四个层级,通过具体代码示例,展示了各层级的变量访问规则和特性,对python函数作用域相关知识感兴趣... 目录一、LEGB 规则二、作用域实例2.1 局部作用域(Local)2.2 闭包作用域(Enclos

Linux中压缩、网络传输与系统监控工具的使用完整指南

《Linux中压缩、网络传输与系统监控工具的使用完整指南》在Linux系统管理中,压缩与传输工具是数据备份和远程协作的桥梁,而系统监控工具则是保障服务器稳定运行的眼睛,下面小编就来和大家详细介绍一下它... 目录引言一、压缩与解压:数据存储与传输的优化核心1. zip/unzip:通用压缩格式的便捷操作2.

Python实现对阿里云OSS对象存储的操作详解

《Python实现对阿里云OSS对象存储的操作详解》这篇文章主要为大家详细介绍了Python实现对阿里云OSS对象存储的操作相关知识,包括连接,上传,下载,列举等功能,感兴趣的小伙伴可以了解下... 目录一、直接使用代码二、详细使用1. 环境准备2. 初始化配置3. bucket配置创建4. 文件上传到os

使用Python实现可恢复式多线程下载器

《使用Python实现可恢复式多线程下载器》在数字时代,大文件下载已成为日常操作,本文将手把手教你用Python打造专业级下载器,实现断点续传,多线程加速,速度限制等功能,感兴趣的小伙伴可以了解下... 目录一、智能续传:从崩溃边缘抢救进度二、多线程加速:榨干网络带宽三、速度控制:做网络的好邻居四、终端交互

Python中注释使用方法举例详解

《Python中注释使用方法举例详解》在Python编程语言中注释是必不可少的一部分,它有助于提高代码的可读性和维护性,:本文主要介绍Python中注释使用方法的相关资料,需要的朋友可以参考下... 目录一、前言二、什么是注释?示例:三、单行注释语法:以 China编程# 开头,后面的内容为注释内容示例:示例:四

Python中win32包的安装及常见用途介绍

《Python中win32包的安装及常见用途介绍》在Windows环境下,PythonWin32模块通常随Python安装包一起安装,:本文主要介绍Python中win32包的安装及常见用途的相关... 目录前言主要组件安装方法常见用途1. 操作Windows注册表2. 操作Windows服务3. 窗口操作