本文主要是介绍Python如何加速for循环?除了Numba @jit之外还有什么方法?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
今天聊聊Python 3.0的Numba库的即时编译@jit(Just in Time)。
故事背景:知乎某小透明提出的一个问题
Python的多重for循环可以用什么办法克服其速度慢的缺陷(numba@jit除外)?
最近在回看自己之前打的代码,发觉一份项目里的Python代码里面,有一个三重循环十分耗时间,使用numba的话提升效果并不明显,想问问大家如何去解决。大家一起来讨论下吧~
这个循环是在迭代的更新两个矩阵内元素,算法内的迭代并不支持用矩阵思想来批量处理,从而达到加速的目的。
Reply
现在问题算是解决了,自己来回答一波~
我的原先的函数内容大概是这样的:
解释一下:
#1的语句是一些有关于初始化的操作。
#update equations 大概是一个迭代更新L和R数组某元素的东西,但这种迭代不支持用一些Py的技巧来让它进行批量的处理。
那么问题出在哪儿了呢?
numba@jit其实是不支持list语句的!!! 而在#1语句里面写到了一些必须要用的list操作。所以我在notebook上跑的时候一直会报WARNING通知的,然而愚蠢的我在当时忽略了它的存在。
所以在那时,看似我加了@jit做修饰器,但其实并没有!!!
于是乎,一个比较显然的重构的想法就出来了。
跑通了之后,虽然还是比C++慢,但速度已经不会像当时一样不可容忍了。
关于其它的for内加速的方法:
- @jit不说了,简单方便的一种方法,但是不支持list操作。
- 少在循环内调用大复杂度的函数。
- 然后cython,但可能需要重构代码之类的。
- 或者PyPy,但它是不支持numpy相关的东西的。
- 最后的最后,尽量做批量处理,充分发挥Py和numpy的优势!
最后吐槽一句,要不是必须用DL,我才**不用Python呢…
这篇关于Python如何加速for循环?除了Numba @jit之外还有什么方法?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!