本文主要是介绍PyInstaller问题解决 onnxruntime-gpu 使用GPU和CUDA加速模型推理,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
前言
在模型推理时,需要使用GPU加速,相关的CUDA和CUDNN安装好后,通过onnxruntime-gpu实现。
直接运行python程序是正常使用GPU的,如果使用PyInstaller将.py文件打包为.exe,发现只能使用CPU推理了。
本文分析这个问题和提供解决方案,供大家参考。
问题分析——找不到ONNX Runtime GPU 动态库
首先直接运行python程序是正常使用GPU的,说明CUDA和cuDNN版本和安装都没问题,程序能找到相关CUDA库。
使用PyInstaller将.py文件打包为.exe后,只能用CPU推理了,因为它检测不到 GPU 加速所需的库。
这通常是因为打包时没有正确包含 onnxruntime 所需的 CUDA 库:
- onnxruntime_providers_cuda.dll
- onnxruntime_providers_shared.dll
解决方案
在使用PyInstaller命令打包时,通过--add-binary 添加 ONNX Runtime GPU动态库就可以啦
其中,需要把onnxruntime_providers_cuda.dll、onnxruntime_providers_shared.dll这两个库加进来
比如原来的打包命令:
pyinstaller --onefile server_v2.0.py
添加GPU动态库后的打包命令:
pyinstaller --add-binary "C:/Users/86775/anaconda3/envs/gRPC_python/Lib/site-packages/onnxruntime/capi/onnxruntime_providers_cuda.dll;./onnxruntime/capi" --add-binary "C:/Users/86775/anaconda3/envs/gRPC_python/Lib/site-packages/onnxruntime/capi/onnxruntime_providers_shared.dll;./onnxruntime/capi" --onefile server_v2.0.py
- onnxruntime_providers_cuda.dll,这个库可以用everying在电脑中搜索一下,找到文件所在的路径,填进来就可以了;
- onnxruntime_providers_shared.dll,这个库可以也用everying在电脑中搜索一下,找到文件所在的路径,填进来就可以了;
如下图所示,能看到运行exe后能使用CUDAExecutionProvider,成功GPU和CUDA加速模型推理 :
session = ort.InferenceSession(weights, providers=['CUDAExecutionProvider'])
# 检查是否使用CUDA
providers = session.get_providers()
print(f"Available providers: {providers}")
分享完成~
这篇关于PyInstaller问题解决 onnxruntime-gpu 使用GPU和CUDA加速模型推理的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!