Bert4keras相关环境安装

2023-12-07 02:04

本文主要是介绍Bert4keras相关环境安装,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1. 创建虚拟环境,先安装cudatoolkit和cudnn

cudatoolkit版本不对容易报so库找不到的错。

具体安装参考:在conda虚拟环境中安装cuda和cudnn,解决pip install or python setup.py install 将安装包安装到全局环境中的问题(1.2部分)。 - 知乎

2. 安装对应的tensorflow版本与依赖

(bert4keras-tf22) conda list
# packages in environment at /home/anaconda3/envs/bert4keras-tf22:
#
# Name                    Version                   Build  Channel
_libgcc_mutex             0.1                        main    defaults
_openmp_mutex             5.1                       1_gnu    defaults
_tflow_select             2.1.0                       gpu    defaults
absl-py                   0.15.0             pyhd3eb1b0_0    defaults
aiohttp                   3.8.1            py38h7f8727e_1    defaults
aiosignal                 1.2.0              pyhd3eb1b0_0    defaults
astor                     0.8.1            py38h06a4308_0    defaults
asttokens                 2.0.5              pyhd3eb1b0_0    defaults
astunparse                1.6.3                      py_0    defaults
async-timeout             4.0.1              pyhd3eb1b0_0    defaults
attrs                     21.4.0             pyhd3eb1b0_0    defaults
backcall                  0.2.0              pyhd3eb1b0_0    defaults
blas                      1.0                         mkl    defaults
blinker                   1.4              py38h06a4308_0    defaults
brotlipy                  0.7.0           py38h27cfd23_1003    defaults
c-ares                    1.18.1               h7f8727e_0    defaults
ca-certificates           2022.10.11           h06a4308_0    defaults
cachetools                4.2.2              pyhd3eb1b0_0    defaults
certifi                   2022.9.24        py38h06a4308_0    defaults
cffi                      1.15.1           py38h74dc2b5_0    defaults
charset-normalizer        2.0.4              pyhd3eb1b0_0    defaults
click                     8.0.4            py38h06a4308_0    defaults
cryptography              37.0.1           py38h9ce1e76_0    defaults
cudatoolkit               10.1.243             h6bb024c_0    defaults
cudnn                     7.6.5                cuda10.1_0    defaults
cupti                     10.1.168                      0    defaults
dataclasses               0.8                pyh6d0b6a4_7    defaults
debugpy                   1.5.1            py38h295c915_0    defaults
decorator                 5.1.1              pyhd3eb1b0_0    defaults
entrypoints               0.4              py38h06a4308_0    defaults
executing                 0.8.3              pyhd3eb1b0_0    defaults
frozenlist                1.2.0            py38h7f8727e_0    defaults
gast                      0.3.3                      py_0    defaults
google-auth               2.6.0              pyhd3eb1b0_0    defaults
google-auth-oauthlib      0.4.4              pyhd3eb1b0_0    defaults
google-pasta              0.2.0              pyhd3eb1b0_0    defaults
grpcio                    1.42.0           py38hce63b2e_0    defaults
h5py                      2.10.0           py38hd6299e0_1    defaults
hdf5                      1.10.6               hb1b8bf9_0    defaults
idna                      3.3                pyhd3eb1b0_0    defaults
importlib-metadata        4.11.3           py38h06a4308_0    defaults
intel-openmp              2021.4.0          h06a4308_3561    defaults
ipykernel                 6.15.2           py38h06a4308_0    defaults
ipython                   8.4.0            py38h06a4308_0    defaults
jedi                      0.18.1           py38h06a4308_1    defaults
jupyter_client            7.3.5            py38h06a4308_0    defaults
jupyter_core              4.11.1           py38h06a4308_0    defaults
keras                     2.3.1                         0    defaults
keras-applications        1.0.8                      py_1    defaults
keras-base                2.3.1                    py38_0    defaults
keras-preprocessing       1.1.2              pyhd3eb1b0_0    defaults
ld_impl_linux-64          2.38                 h1181459_1    defaults
libffi                    3.3                  he6710b0_2    defaults
libgcc-ng                 11.2.0               h1234567_1    defaults
libgfortran-ng            7.5.0               ha8ba4b0_17    defaults
libgfortran4              7.5.0               ha8ba4b0_17    defaults
libgomp                   11.2.0               h1234567_1    defaults
libprotobuf               3.20.1               h4ff587b_0    defaults
libsodium                 1.0.18               h7b6447c_0    defaults
libstdcxx-ng              11.2.0               h1234567_1    defaults
markdown                  3.3.4            py38h06a4308_0    defaults
matplotlib-inline         0.1.6            py38h06a4308_0    defaults
mkl                       2021.4.0           h06a4308_640    defaults
mkl-service               2.4.0            py38h7f8727e_0    defaults
mkl_fft                   1.3.1            py38hd3c417c_0    defaults
mkl_random                1.2.2            py38h51133e4_0    defaults
multidict                 5.2.0            py38h7f8727e_2    defaults
ncurses                   6.3                  h5eee18b_3    defaults
nest-asyncio              1.5.5            py38h06a4308_0    defaults
numpy                     1.21.5           py38h6c91a56_3    defaults
numpy-base                1.21.5           py38ha15fc14_3    defaults
oauthlib                  3.2.0              pyhd3eb1b0_1    defaults
openssl                   1.1.1s               h7f8727e_0    defaults
opt_einsum                3.3.0              pyhd3eb1b0_1    defaults
packaging                 21.3               pyhd3eb1b0_0    defaults
parso                     0.8.3              pyhd3eb1b0_0    defaults
pexpect                   4.8.0              pyhd3eb1b0_3    defaults
pickleshare               0.7.5           pyhd3eb1b0_1003    defaults
pip                       22.1.2           py38h06a4308_0    defaults
prompt-toolkit            3.0.20             pyhd3eb1b0_0    defaults
protobuf                  3.20.1           py38h295c915_0    defaults
psutil                    5.9.0            py38h5eee18b_0    defaults
ptyprocess                0.7.0              pyhd3eb1b0_2    defaults
pure_eval                 0.2.2              pyhd3eb1b0_0    defaults
pyasn1                    0.4.8              pyhd3eb1b0_0    defaults
pyasn1-modules            0.2.8                      py_0    defaults
pycparser                 2.21               pyhd3eb1b0_0    defaults
pygments                  2.11.2             pyhd3eb1b0_0    defaults
pyjwt                     2.4.0            py38h06a4308_0    defaults
pyopenssl                 22.0.0             pyhd3eb1b0_0    defaults
pyparsing                 3.0.9            py38h06a4308_0    defaults
pysocks                   1.7.1            py38h06a4308_0    defaults
python                    3.8.13               h12debd9_0    defaults
python-dateutil           2.8.2              pyhd3eb1b0_0    defaults
pyyaml                    6.0              py38h7f8727e_1    defaults
pyzmq                     23.2.0           py38h6a678d5_0    defaults

3. tensorflow转onnx环境与依赖

(bert4keras-tf25) conda list                    
# packages in environment at /home/anaconda3/envs/bert4keras-tf25:
#
# Name                    Version                   Build  Channel
_libgcc_mutex             0.1                        main    defaults
_openmp_mutex             5.1                       1_gnu    defaults
absl-py                   0.15.0                   pypi_0    pypi
asttokens                 2.0.5              pyhd3eb1b0_0    defaults
astunparse                1.6.3                    pypi_0    pypi
backcall                  0.2.0              pyhd3eb1b0_0    defaults
bert4keras                0.11.3                   pypi_0    pypi
ca-certificates           2022.10.11           h06a4308_0    defaults
cachetools                5.2.0                    pypi_0    pypi
certifi                   2022.9.24        py38h06a4308_0    defaults
charset-normalizer        2.1.0                    pypi_0    pypi
coloredlogs               15.0.1                   pypi_0    pypi
debugpy                   1.5.1            py38h295c915_0    defaults
decorator                 5.1.1              pyhd3eb1b0_0    defaults
entrypoints               0.4              py38h06a4308_0    defaults
executing                 0.8.3              pyhd3eb1b0_0    defaults
flatbuffers               1.12                     pypi_0    pypi
gast                      0.4.0                    pypi_0    pypi
google-auth               2.10.0                   pypi_0    pypi
google-auth-oauthlib      0.4.6                    pypi_0    pypi
google-pasta              0.2.0                    pypi_0    pypi
grpcio                    1.34.1                   pypi_0    pypi
h5py                      3.1.0                    pypi_0    pypi
humanfriendly             10.0                     pypi_0    pypi
idna                      3.3                      pypi_0    pypi
importlib-metadata        4.12.0                   pypi_0    pypi
ipykernel                 6.15.2           py38h06a4308_0    defaults
ipython                   8.4.0            py38h06a4308_0    defaults
jedi                      0.18.1           py38h06a4308_1    defaults
jupyter_client            7.3.5            py38h06a4308_0    defaults
jupyter_core              4.11.1           py38h06a4308_0    defaults
keras                     2.3.1                    pypi_0    pypi
keras-applications        1.0.8                    pypi_0    pypi
keras-nightly             2.5.0.dev2021032900          pypi_0    pypi
keras-preprocessing       1.1.2                    pypi_0    pypi
ld_impl_linux-64          2.38                 h1181459_1    defaults
libffi                    3.3                  he6710b0_2    defaults
libgcc-ng                 11.2.0               h1234567_1    defaults
libgomp                   11.2.0               h1234567_1    defaults
libsodium                 1.0.18               h7b6447c_0    defaults
libstdcxx-ng              11.2.0               h1234567_1    defaults
markdown                  3.4.1                    pypi_0    pypi
markupsafe                2.1.1                    pypi_0    pypi
matplotlib-inline         0.1.6            py38h06a4308_0    defaults
mpmath                    1.2.1                    pypi_0    pypi
ncurses                   6.3                  h5eee18b_3    defaults
nest-asyncio              1.5.5            py38h06a4308_0    defaults
numpy                     1.23.2                   pypi_0    pypi
oauthlib                  3.2.0                    pypi_0    pypi
onnx                      1.12.0                   pypi_0    pypi
onnxruntime               1.12.1                   pypi_0    pypi
openssl                   1.1.1s               h7f8727e_0    defaults
opt-einsum                3.3.0                    pypi_0    pypi
packaging                 21.3               pyhd3eb1b0_0    defaults
parso                     0.8.3              pyhd3eb1b0_0    defaults
pexpect                   4.8.0              pyhd3eb1b0_3    defaults
pickleshare               0.7.5           pyhd3eb1b0_1003    defaults
pip                       22.1.2           py38h06a4308_0    defaults
prompt-toolkit            3.0.20             pyhd3eb1b0_0    defaults
protobuf                  3.19.4                   pypi_0    pypi
psutil                    5.9.0            py38h5eee18b_0    defaults
ptyprocess                0.7.0              pyhd3eb1b0_2    defaults
pure_eval                 0.2.2              pyhd3eb1b0_0    defaults
pyasn1                    0.4.8                    pypi_0    pypi
pyasn1-modules            0.2.8                    pypi_0    pypi
pygments                  2.11.2             pyhd3eb1b0_0    defaults
pyparsing                 3.0.9            py38h06a4308_0    defaults
python                    3.8.13               h12debd9_0    defaults
python-dateutil           2.8.2              pyhd3eb1b0_0    defaults
pyyaml                    6.0                      pypi_0    pypi
pyzmq                     23.2.0           py38h6a678d5_0    defaults
readline                  8.1.2                h7f8727e_1    defaults
requests                  2.28.1                   pypi_0    pypi
requests-oauthlib         1.3.1                    pypi_0    pypi
rsa                       4.9                      pypi_0    pypi
scipy                     1.9.0                    pypi_0    pypi
setuptools                61.2.0           py38h06a4308_0    defaults
six                       1.15.0                   pypi_0    pypi
sqlite                    3.39.2               h5082296_0    defaults
stack_data                0.2.0              pyhd3eb1b0_0    defaults
sympy                     1.10.1                   pypi_0    pypi
tensorboard               2.10.0                   pypi_0    pypi
tensorboard-data-server   0.6.1                    pypi_0    pypi
tensorboard-plugin-wit    1.8.1                    pypi_0    pypi
tensorflow                2.5.0                    pypi_0    pypi
tensorflow-estimator      2.5.0                    pypi_0    pypi
termcolor                 1.1.0                    pypi_0    pypi
tf2onnx                   1.12.1                   pypi_0    pypi
tk                        8.6.12               h1ccaba5_0    defaults
tornado                   6.2              py38h5eee18b_0    defaults
traitlets                 5.1.1              pyhd3eb1b0_0    defaults
typing-extensions         3.7.4.3                  pypi_0    pypi
urllib3                   1.26.11                  pypi_0    pypi
wcwidth                   0.2.5              pyhd3eb1b0_0    defaults
werkzeug                  2.2.2                    pypi_0    pypi
wheel                     0.37.1             pyhd3eb1b0_0    defaults
wrapt                     1.12.1                   pypi_0    pypi
xz                        5.2.5                h7f8727e_1    defaults
zeromq                    4.3.4                h2531618_0    defaults
zipp                      3.8.1                    pypi_0    pypi
zlib                      1.2.12               h7f8727e_2    defaults

特别要注意:keras-nightly             2.5.0.dev2021021100 的安装,其版本号有点特别

4. 踩坑指南

(1) so库找不到

2023-11-25 01:10:45.410281: W tensorflow/stream_executor/platform/default/dso_loader.cc:55] Could not load dynamic library 'libcudart.so.10.1'; dlerror: libcudart.so.10.1: cannot open shared object file: No such file or directory; LD_LIBRARY_PATH: /path/to/cuda/lib64:/path/to/cudnn/lib64:

安装:cudatoolkit               10.1.243 

(2) tf转onnx错误

2023-12-07 04:17:32,217 - ERROR - Tensorflow op [StatefulPartitionedCall/model_1/Transformer-0-MultiHeadSelfAttention/BroadcastArgs: BroadcastArgs] is not supported

安装:bert4keras                0.11.3

这篇关于Bert4keras相关环境安装的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/464134

相关文章

Linux卸载自带jdk并安装新jdk版本的图文教程

《Linux卸载自带jdk并安装新jdk版本的图文教程》在Linux系统中,有时需要卸载预装的OpenJDK并安装特定版本的JDK,例如JDK1.8,所以本文给大家详细介绍了Linux卸载自带jdk并... 目录Ⅰ、卸载自带jdkⅡ、安装新版jdkⅠ、卸载自带jdk1、输入命令查看旧jdkrpm -qa

MySQL Workbench 安装教程(保姆级)

《MySQLWorkbench安装教程(保姆级)》MySQLWorkbench是一款强大的数据库设计和管理工具,本文主要介绍了MySQLWorkbench安装教程,文中通过图文介绍的非常详细,对大... 目录前言:详细步骤:一、检查安装的数据库版本二、在官网下载对应的mysql Workbench版本,要是

JavaScript Array.from及其相关用法详解(示例演示)

《JavaScriptArray.from及其相关用法详解(示例演示)》Array.from方法是ES6引入的一个静态方法,用于从类数组对象或可迭代对象创建一个新的数组实例,本文将详细介绍Array... 目录一、Array.from 方法概述1. 方法介绍2. 示例演示二、结合实际场景的使用1. 初始化二

Linux安装MySQL的教程

《Linux安装MySQL的教程》:本文主要介绍Linux安装MySQL的教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux安装mysql1.Mysql官网2.我的存放路径3.解压mysql文件到当前目录4.重命名一下5.创建mysql用户组和用户并修

pip无法安装osgeo失败的问题解决

《pip无法安装osgeo失败的问题解决》本文主要介绍了pip无法安装osgeo失败的问题解决,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一... 进入官方提供的扩展包下载网站寻找版本适配的whl文件注意:要选择cp(python版本)和你py

Android App安装列表获取方法(实践方案)

《AndroidApp安装列表获取方法(实践方案)》文章介绍了Android11及以上版本获取应用列表的方案调整,包括权限配置、白名单配置和action配置三种方式,并提供了相应的Java和Kotl... 目录前言实现方案         方案概述一、 androidManifest 三种配置方式

Centos环境下Tomcat虚拟主机配置详细教程

《Centos环境下Tomcat虚拟主机配置详细教程》这篇文章主要讲的是在CentOS系统上,如何一步步配置Tomcat的虚拟主机,内容很简单,从目录准备到配置文件修改,再到重启和测试,手把手带你搞定... 目录1. 准备虚拟主机的目录和内容创建目录添加测试文件2. 修改 Tomcat 的 server.X

Python解析器安装指南分享(Mac/Windows/Linux)

《Python解析器安装指南分享(Mac/Windows/Linux)》:本文主要介绍Python解析器安装指南(Mac/Windows/Linux),具有很好的参考价值,希望对大家有所帮助,如有... 目NMNkN录1js. 安装包下载1.1 python 下载官网2.核心安装方式3. MACOS 系统安

VSCode配置Anaconda Python环境的实现

《VSCode配置AnacondaPython环境的实现》VisualStudioCode中可以使用Anaconda环境进行Python开发,本文主要介绍了VSCode配置AnacondaPytho... 目录前言一、安装 Visual Studio Code 和 Anaconda二、创建或激活 conda

Pycharm安装报错:Cannot detect a launch configuration解决办法

《Pycharm安装报错:Cannotdetectalaunchconfiguration解决办法》本文主要介绍了Pycharm安装报错:Cannotdetectalaunchconfigur... 本文主要介绍了Pycharm安装报错:Cannot detect a launch configuratio