vaex报错TypeError: blake3.__new__() got an unexpected keyword argument ‘multithreading‘解决方法

vaex报错TypeError: blake3.new() got an unexpected keyword argument 'multithreading’解决方法

引言

近来有数据量较大的处理任务，在pandas出现处理瓶颈下希望寻求到一个得力助手进行处理数据。vaex也早有耳闻，得知能够较快速地处理较大的数据量，而在安装近期最新版后进行使用产生了一个读取数据的报错信息。

本篇目的

给予同样在使用vaex过程中产生TypeError错误的小伙伴提供一种解决方法，不代表唯一的解决方式，首先说明我在使用vaex产生该报错信息的原因，在导入vaex包后运行open或from_csv方法。

系统平台及软件版本：

• window 10

• python 3.8

• vaex 4.7.0

• blake3 0.3.1

解决过程

vaex.from_csv读取csv文件，我的csv文件编码于vaex默认编码不一致会报UnicodeDecodeError，设定encoding=’文件编码‘即可。

数据文件正常，编码正常的情况下运行程序发生错误，想必会第一时间使用搜索引擎查看是否有相应的解决方法。直接复制整段内容，首页搜索结果部分关键词检索到，虽然模块不一样，有可能解决方式相同，卸载重装报错提到的blake3模块及vaex，问题已然存在。

仅保留blake3及multithreading再次搜索，无相关结果。且没有一定条件访问谷歌，周围同好也没有遇到相关问题，则只能通过报错信息翻看源码内容核定错误产生位置并进行解决。（手动水印：原创CSDN宿者朽命，https://blog.csdn.net/weixin_46281427?spm=1011.2124.3001.5343，公众号A11Dot派）

整体报错信息如下：

最终是锚定在vaex模块下dataset.py的hash_array函数里，错误代码在第190行。有条件的可以使用编辑器进行跳转，如我使用的是pycharm，使用ctrl+鼠标左键，点击变量名就可以跳转至变量定义处。通过点击跳转blake3后至该处：

vaex是通过optional_import方法导入blake3方法，继续查找blake3文件，打开其模块下__init__.py，再次点击blake3，跳转至模块内部，在报错信息里也可以看到vaex调用的是blake3.blake3

查看此处注释，可以注意到max_threads参数与报错中出现的multithreading略有几分相似，从参数命名来看是多线程处理方式。也能够通过jupyter-notebook来查看该类的参数设定。

max_threads默认值为1，仔细阅读释义，blake3是一个hash类模块，接收字节数据进行hash，max_threads默认值是单线程模型，可以设定一个整数指定线程，其中有提到线程数可能会小于计算机的cpu数量。

明白该类的参数输入，就能对vaex模块进行修正，原blake（0.3.1）已经没有multithreading参数，返回至报错信息锚定页面（…/vaex/dataset.py），将所有涉及到blake3.blake3处的代码进行修改，可以直接删除multithreading参数，以默认值1（单线程）进行运作，而现在也算是大概知道max_threads带来的效益，则可以直接设定为cpu数量，我在此处使用multiprocessing.cpu_count()获取计算机cpu数量，将所有的multithreading改为max_threads=multiprocessing.cpu_count()。

ps: 在pycharm中修改模块源码需要进行确认。

在pycharm中运行vaex.from_csv()，顺利读取csv数据文件。如果用jupyter-notebook需要点击重启服务重载模块进行读取数据。

总结

此类问题在运行代码常有出现，但有可能在翻尽网上所有答案后无果可能放弃了解决，通篇看下感觉这个问题也不过如此，可能还会发现我在多个过程中循环进行，可问题不就是如此，你想去解决，就会有希望，不想去解决，就有可能一直摆在这。最后希望这个解决方法能给你带来帮助，若有帮助欢迎回头点赞支持。

故人已逝难辞岁，露水沾衣浸心头。

于二零二二年元月二十日作