vaex 错TypeError: blake3.new() got an unexpected keyword argument ‘multithreading’解决方法

文章目录

• vaex 错TypeError: blake3.__new__() got an unexpected keyword argument ‘multithreading’解决方法
• • 引言
  • 本篇目的
  • 解决过程
  • 总结

引言

近来有数据量较大的处理任务，在pandas出现处理瓶颈下希望寻求到一个得力助手进行处理数据。vaex也早有耳闻，得知能够较快速地处理较大的数据量，而在安装近期最新版后进行使用产生了一个读取数据的 错信息。

本篇目的

给予同样在使用vaex过程中产生TypeError错误的小伙伴提供一种解决方法，不代表唯一的解决方式，首先说明我在使用vaex产生该 错信息的原因，在导入vaex包后运行open或from_csv方法。

系统平台及软件版本：

• window 10

• python 3.8

• vaex 4.7.0

• blake3 0.3.1

解决过程

读取csv文件，我的csv文件编码于vaex默认编码不一致会 ，设定encoding=’文件编码‘即可。

数据文件正常，编码正常的情况下运行程序发生错误，想必会第一时间使用搜索引擎查看是否有相应的解决方法。直接复制整段内容，首页搜索结果部分关键词检索到，虽然模块不一样，有可能解决方式相同，卸载重装 错提到的blake3模块及vaex，问题已然存在。

vaex是通过optional_import方法导入blake3方法，继续查找blake3文件，打开其模块下，再次点击blake3，跳转至模块内部，在 错信息里也可以看到vaex调用的是

默认值为1，仔细阅读释义，blake3是一个hash类模块，接收字节数据进行hash，max_threads默认值是单线程模型，可以设定一个整数指定线程，其中有提到线程数可能会小于计算机的cpu数量。

明白该类的参数输入，就能对vaex模块进行修正，原blake（0.3.1）已经没有multithreading参数，返回至 错信息锚定页面（…/vaex/dataset.py），将所有涉及到blake3.blake3处的代码进行修改，可以直接删除multithreading参数，以默认值1（单线程）进行运作，而现在也算是大概知道max_threads带来的效益，则可以直接设定为cpu数量，我在此处使用获取计算机cpu数量，将所有的multithreading改为max_threads=multiprocessing.cpu_count()。

总结

此类问题在运行代码常有出现，但有可能在翻尽 上所有答案后无果可能放弃了解决，通篇看下感觉这个问题也不过如此，可能还会发现我在多个过程中循环进行，可问题不就是如此，你想去解决，就会有希望，不想去解决，就有可能一直摆在这。最后希望这个解决方法能给你带来帮助，若有帮助欢迎回头点赞支持。

故人已逝难辞岁，露水沾衣浸心头。

于二零二二年元月二十日作

文章知识点与官方知识档案匹配，可进一步学习相关知识Python入门技能树首页概览215386 人正在系统学习中