本文主要是介绍OSError: Can‘t load tokenizer for ‘bert-base-chinese‘，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
文章目录
- OSError: Can't load tokenizer for 'bert-base-chinese'
- 1.问题描述
- 2.解决办法
OSError: Can’t load tokenizer for ‘bert-base-chinese’
1.问题描述
使用from_pretrained()函数从预训练的权重中加载模型时报错：
OSError: Can’t load tokenizer for ‘bert-base-chinese’. If you were trying to load it from ‘https://huggingface.co/models’, make sure you don’t have a local directory with the same name. Otherwise, make sure ‘bert-base-chinese’ is the correct path to a directory containing allrelevant files for a BertTokenizer tokenizer.
原因：主机或服务器不能访问https://huggingface.co/页面，因此不能下载相应的权重。
2.解决办法
将权重文件下载到本地或服务器，使用本地权重文件实现加载，而不是在线下载。
- 进入官网，Models页面，下载对应的Bert模型的权重。
- 将下载的权重文件，放到某个文件夹下（加载路径的位置）
- 修改权重文件的加载路径，也就是
from_pretrained()函数里面的权重文件路径。注意：必须是绝对路径！
成功解决！！！
😃😃😃
这篇关于OSError: Can‘t load tokenizer for ‘bert-base-chinese‘的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
