AttributeError: ‘ChatGLMTokenizer‘ object has no attribute ‘sp_tokenizer‘

本文主要是介绍AttributeError: ‘ChatGLMTokenizer‘ object has no attribute ‘sp_tokenizer‘，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

目录

问题描述

在使用ChatGLM+lora微调的时候，报错“AttributeError: 'ChatGLMTokenizer' object has no attribute 'sp_tokenizer'“

​编辑问题解决：

---

问题描述

在使用ChatGLM+lora微调的时候，报错“AttributeError: 'ChatGLMTokenizer' object has no attribute 'sp_tokenizer'“

问题解决：

导致该问题的主要原因是transformers版本的问题。

原始的transformer版本为4.36.2：

需要满足的版本是

"transformers<4.34"`

 再结合自己原本的虚拟环境中有trl和vllm,也对transformers有一定的限定，因此安装transformers 4.33.1解决该问题。如果没有trl和vllm的限制，只需要安装transformers<4.34即可。

这篇关于AttributeError: ‘ChatGLMTokenizer‘ object has no attribute ‘sp_tokenizer‘的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---