本文主要是介绍WARNING: tokenization mismatch: 403 vs. 406. (ignored) LLaVa,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
LLaVa换BaiChuan底座报错
WARNING: tokenization mismatch: 403 vs. 406. (ignored)
解决
cd ~/.cache/huggingface/hub/models--baichuan-inc--Baichuan2-7B-Base/snapshots/0cc6a61c06cd0734270151109d07cf86ef0ace53
vim tokenizer_config.json
把bos_token改成true,然后加一下对应的bos_token字典如框中的即可。
这篇关于WARNING: tokenization mismatch: 403 vs. 406. (ignored) LLaVa的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!