目录​​​​​​​ 一、引言  二、自动分词器（AutoTokenizer） 2.1 概述 2.2 主要特点 2.3 代码示例 三、总结 一、引言   这里的Transformers指的是huggingface开发的大模型库，为huggingface上数以万计的预训练大模型提供预测、训练等服务。 🤗 Transformers 提供了数以千计的预训练模型，支持 10

AutoTokenizer.from_pretrained 和 BertTokenizer.from_pretrained 都是 Hugging Face 的 Transformers 库中用于加载预训练模型的 tokenizer 的方法，但它们之间有一些区别。 灵活性： AutoTokenizer.from_pretrained：这个方法是灵活的，可以用于加载任何预训练模型的 tokeniz