Bert+中文文本分类实现及参数解析

本文主要是介绍Bert+中文文本分类实现及参数解析，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

实现

bert模型已经被封装好了，直接使用就可以了。
但是需要自定义一个实体类，用来处理自己的数据。

直接在run_classify.py中加入下面类就可以

自定义MyDataProcessor类，传入

class MyDataProcessor(DataProcessor):"""Base class for data converters for sequence classification data sets."""#data_dir对应参数中，的data_dir#这个方法用来处理训练数据，def get_train_examples(self, data_dir):"""Gets a collection of `InputExample`s for the train set."""file_path=os.path.join(data_dir,"train.txt")file=open(file_path,'r',encoding='utf-8')train_data=[]index=0for line in file.readlines():#标记每一行的数据guid = "train-%d" % (index)#切分数据集line=line.rsplit('|',1)#对于原始数据集做一个编码text_a = tokenization.convert_to_unicode(str(line[0]).replace(' ',''))#去掉label中多余的部分label = str(line[1

这篇关于Bert+中文文本分类实现及参数解析的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---