文章目录 前言一、TrainingArguments类参数说明1、TrainingArguments使用Demo2、TrainingArguments参数内容与意义3、TrainingArguments参数图示 二、Trainer类的参数说明1、Trainer类使用Demo2、Trainer类的初始化参数3、参数内容与意义4、部分参数属性说明 总结 前言 大模型基本使用hug

文章目录 前言一、self.get_train_dataloader()函数1、self.get_train_dataloader()函数完整源码2、dataset与dataloadera、dataset与dataloader来源b、dataset与dataloader处理c、self._get_collator_with_removed_columns()函数获得collate_fn 3、

文章目录 前言一、trainer和TrainingArguments训练与预测完整Demo1、数据构建2、TrainingArguments构建3、Trainer初始化4、模型训练5、模型推理6、完整demo代码7、完整运行结果 二、辅助函数1、yield返回内容2、迭代器中断恢复迭代demo3、yield from结构4、torch.Generator()的状态generator.get_