本文主要是介绍AI自动采集教学行为——机器学习部分和深度学习部分(含torch和cuda),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
文章目录
- 数据清洗
- 机器学习
- 深度学习
- 代码没问题之后的文件下载
- bert环境配置太麻烦 ,改用飞浆的bert
数据清洗
要遍历当前文件夹下从1.x1sx
到8.x1sx
的所有文件,
提取“句子”列,‘标注’列和‘上下文情境’这三列
按顺序把excel中的这三列拼接在一起。
合并输出成一个xlsx文件。
import os
import pandas as pd# 获取当前脚本所在的目录
current_directory = os.path.dirname(__file__)# 切换到脚本所在的目录
os.chdir(current_directory)# 定义文件名列表
file_names = [f"{i}.xlsx" for i in range(1, 5)]# 用于存储所有文件的数据
all_data = []
existing_files = []# 遍历所有文件并提取所需的三列
for file_name in file_names:if os.path.exists(file_name): # 确保文件存在df = pd.read_excel(file_name)# 检查是否包含“句子”,“标注”和“上下文情境”列if all(col in df.columns for col in ['句子', '标注', '上下文情境']):required_columns = df[['句子&
这篇关于AI自动采集教学行为——机器学习部分和深度学习部分(含torch和cuda)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!