pytorch实现RNN,majing论文的谣言检测

2023-12-21 11:59

本文主要是介绍pytorch实现RNN,majing论文的谣言检测,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

RNN实现谣言检测

    • 遇到的问题:
    • 数据处理篇
    • 模型搭建和数据提取篇

--------更新时间-------2019/06/08
人真的可以生如蚁,而美如神!
时间不多,废话少说!先处理数据!

遇到的问题:

  1. 训练时,loss总是在几个数之间,每一轮训练的精度都是一样的!
    这个问题我刚开始以为是模型的weigth和bias没有更新,导致每次训练都是固定的参数在跑,结果打印可更新的参数,发现
    参数所以,排除了这个。

数据处理篇

拿到majing的微博数据,发现每一个微博原文都是json文件,里面存放的是原始微博和一些用户的评论以及转发信息。
首先,去除重复的微博文本。这个很简单,就是用网上的聚类分析那些文本是一样的,这里我不多说,因为这个工作已经被同学做了。
然后,开始处理剩下的不重复文本,我处理的办法很简单:

		- 提取原始微博和下面的评论,也就是一个json文件中的所有origrial-text。- 按原始文本的文件命名,里面存放用jieba分好词的内容- 将所有的微博加评论都写到一个txt文件中,用word2vec训练出词向量。

这就算处理好了数据。接下来,开始用pytorch写model,然后取数据进行训练

模型搭建和数据提取篇

这里还是作为重点介绍:
目录在这里插入图片描述
这里data目录下,主要放的是已经分号词的微博文本的json格式。里面只有分好词的文本和标签。
wordmodel是之前用word2vec训练后,保存的词向量。
接下来写pytorch给我们定义好的dataload:

#将数据分成四份,一份测试,其余作训练
class ShipDataset(data.Dataset):def __init__(self,vali = 1,Train = True,dir='./data'):super(ShipDataset, self).__init__()self.train = []self.vaild = []#获取数据清单flist = []for root, dirs, files in os.walk(dir):for file in files:if os.path.splitext(file)[1] == '.json':flist.append(os.path.join(root, file))flist = [flist[i:i + len(flist)//5] for i in range(0, len(flist), len(flist)//5)]for i in range(len(flist)):if i == vali:self.vaild = flist[i]else:self.train +=flist[i]self.ModeTrain = Trainself.MO = word2vec.Word2Vec.load('./WordModel')def __getitem__(self, item):X = []Y = Noneif self.ModeTrain:filename = self.train[item]else:filename = self.vaild[item]with open(filename, 'r', encoding='utf-8') as f:fjson = json.load(f)for i in fjson['text']:try:X.append(self.MO[i])except (KeyError):# logger.info(i +'没有向量化!')continueX = torch.tensor(X[0:30])  # 这里由于每条句子长度不一致,导致无法封装到一个batch里,所以才设置取前30Y = int(fjson['label'])# Y = torch.tensor(int(fjson['label'])).float()if Y == 0 :    #非谣言Y = torch.tensor([0.0,1.0])else:Y = torch.tensor([1.0,0.0])return X,Ydef __len__(self):#返回数据的数量if self.ModeTrain:return len(self.train)else:return len(self.vaild)

这样将数据可以打包成batchSize,十分方便。后面训练的时候直接调用这个类,如下:

train_data = ShipDataset()
train_loader = data.DataLoader(train_data, batch_size=4, num_workers=0, shuffle=False)

我们通过迭代train_loader来取数据,放到模型里训练了。

接下来就是介绍模型定义,pytorch定义模型十分方便和直观,也很灵活。如果要做对比实验,使用它相比tensorflow要好用的多,为啥呢?因为pytorch使用动态图,在一个类里面可以定义很多个,训练的时候直接拿出来用,不像tensorflow,要先把所有模型都定义完,然后session.run(),这样违背我们常规编程思维。pytorch如果说像python语言的话,那么tensorflow就像C++之类的,需要编译、链接,最后run,一旦一个地方出错,即使这个地方前面的代码没毛病,也会退出,不执行。
废话不多说,先模型定义:

class RNNModel(nn.Module):def __init__(self,input_size,hidden_size,n_layers,lstm,GPU):super(RNNModel, self).__init__()self.n_layers = n_layersself.input_size = input_sizeself.lstm = lstmself.hidden_size = hidden_sizeself.gpu = GPUif self.gpu == True:self.rnn = nn.LSTM(input_size, hidden_size, n_layers, batch_first=True ).cuda()self.gru = nn.GRU(input_size, hidden_size, n_layers, batch_first=True).cuda()# self.linear = nn.Linear(self.hidden_size,2)  #二分类,最后结果[0,1] [1,0]self.layer = nn.Sequential(nn.Linear(self.hidden_size, 2), nn.Sigmoid()).cuda()else:self.rnn = nn.LSTM(input_size, hidden_size, n_layers, batch_first=True)self.gru = nn.GRU(input_size, hidden_size, n_layers, batch_first=True)self.layer = nn.Sequential(nn.Linear(self.hidden_size, 2), nn.Sigmoid())def forward(self,input,state=None):batch, _, _ = input.size()if self.gpu == True:if self.lstm == True:if state is None:h = torch.randn(self.n_layers, batch, self.hidden_size).cuda().float()c = torch.randn(self.n_layers, batch, self.hidden_size).cuda().float()else:h, c = state# output [batchsize,time,hidden_size]output, state = self.rnn(input, (h, c))else:if state is None:state = torch.randn(self.n_layers, batch, self.hidden_size).cuda().float()output, state = self.gru(input, state)else:if self.lstm == True:if state is None:h = torch.randn(self.n_layers, batch, self.hidden_size).float()c = torch.randn(self.n_layers, batch, self.hidden_size).float()else:h, c = state# output [batchsize,time,hidden_size]output, state = self.rnn(input, (h, c))else:if state is None:state = torch.randn(self.n_layers, batch, self.hidden_size).float()output, state = self.gru(input, state)#最后输出结果output = self.layer(output[:, -1, :])return output,state

这里写的很臃肿,主要是为了既能在CPU上跑,又能运行在GPU上。好的机器当然要用好的资源嘛!
上面类定义了GRU和lstm,可以通过参数选择要使用的训练模型:

self.rnn = nn.LSTM(input_size, hidden_size, n_layers, batch_first=True)
self.gru = nn.GRU(input_size, hidden_size, n_layers, batch_first=True)

通过self.lstm 这个来选择,是不是很方便。tensorflow有这样灵活吗?
接下来就是RUN函数了,这个就是训练了!
话不多说,献上代码,这里只看在GPU上跑的代码
loss损失函数采用nn.BCELoss()。这个是对二分类的交叉损失函数!(这个我没看具体源码和公式,不知道pytorch是怎么封装的,所以有错误还请批评指正!)

def RunGPU(opt):#将模型迁移到GPU上lr = 1e-3model = RNNModel(opt.inputsize, opt.hidden_size, opt.layers,lstm=True,GPU=True).cuda()optimizer = torch.optim.Adam(model.parameters(), lr=lr)criterion = nn.BCELoss().cuda()# 查看可更新的参数# for name, param in model.named_parameters():#     if param.requires_grad:#         print(name)# return#将数据迁移到GPU`train_data = ShipDataset(vali=2)train_loader = data.DataLoader(train_data, batch_size=6, num_workers=2, shuffle=False)valid_data = ShipDataset(vali=2,Train=False)valid_loader = data.DataLoader(valid_data, batch_size=8, num_workers=2, shuffle=False)for epoch in range(opt.epochs):# lr = adjust_learning_rate(lr, epoch)for i, trainset in enumerate(train_loader):X, Y = trainsetX = torch.tensor(X).cuda()Y = torch.tensor(Y).cuda()out_y, _ = model(X)# logger.info(Y)# logger.info(out_y)loss = criterion(out_y, Y)optimizer.zero_grad()loss.backward()optimizer.step()# for param in model.named_parameters():#     logger.info(param)if i % 100 == 0:print('batch_loss: {0},学习率为{1}'.format(loss, lr))out = torch.tensor([[0.0,0.0]]).cuda()y = torch.tensor([[0.0,0.0]]).cuda()for valiset in valid_loader:v_X,v_Y = valisetv_X = torch.tensor(v_X).cuda()v_Y = torch.tensor(v_Y).cuda()out_y, _ = model(v_X)# logger.info(out_y)# logger.info(out)out = torch.cat((out,out_y),0)y = torch.cat((y,v_Y),0)# logger.info(out)# logger.info(y)correct_pred = torch.eq(torch.argmax(out, 1), torch.argmax(y, 1))acc = correct_pred.sum().item()/ y.size(0)print('第 {0} 轮训练精度为 {1}'.format(epoch + 1, acc))viz.scatter(X=np.array([[epoch + 1, loss.item()]]), name='loss', win=loss_win, update='append')viz.scatter(X=np.array([[epoch + 1, acc]]), name='acc', win=acc_win, update='append')if acc > 0.90:torch.save({'epoch': epoch + 1,# 'arch': args.arch,'state_dict': model.state_dict(),'loss': loss,}, 'checkpoint{0}.tar'.format(epoch + 1))

这里如果将代码一句一句解释的话就有点罗嗦了,我主要说一下怎样算在验证数据集上的精度。
将一轮训练后模型在验证数据集上跑一遍。具体,验证数据集也是通过dataload取的,所以是一个batchsize一个batchsize的丢到模型里面去跑,每一个batch得到一个out_y,每一个batch也有自己的标签label,然后用torch.cat()函数将这些out_y连接起来,同理label也是一样连接起来。对于一个样本,out_y会类似于[0.23,0.95],由于0.95>0.23,它可以近视认为模型把它归为第二类,也就是非谣言。Y就很直观可以取出来。两者如果最大值所在的位置是一样的,说明模型预测成功,否则,错误!

 correct_pred = torch.eq(torch.argmax(out, 1), torch.argmax(y, 1))

下面是用visdom得到的loss和acc散点图!
请看官笑纳:

在这里插入图片描述美,最后祝大家生活愉快!
附上代码链接,Github地址:https://github.com/liAoI/RNN-pytorch–,不要忘了加星哦!

附上数据集(百度云):
链接:https://pan.baidu.com/s/1JEpQmEmO4fVd3SrLbFYyrg
提取码:yjn4

希望大家如果有更好更大的数据集,能给我留言,发我一份,在此小弟不甚感激!(感动)

这篇关于pytorch实现RNN,majing论文的谣言检测的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/519907

相关文章

hdu1043(八数码问题,广搜 + hash(实现状态压缩) )

利用康拓展开将一个排列映射成一个自然数,然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动,这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升:减少抖动,提高图像的清晰度和细节表现力,使得监控画面更加真实可信。 - 细节增强:在低光条件下,抖

【C++】_list常用方法解析及模拟实现

相信自己的力量,只要对自己始终保持信心,尽自己最大努力去完成任何事,就算事情最终结果是失败了,努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一:什么是list? •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二:list常用接口 •🌰1.默认成员函数 🔥构造函数(⭐) 🔥析构函数 •🌰2.list对象

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi

让树莓派智能语音助手实现定时提醒功能

最初的时候是想直接在rasa 的chatbot上实现,因为rasa本身是带有remindschedule模块的。不过经过一番折腾后,忽然发现,chatbot上实现的定时,语音助手不一定会有响应。因为,我目前语音助手的代码设置了长时间无应答会结束对话,这样一来,chatbot定时提醒的触发就不会被语音助手获悉。那怎么让语音助手也具有定时提醒功能呢? 我最后选择的方法是用threading.Time

Android实现任意版本设置默认的锁屏壁纸和桌面壁纸(两张壁纸可不一致)

客户有些需求需要设置默认壁纸和锁屏壁纸  在默认情况下 这两个壁纸是相同的  如果需要默认的锁屏壁纸和桌面壁纸不一样 需要额外修改 Android13实现 替换默认桌面壁纸: 将图片文件替换frameworks/base/core/res/res/drawable-nodpi/default_wallpaper.*  (注意不能是bmp格式) 替换默认锁屏壁纸: 将图片资源放入vendo

C#实战|大乐透选号器[6]:实现实时显示已选择的红蓝球数量

哈喽,你好啊,我是雷工。 关于大乐透选号器在前面已经记录了5篇笔记,这是第6篇; 接下来实现实时显示当前选中红球数量,蓝球数量; 以下为练习笔记。 01 效果演示 当选择和取消选择红球或蓝球时,在对应的位置显示实时已选择的红球、蓝球的数量; 02 标签名称 分别设置Label标签名称为:lblRedCount、lblBlueCount

烟火目标检测数据集 7800张 烟火检测 带标注 voc yolo

一个包含7800张带标注图像的数据集,专门用于烟火目标检测,是一个非常有价值的资源,尤其对于那些致力于公共安全、事件管理和烟花表演监控等领域的人士而言。下面是对此数据集的一个详细介绍: 数据集名称:烟火目标检测数据集 数据集规模: 图片数量:7800张类别:主要包含烟火类目标,可能还包括其他相关类别,如烟火发射装置、背景等。格式:图像文件通常为JPEG或PNG格式;标注文件可能为X

Kubernetes PodSecurityPolicy:PSP能实现的5种主要安全策略

Kubernetes PodSecurityPolicy:PSP能实现的5种主要安全策略 1. 特权模式限制2. 宿主机资源隔离3. 用户和组管理4. 权限提升控制5. SELinux配置 💖The Begin💖点点关注,收藏不迷路💖 Kubernetes的PodSecurityPolicy(PSP)是一个关键的安全特性,它在Pod创建之前实施安全策略,确保P

AI hospital 论文Idea

一、Benchmarking Large Language Models on Communicative Medical Coaching: A Dataset and a Novel System论文地址含代码 大多数现有模型和工具主要迎合以患者为中心的服务。这项工作深入探讨了LLMs在提高医疗专业人员的沟通能力。目标是构建一个模拟实践环境,人类医生(即医学学习者)可以在其中与患者代理进行医学