使用CNN进行情感分析(Sentiment Analysis)

2024-05-26 08:48

本文主要是介绍使用CNN进行情感分析(Sentiment Analysis),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、情感分析

情感分析是自然语言处理中很常见的任务,它的目的是识别出一段文本潜在的情感,是表扬还是批评,是支持还是反对。比如我们可以使用情感分析去分析社媒的评论,从而得到网友对某件事的看法,进一步分析可以得到舆论的趋势。大家都知道特朗普非常喜欢发Twitter,我们可以对推友们评论进行分析,看看他们是在骂特朗普还是在支持特朗普,然后把所有的评论汇总起来就能得到一个大概的特朗普是否能够连任的趋势了。总之情感分析的本质是一个文本分类的任务,在这里我们实现了一个CNN网络对IMDB数据集进行情感分析。完整代码

二、IMDB数据集

Large Moive Review Dataset通常指的就是IMDB数据集,这是由斯坦福的研究者收集自网站IMDB。这个数据集其实就是一些对电影的评论,一共包含两类,积极的评论(positive)和消极的评论(negative)。其中训练集和测试集各有25000条数据。

三、CNN情感分析

深度学习在NLP任务中有很广泛的作用,那怎样将CNN应用于情感分析呢?因为情感分析本质就是一个文本分类的任务,在这里我们使用一个经典的用于文本分类的CNN架构,如下图所示,首先使用一维卷积,所谓一维卷积就是尺寸为window size * embedding dimension的卷积。window size其实就是词的数量,如果window size等于2就是图中红色的filter,每次选取两个词。window size等于3的话就是图中黄色的部分,每次选取三个词。这样卷积的意义就是每次都能获取到一个n-gram特征,这与我们的直觉也是类似的。卷积之后再使用max-1-pooling,也就是选择这句话中最显著的词或词组作为下一层的结果。然后将这些关键词组合起来输入全连接层就可以得到分类结果了。更详细的CNN解释可以看这篇博客。CNN文本分类详解

下面介绍下如何使用Keras实现这个逻辑,首先载入IMDB数据集,选取词频最高的5000个词作为输入,其他的词都是0。然后再把句子的单词长度固定为500。

# load the dataset but only keep the top n words, zero the rest
top_words = 5000
(x_train, y_train), (x_test, y_test) = imdb.load_data(num_words=top_words)
# pad dataset to a maximum review length in words
max_words = 500
x_train = sequence.pad_sequences(x_train, maxlen=max_words)
x_test = sequence.pad_sequences(x_test, maxlen=max_words)

 接下里创建conv1D + max-pooling的CNN模型。首先初始化一个embedding,为所有词随机一个词向量(这里也可以使用预训练的词向量,效果会更好)。然后使用Conv1D进行卷积,其中kernel_size这个参数就是我们前面所说的window size, 这里我们让它等于3,也就是每次取3个词,得到的是tri-gram特征。然后GlobalMaxPooling进行池化,最后使用全连接层得到一个值。这个值就代表属于哪一类的分数。优化的时候使用Adam优化器。

sentence = Input(batch_shape=(None, max_words), dtype='int32', name='sentence')
embedding_layer = Embedding(top_words, embedding_dims, input_length=max_words)
sent_embed = embedding_layer(sentence)
conv_layer = Conv1D(filters, kernel_size, padding='valid', activation='relu')
sent_conv = conv_layer(sent_embed)
sent_pooling = GlobalMaxPooling1D()(sent_conv)
sent_repre = Dense(250)(sent_pooling)
sent_repre = Activation('relu')(sent_repre)
sent_repre = Dense(1)(sent_repre)
pred = Activation('sigmoid')(sent_repre)
model = Model(inputs=sentence, outputs=pred)
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])

最后训练模型

# fit the model
model.fit(x_train, y_train, batch_size=batch_size, epochs=epochs, verbose=1,validation_data=(x_test, y_test))

最终模型在测试集上的准确率为88.64% 。完整代码

25000/25000 [==============================] - 25s 1ms/step - loss: 0.3455 - acc: 0.8420 - val_loss: 0.2775 - val_acc: 0.8815
Epoch 2/2
25000/25000 [==============================] - 24s 973us/step - loss: 0.1603 - acc: 0.9390 - val_loss: 0.2871 - val_acc: 0.8864
Accuracy: 88.64%

四、使用多窗口的CNN

前面我们使用的是windows size等于3的卷积,也就是每次取三个词,得到tri-gram特征。那要是觉得只用tri-gram还不够丰富,还想加入bi-gram或者更多类型的n-gram怎么办?那只要把Conv-1D这里改下就好了,代码如下。使用一个循环,假设kernel_size_list = [2,3,4],这代表我们会分别取2个词,3个词,4个词进行卷积,然后将池化的结果进行拼接,最后得到了更加丰富的特征。

# use multi window-size cnn
cnn_result = []
for kernel_size in kernel_size_list:conv_layer = Conv1D(filters, kernel_size, padding='valid', activation='relu')sent_conv = conv_layer(sent_embed)sent_pooling = GlobalMaxPooling1D()(sent_conv)cnn_result.append(sent_pooling)
cnn_result = concatenate(cnn_result)

也可以看到使用多窗口的卷积最终准确率达到了89.99%,与只使用窗口为3的CNN相比提高了1个多点,还是挺有效果的。完整代码

25000/25000 [==============================] - 77s 3ms/step - loss: 0.3345 - acc: 0.8483 - val_loss: 0.2592 - val_acc: 0.8941
Epoch 2/2
25000/25000 [==============================] - 73s 3ms/step - loss: 0.1555 - acc: 0.9409 - val_loss: 0.2462 - val_acc: 0.8999
Accuracy: 89.99%

Reference

https://machinelearningmastery.com/predict-sentiment-movie-reviews-using-deep-learning/

https://keras.io/examples/imdb_cnn/

https://blog.csdn.net/u010960155/article/details/81112351

这篇关于使用CNN进行情感分析(Sentiment Analysis)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1003991

相关文章

中文分词jieba库的使用与实景应用(一)

知识星球:https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义: 精确模式(默认模式): 全模式: 搜索引擎模式: paddle 模式(基于深度学习的分词模式): 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

Hadoop数据压缩使用介绍

一、压缩原则 (1)运算密集型的Job,少用压缩 (2)IO密集型的Job,多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1)为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器 2)要在Hadoop中启用压缩,可以配置如下参数

Makefile简明使用教程

文章目录 规则makefile文件的基本语法:加在命令前的特殊符号:.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具,常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件

性能分析之MySQL索引实战案例

文章目录 一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结 一、前言 在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题,本文将一起从代码层去分析为什么没有建立索引? 开源ERP项目地址:https://gitee.com/jishenghua/JSH_ERP 二、准备 打开IDEA找到登录请求资源路径位置

使用opencv优化图片(画面变清晰)

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化,使其看起来更清晰,同时保持尺寸不变,通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多,主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器:相机传

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi

pdfmake生成pdf的使用

实际项目中有时会有根据填写的表单数据或者其他格式的数据,将数据自动填充到pdf文件中根据固定模板生成pdf文件的需求 文章目录 利用pdfmake生成pdf文件1.下载安装pdfmake第三方包2.封装生成pdf文件的共用配置3.生成pdf文件的文件模板内容4.调用方法生成pdf 利用pdfmake生成pdf文件 1.下载安装pdfmake第三方包 npm i pdfma

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合,内部除了存储元素外,还会存储一个score,存储在zset中的元素会按照score的大小升序排列,不同元素的score可以重复,score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]

业务中14个需要进行A/B测试的时刻[信息图]

在本指南中,我们将全面了解有关 A/B测试 的所有内容。 我们将介绍不同类型的A/B测试,如何有效地规划和启动测试,如何评估测试是否成功,您应该关注哪些指标,多年来我们发现的常见错误等等。 什么是A/B测试? A/B测试(有时称为“分割测试”)是一种实验类型,其中您创建两种或多种内容变体——如登录页面、电子邮件或广告——并将它们显示给不同的受众群体,以查看哪一种效果最好。 本质上,A/B测