本文主要是介绍SnowNLP使用自定义语料进行情感分类模型训练,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
SnowNLP是什么?
SnowNLP是一个功能强大的中文文本处理库,它囊括了中文分词、词性标注、情感分析、文本分类、关键字/摘要提取、TF/IDF、文本相似度等诸多功能,像隐马尔科夫模型、朴素贝叶斯、TextRank等算法均在这个库中有对应的应用。
官方源码文档是这样写的:
SnowNLP是一个python写的类库,可以方便的处理中文文本内容,是受到了TextBlob的启发而写的,由于现在大部分的自然语言处理库基本都是针对英文的,于是写了一个方便处理中文的类库,并且和TextBlob不同的是,这里没有用NLTK,所有的算法都是自己实现的,并且自带了一些训练好的字典。注意本程序都是处理的unicode编码,所以使用时请自行decode成unicode。
简而言之就是:SnowNLP是一个Python写的类库,而且是针对中文的自然语言处理库。
主要功能有:
- 中文分词(Character-Based Generative Model)
- 词性标注(TnT 3-gram 隐马)
- 情感分析(现在训练数据主要是买卖东西时的评价,所以对其他的一些可能效果不是很好,待解决)
- 文本分类(Naive Bayes)
- 转换成拼音(Trie树实现的最大匹配)
- 繁体转简体(Trie树实现的最大匹配)
- 提取文本关键词(TextRank算法)
- 提取文本摘要(TextRank算法)
- tf,idf
- Tokenization(分割成句子)
- 文本相似(BM25)
- 支持python3
因为SnowNLP本身使用的语料是电商网站评论,所以,当我们面对不同的使用场景时,它自带的这个模型难免会出现"水土不服"”。因此,如果我们希望得到更接近实际的结果,最好的方案是使用自定义语料进行模型训练。值得庆幸的是,这一切在SnowNLP中实施起来非常简单,并不需要我们去钻研那些高深莫测的算法。至此,就引出了今天这篇博客的主题,即使用自定义语料进行情感分类模型训练。
SnowNLP计算出的情感分数表示语义积极的概率,越接近0情感表现越消极,越接近1情感表现越积极。
我们先来看看如果不重新训练模型,直接使用原生的snownlp结果是什么样的
#SnowNLP基于经典机器学习的贝叶斯算法
from snownlp import SnowNLP
print('"这首歌真难听"的情感得分是:',SnowNLP("这首歌真难听").sentiments)
print('"今天天气真好啊"的情感得分是:',SnowNLP("今天天气真好啊").sentiments)
从结果我们以看出,第一个明显是消极评分,结果确实0.79,明显不符合。第二个也一样,是积极情感,评分也不高。所以我们需要训练自己的情感分析模型才能得出我们想要的结果。
训练模型
关于如何训练情感分析模型的方法有很多,包括基于词典/规则、机器学习、snownlp。本次就讲解最容易上手的snownlp来训练模型。
首先提前准备好消极和积极情感的文本,分别为neg.txt和pos.txt。
# 训练
from snownlp import sentiment
sentiment.train('neg.txt', 'pos.txt')
sentiment.save("sentiment.marshal")
运行之后在同目录下会生成一个sentiment.marshal.3的文件。
接着来到你snownlp的路径下:
这里建议你备份一下原生的sentiment.marshal.3文件,然后将刚才得到的sentiment.marshal.3文件替换这里的sentiment.marshal.3即可。
接下来我们重新运行上面的测试代码,结果如下:
此时,我们明显看见了随着模型的改变,效果明显发生变化,模型准确度提高。
测试模型
前面我们已经训练了自己的语料库,得出了模型。接着我们用测试数据来检测模型的准确率。
# 测试模型效果,导入测试数据
import pandas as pd
data_test = pd.read_excel("test.xlsx")
data_test.head()
sentiment是人工标记的情感标签。
s = []
for c in data_test['comment']:score = SnowNLP(c).sentimentsif score>=0.5:s.append(1)else:s.append(0)
count = np.sum((s == data_test['sentiment'])==1)
print('准确率为:',count/len(data_test))
得出的模型准确率还有待提高,只要前面准备的消极和积极的语料库数据足够大且丰富,这里的准确率就会提高一大截。
应用模型
前面我们已经将模型训练好了,接着我们就开始利用模型给未标记情感分类的评论进行标记。
以上就是SnowNLP使用自定义语料进行模型训练,希望对学习情感分析的你有所帮助。
参考文档
https://www.cnblogs.com/pengpengdeyuan/p/14479205.html
SnowNLP使用自定义语料进行模型训练(情感分析)_snownlp训练模型-CSDN博客
这篇关于SnowNLP使用自定义语料进行情感分类模型训练的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!