python情感分析库-snownlp

本文主要是介绍python情感分析库-snownlp，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

SnowNLP 是一个简易的 Python 库，主要用于处理中文文本数据，提供了多种实用的功能。

源码中提供了一些方法:

class SnowNLP(object):def __init__(self, doc):self.doc = docself.bm25 = bm25.BM25(doc)@propertydef words(self):# 功能: 对输入的文本进行分词，返回一个包含所有分词结果的列表。pass@propertydef sentences(self):# 功能: 将文本分割成句子，返回一个包含所有句子的列表。pass@propertydef han(self):pass@propertydef pinyin(self):# 功能: 返回文本的拼音形式，返回一个列表pass@propertydef sentiments(self):# 功能: 进行情感分析，返回一个介于0到1之间的浮点数，表示文本的情感倾向，接近1表示正面情绪，接近0表示负面情绪。pass@propertydef tags(self):# 功能: 返回文本中每个词语的词性标注，通常以列表形式给出，每个元素是一个包含词语和对应词性的元组。pass@propertydef tf(self):# 功能: 计算词频（Term Frequency），返回一个字典，键是词语，值是该词语在文本中的出现频率。pass@propertydef idf(self):# 功能: 计算逆文档频率（Inverse Document Frequency）passdef sim(self, doc):# 功能: 计算两个文本的相似度，返回一个介于0到1之间的浮点数，值越接近1表示两个文本越相似。passdef summary(self, limit=5):# 功能: 提供文本摘要功能passdef keywords(self, limit=5, merge=False):# 功能: 提取文本中的关键词，返回一个按相关性排序的关键词列表。pass

详细使用说明

一、words方法

功能: 对输入的文本进行分词，返回一个包含所有分词结果的列表。
分词一般会使用jieba, 但是snownlp本身也提供了此类功能
使用方法:

from snownlp import SnowNLPtext = "解决这个问题的关键是先找到关键的问题"
s = SnowNLP(text)
words_list = s.words
print(words_list)
# ['解决', '这个', '问题', '的', '关键', '是', '先', '找', '到', '关键', '的', '问题']

源码解释:
底层调用了seg中的seg方法

@property
def words(self):return seg.seg(self.doc)
re_zh = re.compile('([\u4E00-\u9FA5]+)')def seg(sent):words = []for s in re_zh.split(sent):s = s.strip()if not s:continueif re_zh.match(s):words += single_seg(s)else:for word in s.split():word = word.strip()if word:words.append(word)return words# 其中又调用了segger中的single_seg()方法
def single_seg(sent):return list(segger.seg(sent))# 其中又调用了seg方法
def seg(self, sentence):ret = self.segger.tag(sentence)tmp = ''for i in ret:if i[1] == 'e':yield tmp+i[0]tmp = ''elif i[1] == 'b' or i[1] == 's':if tmp:yield tmptmp = i[0]else:tmp += i[0]if tmp:yield tmp

以上可以看出, 分词处理其实是根据词性进行划分的

二、sentences方法

功能: 将文本分割成句子，返回一个包含所有句子的列表。

from snownlp import SnowNLPtext = "解决这个问题的关键，是先找到关键的问题"
s = SnowNLP(text)
print(s.sentences)
# ['解决这个问题的关键', '是先找到关键的问题']

三、han方法

功能: 繁体转简体

from snownlp import SnowNLPs = SnowNLP("這個姑娘真好看")
print(s.han)
# 这个姑娘真好看

四、pinyin方法

功能: 中文转拼音, 返回一个列表

from snownlp import SnowNLPtext = "解决这个问题的关键，是先找到关键的问题"
s = SnowNLP(text)
print(s.pinyin)

五、sentiments方法

功能: 进行情感分析，返回一个介于0到1之间的浮点数，表示文本的情感倾向，接近1表示正面情绪，接近0表示负面情绪。

from snownlp import SnowNLPtext = "解决这个问题的关键，是先找到关键的问题"
s = SnowNLP(text)
print(s.sentiments) # 0.4619828689317872s = SnowNLP("上班好快乐")
print(s.sentiments) # 0.93885208707686s = SnowNLP("这工作狗都不干")
print(s.sentiments) # 0.2205915558008712

六、tags方法

功能: 返回文本中每个词语的词性标注，通常以列表形式给出，每个元素是一个包含词语和对应词性的元组。

@property
def tags(self):words = self.wordstags = tag.tag(words)return zip(words, tags)
from snownlp import SnowNLPtext = "解决这个问题的关键，是先找到关键的问题"
s = SnowNLP(text)
for ele in s.tags:print(ele)
# ('解决', 'v')
# ('这个', 'r')
# ('问题', 'n')
# ('的', 'u')
# ('关键', 'n')
# ('，', 'w')
# ('是', 'v')
# ('先', 'd')
# ('找', 'v')
# ('到', 'v')
# ('关键', 'a')
# ('的', 'u')
# ('问题', 'n')

七、tf方法和idf方法

TF-IDF由两部分组成：

Term Frequency (TF): 词频，指的是某一个给定的词语在该文件中出现的频率。这个数字是对词数（term count）的归一化，以防止它偏向长的文件。（同一个词语在长文件里可能会比短文件有更高的词数，而不管该词语在两个文件中的重要程度是否相同。）

Inverse Document Frequency (IDF): 逆文档频率，是一个词语普遍重要性的度量。某一特定词语的IDF，可以由总文件数目除以包含该词语之文件的数目，再将得到的商取对数得到。
功能: 计算词频（Term Frequency）和 计算逆文档频率（Inverse Document Frequency）

from snownlp import SnowNLPtext = "解决这个问题的关键，是先找到关键的问题"
s = SnowNLP(text)
print(s.tf)
print(s.idf)
# [{'解': 1}, {'决': 1}, {'这': 1}, {'个': 1}, {'问': 1}, {'题': 1}, {'的': 1}, {'关': 1}, {'键': 1}, {'，': 1}, {'是': 1}, {'先': 1}, {'找': 1}, {'到': 1}, {'关': 1}, {'键': 1}, {'的': 1}, {'问': 1}, {'题': 1}]
# {'解': 2.512305623976115, '决': 2.512305623976115, '这': 2.512305623976115, '个': 2.512305623976115, '问': 1.9459101490553135, '题': 1.9459101490553135, '的': 1.9459101490553135, '关': 1.9459101490553135, '键': 1.9459101490553135, '，': 2.512305623976115, '是': 2.512305623976115, '先': 2.512305623976115, '找': 2.512305623976115, '到': 2.512305623976115}

八、summary方法

功能: 提供文本摘要功能
支持传入一个参数, 限制输出的数量

from snownlp import SnowNLPs = SnowNLP("解决这个问题的关键，是先找到关键的问题")
print(s.summary(5))
# ['解决这个问题的关键', '是先找到关键的问题']

九、keywords方法

功能: 提取文本中的关键词，返回一个按相关性排序的关键词列表。

from snownlp import SnowNLPs = SnowNLP("解决这个问题的关键，是先找到关键的问题")
print(s.keywords(5))
# ['关键', '先', '找', '解决']

和summary的区别在于summary断句, 而keywords断词

这篇关于python情感分析库-snownlp的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---