关于情感词典计算情感倾向强度值的两种方法

2023-10-22 20:50

本文主要是介绍关于情感词典计算情感倾向强度值的两种方法,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、SO-HowNet

情感倾向强度值计算公式为:


其中,Pwords代表正面情感种子词语集合,Nwords代表负面种子词语集合。


word1word2相似度就是各概念之间相似度的最大值。

计算两个义原相似度公式如下:


其中,p1,p2为两个需要计算比较的义原,Depth(p)是义原层次体系中的深度,Spd(p1,p2)表示p1p2两者在层次体系的重合度。

 

以上计算方式可以在github下载到源代码,直接调用该函数就可以计算两个单词的相似度,但是计算结果返回的值为0,即无法计算这两个词的相似度,个人理解是返回0,应该是其语义库中无法查询到该词(下载的情感词典中存在类似短语的词,或者成语,可能导致无法识别)


二、SO-PMI
在文献:


Turney使用PMI(点态互信息量)来计算两个词的相关强度


该值越大表示两个词语的相关程度就越强。

可以通过搜索引擎来计算PMI的值。一个词word的概率为搜索引擎返回hit值与总的搜索引擎返回的索引页面数比值。Word1word2共同出现的概率同样如此计算。

因此,word1word2PMI值计算为:

在实际应用中,也经常使用语料库来统计词语出现的概率。计算公式如下:


其中,df(word)表示在语料中含有词语word的文档数目,N代表为语料数据集中文档总的数目。

 

所以,一个为知情感倾向词语word的情感倾向强度值计算为:


Pwords是褒义情感种子词语的集合,Nwords是贬义情感种子的词语集合。(PwordsNwords可以取为语料数据集中hits最高的前100个词)

 

但是,在语料库中,如果一个词语出现概率较小时,可能得不到该词语的正确情感倾向。



三、情感词典分析流程

四、SO-PMI和SO-HowNet对比分析
关于SO-HowNet: 最近想通过HowNet来计算词语情感倾向强度值,但是经过不懈努力,发现词库中很多词无法计算情感倾向强度值,原因是:HowNet是董振东先生定义的一套词语知识库,里面根据语义表示了词与词的关系等信息,但是该词库是人工定义的有些词没有加入到知识库中,如“给力”,“正能量”,“坑爹”等词找不到义原。所以,如果确实要使用HowNet必须根据自己的实际工作构造自己的词语知识库,不过这个工作量相对较大,可行性不高。
关于SO-PMI:由于SO-HowNet存在以上缺点,基于统计的SO-PMI计算两个词的互信息,即计算词语在语料中出现的概率以及词语与词语在句子中同时出现的概率可用于提供计算词语倾向性的一种方法。该方法减少了人工编辑知识库的成本,完全依赖语料来决定词语的倾向性,比较有实际意义。但是该方法存在一个问题是,如果一个词出现概率比较小,可能得不到该词语的正确情感倾向。

这篇关于关于情感词典计算情感倾向强度值的两种方法的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/263514

相关文章

Java 方法重载Overload常见误区及注意事项

《Java方法重载Overload常见误区及注意事项》Java方法重载允许同一类中同名方法通过参数类型、数量、顺序差异实现功能扩展,提升代码灵活性,核心条件为参数列表不同,不涉及返回类型、访问修饰符... 目录Java 方法重载(Overload)详解一、方法重载的核心条件二、构成方法重载的具体情况三、不构

SQL中如何添加数据(常见方法及示例)

《SQL中如何添加数据(常见方法及示例)》SQL全称为StructuredQueryLanguage,是一种用于管理关系数据库的标准编程语言,下面给大家介绍SQL中如何添加数据,感兴趣的朋友一起看看吧... 目录在mysql中,有多种方法可以添加数据。以下是一些常见的方法及其示例。1. 使用INSERT I

Python中反转字符串的常见方法小结

《Python中反转字符串的常见方法小结》在Python中,字符串对象没有内置的反转方法,然而,在实际开发中,我们经常会遇到需要反转字符串的场景,比如处理回文字符串、文本加密等,因此,掌握如何在Pyt... 目录python中反转字符串的方法技术背景实现步骤1. 使用切片2. 使用 reversed() 函

Python中将嵌套列表扁平化的多种实现方法

《Python中将嵌套列表扁平化的多种实现方法》在Python编程中,我们常常会遇到需要将嵌套列表(即列表中包含列表)转换为一个一维的扁平列表的需求,本文将给大家介绍了多种实现这一目标的方法,需要的朋... 目录python中将嵌套列表扁平化的方法技术背景实现步骤1. 使用嵌套列表推导式2. 使用itert

Python使用pip工具实现包自动更新的多种方法

《Python使用pip工具实现包自动更新的多种方法》本文深入探讨了使用Python的pip工具实现包自动更新的各种方法和技术,我们将从基础概念开始,逐步介绍手动更新方法、自动化脚本编写、结合CI/C... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

在Linux中改变echo输出颜色的实现方法

《在Linux中改变echo输出颜色的实现方法》在Linux系统的命令行环境下,为了使输出信息更加清晰、突出,便于用户快速识别和区分不同类型的信息,常常需要改变echo命令的输出颜色,所以本文给大家介... 目python录在linux中改变echo输出颜色的方法技术背景实现步骤使用ANSI转义码使用tpu

Conda与Python venv虚拟环境的区别与使用方法详解

《Conda与Pythonvenv虚拟环境的区别与使用方法详解》随着Python社区的成长,虚拟环境的概念和技术也在不断发展,:本文主要介绍Conda与Pythonvenv虚拟环境的区别与使用... 目录前言一、Conda 与 python venv 的核心区别1. Conda 的特点2. Python v

Spring Boot中WebSocket常用使用方法详解

《SpringBoot中WebSocket常用使用方法详解》本文从WebSocket的基础概念出发,详细介绍了SpringBoot集成WebSocket的步骤,并重点讲解了常用的使用方法,包括简单消... 目录一、WebSocket基础概念1.1 什么是WebSocket1.2 WebSocket与HTTP

SQL Server配置管理器无法打开的四种解决方法

《SQLServer配置管理器无法打开的四种解决方法》本文总结了SQLServer配置管理器无法打开的四种解决方法,文中通过图文示例介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的... 目录方法一:桌面图标进入方法二:运行窗口进入检查版本号对照表php方法三:查找文件路径方法四:检查 S

MyBatis-Plus 中 nested() 与 and() 方法详解(最佳实践场景)

《MyBatis-Plus中nested()与and()方法详解(最佳实践场景)》在MyBatis-Plus的条件构造器中,nested()和and()都是用于构建复杂查询条件的关键方法,但... 目录MyBATis-Plus 中nested()与and()方法详解一、核心区别对比二、方法详解1.and()