谣言检测常用评价指标

2023-12-17 02:52

本文主要是介绍谣言检测常用评价指标,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

谣言检测通常是一个二分类任务,常用评价指标包括Precision、Recall、Accuracy、F1-score、Micro-F1、Macro-F1等。

Precision和Recall

名称含义
TP(True Positive)真阳性 预测为正,实际为正
FP(False Positive)假阳性 预测为正,实际为负
TN(True Negative)真阴性 预测为负,实际为负
FN(False Negative)假阴性 预测为负,实际为正

Precision(正确率):在认为是正的样本中,有多少是正的
P r e c i s i o n = T P T P + F P Precision=\frac {TP}{TP+FP} Precision=TP+FPTP
Recall(召回率):原本为正的样本中,有多少被找出来了
R e c a l l = T P T P + F N Recall=\frac{TP}{TP+FN} Recall=TP+FNTP
Accuracy(准确率):整个样本空间中的样本分类正确的比例
A c c u r a c y = T P + T N T P + F P + T N + F N Accuracy=\frac{TP+TN}{TP+FP+TN+FN} Accuracy=TP+FP+TN+FNTP+TN

F1-score

统计TP、FP、TN、FN等指标数据可以用于计算精确率(Precision)和召回率(Recall),根据精确率和召回率可以计算出F1值。
F1分数(F1-Score、F1-Measure),是分类问题的一个衡量指标,用于权衡Precision和Recall,被定义为精确率和召回率的调和平均数。
F 1 = 2 ⋅ P r e c i s i o n ⋅ R e c a l l P r e c i s i o n + R e c a l l F1=2\cdot \frac{Precision\cdot Recall}{Precision + Recall} F1=2Precision+RecallPrecisionRecall

Micro-F1、 Macro-F1

微观F1(Micro-F1)和宏观F1(Macro-F1)都是F1合并后的结果,是用于评价多分类任务的指标。
第i类的Precision和Recall可以表示为:
P r e c i s i o n i = T P i T P i + F P i Precision_i=\frac {TP_i}{TP_i+FP_i} Precisioni=TPi+FPiTPi
R e c a l l i = T P i T P i + F N I Recall_i=\frac{TP_i}{TP_i+FN_I} Recalli=TPi+FNITPi
Micro-F1:
(1)先计算所有类别总的Precision和Recall:
P r e c i s i o n m i c r o = ∑ i = 1 n T P i ∑ i = 1 n T P i + ∑ i = 1 n F P i Precision_{micro}=\frac {\sum_{i=1}^nTP_i}{\sum_{i=1}^nTP_i+\sum_{i=1}^nFP_i} Precisionmicro=i=1nTPi+i=1nFPii=1nTPi
R e c a l l m i c r o = ∑ i = 1 n T P i ∑ i = 1 n T P i + ∑ i = 1 n F N I Recall_{micro}=\frac{\sum_{i=1}^nTP_i}{\sum_{i=1}^nTP_i+\sum_{i=1}^nFN_I} Recallmicro=i=1nTPi+i=1nFNIi=1nTPi
(2)计算调和平均数:
F 1 m i c r o = 2 ⋅ P r e c i s i o n m i c r o ⋅ R e c a l l m i c r o P r e c i s i o n m i c r o + R e c a l l m i c r o F1_{micro}=2\cdot \frac{Precision_{micro}\cdot Recall_{micro}}{Precision_{micro} + Recall_{micro}} F1micro=2Precisionmicro+RecallmicroPrecisionmicroRecallmicro
微观F1(Micro-F1)考虑了各种类别的数量,所以更适用于数据分布不平衡的情况,数量较多的类别会对F1的影响较大。

Macro-F1:
(1)先计算所有类别平均的Precision和Recall:
P r e c i s i o n m a c r o = ∑ i = 1 n P r e c i s i o n i n Precision_{macro}=\frac {\sum_{i=1}^nPrecision_i}{n} Precisionmacro=ni=1nPrecisioni
R e c a l l m a c r o = ∑ i = 1 n R e c a l l i n Recall_{macro}=\frac{\sum_{i=1}^nRecall_i}{n} Recallmacro=ni=1nRecalli
(2)计算调和平均数:
F 1 m a c r o = 2 ⋅ P r e c i s i o n m a c r o ⋅ R e c a l l m a c r o P r e c i s i o n m a c r o + R e c a l l m a c r o F1_{macro}=2\cdot \frac{Precision_{macro}\cdot Recall_{macro}}{Precision_{macro} + Recall_{macro}} F1macro=2Precisionmacro+RecallmacroPrecisionmacroRecallmacro
宏观F1(Macro-F1)对各类别的Precision和Recall直接求平均,不考虑类别数量,Precision和Recall值较高的类别对F1的影响会比较大。

这篇关于谣言检测常用评价指标的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/502836

相关文章

Linux上设置Ollama服务配置(常用环境变量)

《Linux上设置Ollama服务配置(常用环境变量)》本文主要介绍了Linux上设置Ollama服务配置(常用环境变量),Ollama提供了多种环境变量供配置,如调试模式、模型目录等,下面就来介绍一... 目录在 linux 上设置环境变量配置 OllamPOgxSRJfa手动安装安装特定版本查看日志在

Java常用注解扩展对比举例详解

《Java常用注解扩展对比举例详解》:本文主要介绍Java常用注解扩展对比的相关资料,提供了丰富的代码示例,并总结了最佳实践建议,帮助开发者更好地理解和应用这些注解,需要的朋友可以参考下... 目录一、@Controller 与 @RestController 对比二、使用 @Data 与 不使用 @Dat

Mysql中深分页的五种常用方法整理

《Mysql中深分页的五种常用方法整理》在数据量非常大的情况下,深分页查询则变得很常见,这篇文章为大家整理了5个常用的方法,文中的示例代码讲解详细,大家可以根据自己的需求进行选择... 目录方案一:延迟关联 (Deferred Join)方案二:有序唯一键分页 (Cursor-based Paginatio

Python实现常用文本内容提取

《Python实现常用文本内容提取》在日常工作和学习中,我们经常需要从PDF、Word文档中提取文本,本文将介绍如何使用Python编写一个文本内容提取工具,有需要的小伙伴可以参考下... 目录一、引言二、文本内容提取的原理三、文本内容提取的设计四、文本内容提取的实现五、完整代码示例一、引言在日常工作和学

Redis中的常用的五种数据类型详解

《Redis中的常用的五种数据类型详解》:本文主要介绍Redis中的常用的五种数据类型详解,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Redis常用的五种数据类型一、字符串(String)简介常用命令应用场景二、哈希(Hash)简介常用命令应用场景三、列表(L

python中time模块的常用方法及应用详解

《python中time模块的常用方法及应用详解》在Python开发中,时间处理是绕不开的刚需场景,从性能计时到定时任务,从日志记录到数据同步,时间模块始终是开发者最得力的工具之一,本文将通过真实案例... 目录一、时间基石:time.time()典型场景:程序性能分析进阶技巧:结合上下文管理器实现自动计时

C#中的 Dictionary常用操作

《C#中的Dictionary常用操作》C#中的DictionaryTKey,TValue是用于存储键值对集合的泛型类,允许通过键快速检索值,并且具有唯一键、动态大小和无序集合的特性,常用操作包括添... 目录基本概念Dictionary的基本结构Dictionary的主要特性Dictionary的常用操作

Python中常用的四种取整方式分享

《Python中常用的四种取整方式分享》在数据处理和数值计算中,取整操作是非常常见的需求,Python提供了多种取整方式,本文为大家整理了四种常用的方法,希望对大家有所帮助... 目录引言向零取整(Truncate)向下取整(Floor)向上取整(Ceil)四舍五入(Round)四种取整方式的对比综合示例应

C#中读取XML文件的四种常用方法

《C#中读取XML文件的四种常用方法》Xml是Internet环境中跨平台的,依赖于内容的技术,是当前处理结构化文档信息的有力工具,下面我们就来看看C#中读取XML文件的方法都有哪些吧... 目录XML简介格式C#读取XML文件方法使用XmlDocument使用XmlTextReader/XmlTextWr

Python如何实现PDF隐私信息检测

《Python如何实现PDF隐私信息检测》随着越来越多的个人信息以电子形式存储和传输,确保这些信息的安全至关重要,本文将介绍如何使用Python检测PDF文件中的隐私信息,需要的可以参考下... 目录项目背景技术栈代码解析功能说明运行结php果在当今,数据隐私保护变得尤为重要。随着越来越多的个人信息以电子形