Overall Accuracy(OA)、Average Accuracy(AAcc)计算公式

2024-05-28 04:36

本文主要是介绍Overall Accuracy(OA)、Average Accuracy(AAcc)计算公式,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

四个重要的指标:
True Positive(TP)、False Positive(FP)、True Negative(TN)和False Negative(FN)。
TP表示分类器预测结果为正样本,实际也为正样本,即正样本被正确识别的数量;
FP表示分类器预测结果为正样本,实际为负样本,即误报的负样本数量;
TN表示分类器预测结果为负样本,实际也为负样本,即负样本被正确识别的数量;
FN表示分类器预测结果为负样本,实际为正样本,即漏报的正样本数量。

以二分类为例:1.总体精度(Overall Accuracy, OA):样本中正确分类的总数除以样本总数。
OA=(TP+TN)/(TP+FN+FP+TN)2.平均精度(Average Accuracy, AA):每一类别中预测正确的数目除以该类总数,记为该类的精度,最后求每类精度的平均。
AA=(TP/(TP+FN)+TN/(FP+TN))/2

OA与Accuracy定义一致。AA与Recall计算公式比较一致,不过考虑了正负两例的计算。


 Accuracy、Precision、Recall以及F-score

1.准确率(Accuracy):模型的精度,即模型预测正确的个数 / 样本的总个数;一般情况下,模型的精度越高,说明模型的效果越好。
Accuracy=(TP+TN)/(TP+TN+FP+FN) 2.精确率(Precision):模型预测为正的部分的正确率。
Precision=TP/(TP+FP) 3.召回率(Recall):真实值为正的部分,被模型预测出来且正确的比重。
Recall=TP/(TP+FN) 4.F1-score:此指标综合了Precision与Recall的产出的结果,取值范围从0到1的,1代表模型的输出最好,0代表模型的输出结果最差。
F=2*Precision*Recall/(Precision+Recall)

IoU与MIoU

以二分类为例:

IoU(Intersection over Union,交并比):计算某一类别预测结果和真实值的交集和并集的比值。计算公式如下:

MIoU(Mean Intersection over Union,平均交并比):计算所有类别的IoU的平均值。计算公式如下(因k从0开始,故需要加1):

计算二分类混淆矩阵中正负两类的MIoU MIoU=(IoU(正)+IoU(负))/2 =(TP/(FN+FP+TP)+TN/(TN+FN+FP))/2

多分类:

某一类的IoU的分子为:该类所在混淆矩阵对角线的值。

某一类的IoU的分母为:该类所在混淆矩阵对角线的位置对应的行和列的总和。(对角线位置的值只能计算一次)


因对于一个样本来说,FN+TP是固定的,那么IoU就可以变为IoU=TP/(K+FP),那么主要相当于分析TP与FP的变化趋势。孤立的分析IoU,这里有4种情况可能使得IoU变大:

1)TP不变,FP减小;IoU肯定变大

2)TP变小,FP变小;IoU应该可大可小

3)TP变大,FP不变;IoU肯定变大

3)TP变大,FP变大;IoU应该可大可小!如下表格C1到C2,IC1=1/(1+5)=1/6、IC2=3/(4+5)=1/3;此时虽然IoU变大,但是Accuracy却变小了,模型的好坏需要另外讨论。

假设TPFNFPTNTotal
C1141410
C2324110
C3232310

也就是说IoU变大,模型不一定变好,但大多数情况下还是变好的。 


 混淆矩阵及相关精度指标计算和实现记录 - 他的博客 - 博客园 (cnblogs.com)

这篇关于Overall Accuracy(OA)、Average Accuracy(AAcc)计算公式的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1009555

相关文章

03 TensorFlow 2.0:TOPK Accuracy实战

这江山风雨 岁月山河 刀光剑影 美了多少世间传说 且看他口若悬河 衣上有风尘 却原来是一位江湖说书人                                                                                                                                 《说书人》 在分类问题中会遇到TO

346. Moving Average from Data Stream

https://leetcode.com/problems/moving-average-from-data-stream/description/ 题目大意:初始化一个滑动窗口,大小为w,输入一系列数,求窗口内的平均数,窗口会向前滑动,当窗口填满时,将最早进入的数弹出,加入新的数. 解题思路:用队列,求和时可以利用上次的和,不用每次从头到尾求 代码: class MovingAverag

【漏洞复现】极限OA video_file.php 任意文件读取漏洞

免责声明:         本文内容旨在提供有关特定漏洞或安全漏洞的信息,以帮助用户更好地了解可能存在的风险。公布此类信息的目的在于促进网络安全意识和技术进步,并非出于任何恶意目的。阅读者应该明白,在利用本文提到的漏洞信息或进行相关测试时,可能会违反某些法律法规或服务协议。同时,未经授权地访问系统、网络或应用程序可能导致法律责任或其他严重后果。作者不对读者基于本文内容而产生的任何行为或后果承担

java构建一个OA审批系统

构建一个完整的OA审批系统涉及多个模块,包括用户管理、权限控制、审批流程设计以及前端界面等。以下是一个综合性的示例,展示了如何整合这些模块并实现基本功能。 ### 数据库设计 首先,定义一些基本的数据库表结构,用于存储用户信息和审批相关数据: -- 用户表 CREATE TABLE users (     id INT AUTO_INCREMENT PRIMARY KEY,     user

通达OA 人力资源系统二次开发

4.9 人力资源 人力资源包含:人事管理、招聘管理、培训管理、考勤管理、绩效考核、积分管理、薪酬管理、员工自助查询、人力资源设置和在线考试十大功能模块。每一个功能模块细分为数量不等的子模块,以完成相应模块的管理功能。 4.9.1 人事管理 人事管理模块包含:人事档案、档案查询、合同管理、奖惩管理、证照管理、学习经历、工作经历、劳动技能、社会关系、人事调动、离职管理、复职管理、职称评定、员

通达OA对接企业微信与钉钉 设置

3.4.2 企业号与钉钉设置 3.4.2.1 微信企业号设置 基础设置 第 1 步:以下为微信企业号申请地址,填写相关的信息即可申请,未认证的账号,只有 50 人账号关注上限。 https://mp.weixin.qq.com/cgi-bin/readtemplate?t=register/step1_tmpl&lang=zh_CN 图 3.4-1 第 2 步:在浏览

通达OA工作流程-使用方法

第3章    工作流使用 3.1    新建工作 进入工作流新建工作,选择需要的流程即可新建。如果用户没有流程第一步的经办权限,那么用户在新建界面看不到这个流程;相应的,如果用户没有流程分类所有流程的经办权限,那么用户在新建界面就看不到这个流程分类。所以固定流程注意设置第一步的经办权限,自由流程注意设置流程的新建权限。 常用工作流程:就是您曾经建立过的工作流程,如以前从未建立过,则此栏

通达OA工作流-流程设计

2.2    流程设计 2.2.1    流程分类 在工作流工作流设置分类设置可以为系统添加流程分类。流程分类更方 便了流程的管理,把不同性质的流程放在不同的分类下,也方便了流程的查找。 同时根据流程分类的所属部门,实现了流程分类按部门进行独立管理的目的。 2.2.2    流程管理 进入 OA 系统工作流 工作流设置设计流程,可以对各流程进行定义和 管理。Office

通达OA工作流-表单设计

第1章    什么是工作流 1.1    工作流的用途 随着企业管理信息化进程的不断深入,协同应用软件的概念已深入人心,而工作流系统正是协同应用软件的核心。通过应用 IT 技术来规范工作流程、提高工作的执行效率和准确度、使企业运营更加高效、规范、稳健,是工作流系统主要解决的问题。 Office Anywhere 内置的工作流系统,适用于各行各业,实现企业各类业务的申请、审批、会签、登

通达OA应用中心操作手册

第1章应用中心功能介绍 1.1 功能介绍 应用中心是一款以企事业单位广为使用的表单为对象、业务为驱 动、决策为目标,以"平台" +"实施"的方式,进而帮助企事业单位实         现各类管理信息系统的软件工具平台。利用这一平台,用户可把单位业 务模型和管理理念变成可实际操作的管理信息系统,以网络化方式实现 诸如单据填制、数据审批、业务流程、数据管理、数据评论、数