条件熵,信息增益(互信息)与特征选择

2024-05-25 03:08

本文主要是介绍条件熵,信息增益(互信息)与特征选择,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一定要先搞清楚什么是信息量,什么是信息熵。参考博文:https://blog.csdn.net/u010916338/article/details/91127242

一,什么是信息量?

简言之,就是把信源看做是一个随机变量。消息(信号)就是随机变量的取值,比如a1,a2···an。信息就是这些随机变量的不确程度(发生概率越低,不确定性越大),公式如下。为什么写成这样呢?原因有二。第一:概率和信息量(不确定性)是反比例关系;第二,当事件发生概率为1的时候,信息量为0。

注:信息量描绘的是一个随机变量的取值,a1有a1的信息量,a2有a2的信息量。

即信息量是对某一事件的不确定性的度量。

二,什么是信息熵 ?

接着上面,如何描绘随机变量的所有取值的信息量呢?就是求随机变量的期望。即求信息量的均值。

注:信息熵是对整个随机变量的不确定性的度量。

三,什么是信息增益(互信息)?

3.1  条件熵

先得搞清楚什么是条件熵,公式如下:

H(Y|X)=\sum_{x\in X}p(x)H(Y|X=x) 

直接看公式,摸不到头脑,我们直接引入一个案例,结合案例很容易就理解了。

3.2  案例:哪个特征对QQ用户是否流失影响较大?

数据如下表所示,代表QQ用户是否流失。uin表示用户id;gender表示用户性别;act_info表示用户活跃度;is_lost表示用户是否流失,是标签值。

 

需求:性别和活跃度两个特征,哪个对用户流失影响更大?

数据归纳之后如下表所示,其中positive为正样本(已流失),negative为负样本(未流失)。

 

3.3  计算整体熵:

 整体熵: 

H(Y)=-\frac{5}{15}\log_2( \frac{5}{15})-\frac{10}{15}\log_2( \frac{10}{15})=0.9182

3.4  计算性别特征的条件熵,以及性别特征的信息增益

任意过来一个用户,猜测是已流失还是未流失,设为随机变量Y。

任意过来一个用户是男性或者是女性,设为随机变量X。

任意过来一个用户是男性,设为事件x1;

任意过来一个用户是女性,设为事件x2;

随机变量X的概率空间为: 

\begin{bmatrix} X\\ p(x) \end{bmatrix}=\begin{bmatrix} x_1&x_2\\ \frac{8}{15}&\frac{7}{15} \end{bmatrix}

p(x_1)=\frac{8}{15}\qquad p(x_2)=\frac{7}{15}

(1)男性条件熵:

H(Y|X=x_1)=-\frac{3}{8}\log_2( \frac{3}{8})-\frac{5}{8}\log_2( \frac{5}{8})=0.9543

(2)女性条件熵:

H(Y|X=x_2)=-\frac{2}{7}\log_2( \frac{2}{7})-\frac{5}{7}\log_2( \frac{5}{7})=0.8631

(3)性别条件熵:

H(Y|X)=\sum_{x\in X}p(x)H(Y|X=x)

                =p(x_1)H(Y|X=x_1)+p(x_2)H(Y|X=x_2)

                =\frac{8}{15}\times 0.9543+\frac{7}{15}\times0.8631=0.9118

(4)性别信息增益:

 g(Y,X)=H(Y)-H(Y|X)=0.0064

 3.5  计算活跃度特征的条件熵,以及活跃度特征的信息增益

任意过来一个用户,猜测是已流失还是未流失,设为随机变量Y。

任意过来一个用户活跃度是高,中或者低,设为随机变量X。

任意过来一个用户活跃度高,设为事件x1;

任意过来一个用户活跃度中,设为事件x2;

任意过来一个用户活跃度低,设为事件x3;

随机变量X的概率空间为: 

\bg_white \begin{bmatrix} X\\ p(x) \end{bmatrix}=\begin{bmatrix} x_1&x_2&x_3\\ \frac{6}{15}&\frac{5}{15} &\frac{4}{15}\end{bmatrix}

p(x_1)=\frac{6}{15}\qquad p(x_2)=\frac{5}{15}\qquad p(x_3)=\frac{4}{15}

(1)活跃度高条件熵:

H(Y|X=x_1)=-\frac{0}{6}\log_2( \frac{0}{6})-\frac{6}{6}\log_2( \frac{6}{6})=0

(2)活跃度中条件熵:

H(Y|X=x_2)=-\frac{1}{5}\log_2( \frac{1}{5})-\frac{4}{5}\log_2( \frac{4}{5})=0.7219

(3)活跃度低条件熵:

H(Y|X=x_3)=-\frac{4}{4}\log_2( \frac{4}{4})-\frac{0}{4}\log_2( \frac{0}{4})=0

(4)活跃度条件熵:

H(Y|X)=\sum_{x\in X}p(x)H(Y|X=x)

                =p(x_1)H(Y|X=x_1)+p(x_2)H(Y|X=x_2)+p(x_3)H(Y|X=x_3)

                =\frac{6}{15}\times 0+\frac{6}{15}\times0.7219+\frac{4}{15}\times0=0.2406

(5)活跃度信息增益:

 g(Y,X)=H(Y)-H(Y|X)=0.6776

四,综述 

活跃度的信息增益比性别的信息增益大,也就是说,活跃度对用户流失的影响比性别大。

做特征选择或者数据分析的时候,我们应该重点考察活跃度这个指标。

什么意思?

假如原来没有性别和活跃度这两个维度,后来活跃度这个维度的加入会比性别维度的加入导致整体信息熵提升的更多

参考博文:https://blog.csdn.net/it_beecoder/article/details/79554388

这篇关于条件熵,信息增益(互信息)与特征选择的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1000312

相关文章

一文详解SQL Server如何跟踪自动统计信息更新

《一文详解SQLServer如何跟踪自动统计信息更新》SQLServer数据库中,我们都清楚统计信息对于优化器来说非常重要,所以本文就来和大家简单聊一聊SQLServer如何跟踪自动统计信息更新吧... SQL Server数据库中,我们都清楚统计信息对于优化器来说非常重要。一般情况下,我们会开启"自动更新

Python如何获取域名的SSL证书信息和到期时间

《Python如何获取域名的SSL证书信息和到期时间》在当今互联网时代,SSL证书的重要性不言而喻,它不仅为用户提供了安全的连接,还能提高网站的搜索引擎排名,那我们怎么才能通过Python获取域名的S... 目录了解SSL证书的基本概念使用python库来抓取SSL证书信息安装必要的库编写获取SSL证书信息

Win32下C++实现快速获取硬盘分区信息

《Win32下C++实现快速获取硬盘分区信息》这篇文章主要为大家详细介绍了Win32下C++如何实现快速获取硬盘分区信息,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 实现代码CDiskDriveUtils.h#pragma once #include <wtypesbase

Nginx中location实现多条件匹配的方法详解

《Nginx中location实现多条件匹配的方法详解》在Nginx中,location指令用于匹配请求的URI,虽然location本身是基于单一匹配规则的,但可以通过多种方式实现多个条件的匹配逻辑... 目录1. 概述2. 实现多条件匹配的方式2.1 使用多个 location 块2.2 使用正则表达式

Python如何实现PDF隐私信息检测

《Python如何实现PDF隐私信息检测》随着越来越多的个人信息以电子形式存储和传输,确保这些信息的安全至关重要,本文将介绍如何使用Python检测PDF文件中的隐私信息,需要的可以参考下... 目录项目背景技术栈代码解析功能说明运行结php果在当今,数据隐私保护变得尤为重要。随着越来越多的个人信息以电子形

C#实现系统信息监控与获取功能

《C#实现系统信息监控与获取功能》在C#开发的众多应用场景中,获取系统信息以及监控用户操作有着广泛的用途,比如在系统性能优化工具中,需要实时读取CPU、GPU资源信息,本文将详细介绍如何使用C#来实现... 目录前言一、C# 监控键盘1. 原理与实现思路2. 代码实现二、读取 CPU、GPU 资源信息1.

详解如何在React中执行条件渲染

《详解如何在React中执行条件渲染》在现代Web开发中,React作为一种流行的JavaScript库,为开发者提供了一种高效构建用户界面的方式,条件渲染是React中的一个关键概念,本文将深入探讨... 目录引言什么是条件渲染?基础示例使用逻辑与运算符(&&)使用条件语句列表中的条件渲染总结引言在现代

在C#中获取端口号与系统信息的高效实践

《在C#中获取端口号与系统信息的高效实践》在现代软件开发中,尤其是系统管理、运维、监控和性能优化等场景中,了解计算机硬件和网络的状态至关重要,C#作为一种广泛应用的编程语言,提供了丰富的API来帮助开... 目录引言1. 获取端口号信息1.1 获取活动的 TCP 和 UDP 连接说明:应用场景:2. 获取硬

SpringBoot使用Apache Tika检测敏感信息

《SpringBoot使用ApacheTika检测敏感信息》ApacheTika是一个功能强大的内容分析工具,它能够从多种文件格式中提取文本、元数据以及其他结构化信息,下面我们来看看如何使用Ap... 目录Tika 主要特性1. 多格式支持2. 自动文件类型检测3. 文本和元数据提取4. 支持 OCR(光学

C#实现获取电脑中的端口号和硬件信息

《C#实现获取电脑中的端口号和硬件信息》这篇文章主要为大家详细介绍了C#实现获取电脑中的端口号和硬件信息的相关方法,文中的示例代码讲解详细,有需要的小伙伴可以参考一下... 我们经常在使用一个串口软件的时候,发现软件中的端口号并不是普通的COM1,而是带有硬件信息的。那么如果我们使用C#编写软件时候,如