Labelhot和OneHot的使用

2024-09-06 06:32
文章标签 使用 onehot labelhot

本文主要是介绍Labelhot和OneHot的使用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

对于一些特征工程方面,有时会用到LabelEncoder和OneHotEncoder。

比如kaggle中对于性别,sex,一般的属性值是male和female。两个值。那么不靠谱的方法直接用0表示male,用1表示female 了。上面说了这是不靠谱的。

所以要用one-hot编码。

首先我们需要用LabelEncoder把sex这个属性列里面的离散属性用数字来表示,就是上面的过程,把male,female这种不同的字符的属性值,用数字表示。

以titanic 里面的train数据集为例.


Step1和step2解决的就是先fit所有样本的Sex属性值,就知道有多少个不同的属性值,有male和female,就用0和1表示,假如有3个不同的值,就用0,1,2表示。step2中transform操作就是转为数字表示形式。


但是转换成这样还不行,上面说过了,这样直接用数字表示的话,是不合理的,至于为什么不合理,待会引入scikit learn 中的原文。所以再把这些数字转化为one-hot编码形式。

这里就用OneHotEncoder



两行代码就把数值型表示转为了one-hot编码形式。



下面引入scikit learn中的OneHotEncoder的介绍。
http://scikit-learn.org/stable/modules/preprocessing.html#preprocessing
具体内容看上面链接,下面转载这个博客对一些文字的翻译
http://blog.csdn.net/google19890102/article/details/44039761

一、One-Hot Encoding

      One-Hot 编码,又称为一位有效编码,主要是采用 位状态寄存器来对 个状态进行编码,每个状态都由他独立的寄存器位,并且在任意时候只有一位有效。
有如下三个特征属性:

二、One-Hot Encoding的处理方法

三、实际的Python代码

    在实际的机器学习的应用任务中,特征有时候并不总是连续值,有可能是一些分类值,如性别可分为“ male ”和“ female ”。在机器学习任务中,对于这样的特征,通常我们需要对其进行特征数字化,如下面的例子:
  • 性别:["male","female"]
  • 地区:["Europe","US","Asia"]
  • 浏览器:["Firefox","Chrome","Safari","Internet Explorer"]
对于某一个样本,如[" male "," US "," Internet Explorer "],我们需要将这个分类值的特征数字化,最直接的方法,我们可以采用序列化的方式:[0,1,3]。但是这样的特征处理并不能直接放入机器学习算法中。
    对于上述的问题,性别的属性是二维的,同理,地区是三维的,浏览器则是思维的,这样,我们可以采用One-Hot编码的方式对上述的样本“ [" male "," US "," Internet Explorer "] ”编码,“ male ”则对应着[1,0],同理“ US ”对应着[0,1,0],“ Internet Explorer ”对应着[0,0,0,1]。则完整的特征数字化的结果为:[1,0,0,1,0,0,0,0,1]。这样导致的一个结果就是数据会变得非常的稀疏。



然后我主要介绍一下源文档的代码,
import numpy as np from sklearn.preprocessing 
import OneHotEncoder 
enc = OneHotEncoder() 
enc.fit( [[0, 0, 3], [1, 1, 0], [0, 2, 1],[1, 0, 2]] )  
print  "enc.n_values_ is:" ,enc.n_values_
print  "enc.feature_indices_ is:" ,enc.feature_indices_
print  enc.transform( [[0, 1, 1]] ).toarray()

enc.n_values_ is: [ 2  3  4 ]
enc.feature_indices_ is: [ 0  2  5  9 ]
[[ 1. 0. 0. 1. 0. 0. 1. 0. 0.]]



这个代码很容易理解,简单解释一下没我一开始也没整明白。

首先由四个样本数据 [0, 0, 3], [1, 1, 0], [0, 2, 1],[1, 0, 2],共有三个属性特征,也就是三列。比如第一列,有0,1两个属性值,第二列有0,1,2三个值.....

那么 enc.n_values_就是每个属性列不同属性值的个数,所以分别是2,3,4

再看 enc.feature_indices_是对 enc.n_values_的一个累加。

再看 [0, 1, 1]这个样本是如何转换为基于上面四个数据下的one-hot编码的。
第一列:0->10
第二列:1->010
第三列:1->0100

简单解释一下,在第三列有,0,1,2,3四个值,分别对应1000,0100,0010,0001.

这篇关于Labelhot和OneHot的使用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1141267

相关文章

Java中String字符串使用避坑指南

《Java中String字符串使用避坑指南》Java中的String字符串是我们日常编程中用得最多的类之一,看似简单的String使用,却隐藏着不少“坑”,如果不注意,可能会导致性能问题、意外的错误容... 目录8个避坑点如下:1. 字符串的不可变性:每次修改都创建新对象2. 使用 == 比较字符串,陷阱满

Python使用国内镜像加速pip安装的方法讲解

《Python使用国内镜像加速pip安装的方法讲解》在Python开发中,pip是一个非常重要的工具,用于安装和管理Python的第三方库,然而,在国内使用pip安装依赖时,往往会因为网络问题而导致速... 目录一、pip 工具简介1. 什么是 pip?2. 什么是 -i 参数?二、国内镜像源的选择三、如何

使用C++实现链表元素的反转

《使用C++实现链表元素的反转》反转链表是链表操作中一个经典的问题,也是面试中常见的考题,本文将从思路到实现一步步地讲解如何实现链表的反转,帮助初学者理解这一操作,我们将使用C++代码演示具体实现,同... 目录问题定义思路分析代码实现带头节点的链表代码讲解其他实现方式时间和空间复杂度分析总结问题定义给定

Linux使用nload监控网络流量的方法

《Linux使用nload监控网络流量的方法》Linux中的nload命令是一个用于实时监控网络流量的工具,它提供了传入和传出流量的可视化表示,帮助用户一目了然地了解网络活动,本文给大家介绍了Linu... 目录简介安装示例用法基础用法指定网络接口限制显示特定流量类型指定刷新率设置流量速率的显示单位监控多个

JavaScript中的reduce方法执行过程、使用场景及进阶用法

《JavaScript中的reduce方法执行过程、使用场景及进阶用法》:本文主要介绍JavaScript中的reduce方法执行过程、使用场景及进阶用法的相关资料,reduce是JavaScri... 目录1. 什么是reduce2. reduce语法2.1 语法2.2 参数说明3. reduce执行过程

如何使用Java实现请求deepseek

《如何使用Java实现请求deepseek》这篇文章主要为大家详细介绍了如何使用Java实现请求deepseek功能,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1.deepseek的api创建2.Java实现请求deepseek2.1 pom文件2.2 json转化文件2.2

python使用fastapi实现多语言国际化的操作指南

《python使用fastapi实现多语言国际化的操作指南》本文介绍了使用Python和FastAPI实现多语言国际化的操作指南,包括多语言架构技术栈、翻译管理、前端本地化、语言切换机制以及常见陷阱和... 目录多语言国际化实现指南项目多语言架构技术栈目录结构翻译工作流1. 翻译数据存储2. 翻译生成脚本

C++ Primer 多维数组的使用

《C++Primer多维数组的使用》本文主要介绍了多维数组在C++语言中的定义、初始化、下标引用以及使用范围for语句处理多维数组的方法,具有一定的参考价值,感兴趣的可以了解一下... 目录多维数组多维数组的初始化多维数组的下标引用使用范围for语句处理多维数组指针和多维数组多维数组严格来说,C++语言没

在 Spring Boot 中使用 @Autowired和 @Bean注解的示例详解

《在SpringBoot中使用@Autowired和@Bean注解的示例详解》本文通过一个示例演示了如何在SpringBoot中使用@Autowired和@Bean注解进行依赖注入和Bean... 目录在 Spring Boot 中使用 @Autowired 和 @Bean 注解示例背景1. 定义 Stud

使用 sql-research-assistant进行 SQL 数据库研究的实战指南(代码实现演示)

《使用sql-research-assistant进行SQL数据库研究的实战指南(代码实现演示)》本文介绍了sql-research-assistant工具,该工具基于LangChain框架,集... 目录技术背景介绍核心原理解析代码实现演示安装和配置项目集成LangSmith 配置(可选)启动服务应用场景