首页
Python
Java
前端
数据库
Linux
Chatgpt专题
开发者工具箱
分箱专题
Pandas-高级处理(八):数据离散化【pandas.cut:根据指定分界点对连续数据进行分箱处理】【pandas.qcut:指定箱子的数量对连续数据进行等宽分箱处理】【get_dummies】
Python实现连续数据的离散化处理主要基于两个函数:pandas.cut和pandas.qcut,pandas.cut根据指定分界点对连续数据进行分箱处理,pandas.qcut可以指定箱子的数量对连续数据进行等宽分箱处理(注意:所谓等宽指的是每个箱子中的数据量是相同的) 应用cut、qcut实现数据的区间分组应用get_dummies实现数据的one-hot编码 数据离散化 可以用来减少
阅读更多...
特征变换,分箱
特征变换 分箱 为什么分箱 连续数值离散化 降低异常值带来的影响 提升模型的稳定性 如何分箱 等频 等距 卡方 风控场景下常用 决策树
阅读更多...
卡方最优分箱
```pythondef Chi2(df, total_col, bad_col,overallRate):'''#此函数计算卡方值:df dataFrame:total_col 每个值得总数量:bad_col 每个值的坏数据数量:overallRate 坏数据的占比: return 卡方值'''df2=df.copy()df2['expected']=df[total_col].apply(
阅读更多...
评分卡的建立方法——分箱、WOE、IV、分值分配
信用评分卡模型在国外是一种成熟的预测方法,尤其在信用风险评估以及金融风险控制领域更是得到了比较广泛的使用,其原理是将模型变量WOE编码方式离散化之后运用logistic回归模型进行的一种二分类变量的广义线性模型。 本文重点介绍模型变量WOE以及IV原理,为表述方便,本文将模型目标标量为1记为违约用户,对于目标变量为0记为正常用户;则WOE(weight of Evidence)其实
阅读更多...
数据分析--客户价值分析RFM(分箱法/标准化)
原数据 原数据如果有异常或者缺失等情况,要先对数据进行处理 ,再进行下面的操作,要不然会影响结果的正确性 一、根据RFM计算客户价值并对客户进行细分 1. 数据预处理 1.1 创建视图存储 R、F、M的最大最小值 创建视图存储R 、F、M 的最大最小值,为指标的离散提供数据 create view RFM_maxmin24(maxR,minR,maxF,mi
阅读更多...
在 AWS EKS 中通过对 ClickHouse Pod 进行分箱来节省数百万美元
本文字数:5025;估计阅读时间:13 分钟 作者:Vinay Suryadevara & Jianfei Hu 审校:庄晓东(魏庄) 本文在公众号【ClickHouseInc】首发 介绍 在 ClickHouse Cloud,我们热爱 Kubernetes,并在 Kubernetes 中运行客户 ClickHouse 的集群(servers和keeper
阅读更多...
PHAMB: 病毒数据分箱
Genome binning of viral entities from bulk metagenomics data | Nature Communications 安装 ### New dependencies *Recommended*conda install -c conda-forge mambamamba create -n phamb python=3.9cond
阅读更多...
【特征工程】特征分箱
对数据分析、机器学习、数据科学、金融风控等感兴趣的小伙伴,需要数据集、代码、行业报告等各类学习资料,可添加微信:wu805686220(记得要备注喔!),也可关注微信公众号:风控圏子(别打错字,是圏子,不是圈子,算了直接复制吧!) 关注公众号后,可联系圈子助手加入如下社群: 机器学习风控讨论群(微信群)反欺诈讨论群(微信群)python学习交流群(微信群)研习社资料(qq群:
阅读更多...
Pandas实战100例 | 案例 13: 数据分类 - 使用 `cut` 对数值进行分箱
案例 13: 数据分类 - 使用 cut 对数值进行分箱 知识点讲解 在数据分析中,将连续的数值数据分类成不同的区间(或“分箱”)是一种常见的做法。Pandas 提供了 cut 函数,它可以根据你指定的分箱边界将数值数据分配到不同的类别中。 使用 cut 进行分箱: 你可以指定一系列的边界来定义分箱,然后将这些边界应用于数据列。cut 还允许你为每个箱指定标签。 示例代码 # 使用 c
阅读更多...
Python数据科学视频讲解:特征决策树分箱
5.3 特征决策树分箱 视频为《Python数据科学应用从入门到精通》张甜 杨维忠 清华大学出版社一书的随书赠送视频讲解5.3节内容。本书已正式出版上市,当当、京东、淘宝等平台热销中,搜索书名即可。内容涵盖数据科学应用的全流程,包括数据科学应用和Python的入门,数据清洗与特征工程,以及数据挖掘与建模、数据可视化等。 针对数据分析或机器学习推荐两本入门级的图书:《Python机器学习
阅读更多...
评分卡应用 - 利用Toad进行有监督分箱(卡方分箱/决策树分箱)
toad是针对工业届建模而开发的工具包,针对风险评分卡的建模有针对性的功能。toad持续更新优化中,本教程针对toad的各类主要功能进行介绍, 包括: EDA相关功能如何使用toad高效分箱并进行特征筛选WOE转化逐步回归特征筛选模型检验和评判标准评分卡转化和输出其他功能 中文教程:toad使用教程 文章目录 1 Toad — EDA 工具2 变量的iv值 —— quality2.
阅读更多...
[黑马程序员Pandas教程]——分组与分箱
目录: 学习目标分组对象DataFrameGroupBy 数据准备df.groupby分组函数返回分组对象分组对象其他API 取出每组第一条或最后一条数据获取分组后每组的名称gs.get_group()按分组依据获取其中一组分组聚合 分组后直接聚合分组后指定单列或多列聚合分组后使用多个聚合函数分组后对多列分别使用不同的聚合函数分组后使用自定义聚合函数分组转换聚合 分组后指定列数据转换聚合分组后使
阅读更多...
机器学习之IV编码,分箱WOE编码
IV的概念与作用 全称是Information Value,中文的意思是信息价值,或者信息量 作用: 1、构建分类模型时,经常需要对特征进行筛选。2、挑选特征的过程考虑的因素比较多,最主要和最直接的衡量标准是特征的预测能力,而IV就是用来衡量自变量(也就是特征)的预测能力IV需要用到WOE,而WOE是建立在分箱之上的 分箱: 数据分箱:是一种数据预处理技术,用于减少次要观察误差的
阅读更多...