ML_3 决策树 Entscheidungsbäume

2024-01-29 06:20
文章标签 决策树 ml ume entscheidungsb

本文主要是介绍ML_3 决策树 Entscheidungsbäume，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

这章就屡一下公式以及适用的方法
ID3–非增量过程
entropie 根据标签生成熵
在这里插入图片描述
计算每一个属性的熵之和相减
在这里插入图片描述
最大的Gewinn对应的属性最优
+Occam’s Razor+尽可能简单的结构，而ID3生成的树很容易很复杂
Overfitting 如果出现噪声，容易Overfitting
C4.5–改变了ID3通过生成的规则（剪枝）
由于Gewinn的方法，使得最优的属性更偏向于数据较少的一项
解决办法就是乘法属性采用比例的方式，通过判断GewinnAnteil在剪枝前后的变化来判断要不要剪枝，如果剪枝后GewinnAnteil增加就剪枝
在这里插入图片描述
ID5R–增量过程
跟ID3得到的结果其实是一样的，但是区别就是例子不断地在增加所以称之为增量过程
在这里插入图片描述
上图是两个例子得到的图，跟ID3的算法一样也是用Entropie判断的
但是再增加离子的时候，发现了不同的最优的属性来分类，所以变化了
在这里插入图片描述
想起了 周志华 机器学习里的决策树后面的小趣事，这个ID5R虽然从名字上看比较像是ID3的改进，但是不是ID3的本人，他的最终版是C4.5就是商业化的最终版，因为他想叫类似ID4，ID5这样的名字的时候被人抢了先机。

random forest

随机选属性组成很多的树，不剪枝
类似于adaboost，但是用的是boosting的方法，随机抽取例子，用树来判断，给树打分，然后就会得到一个有权重的大树。
对于大量数据很有效

这篇关于ML_3 决策树 Entscheidungsbäume的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/656004。

相关文章

决策树的实现原理与matlab代码

决策树的实现原理与matlab代码

很久不写博客了，感觉很长一段时间只是一味的看书，疏不知一味地看书、写代码会导致自己的思考以及总结能力变得衰弱。所以，我决定还是继续写博客。废话不多说了，今天想主要记录数据挖掘中的决策树。希望能够将自己的理解写得通俗易懂。 决策树是一种对实例分类的树形结构，树中包含叶子节点与内部节点。内部节点主要是数据中的某一特性，叶子节点是根据数据分析后的最后结果。 先看一组数据： 这组数据的特性包含
阅读更多...
机器学习（西瓜书）第 4 章决策树

机器学习（西瓜书）第 4 章决策树

4.1 决策树基本流程 决策树模型 基本流程 在第⑵种情形下，我们把当前结点标记为叶结点，并将其类别设定为该结点所含样本最多的类别；在第⑶种情形下，同样把当前结点标记为叶结点，但将其类别设定为其父结点所含样本最多的类别.注意这两种情形的处理实质不同：情形⑵是在利用当前结点的后验分布，而情形⑶则是把父结点的样本分布作为当前结点的先验分布. 基本算法 由算法4 .2可看出，决策树学习
阅读更多...
【机器学习-监督学习】决策树

【机器学习-监督学习】决策树

【作者主页】Francek Chen 【专栏介绍】 ⌈ ⌈ ⌈Python机器学习 ⌋ ⌋ ⌋ 机器学习是一门人工智能的分支学科，通过算法和模型让计算机从数据中学习，进行模型训练和优化，做出预测、分类和决策支持。Python成为机器学习的首选语言，依赖于强大的开源库如Scikit-learn、TensorFlow和PyTorch。本专栏介绍机器学习的相关算法以及基于Python的算法实现。
阅读更多...
【ML--05】第五课 如何做特征工程和特征选择

【ML--05】第五课 如何做特征工程和特征选择

一、如何做特征工程？ 1.排序特征：基于7W原始数据，对数值特征排序，得到1045维排序特征 2. 离散特征：将排序特征区间化（等值区间化、等量区间化），比如采用等量区间化为1-10，得到1045维离散特征 3. 计数特征：统计每一行中，离散特征1-10的个数，得到10维计数特征 4. 类别特征编码：将93维类别特征用one-hot编码 5. 交叉特征：特征之间两两融合，x+y、x-y、
阅读更多...
【ML--04】第四课 logistic回归

【ML--04】第四课 logistic回归

1、什么是逻辑回归？ 当要预测的y值不是连续的实数（连续变量），而是定性变量（离散变量），例如某个客户是否购买某件商品，这时线性回归模型不能直接作用，我们就需要用到logistic模型。 逻辑回归是一种分类的算法，它用给定的输入变量（X）来预测二元的结果（Y）（1/0,是/不是，真/假）。我们一般用虚拟变量来表示二元/类别结果。你可以把逻辑回归看成一种特殊的线性回归，只是因为最后的结果是类别变
阅读更多...
【ML--13】聚类--层次聚类

【ML--13】聚类--层次聚类

一、基本概念 层次聚类不需要指定聚类的数目，首先它是将数据中的每个实例看作一个类，然后将最相似的两个类合并，该过程迭代计算只到剩下一个类为止，类由两个子类构成，每个子类又由更小的两个子类构成。 层次聚类方法对给定的数据集进行层次的分解，直到某种条件满足或者达到最大迭代次数。具体又可分为： 凝聚的层次聚类（AGNES算法）：一种自底向上的策略，首先将每个对象作为一个簇，然后合并这些原子簇为越来
阅读更多...
Spark2.x 入门：决策树分类器

Spark2.x 入门：决策树分类器

一、方法简介 ​ 决策树（decision tree）是一种基本的分类与回归方法，这里主要介绍用于分类的决策树。决策树模式呈树形结构，其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一种类别。学习时利用训练数据，根据损失函数最小化的原则建立决策树模型；预测时，对新的数据，利用决策树模型进行分类。 决策树学习通常包括3个步骤：特征选择、决策树的生成和决策树的剪枝。
阅读更多...
第L5周：机器学习：决策树（分类模型）

第L5周：机器学习：决策树（分类模型）

🍨 本文为🔗365天深度学习训练营 中的学习记录博客🍖 原作者：K同学啊 目标： 1. 决策树算法是一种在机器学习和数据挖掘领域广泛应用的强大工具，它模拟人类决策过程，通过对数据集进行逐步的分析和判定，最终生成一颗树状结构，每个节点代表一个决策或一个特征。决策树的核心思想是通过一系列问题将数据集划分成不同的类别或值，从而实现对未知数据的预测和分类。这一算法的开发灵感源自人类在解决问题
阅读更多...
机器学习项目——基于机器学习（决策树 随机森林 朴素贝叶斯 SVM KNN XGBoost）的帕金森脑电特征识别研究（代码/报告材料）

机器学习项目——基于机器学习（决策树 随机森林 朴素贝叶斯 SVM KNN XGBoost）的帕金森脑电特征识别研究（代码/报告材料）

完整的论文代码见文章末尾 以下为核心内容和部分结果 问题背景 帕金森病（Parkinson’s Disease, PD）是一种常见的神经退行性疾病，其主要特征是中枢神经系统的多巴胺能神经元逐渐丧失，导致患者出现运动障碍、震颤、僵硬等症状。然而，除运动症状外，帕金森病患者还常常伴有一系列非运动症状，其中睡眠障碍是最为显著的非运动症状之一。 脑电图（Electroencephalogram, E
阅读更多...
分类预测|基于蜣螂优化极限梯度提升决策树的数据分类预测Matlab程序DBO-Xgboost 多特征输入单输出 含基础模型

分类预测|基于蜣螂优化极限梯度提升决策树的数据分类预测Matlab程序DBO-Xgboost 多特征输入单输出 含基础模型

分类预测|基于蜣螂优化极限梯度提升决策树的数据分类预测Matlab程序DBO-Xgboost 多特征输入单输出 含基础模型 文章目录 一、基本原理1. 数据准备2. XGBoost模型建立3. DBO优化XGBoost参数4. 模型训练5. 模型评估6. 结果分析与应用原理总结 二、实验结果三、核心代码四、代码获取五、总结 分类预测|基于蜣螂优化极限梯度提升决策树的数据分类
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2