本文主要是介绍DataWhale-202110 树模型与集成学习（第一次），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
DataWhale-202110 树模型与集成学习
- 信息论的基础
- 节点纯度
- 不确定性函数 H ( P ) H(P) H(P)
- 决策树分裂
- 信息增益
- 分类树的节点分裂
- 深度优先增长于最佳增益增长
- CART树
- 均方误差（熵）平均绝对误差（条件熵）
- 决策树剪枝
- 知识回顾
- 第一题
- 第二题
- 第三题
- 第四题
- 处理连续值（转发）
- 处理缺失值
- 第五题
- 第六题
信息论的基础
正如文档里面所说的一样，树具有一定的天然分支结构，在机器学习中有分类与回归两大问题，而分类问题中，树的分支结构起到一定的关键作用，首先引入的是节点纯度的概念
节点纯度
节点纯度反映的是节点样本标签的不确定性，当一个节点纯度较低的时候，说明分类的不确定性较高，而节点纯度较高的时候，代表着我们能够把握这个节点的具体信息，确定性较高
不确定性函数 H ( P ) H(P) H(P)
H ( p 1 , . . . , p n ) = − C ∑ i = 1 n p i log p i H(p_1,...,p_n)=-C\sum_{i=1}^np_i\log p_i H(p1,...,pn)=−Ci=1∑npilogpi
其中满足信息熵条件是：
- H H H关于 p i p_i pi是连续函数。
- 若 p 1 = . . . = p n p_1=...=p_n p1=...=pn，则 H H H关于 n n n单调递增。
- 若将某一个 p i p_i pi拆分为 p i 1 p_{i1} pi1和 p i 2 p_{i2} pi2，即 p i 1 + p i 2 = p i p_{i1}+p_{i2}=p_i pi1+pi2=pi，则
H ( p 1 , . . . , p i − 1 , p i + 1 , . . . , p n , p i 1 , p i 2 ) = H ( p 1 , . . . , p n ) + p i H ( p i 1 p i , p i 2 p i ) H(p_1,...,p_{i-1},p_{i+1},...,p_n,p_{i1},p_{i2})=H(p_1,...,p_n)+p_iH(\frac{p_{i1}}{p_i}, \frac{p_{i2}}{p_i}) H(p1,...,pi−1,pi+1,...,pn,pi1,pi2)=H(p1,...,pn)+piH(pipi1,pipi2)
对于定义在有限状态集合 { y 1 , . . . , y K } \{y_1,...,y_K\} {y1,...,yK}上的离散变量而言，对应信息熵的最大值在离散均匀分布时取到，最小值在单点分布时取到。此时，离散信息熵为
H ( Y ) = − ∑ k = 1 K p ( y k ) log 2 p ( y k ) H(Y)=-\sum_{k=1}^K p(y_k)\log_2p(y_k) H(Y)
这篇关于DataWhale-202110 树模型与集成学习（第一次）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
