机器学习(三)决策树算法Decision Tree

       上面两篇博客对机器学习有了简单的介绍，并介绍了机器学习中的一些基本的概念；下面我们来介绍机器学习中的第一个算法决策树算法DT（Decision Tree）。

        介绍Decision Tree之前我先来引入一些经典的小例子来说明什么是决策树。如下面的图：

       在当今这个社会尤其是我们这群程序员对象是一个很头疼的问题，于是就出现了非诚勿扰，缘来了，等等一些大型的综艺节目，有些时候由于子女工作忙的原因，于是有些地方也就出现了父母替子女见面，父母替子女见对方，不像年轻的子女一样看脸，而是内心默默的出现了一些评判标准，于是上面图片的分叉树就产生了，比如年龄最高不能超过30岁，否则不见，年龄在30岁以下，再看相貌，如果相貌难以接受，不见，如果相貌可以接受，于是现实问题就来了，收入怎么样，收入高的见，收入低的不见（不能让孩子吃苦啊），收入中等呢再看有没有铁饭碗，有呢就见，没有呢就不见，慢慢在无数父母中间就形成了这么一套不成文的规则，慢慢的被大家接受。但是呢，父母最终的愿望就是子女能幸福。有心的人看着上面的那副图片，有没有像我们数据结构常说的分叉树呢？可是我这分叉树代表了一些父母的决策，于是乎有了很高大上的名字-------决策树DT（Decision Tree）。当然决策树的典故肯定不是我说的这样，我只是想让大家形象的知道什么是决策树。其实上面的介绍父母给自己子女选择对象时，就很好的执行了机器学习中的决策树算法。其中绿色的圆圈就代表了一些判断条件和机制，而深橙色的圆圈就代表某一个实体在这个决策树中的执行结果-----见或者不见。

       上面的图片也很好的体现了决策树算法，其中age是根节点，credit_rating是叶节点，yes是树叶，那条指着黑色线连接age和credit_rating的红色箭头是分支即判断条件。

       下面来说一说决策树的概念及其定义。

        决策树是在已经知道的各种情况的发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于0的概率，来评价一件事的风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一种预测模型，它代表了对象属性与对象值之间的一种映射关系。

        决策树又称判定树：英文名字是Decision Tree；决策树是类似于流程图的树形结构，其中每个内部节点表示在一个属性上的测试，每个分支代表一个属性的输出，而每个树叶节点代表类或者类分布。树的最顶层是根节点。