机器学习系列---从【奥卡姆剃刀原则】到【没有免费午餐定理】

在具体讲没有免费午餐定理之前，先来看一下崇尚简单的【奥卡姆剃刀原则】：

"奥卡姆"是提出者的名字，"剃刀"指的是剃除旧社会思想的意思，由此可以看出【奥卡姆剃刀原则】是源自哲学领域。
既然是剔除旧社会思想，也就是崇尚简单，这也就是奥卡姆剃刀原则的内容:“简单的是最好的”。
其实这个思想应用在机器学习领域时是有很多人有疑问的:“真的简单的就是最好的吗？”

这就引出了下面的"没有免费午餐定理(NFL)":

没有免费午餐定理【No Free Lunch Theorem】:如果我们不对特征空间做任何先验假设，那么所有算法的平均表现将是一样的。

简单来说:没有一种算法用在所有情况上的平均表现会更优秀，也就是说没有更好的午餐(免费的午餐)供所有问题使用。

那你可能会问:既然大家都一样，那还构造这么多的机器学习算法干啥？

其实问题出在"平均表现"上，既是"平均"也就是要遍历所有情况，而这在现实中是不可能的，因为我们面对的问题是具体的某一个或某几个问题，不可能是所有的问题。虽然所有的机器学习算法对全部问题的平均表现是一样的，但面对具体的一个问题时它们的表现却可以是各异的，因为这个问题表现好点，那个问题表现差点平均起来还可以是一样的。

下面我们用一个例子来诠释【没有免费午餐定理】：

总结:

1.对于具体的问题来说，没有先验假设的话,所有的机器学习算法理论上效果是一样的；

2.对于所有的问题来说，你找不到一个机器学习算法适用于所有的问题并且平均效果最好；

3.对于具体的机器学习算法来说，虽然对所有问题的平均表现一样，但是对具体的有先验假设的问题来说，可能"东边不亮西边亮"，这个问题表现的会更好。

总的一句话：没有免费的午餐(某种机器学习算法)更加适用于所有的问题，更加适合没有任何先验假设的问题。但是对于具体的有一些特征假设的问题来说，不同机器学习算法还是不一样的。

最后补充一句个人理解的 “免费午餐”：如果午餐免费那么每个人就都会想用这个午餐。放在机器学习里就是 如果有这么一个算法更加适合没有任何假设的问题或更加适合所有问题，那么大家就会非常想用这个算法，因为相对于其他算法付出的错误成本更少，相对更"免费"，也就是免费的午餐。