深度学习笔记(3)：1.8-1.12 同人的表现比较(comparing to human-level performance)

这几小节我们主要介绍人类水平以及将机器学习同人的表现相比较的原因。

1.8 为什么是人的表现(why human-level performance)

首先是为什么要将机器学习同人的表现相比较，因为我们发现将机器学习同人的表现相比较时，特别是在人类能够做得很好的事情上，比如图片识别、音频识别等，能够大大提高工作效率。为什么这么说呢？

用一个图和一些简单的例子来解释一下，如下图所示：

假设横轴是你和你们团队在某一工程上所花费的时间，可能是几个月甚至几年，纵轴表示你们的评价标准，而蓝虚线表示人类水平，绿虚线表示贝叶斯误差。

贝叶斯误差(bayes error/bayes optimal error)，是指你无法通过任何方法设计出x到y的映射使其能够超越的准确度，也称best possible error，即即使使用最优模型，也无法避免这一误差。

你会发现，在你的评价标准准确率未达到人类水平之前，你的模型发展很快，你能够在很短的时间内将模型性能提升到人类水平，但是一旦当模型的性能超过了人类水平，模型就提升地很慢，你可能会通过扩大模型和使用更多数据来继续提升模型性能，但模型有一个理论上无法超越的上限，我们称之为贝叶斯误差。

为什么学习曲线在超过人类水平后变平缓呢？原因有两个，首先是在很多任务中，人类表现的都很好，这时人类水平已经离贝叶斯误差不远了，比如人类非常擅长看图像以及听写音频，所以当模型表现超过人类水平时，也就没有多少空间供你改善了；第二个原因是当你的模型性能未达到人类水平时，你可以通过一些工具去提高模型性能，而一旦超过人类水平，这些工具就没那么好用了，这也是学习曲线变缓的原因。

那为什么我们要将机器学习模型同人类水平相比较呢？

将机器学习模型同人类水平相比较是因为人类在许多任务中都表现很好，而我们可以利用这一点去提高模型性能。只要机器学习模型比人类水平表现还差，我们就可以使用一些工具和策略去提升模型性能。比如人为标记图片来扩大可以用于训练的数据集；也可以从人类行为获得一些改进模型的点子；也可以更好地分析偏差和方差。这些策略具体如何理解请看后续小节。

1.9 可避免偏差(avoidable bias)

通过学习这一小节你将知道如何通过同人类水平比较更好地分析偏差和方差。如下图所示：