本文主要是介绍【深度学习 误差计算】10分钟了解下均方差和交叉熵损失函数,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
常见的误差计算函数有均方差、交叉熵、KL 散度、Hinge Loss 函数等,其中均方差函数和交叉熵函数在深度学习中比较常见,均方差主要用于回归问题,交叉熵主要用于分类问题。下面我们来深刻理解下这两个概念。
1、均方差MSE。
预测值与真实值之差的平方和,再除以样本量。
均方差广泛应用在回归问题中,在分类问题中也可以应用均方差误差。
2、交叉熵
再介绍交叉熵损失函数之前,我们首先来介绍信息学中熵(Entropy)的概念。1948 年,Claude Shannon 将热力学中的熵的概念引入到信息论中,用来衡量信息的不确定度。熵在信息学科中也叫信息熵,或者香农熵。熵越大,代表不确定性越大,信息量也就越大。某个分布 (𝑖)的熵定义为
实际上,𝐻(p )也可以使用其他底数的log函数计算。举个例子,对于 4 分类问题,如果某个样本的真实标签是第 4 类,one-hot 编码为[0,0,0,1],即这张图片的分类是唯一确定的,它属于第 4 类的概率P (y 𝑖s 4|𝑦) = 1,不确定性为 0,它的熵可以简单的计算为
也就是,对于确定的分布,熵为 0,即不确定性最低。分类问题的 One-hot 编码的分布就是熵为 典型的例子。
这篇关于【深度学习 误差计算】10分钟了解下均方差和交叉熵损失函数的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!