本文主要是介绍nn.BCELoss与nn.CrossEntropyLoss的区别,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
nn.BCELoss与nn.CrossEntropyLoss的区别
最近的工程涉及到超分辨率增强的相关研究,阅读SRGAN的源代码的时候发现,在损失函数的设置上,生成器和判别器分别用了不同的损失函数:
self.criterionG = nn.MSELoss()self.criterionD = nn.BCELoss()
并且,判别器使用的是BCELoss,经过查询,把nn.BCELoss与nn.CrossEntropyLoss的区别在这里写一下,避免遗忘。
首先是共性:
BCELoss是Binary CrossEntropyLoss的缩写,BCELoss CrossEntropyLoss的一个特例,只用于二分类问题,而CrossEntropyLoss可以用于二分类,也可以用于多分类。
区别:
使用nn.BCELoss需要在该层前面加上Sigmoid函数。
使用nn.CrossEntropyLoss会自动加上Softmax层。
此外,如果你也是从GitHub上Clone的PyTorch版本的SRGAN代码,需要注意在solver中的train函数中,判别器的Loss是直接使用的生成图与GroundTruth的像素MSE,而非原论文中的VGG提取特征MSE,即:
# 这个地方(👇)是直接用生成器生成的图,和GroundTruth计算的MSE,而原论文里好像是用VGG提取特征再计算MSEmse_loss = self.criterionG(g_real, target)
这篇关于nn.BCELoss与nn.CrossEntropyLoss的区别的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!