本文主要是介绍Unet改进1:更换不同的激活函数,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
本篇内容:将unet中卷积模块的RELU激活函数替换为不同的激活函数,提高模型性能!
激活函数在人工神经网络(ANN)中起着至关重要的作用,它们是引入非线性特性的关键,使得神经网络能够学习和逼近复杂的非线性函数。如果没有激活函数,神经网络的每一层输出都是上一层输入的线性组合,这样的网络无论层数多少,整体仍然是线性的,无法处理复杂的模式。
目录
1.步骤一
2.步骤二
3.步骤三
1.步骤一
在models/unet_parts.py添加如下代码:
########新增
class Conv(nn.Module):# Standard convolutiondef __init__(self, c1, c2, k=3): # ch_in, ch_out, kernel, stride, padding, groupssuper(Conv, self).__init__()self.conv = nn.Conv2d(c1, c2, k, padding=1, bias=False)self.bn = nn.BatchNorm2d(c2)#self.act = nn.SiLU()#self.act = nn.LeakyReLU(0.1)self.act = nn.ReLU(inplace=True)#self.act = MetaAconC(c2)#self.act = AconC(c2)#self.act = Mish()#self.act = Hardswish()#s
这篇关于Unet改进1:更换不同的激活函数的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!