GiantPandaCV | 提升分类模型acc(一)：BatchSizeLARS

本文主要是介绍GiantPandaCV | 提升分类模型acc(一)：BatchSizeLARS，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

本文来源公众号“GiantPandaCV”，仅用于学术分享，侵权删，干货满满。

原文链接：提升分类模型acc(一)：BatchSize&LARS

在使用大的bs训练情况下，会对精度有一定程度的损失，本文探讨了训练的bs大小对精度的影响，同时探究Layer-wise Adaptive Rate Scaling（LARS）是否可以有效的提升精度。

论文链接:https://arxiv.org/abs/1708.03888
论文代码: https://github.com/NVIDIA/apex/blob/master/apex/parallel/LARC.py
知乎专栏: https://zhuanlan.zhihu.com/p/406882110

1 引言

如何提升业务分类模型的性能，一直是个难题，毕竟没有99.999%的性能都会带来一定程度的风险，所以很多时候我们只能通过控制阈值来调整准召以达到想要的效果。本系列主要探究哪些模型trick和数据的方法可以大幅度让你的分类性能更上一层楼，不过要注意一点的是，tirck不一定是适用于不同的数据场景的，但是数据处理方法是普适的。本篇文章主要是对于大的bs下训练分类模型的情况，如果bs比较小的可以忽略，直接看最后的结论就好了(这个系列以后的文章讲述的方法是通用的，无论bs大小都可以用)。

2 实验配置

模型：ResNet50
数据：ImageNet1k
环境：8xV100

3 BatchSize对精度的影响

我这里设计了4组对照实验，256, 1024, 2048和4096的batchsize，开了FP16也只能跑到了4096了。采用的是分布式训练，所以单张卡的bs就是bs = total_bs / ngpus_per_node。这里我没有使用跨卡bn，对于bs 64单卡来说理论上已经很大了，bn的作用是约束数据分布，64的bs已经可以表达一个分布的subset了，再大的bs还是同分布的，意义不大，跨卡bn的速度也更慢，所以大的bs基本可以忽略这个问题。但是对于检测的任务，跨卡bn还是有价值的，毕竟输入的分辨率大，单卡的bs比较小，一般4,8,16，这时候统计更大的bn会对模型收敛更好。

很明显可以看出来，当bs增加到4k的时候，acc下降了将近0.8%个点，1k的时候，下降了0.2%个点，所以，通常我们用大的bs训练的时候，是没办法达到最优的精度的。个人建议，使用1k的bs和0.4的学习率最优。

4 LARS(Layer-wise Adaptive Rate Scaling)

4.1. 理论分析

由于bs的增加，在同样的epoch的情况下，会使网络的weights更新迭代的次数变少，所以需要对LR随着bs的增加而线性增加，但是这样会导致上面我们看到的问题，过大的lr会导致最终的收敛不稳定，精度有所下降。

LARS代码如下：

class LARC(object):def __init__(self, optimizer, trust_coefficient=0.02, clip=True, eps=1e-8):self.optim = optimizerself.trust_coefficient = trust_coefficientself.eps = epsself.clip = clipdef step(self):with torch.no_grad():weight_decays = []for group in self.optim.param_groups:# absorb weight decay control from optimizerweight_decay = group['weight_decay'] if 'weight_decay' in group else 0weight_decays.append(weight_decay)group['weight_decay'] = 0for p in group['params']:if p.grad is None:continueparam_norm = torch.norm(p.data)grad_norm = torch.norm(p.grad.data)if param_norm != 0 and grad_norm != 0:# calculate adaptive lr + weight decayadaptive_lr = self.trust_coefficient * (param_norm) / (grad_norm + param_norm * weight_decay + self.eps)# clip learning rate for LARCif self.clip:# calculation of adaptive_lr so that when multiplied by lr it equals `min(adaptive_lr, lr)`adaptive_lr = min(adaptive_lr / group['lr'], 1)p.grad.data += weight_decay * p.datap.grad.data *= adaptive_lrself.optim.step()# return weight decay control to optimizerfor i, group in enumerate(self.optim.param_groups):group['weight_decay'] = weight_decays[i]

这里有一个超参数，trust_coefficient，也就是公式里面所提到的, 这个参数对精度的影响比较大，实验部分我们会给出结论。