本文主要是介绍【光流】——liteflownet2论文与代码浅析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
光流,liteflownet
code from:mmflow
上图就是光流中的核心三大件:
- feature warp
- corse to fine infer
- flow regularization
1. 训练细节
主要的深度学习网络都是所有模块一起训练的,光流训练比较困难,在训练技巧上可做的技巧比较多。
采用分阶段的训练,一个模块一个模块的训练。
- 先训练NetC和NetE中的 M 6 : S 6 M_{6}:S_{6} M6:S6 300k个迭代
- R 6 R_{6} R6和前面已经训练好部分在训练300个迭代
- k ∈ [ 5 , 2 ] , M k : S k a n d R k k \in[5, 2], M_{k}:S_{k} and R_{k} k∈[5,2],Mk:SkandRk 每次加一个level到前面已经训练好的网络上,这部分共训练240k个迭代
- 最后的剩下的网络模块加上之后训练300k个迭代
- liteflownet2用了5.5天,liteflownet则用了8天。
- 采用这种one block by one block的训练,liteflownet2的精度比liteflownet更好
- 6至4、3和2级的学习率最初分别设置为1e-4、5e-5和4e-5。从120K、160K、200K和240K迭代开始,我们将其减少了2倍。我们使用相同的批大小8、数据集分辨率(随机裁剪:448×320)、损失权重(级别6到2:0.32、0.08、0.02、0.01、0.0.05)、训练损失(L2流误差)、Adam优化(γ=0.5、权重衰减=4e-4)、数据增强(包括噪声注入)、扩展地面真实流(1/20倍)作为FlowNet2[1]。此外,我们对每个推断的流场都使用一个训练损失。
总结
总体是在liteflownet的基础上对网络的channel数等结构进行简单的调整,在网络训练上做了很多技巧干货的尝试。
这篇关于【光流】——liteflownet2论文与代码浅析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!