2019“智见AI” Spring Camp 知识点简要汇总-卷积网络模型设计方向

卷积网络模型设计方向

1. 代季峰《卷积神经网络中的几何形变建模》

   • 由于构造卷积神经网络 (CNN) 所用的模块中几何结构是固定的，其几何变换建模的能力本质上是有限的。之前的网络保持空间不变性都是通过仿射变换等形式，但仿射变换仍然具有局限性和固定性，不能很好的泛化到各种形变中

   • Spatial Transformaer Network(STN)网络通过引入localisation net网络来学习相应的仿射变换参数，然后通过Grid generator找到V对应的U的坐标，然后再通过坐标和参数对V进行填充，这样就可以有效的适应到各种形变。
     

   • 但STN的缺点在于仍然局限在仿射变换中，因此提出了Deformable Convolution Network(DCN)对CNN的常规卷积模块进行二位偏移，从网络结构入手，不需要额外的监督信号，且能很容易进行标准反向传播端到端的训练，从而增加网络的几何变换建模能力。[可变形卷积 (deformable convolution) 和可变形兴趣区域池化 (deformable ROI pooling)]
     

   • DCNv2用了更好的visualization来更深入的理解DCNv1为什么work以及还存在什么缺陷
     
     得出的结论是：

     1. 传统的Conv还是能一定程度上建模几何变换的
     2. 加入DCN后对几何变换的建模能力得到了提升，前景对应的特征点能更多的覆盖整个物体，背景对应的特征点能更多的包含context。
     3. 但是spatial support是不精确的，前景的effective receptive field和error-bounded saliency region还是会有一些无关的背景混入

     解决方法：

     1. 增加更多的Deformable Convolution
     2. 让Deformable Conv不仅能学习offset，还能学习每个采样点的权重（modulation）
        
     3. R-CNN Feature Mimicking（knowledge distillation）
        因为R-CNN学到的focus在物体上的feature可以解决redundant context的问题。
        
        

2. 张祥雨《高效轻量级深度模型的研究与实践》
   高效轻量级模型部分主要讲了三部分：轻量级架构、模型搜索和模型裁剪，主要听了轻量级架构部分。

   1. shuffleNet
      但分组后Group之间相互无交流，影响了网络的准确率，因此，提出了channel shuffle来加强group之间的联系
      
   2. 针对shuffleNet的问题，提出了shuffleNet v2.
      依据指导准则去修改网络架构，达到轻量级高性能。

3. 黄高《面向快速推理的卷积神经网络结构设计》
   参考博客：https://blog.csdn.net/qq_31049727/article/details/89343418

   1. DenseNet：优点 Dense and Slim
      ResNet的优点在于使不同尺度的感受野混合，从而构建多尺度的感受野。DenseNet则更加充分的混合了不同尺度的感受野，使网络结构的含义更加丰富和多元化。
      

   2. 组卷积
      

   3. Dilated Convolution
      

   4. Multi-Scale features

      • 样本分析时，发现样本具有差异性，无论对人眼还是网络，都可分为easy和hard识别。
      • 那既然样本具有差异性，我们就可以用不同的网络结构去适应这种差异性，减少网络的运算量。
        
      • 训练时，会把所有图像放入所有网络中进行训练。测试时，如果浅层网络分类就具有较高的置信度，则不再放入深层网络进行分类，减少简单图片的计算量。

   5. 问题总结：
      Design：怎样去设计一个高效且合适的网络结构？
      Training：怎样去高效的去训练一个动态网络？
      Evaluation：怎样去高效地进行动态评估？
      For other task：怎样将这个应用于其他的任务上？
      Spatial or Temporal：到底是时域还是空域自适应？