NeurIPS 2020-TinyNets-轻量级模型 | Model Rubik‘s Cube: Twisting Resolution, Depth and Width for TinyNets

Mark一下华为诺亚实验室的最新工作
论文地址：https://arxiv.org/pdf/2010.14819.pdf
Github地址：https://github.com/huawei-noah/CV-Backbones/tree/main/tinynet

Abstract：

为了获得出色的深度神经网络体系结构，在EfficientNets中精心设计了一系列技术。同时扩大分辨率，深度和宽度的巨大公式为我们提供了神经网络的魔方。这样我们就可以通过扭曲这三个维度来找到高效，高性能的网络。本文旨在探索以最小的模型大小和计算成本获得深层神经网络的twisting rule。与扩大网络不同，对于小型网络，我们观察到分辨率和深度比宽度更重要。因此，原始方法（即EfficientNet中的复合缩放）不再适用。为此，我们总结了一个小公式，可以通过一系列具有FLOPs约束的EfficientNet-B0衍生的较小模型来缩小神经体系结构的尺寸。使用ImageNet基准测试的实验结果表明，与使用invesed giant公式的较小版本的EfficientNets相比，我们的TinyNet性能要好得多。例如，我们的TinyNet-E仅2400万次FLOP即可达到59.9％的Top-1准确性，比以前的最佳MobileNetV3（具有相似的计算成本）高1.9％.

Introduction:

为了将网络部署在移动设备上，深度，宽度和图像分辨率会不断调整以减少内存和延迟。Efficient中分析了这3个维度对于网络结构的影响，并提出了复合缩放公式来搜索最优搭配的网络体系。

然而，本文通过扭曲基线EfficientNet B0的三个维度（r; d; w）随机生成100个模型。 这些模型的FLOPs小于或等于基线的FLOPs。 从上图中可以看出，最佳模型的性能比使用具有不同FLOPs的EfficientNet（绿线）invesed giant公式获得的模型的性能高约2.5％。本文研究了模型精度与三个维度（r; d; w）之间的关系，并为模型Rubik的立方体探索了一个小公式。

1.首先，本文发现在保持较小的神经体系结构的性能方面，分辨率和深度比宽度更重要。

2.然后，本文指出，由于分辨率的降低相对较大，因此invesed giant公式（即EfficientNets中的复合缩放方法）不再适合于设计用于移动设备的便携式网络。因此，本文通过大量的实验和观察为立方体探索了一个微小的公式。

Approach:

主要对r,d,w3个维度对于模型性能的重要性进行了实验分析，并提出了适用于小模型的Tiny公式。

A.Rethinking the Importance of (r; d;w)
为了探索r,d,w对于模型性能哪个更重要。本文在FLOPs约束下进行探索，该方法也可以应用于内存约束。 具体来说，给定基线CNN的FLOPs为C0，输入图像的分辨率为R0 x R0，宽度为W0，深度为D0。

如上图所示，对于分辨率而言，最高精度是在0.8到1.4范围内获得的。 当r <0.8时，分辨率越高，则精度越高；而当r> 1.4时，精度会略有下降。 至于深度，高性能模型的深度可能在0.5到2之间，也就是说，如果我们严格限制深度，可能会错过一些好的模型。 固定FLOPs时，宽度与精度大致呈负相关。 好的模型大多分布在w <1处。

此外 ，本文在图3中显示了这些选定模型的深度/宽度/分辨率与FLOPs之间的关系。计算Spearman相关系数（Spearmanr）以衡量深度/宽度/分辨率与FLOP之间的相关性。 根据图3中的结果，三个具有FLOPs的维度之间的相关性等级为r> d> w。 其中，Spearmanr分辨率得分为0.81，远高于宽度得分。

Tiny Formula for Model Rubik’s Cube

Experiments:

1.vs SOTA:

2.Inference latency:
3.GhostNet+Tiny: