本文主要是介绍YOLO算法改进Backbone系列之：CoaT，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
在本文中，我们提出了co-scale conv-attention image transformer（CoaT），这是一种基于Transformer的图像分类器，配备了co-scale和conv-attention机制。首先，co-scale机制在各个尺度上保持Transformer编码器支路的完整性，同时允许在不同尺度上学习到的特征能相互有效通信；我们设计了一系列串行和并行块来实现co-scale机制。其次，我们通过在因子化注意模块中实现相对位置嵌入公式，并采用高效的卷积实现，设计了一种conv-attention机制。CoaT使图像转换器具有丰富的多尺度和上下文建模功能。在ImageNet上，与类似大小的卷积神经网络和图像/视觉Transformer相比，相对较小的CoaT模型可以获得更好的分类结果。CoaT主干在目标检测和实例分割方面的有效性也得到了验证，证明了其适用于下游计算机视觉任务。
Conv-Attentional Mechanism 对来自输入的图像embeding应用第一个卷积位置编码。然后我们将其输入ConvAtt，包括因子分解的注意力和卷积相对位置编码，所得到的特征图将送入后续的前馈网络中。
CoaT Serial Block：以一个降低的分辨率建模图像表示。在一个典型的串行块中，首先使用patch embeding层按一定比例对输入特征映射进行下采样，然后将简化后的特征映射平化为一系列图像token序列。然后，将图像token与一个额外的分类token连接起来，并应用多个注意模块来学习图像token和CLS token之间的内部关系。最后，将分类token从图像token中分离出来，并将图像token重塑为下一个串行块的二维特征映射。
CoaT Parallel Block：作者实现了每个并行组中并行块之间的共尺度机制。在一个典型的并行组中，有来自具有不同尺度的串行块的输入特征序列。为了在平行组中实现精细到粗、粗到细和跨尺度的交互，作者开发了两种策略： (1)直接的跨层注意力；(2)具有特征插值的注意力。在本文中，采用特征插值法来提高更好的经验性能。
Direct cross-layer attention：在直接的跨层注意中，从每个尺度的输入特征中形成query、key和value向量。对于在同一层内的注意力机制，使用连续注意来处理来自当前规模的成query、key和value向量。对于不同层的注意力机制，对keys和value向量进行下采样或上采样，以匹配其他尺度的分辨率，从而实现细到粗和粗到细的交互。然后执行cross-attention，这扩展了从当前尺度的query与来自另一个尺度的keys和values。最后将conv attention和cross-attention的输出求和，并应用共享前馈层。在直接的跨层注意下，跨尺度信息以cross-attention的方式融合。
Attention with feature interpolation：不是直接进行跨层注意，而是用特征插值来表示注意力。首先对不同的尺度输入图像特征进行处理。然后使用双线性插值法对每个尺度的图像特征进行降采样或上采样，以匹配其他尺度的维度，或对其自身的尺度保持不变。将属于相同尺度的特征汇总为并行组，并将它们进一步传递到共享前馈层。这样下一步的注意模块可以基于当前步骤中的特征插值学习跨尺度信息。
CoaT模型变体信息如下表：
在YOLOv5项目中添加模型作为Backbone使用的教程：
（1）将YOLOv5项目的models/yolo.py修改parse_model函数以及BaseModel的_forward_once函数
（2）在models/backbone（新建）文件下新建Coat.py，添加如下的代码：
（3）在models/yolo.py导入模型并在parse_model函数中修改如下（先导入文件）：
（4）在model下面新建配置文件：yolov5_coat.yaml
（5）运行验证：在models/yolo.py文件指定–cfg参数为新建的yolov5_coat.yaml
这篇关于YOLO算法改进Backbone系列之：CoaT的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
