lab blog

深浅模式

RFAConv ​

一、本文介绍 ​

本文给大家带来的改进机制是RFAConv，全称为Receptive-Field Attention Convolution，是一种全新的空间注意力机制。与传统的空间注意力方法相比，RFAConv能够更有效地处理图像中的细节和复杂模式(适用于所有的检测对象都有一定的提点)。这不仅让YOLOv8在识别和定位目标时更加精准，还大幅提升了处理速度和效率。本文章深入会探讨RFAConv如何在YOLOv8中发挥作用，以及它是如何改进在我们的YOLOv8中的。我将通过案例的角度来带大家分析其有效性(结果训练结果对比图)。

二、RFAConv结构讲解 ​

​

论文地址：官方论文地址

代码地址：官方代码地址

​

2.1、RAFCAonv主要思想 ​

RFAConv（Receptive-Field Attention Convolution）的主要思想是将空间注意力机制与卷积操作相结合，从而提高卷积神经网络（CNN）的性能。这种方法的核心在于优化卷积核的工作方式，特别是在处理感受野内的空间特征时。以下是RFAConv的几个关键思想：

1. 感受野空间特征的重点关注：RFAConv特别关注于感受野内的空间特征，不仅仅局限于传统的空间维度。这种方法允许网络更有效地理解和处理图像中的局部区域，从而提高特征提取的精确性。

2. 解决参数共享问题：在传统的CNN中，卷积核在处理不同区域的图像时共享同样的参数，这可能限制了模型对于复杂模式的学习能力。RFAConv通过引入注意力机制，能够更灵活地调整卷积核的参数，针对不同区域提供定制化的处理。

3. 提高大尺寸卷积核的效率：对于大尺寸卷积核，仅使用标准的空间注意力可能不足以捕获所有重要的信息。RFAConv通过提供有效的注意力权重，使得大尺寸卷积核能够更有效地处理图像信息。

总结：RFAConv通过结合空间注意力和感受野特征的处理，为卷积神经网络提供了一种新的、更高效的方式来提取和处理图像特征，尤其是在处理复杂或大尺寸的输入时。

下面我来分别介绍这几点->

2.2、感受野空间特征 ​

感受野空间特征是指卷积神经网络（CNN）中，卷积层能“看到”的输入数据的局部区域。在CNN中，每个卷积操作的输出是基于输入数据的一个小窗口，或者说是一个局部感受野。这个感受野定义了卷积核可以接触到的输入数据的大小和范围。

感受野的概念对于理解CNN如何从输入数据中提取特征是至关重要的。在网络的初级层，感受野通常很小，允许模型捕捉到细微的局部特征，如边缘和角点。随着数据通过更多的卷积层，通过层层叠加，感受野逐渐扩大，允许网络感知到更大的区域，捕捉到更复杂的特征，如纹理和对象的部分。

在CNN的上下文中，感受野空间特征指的是每个卷积操作能够感知的输入图像区域中的特征。这些特征可以包括颜色、形状、纹理等基本视觉元素。在传统的卷积网络中，感受野通常是固定的，并且每个位置的处理方式都是相同的。但是，如果网络能够根据每个区域的不同特点来调整感受野的处理方式，那么网络对特征的理解就会更加精细和适应性更强。

上图展示了一个3x3的卷积操作。在这个操作中，特征是通过将卷积核与同样大小的感受野滑块相乘然后求和得到的。具体来说，输入图像X上的每一个3x3的区域（即感受野）都被一个3x3的卷积核K处理。每个感受野内的元素,Xi,j（其中i和j表示在感受野内的位置）都与卷积核K内对应位置的权重Ki,j,相乘，然后这些乘积会被求和得到一个新的特征值F。这个过程在整个输入图像上滑动进行，以生成新的特征图。这种标准的卷积操作强调了局部连接和权重共享的概念，即卷积核的权重对整个输入图。

总结：在RFAConv中，感受野空间特征被用来指导注意力机制，这样模型就不仅仅关注于当前层的特定区域，而是根据输入数据的复杂性和重要性动态调整感受野。通过这种方式，RFAConv能够为不同区域和不同尺寸的感受野提供不同的处理，使得网络能够更加有效地捕捉和利用图像中的信息。

2.3、解决参数共享问题 ​

RFAConv卷积以解决参数共享问题，RFAConv通过引入注意力机制，允许网络为每个感受野生成特定的权重。这样，卷积核可以根据每个感受野内的不同特征动态调整其参数，而不是对所有区域一视同仁。

具体来说，RFAConv利用空间注意力来确定感受野中每个位置的重要性，并据此调整卷积核的权重。这样，每个感受野都有自己独特的卷积核，而不是所有感受野共享同一个核。这种方法使得网络能够更细致地学习图像中的局部特征，从而有助于提高整体网络性能。

通过这种方法，RFAConv提升了模型的表达能力，允许它更精确地适应和表达输入数据的特征，尤其是在处理复杂或多变的图像内容时。

上图展示了一个卷积操作的过程，其中卷积核参数 Ki通过将注意力权重 Ai与卷积核参数 K 相乘得到。这意味着每个感受野滑块的卷积操作都有一个独特的卷积核参数，这些参数是通过将通用的卷积核参数与特定于该位置的注意力权重相结合来获得的。

具体地说，这个过程将注意力机制与卷积核相结合，为每个感受野位置产生一个定制化的卷积核。例如，图中的 Kernel 1、Kernel 2 和 Kernel 3 分别是通过将通用卷积核参数 K 与对应的注意力权重 A1、A2 和 A3 相乘得到的。这种方法允许网络在特征提取过程中对不同空间位置的特征赋予不同的重要性，从而增强了模型对关键特征的捕获能力。

总结：这样的机制增加了卷积神经网络的表达能力，使得网络能够更加灵活地适应不同的输入特征，并有助于提高最终任务的性能。这是一种有效的方式来处理传统卷积操作中的参数共享问题，因为它允许每个位置的卷积核适应其处理的特定区域。

2.4、提高大尺寸卷积核的效率 ​

RFAConv通过利用感受野注意力机制来动态调整卷积核的权重，从而为每个区域的特征提取提供了定制化的关注度。这样，即便是大尺寸卷积核，也能够更加有效地捕捉和处理重要的空间特征，而不会对不那么重要的信息分配过多的计算资源。

具体来说，RFAConv方法允许网络识别和强调输入特征图中更重要的区域，并且根据这些区域调整卷积核的权重。这意味着网络可以对关键特征进行重加权，使得大尺寸卷积核不仅能够捕捉到广泛的信息，同时也能够集中计算资源在更有信息量的特征上，从而提升了整体的处理效率和网络性能。

上图描述了感受野滑块中特征的重叠，这是在标准卷积操作中常见的现象。特征的重叠导致了注意力权重的共享问题，意味着不同的感受野可能会对相同的输入特征使用相同的注意力权重。

在图中，F1,F2,...FN代表不同感受野滑块内的特征输出，它们是通过将输入特征 X 与对应的注意力权重 A 以及卷积核 K 的权重进行逐元素乘法运算后得到的。例如， F1是通过将 X11乘以对应的注意力权重 A11和卷积核权重 K1计算得到的，以此类推。

该图强调了每个感受野滑块内的卷积操作的参数不应该完全共享，而是应该根据每个特定区域内的特征和相应的注意力权重进行调整。这种调整允许网络对每个局部区域进行更加精细的处理，能够更好地捕捉和响应输入数据的特定特征，而不是简单地对整个图像应用相同的权重。这样的方法能够提升网络对特征的理解和表示，从而改善最终的学习和预测性。

总结：通过这种方法，RFAConv提升了模型的表达能力，允许它更精确地适应和表达输入数据的特征，尤其是在处理复杂或多变的图像内容时。这种灵活的参数调整机制为提高卷积神经网络的性能和泛化能力提供了新的途径。

三、RFAConv代码 ​

RFAConv的核心代码使用方式看章节四！

python
from torch import nn
from einops import rearrange
import torch
 
__all__ = ['C2f_RFAConv', 'RFAConv']
 
 
class RFAConv(nn.Module):
    def __init__(self, in_channel, out_channel, kernel_size=3, stride=1):
        super().__init__()
        self.kernel_size = kernel_size
 
        self.get_weight = nn.Sequential(nn.AvgPool2d(kernel_size=kernel_size, padding=kernel_size // 2, stride=stride),
                                        nn.Conv2d(in_channel, in_channel * (kernel_size ** 2), kernel_size=1,
                                                  groups=in_channel, bias=False))
        self.generate_feature = nn.Sequential(
            nn.Conv2d(in_channel, in_channel * (kernel_size ** 2), kernel_size=kernel_size, padding=kernel_size // 2,
                      stride=stride, groups=in_channel, bias=False),
            nn.BatchNorm2d(in_channel * (kernel_size ** 2)),
            nn.ReLU())
 
        self.conv = Conv(in_channel, out_channel, k=kernel_size, s=kernel_size, p=0)
 
    def forward(self, x):
        b, c = x.shape[0:2]
        weight = self.get_weight(x)
        h, w = weight.shape[2:]
        weighted = weight.view(b, c, self.kernel_size ** 2, h, w).softmax(2)  # b c*kernel**2,h,w ->  b c k**2 h w
        feature = self.generate_feature(x).view(b, c, self.kernel_size ** 2, h,
                                                w)  # b c*kernel**2,h,w ->  b c k**2 h w
        weighted_data = feature * weighted
        conv_data = rearrange(weighted_data, 'b c (n1 n2) h w -> b c (h n1) (w n2)', n1=self.kernel_size,
                              # b c k**2 h w ->  b c h*k w*k
                              n2=self.kernel_size)
        return self.conv(conv_data)
 
 
def autopad(k, p=None, d=1):  # kernel, padding, dilation
    """Pad to 'same' shape outputs."""
    if d > 1:
        k = d * (k - 1) + 1 if isinstance(k, int) else [d * (x - 1) + 1 for x in k]  # actual kernel-size
    if p is None:
        p = k // 2 if isinstance(k, int) else [x // 2 for x in k]  # auto-pad
    return p
 
 
class Conv(nn.Module):
    """Standard convolution with args(ch_in, ch_out, kernel, stride, padding, groups, dilation, activation)."""
    default_act = nn.SiLU()  # default activation
 
    def __init__(self, c1, c2, k=1, s=1, p=None, g=1, d=1, act=True):
        """Initialize Conv layer with given arguments including activation."""
        super().__init__()
        self.conv = nn.Conv2d(c1, c2, k, s, autopad(k, p, d), groups=g, dilation=d, bias=False)
        self.bn = nn.BatchNorm2d(c2)
        self.act = self.default_act if act is True else act if isinstance(act, nn.Module) else nn.Identity()
 
    def forward(self, x):
        """Apply convolution, batch normalization and activation to input tensor."""
        return self.act(self.bn(self.conv(x)))
 
    def forward_fuse(self, x):
        """Perform transposed convolution of 2D data."""
        return self.act(self.conv(x))
 
 
class Bottleneck_RFAConv(nn.Module):
    """Standard bottleneck."""
 
    def __init__(self, c1, c2, shortcut=True, g=1, k=(3, 3), e=0.5):
        """Initializes a bottleneck module with given input/output channels, shortcut option, group, kernels, and
        expansion.
        """
        super().__init__()
        c_ = int(c2 * e)  # hidden channels
        self.cv1 = Conv(c1, c_, k[0], 1)
        self.cv2 = RFAConv(c_, c2)
        self.add = shortcut and c1 == c2
 
    def forward(self, x):
        """'forward()' applies the YOLO FPN to input data."""
        return x + self.cv2(self.cv1(x)) if self.add else self.cv2(self.cv1(x))
 
 
class C2f_RFAConv(nn.Module):
    """Faster Implementation of CSP Bottleneck with 2 convolutions."""
 
    def __init__(self, c1, c2, n=1, shortcut=False, g=1, e=0.5):
        """Initialize CSP bottleneck layer with two convolutions with arguments ch_in, ch_out, number, shortcut, groups,
        expansion.
        """
        super().__init__()
        self.c = int(c2 * e)  # hidden channels
        self.cv1 = Conv(c1, 2 * self.c, 1, 1)
        self.cv2 = Conv((2 + n) * self.c, c2, 1)  # optional act=FReLU(c2)
        self.m = nn.ModuleList(
            Bottleneck_RFAConv(self.c, self.c, shortcut, g, k=((3, 3), (3, 3)), e=1.0) for _ in range(n))
 
    def forward(self, x):
        """Forward pass through C2f layer."""
        x = self.cv1(x)
        x = x.chunk(2, 1)
        y = list(x)
        # y = list(self.cv1(x).chunk(2, 1))
        y.extend(m(y[-1]) for m in self.m)
        return self.cv2(torch.cat(y, 1))
 
    def forward_split(self, x):
        """Forward pass using split() instead of chunk()."""
        y = list(self.cv1(x).split((self.c, self.c), 1))
        y.extend(m(y[-1]) for m in self.m)
        return self.cv2(torch.cat(y, 1))

四、手把手教你添加RFAConv和C2f_RFAConv模块 ​

这个添加方式和之前的变了一下，以后的添加方法都按照这个来了，是为了和群内的文件适配。

4.1 修改一 ​

第一还是建立文件，我们找到如下ultralytics/nn/modules文件夹下建立一个目录名字呢就是'Addmodules'文件夹(用群内的文件的话已经有了无需新建)！然后在其内部建立一个新的py文件将核心代码复制粘贴进去即可。

4.2 修改二 ​

第二步我们在该目录下创建一个新的py文件名字为'__init__.py'(用群内的文件的话已经有了无需新建)，然后在其内部导入我们的检测头如下图所示。

4.3 修改三 ​

第三步我门中到如下文件'ultralytics/nn/tasks.py'进行导入和注册我们的模块(用群内的文件的话已经有了无需重新导入直接开始第四步即可)！

从今天开始以后的教程就都统一成这个样子了，因为我默认大家用了我群内的文件来进行修改！！

4.4 修改四 ​

按照我的添加在parse_model里添加即可。

到此就修改完成了，大家可以复制下面的yaml文件运行。

五、RFAConv的yaml文件和运行记录 ​

5.1 RFAConv的yaml文件一 ​

下面的添加RFAConv是我实验结果的版本。

python
# Ultralytics YOLO 🚀, AGPL-3.0 license
# YOLOv8 object detection model with P3-P5 outputs. For Usage examples see https://docs.ultralytics.com/tasks/detect
 
# Parameters
nc: 80  # number of classes
scales: # model compound scaling constants, i.e. 'model=yolov8n.yaml' will call yolov8.yaml with scale 'n'
  # [depth, width, max_channels]
  n: [0.33, 0.25, 1024]  # YOLOv8n summary: 225 layers,  3157200 parameters,  3157184 gradients,   8.9 GFLOPs
  s: [0.33, 0.50, 1024]  # YOLOv8s summary: 225 layers, 11166560 parameters, 11166544 gradients,  28.8 GFLOPs
  m: [0.67, 0.75, 768]   # YOLOv8m summary: 295 layers, 25902640 parameters, 25902624 gradients,  79.3 GFLOPs
  l: [1.00, 1.00, 512]   # YOLOv8l summary: 365 layers, 43691520 parameters, 43691504 gradients, 165.7 GFLOPs
  x: [1.00, 1.25, 512]   # YOLOv8x summary: 365 layers, 68229648 parameters, 68229632 gradients, 258.5 GFLOPs
 
# YOLOv8.0n backbone
backbone:
  # [from, repeats, module, args]
  - [-1, 1, Conv, [64, 3, 2]]  # 0-P1/2
  - [-1, 1, Conv, [128, 3, 2]]  # 1-P2/4
  - [-1, 3, C2f_RFAConv, [128, True]]
  - [-1, 1, Conv, [256, 3, 2]]  # 3-P3/8
  - [-1, 6, C2f_RFAConv, [256, True]]
  - [-1, 1, Conv, [512, 3, 2]]  # 5-P4/16
  - [-1, 6, C2f_RFAConv, [512, True]]
  - [-1, 1, Conv, [1024, 3, 2]]  # 7-P5/32
  - [-1, 3, C2f_RFAConv, [1024, True]]
  - [-1, 1, SPPF, [1024, 5]]  # 9
 
# YOLOv8.0n head
head:
  - [-1, 1, nn.Upsample, [None, 2, 'nearest']]
  - [[-1, 6], 1, Concat, [1]]  # cat backbone P4
  - [-1, 3, C2f, [512]]  # 12
 
  - [-1, 1, nn.Upsample, [None, 2, 'nearest']]
  - [[-1, 4], 1, Concat, [1]]  # cat backbone P3
  - [-1, 3, C2f, [256]]  # 15 (P3/8-small)
 
  - [-1, 1, Conv, [256, 3, 2]]
  - [[-1, 12], 1, Concat, [1]]  # cat head P4
  - [-1, 3, C2f, [512]]  # 18 (P4/16-medium)
 
  - [-1, 1, Conv, [512, 3, 2]]
  - [[-1, 9], 1, Concat, [1]]  # cat head P5
  - [-1, 3, C2f, [1024]]  # 21 (P5/32-large)
 
  - [[15, 18, 21], 1, Detect, [nc]]  # Detect(P3, P4, P5)

5.2 RFAConv的yaml文件二 ​

python
# Ultralytics YOLO 🚀, AGPL-3.0 license
# YOLOv8 object detection model with P3-P5 outputs. For Usage examples see https://docs.ultralytics.com/tasks/detect
 
# Parameters
nc: 80  # number of classes
scales: # model compound scaling constants, i.e. 'model=yolov8n.yaml' will call yolov8.yaml with scale 'n'
  # [depth, width, max_channels]
  n: [0.33, 0.25, 1024]  # YOLOv8n summary: 225 layers,  3157200 parameters,  3157184 gradients,   8.9 GFLOPs
  s: [0.33, 0.50, 1024]  # YOLOv8s summary: 225 layers, 11166560 parameters, 11166544 gradients,  28.8 GFLOPs
  m: [0.67, 0.75, 768]   # YOLOv8m summary: 295 layers, 25902640 parameters, 25902624 gradients,  79.3 GFLOPs
  l: [1.00, 1.00, 512]   # YOLOv8l summary: 365 layers, 43691520 parameters, 43691504 gradients, 165.7 GFLOPs
  x: [1.00, 1.25, 512]   # YOLOv8x summary: 365 layers, 68229648 parameters, 68229632 gradients, 258.5 GFLOPs
 
# YOLOv8.0n backbone
backbone:
  # [from, repeats, module, args]
  - [-1, 1, Conv, [64, 3, 2]]  # 0-P1/2
  - [-1, 1, RFAConv, [128, 3, 2]]  # 1-P2/4
  - [-1, 3, C2f, [128, True]]
  - [-1, 1, RFAConv, [256, 3, 2]]  # 3-P3/8
  - [-1, 6, C2f, [256, True]]
  - [-1, 1, RFAConv, [512, 3, 2]]  # 5-P4/16
  - [-1, 6, C2f, [512, True]]
  - [-1, 1, RFAConv, [1024, 3, 2]]  # 7-P5/32
  - [-1, 3, C2f, [1024, True]]
  - [-1, 1, SPPF, [1024, 5]]  # 9
 
# YOLOv8.0n head
head:
  - [-1, 1, nn.Upsample, [None, 2, 'nearest']]
  - [[-1, 6], 1, Concat, [1]]  # cat backbone P4
  - [-1, 3, C2f, [512]]  # 12
 
  - [-1, 1, nn.Upsample, [None, 2, 'nearest']]
  - [[-1, 4], 1, Concat, [1]]  # cat backbone P3
  - [-1, 3, C2f, [256]]  # 15 (P3/8-small)
 
  - [-1, 1, Conv, [256, 3, 2]]
  - [[-1, 12], 1, Concat, [1]]  # cat head P4
  - [-1, 3, C2f, [512]]  # 18 (P4/16-medium)
 
  - [-1, 1, Conv, [512, 3, 2]]
  - [[-1, 9], 1, Concat, [1]]  # cat head P5
  - [-1, 3, C2f, [1024]]  # 21 (P5/32-large)
 
  - [[15, 18, 21], 1, Detect, [nc]]  # Detect(P3, P4, P5)

5.3 RFAConv的训练过程截图 ​

Released under the MIT License.

Copyright © 2013-2024 present louaq