GAM注意力机制
1.GAM注意力机制:
图像解析:
从整体上可以看出,GAM和CBAM注意力机制还是比较相似的,同样是使用了通道注意力机制和空间注意力机制。但是不同的是对通道注意力和空间注意力的处理。
2.CBAM注意力解析
CBAM = CAM BAM
- 对于通道注意力的处理:
首先对输入特征图进行最大池化和平均池化,再经过MLP分别处理,最终经过Sigmoid激活。 - 对于空间注意力的处理
对特征图进行最大池化和平均池化后叠加在一起,再进行卷积,经过Sigmoid激活函数处理。
3.GAM改进
了解了CBAM,我们来看GAM是怎么处理CAM 和SAM的,同样是先通道后空间。
- CAM
对于输入特征图,首先进行维度转换,经过维度转换的特征图输入到MLP,再转换为原来的维度,进行Sigmoid处理输出。 - SAM
对于SAM,GAM主要使用了卷积处理,对于这里有点像SE注意力机制,先将通道数量减少,再将通道数量增加。首先通过卷积核为7的卷积缩减通道数量,缩小计算量,在经过一个卷积核为7的卷积操作,增加通道数量,保持通道数量的一致。最后经过Sigmoid输出。
4.GAM的pytorch实现
这里给出GAM的pytorch实现代码:代码可能跟官方有些差异,是看图复现的
"""
GAM 注意力机制:对CBAM注意力进行改进
先通道注意力,再空间注意力
"""
import torch
import torch.nn as nn
# 通道注意力
class Channel_Attention(nn.Module):
def __init__(self, in_channel, out_channel, ratio=4):
super(Channel_Attention, self).__init__()
self.fc1 = nn.Linear(in_channel, in_channel // ratio)
self.relu = nn.ReLU()
self.fc2 = nn.Linear(in_channel // ratio, in_channel)
self.sig = nn.Sigmoid()
def forward(self, x):
# b, c, h, w = x.size()
input = x.permute(0, 3, 2, 1)
output = self.fc2(self.relu(self.fc1(input)))
output = output.permute(0, 3, 2, 1)
return output * x
# 空间注意力
class Spatial(nn.Module):
def __init__(self, in_channel, out_channel, ratio, kernel_size=7):
super(Spatial, self).__init__()
padding = kernel_size // 2
self.conv1 = nn.Conv2d(
in_channel, in_channel // ratio, kernel_size=7, padding=padding
)
self.bn = nn.BatchNorm2d(in_channel // ratio)
self.act = nn.ReLU()
self.conv2 = nn.Conv2d(
in_channel // ratio, in_channel, kernel_size=kernel_size, padding=padding
)
self.bn1 = nn.BatchNorm2d(in_channel)
self.sig = nn.Sigmoid()
def forward(self, x):
conv1 = self.act(self.bn(self.conv1(x)))
conv2 = self.bn1(self.conv2(conv1))
output = self.sig(conv2)
return x * output
class GAM(nn.Module):
def __init__(self,in_channel, out_channel, ratio = 4, kernel_size = 7):
super(GAM, self).__init__()
self.channel_attention = Channel_Attention(in_channel,out_channel,ratio)
self.spatial_attention = Spatial(in_channel,out_channel,ratio,kernel_size)
def forward(self, x):
input = self.channel_attention(x)
output= self.spatial_attention(input)
return output
input = torch.randn(1, 4, 24, 24).cuda()
model = GAM(4, 4).cuda()
output = model(input)
print(output)
print(output.size())
# 20220928
5 Reference
这篇好文章是转载于:学新通技术网
- 版权申明: 本站部分内容来自互联网,仅供学习及演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,请提供相关证据及您的身份证明,我们将在收到邮件后48小时内删除。
- 本站站名: 学新通技术网
- 本文地址: /boutique/detail/tanhiaggfa
系列文章
更多
同类精品
更多
-
photoshop保存的图片太大微信发不了怎么办
PHP中文网 06-15 -
word里面弄一个表格后上面的标题会跑到下面怎么办
PHP中文网 06-20 -
photoshop扩展功能面板显示灰色怎么办
PHP中文网 06-14 -
《学习通》视频自动暂停处理方法
HelloWorld317 07-05 -
TikTok加速器哪个好免费的TK加速器推荐
TK小达人 10-01 -
Android 11 保存文件到外部存储,并分享文件
Luke 10-12 -
微信公众号没有声音提示怎么办
PHP中文网 03-31 -
excel下划线不显示怎么办
PHP中文网 06-23 -
微信运动停用后别人还能看到步数吗
PHP中文网 07-22 -
excel打印预览压线压字怎么办
PHP中文网 06-22