本文定位CSDN 入门科普 | 3 分钟看懂 SATNet 解耦注意力DAM核心原理 核心收益通俗解释为什么传统注意力在轻量网络上失灵 DAM 如何用拆分投影巧妙解决 代码片段直观理解 适合人群刚接触 RGB-D 多模态融合、想了解轻量网络注意力设计的同学 一、传统注意力在轻量网络上为什么失灵做 RGB-D 检测的同学都知道跨模态融合是核心环节——把 RGB 特征和深度特征合二为一让模型同时看到颜色信息和几何信息。传统方法怎么做用注意力机制SE 注意力通道注意力学哪个通道重要CBAM通道空间注意力学哪个通道、哪个位置重要Self-Attention学每个像素和其他像素的关系。这些方法在 ResNet101、Swin Transformer 等大模型上效果很好。但有个致命问题它们是为大模型设计的。打个比方你给一辆自行车装上飞机引擎不但跑不快还会把自行车压垮。同样Self-Attention 需要O(N2)O(N^2)O(N2)的计算量N 是像素数轻量网络的通道数本来就少Self-Attention 在小特征图上学不到有意义的模式反而引入噪声。实验数据说话在 MobileNet V2 backbone 上通道数仅 32Self-Attention 的 MAE0.050比简单相加融合0.057好不了多少而专门设计的 DAM0.044性能远超两者。 二、DAM 解耦注意力核心原理DAMDecoupled Attention Module的核心思路可以用一句话概括把 2D 特征图压扁成两个 1D 向量在 1D 空间做注意力再还原回 2D。为什么这样做有效想象一张 64×64 的特征图如果做 Self-Attention需要计算 4096×4096 1600 万次关系计算量巨大。但如果把它拆成两个向量水平向量把每列求平均得到 1×64 的向量64 个值垂直向量把每行求平均得到 64×1 的向量64 个值现在只需要计算 6464 128 个注意力权重计算量从 1600 万降到 128降低了 12.5 万倍更重要的是这两个 1D 向量保留了 2D 特征图的关键信息水平向量编码了每一列有多重要对应目标的水平分布垂直向量编码了每一行有多重要对应目标的垂直分布三步图解 DAM用一个手绘风格的流程来理解核心设计的精妙之处解耦池化把O(H×W)O(H \times W)O(H×W)的 2D 注意力降维到O(HW)O(H W)O(HW)的 1D 注意力双视图投影水平和垂直的注意力权重通过同一个网络联合学习捕获两个维度的交互关系跨模态交互用通道最大池化压缩通道维度7×7 大核卷积扩大感受野生成的空间热力图可以告诉另一个模态哪里重要 三、代码片段直观理解 DAM最核心的代码只有 20 行逐行注释# 核心操作1双视图解耦池化# 把64x64的特征图压成两个64维向量hF.adaptive_avg_pool2d(f,(1,W)).squeeze(2)# 水平: (B,C,64)vF.adaptive_avg_pool2d(f,(H,1)).squeeze(3)# 垂直: (B,C,64)# 核心操作2拼接 投影 拆分cattorch.cat([h,v],dim2)# (B,C,128)attnsigmoid(FC(cat))# (B,C,128)h_attn,v_attnattn[:,:,:64],attn[:,:,64:]# 拆分# 核心操作3广播增强enhancedf*h_attn.unsqueeze(2)*v_attn.unsqueeze(3)# h_attn.unsqueeze(2) 广播到 (B,C,1,W) 乘到每个像素# v_attn.unsqueeze(3) 广播到 (B,C,H,1) 乘到每个像素就这么多把 2D 特征图拆成两个 1D 向量、投影、增强三步完成轻量级注意力计算。 四、DAM vs 其他注意力直观对比方法计算方式复杂度轻量网络效果SE (通道注意力)全局平均池化 → FCO(C)中等0.052CBAM (通道空间)SE 空间卷积O(C HW)中等0.053Self-AttentionQKV 全连接O(N²)差0.050DAM (解耦注意力)双视图1D投影O(HW)最好0.044结论在轻量网络通道数少、计算预算有限中降维到 1D 做注意力比在 2D 空间做全连接更有效。DAM 用最小的计算代价实现了最好的跨模态融合效果。 3 分钟看懂解耦注意力轻量 RGB-D 融合直接起飞 标签#解耦注意力 #DAM #RGBD融合 #轻量网络 #注意力机制 #多模态检测 #入门科普 想深入理解论文精读全文 [SATNet伪深度增强解耦注意力5.2M参数轻量RGB-D SOD新标杆](https://blog.csdn.net/2201_75517551/article/details/162163310?spm1001.2014.3001.5501)
