简介这份资源面向遥感图像处理方向的学习者与科研人员聚焦多尺度分析、多数据融合、遥感图像检测与图像融合等关键技术适合希望借助MATLAB动手复现算法、理解NASA遥感数据实验流程的读者。压缩包共5个文件全部为m脚本整体约3KB体量轻便便于快速阅读与二次修改内容可能涉及空间变换、滤波、融合及自场常数变换等处理环节。资源围绕多尺度遥感、多源数据整合、目标检测与图像融合展开可帮助读者梳理从特征提取、分类识别到融合增强的完整思路理解不同分辨率与传感器数据如何协同提升信息解译能力。目前已有288人学习下载适合作为遥感图像处理入门实践与算法验证的参考素材也可为土地覆盖分类、灾害监测等应用提供代码层面的借鉴。1. 从一份 yuandaima.rar 说起多尺度遥感图像检测与融合到底在解决什么如果你手头正好有一份名为yuandaima.rar的代码包里面塞着 NASA 公开遥感数据、多尺度处理脚本、多数据融合模块和检测网络那你大概率正卡在同一个问题上单尺度模型在遥感图像上跑不动了。遥感图像和自然图像最大的区别在于目标尺度跨度极大——同一张图里既有几十个像素的小汽车也有横跨上千像素的机场跑道再加上多光谱、SAR、高光谱等多源数据各有各的物理含义单一尺度、单一数据源的检测方案很容易在密集小目标上翻车。这篇笔记就围绕「多尺度 多数据融合 遥感图像检测」这条线把从数据准备到模型落地再到精度验证的完整路径拆开讲清楚适合已经跑通过基础检测模型、想往遥感方向深入的人。2. 多尺度遥感检测的底层逻辑为什么单一尺度必然漏检2.1 遥感目标的尺度分布到底有多离谱自然图像数据集里COCO 的标注目标面积中位数大约在 64×64 像素量级而遥感数据集如 DOTA 里同一张 1024×1024 的图上小型车辆可能只占 10×10 像素大型船舶能到 300×300 像素以上。这意味着特征金字塔最底层的 stride4 特征图负责小目标最顶层的 stride32 特征图负责大目标中间任何一层单独拿出来做预测都会在某一端出现严重漏检。常见做法是直接用 FPN 结构做多尺度融合但遥感场景下 FPN 的自顶向下路径会把顶层的大目标语义信息传递到底层反而可能淹没小目标的细节特征。我一般会在 FPN 基础上加一条自底向上的增强路径让底层的高分辨率细节也能反向补充到顶层。2.2 多尺度训练的三个必调参数多尺度训练不是简单地把图片 resize 成不同尺寸就完事有三个参数直接决定模型能不能收敛参数典型值作用调错后果尺度抖动范围0.51.5每轮随机缩放比例范围过大导致小目标消失基础尺度1024输入网络的标准尺寸过小丢失小目标过大爆显存多尺度测试尺度数35推理时融合的尺度数量过多导致推理速度线性下降尺度抖动范围建议从 0.81.2 开始确认模型稳定后再逐步放宽。如果数据集里小目标占比超过 60%基础尺度不要低于 1024否则 resize 之后小目标直接变成几个像素网络根本学不到有效特征。2.3 用代码实现一个最小多尺度数据加载器下面这段代码展示如何在 PyTorch 的 Dataset 里实现多尺度随机缩放核心思路是每轮训练时随机选一个尺度而不是固定 resizeimport random import torch from torch.utils.data import Dataset from PIL import Image import torchvision.transforms.functional as F class MultiScaleRemoteSensingDataset(Dataset): def __init__(self, image_paths, labels, base_size1024, scale_range(0.8, 1.2)): self.image_paths image_paths self.labels labels self.base_size base_size self.scale_range scale_range def __getitem__(self, idx): img Image.open(self.image_paths[idx]).convert(RGB) label self.labels[idx] # 每轮随机选一个缩放比例而不是固定尺寸 scale random.uniform(*self.scale_range) target_size int(self.base_size * scale) # 保持长宽比缩放短边对齐 target_size w, h img.size ratio target_size / min(w, h) new_w, new_h int(w * ratio), int(h * ratio) img F.resize(img, (new_h, new_w)) # 确保尺寸是 32 的倍数适配 FPN 的下采样 pad_w (32 - new_w % 32) % 32 pad_h (32 - new_h % 32) % 32 img F.pad(img, (0, 0, pad_w, pad_h), fill0) img_tensor F.to_tensor(img) return img_tensor, label def __len__(self): return len(self.image_paths)逻辑说明scale_range控制每轮缩放的随机范围base_size是基准尺寸。关键点在于缩放后要做 32 对齐的 padding因为 FPN 结构需要特征图尺寸能被 32 整除否则在 concat 或 add 融合时会报维度不匹配。参数方面如果显存吃紧把base_size降到 768 但scale_range下限不要低于 0.7否则小目标信息损失太严重。3. 多数据融合把 NASA 多光谱和 SAR 数据接进检测网络3.1 像素级、特征级、决策级融合怎么选多数据融合按融合发生的阶段分三种像素级融合是在输入层就把多光谱和 SAR 拼成多通道张量特征级融合是各自过 backbone 后再合并特征图决策级融合是各自出检测结果再做 NMS 合并。遥感检测里最常用的是特征级融合原因是不同传感器的成像机理差异太大——多光谱看的是反射率SAR 看的是后向散射系数像素级直接拼接会让网络在浅层就陷入混乱。我一般会用一个双分支 backbone每个分支处理一种数据源然后在 neck 部分做跨模态注意力融合。这样既保留了各模态的独立特征提取能力又能在高层语义空间做对齐。3.2 跨模态特征对齐的实现细节下面是一个简化的跨模态注意力融合模块核心是用一个模态的特征去 query 另一个模态import torch import torch.nn as nn class CrossModalFusion(nn.Module): def __init__(self, channels): super().__init__() self.query_conv nn.Conv2d(channels, channels // 8, 1) self.key_conv nn.Conv2d(channels, channels // 8, 1) self.value_conv nn.Conv2d(channels, channels, 1) self.gamma nn.Parameter(torch.zeros(1)) self.softmax nn.Softmax(dim-1) def forward(self, feat_a, feat_b): # feat_a 作为 queryfeat_b 作为 key/value B, C, H, W feat_a.shape query self.query_conv(feat_a).view(B, -1, H * W).permute(0, 2, 1) key self.key_conv(feat_b).view(B, -1, H * W) value self.value_conv(feat_b).view(B, -1, H * W) attention self.softmax(torch.bmm(query, key)) out torch.bmm(value, attention.permute(0, 2, 1)) out out.view(B, C, H, W) # 残差连接gamma 初始为 0 保证训练初期不破坏原特征 return self.gamma * out feat_a逻辑说明query_conv和key_conv把通道压缩到 1/8 减少计算量gamma初始化为 0 是一个血泪经验——如果直接做注意力加权训练初期融合特征会严重干扰单模态特征导致 loss 震荡不收敛。参数上channels // 8是压缩比如果显存充足可以调到channels // 4提升表达能力。3.3 数据配准融合之前必须过的一道坎多源遥感数据融合最大的坑不在网络结构而在数据配准。NASA 的多光谱数据和 SAR 数据往往来自不同卫星、不同时间、不同分辨率直接融合等于给网络喂噪声。常见做法是先用地理坐标做粗配准再用互信息或相位相关做精配准确保同一位置的像素对应同一地物。配准精度要求像素级融合需要亚像素级配准误差0.5 像素特征级融合可以放宽到 12 像素。如果配准误差超过 3 像素融合后的特征图会出现明显的重影检测框会大量重复。4. 检测头设计与训练策略让多尺度融合真正生效4.1 Anchor 设置与尺度匹配遥感目标的宽高比分布和自然图像差异很大DOTA 数据集里船舶的宽高比能到 7:1而车辆接近 1:1。如果直接用 COCO 的 anchor 配置召回率会掉 20% 以上。我一般会用 k-means 在训练集标注上重新聚类 anchor聚类数设为 9然后按面积分配到三个尺度层。具体操作把每个 anchor 的面积开方小于 32 像素的分到 P3 层stride83296 像素的分到 P4 层stride16大于 96 像素的分到 P5 层stride32。这样每个尺度的检测头只负责自己擅长的那段目标尺寸。4.2 损失函数里的尺度平衡多尺度检测的另一个坑是损失被大目标主导。大目标的回归损失绝对值远大于小目标如果不做平衡网络会偏向于优化大目标。常见做法是用 GIoU 或 CIoU 替代 Smooth L1因为 IoU 类损失对目标尺寸不敏感。另外可以在分类损失里给小目标更高的权重权重系数一般设为 1.52.0。def balanced_loss(cls_loss, reg_loss, target_sizes, small_weight1.8): # target_sizes: 每个目标的面积开方 weights torch.where(target_sizes 32, torch.full_like(target_sizes, small_weight), torch.ones_like(target_sizes)) weighted_cls (cls_loss * weights).mean() return weighted_cls reg_loss逻辑说明small_weight控制小目标的分类损失权重target_sizes是每个 GT 框的面积开方。注意这个权重只加在分类损失上回归损失用 IoU 类损失本身已经做了尺度归一化再加权反而会导致小目标回归不稳定。4.3 训练策略从冻结到解冻的三阶段多数据融合网络参数量大直接端到端训练容易过拟合。我一般分三个阶段第一阶段冻结双分支 backbone只训融合模块和检测头学习率 1e-3跑 10 个 epoch第二阶段解冻 backbone 的高层学习率降到 1e-4跑 20 个 epoch第三阶段全部解冻学习率 1e-5跑 30 个 epoch。这样做的原因是融合模块随机初始化时梯度很大如果直接反传到 backbone 会破坏预训练权重。5. 避坑与排查多尺度融合检测的五个翻车现场5.1 小目标召回率始终上不去现象mAP 整体还行但小目标 AP 只有大目标的一半不到。原因通常是 P3 层的特征图虽然分辨率高但语义信息太弱融合模块没有把高层的语义有效传递下来。解决办法是在 P3 层后面加一个额外的语义增强模块或者把 FPN 的自顶向下路径改成多轮迭代让语义信息传递更充分。5.2 融合后 loss 震荡不收敛现象训练 loss 在前几个 epoch 剧烈震荡甚至出现 NaN。原因多半是融合模块的初始化有问题或者两个模态的特征尺度差异太大。解决方法是检查融合模块的gamma参数是否初始化为 0以及两个分支的输出是否都做了 BN 归一化。如果还不行先把融合模块的学习率单独调低一个数量级。5.3 推理速度慢到无法接受现象多尺度测试时每张图要跑 35 次前向加上多数据融合的双分支单张图推理时间超过 1 秒。解决办法是只在训练时用多尺度推理时固定一个最优尺度融合模块用轻量化的注意力比如把channels // 8改成channels // 16另外可以用 TensorRT 对双分支做并行优化。5.4 配准误差导致检测框大量重复现象同一目标出现多个高度重叠的检测框NMS 之后仍然有残留。原因是多源数据配准误差导致同一目标在不同模态里的位置有偏移融合后网络学到了两个偏移位置的特征。解决办法是提高配准精度或者在 NMS 阶段用 Soft-NMS 替代标准 NMS给重叠框一个衰减而不是直接抑制。5.5 多光谱通道数不匹配现象加载 NASA 多光谱数据时报通道维度错误。原因是不同传感器的波段数不同Landsat 8 有 11 个波段Sentinel-2 有 13 个而网络输入通常只接受 3 通道。解决办法是写一个波段选择配置只保留对检测任务最有用的波段通常是近红外、红、绿或者用 1×1 卷积把多波段压缩到 3 通道再送入 backbone。6. 进阶技巧用测试时增强和多模型融合再榨几个点6.1 测试时增强在遥感检测里的正确打开方式测试时增强TTA在遥感检测里效果比自然图像更明显因为遥感图像的方向不确定性更大——同一架飞机旋转 90 度在自然图像里很少见但在遥感图里是常态。我一般会用四个旋转角度0°、90°、180°、270°加水平翻转一共 8 种变换每种跑一次推理然后把所有检测框映射回原图做 NMS。关键细节旋转后的图像要做 padding 保证尺寸一致推理完再把框坐标逆变换回去。NMS 的 IoU 阈值建议从 0.5 调到 0.6因为 TTA 产生的框位置会有轻微偏移阈值太低会误抑制正确框。6.2 多模型融合的权重分配如果你训练了多个模型比如一个基于 FPN 的、一个基于 Transformer 的可以把它们的检测结果做加权框融合WBF。WBF 比 NMS 更适合多模型融合因为它不是简单抑制重叠框而是对重叠框做加权平均。融合方法适用场景注意事项NMS单模型多尺度IoU 阈值 0.50.6Soft-NMS配准误差较大衰减系数 0.30.5WBF多模型融合权重按模型 mAP 分配权重分配我一般按验证集 mAP 做归一化比如模型 A 的 mAP 是 0.72模型 B 是 0.68那权重分别是 0.72/(0.720.68) 和 0.68/(0.720.68)。如果某个模型在特定类别上表现特别好也可以做类别级的权重分配。6.3 一个容易被忽略的验证技巧遥感数据集的验证集划分不能随机分因为同一区域的不同图像块之间有空间相关性随机划分会导致验证集泄漏。正确做法是按地理区域划分确保验证集里的区域在训练集中没有出现过。这个细节很多开源代码都没做对导致验证 mAP 虚高实际部署时掉点严重。我自己的习惯是每次改完融合模块或检测头先在一个小规模子集上跑 5 个 epoch确认 loss 正常下降再上全量数据。多尺度多数据融合的训练成本很高盲目上全量数据跑一天才发现不收敛后悔药都没得吃。希望帮到你。本文还有配套的精品资源点击获取
多尺度遥感图像检测与多源数据融合实战：从数据准备到模型落地
简介这份资源面向遥感图像处理方向的学习者与科研人员聚焦多尺度分析、多数据融合、遥感图像检测与图像融合等关键技术适合希望借助MATLAB动手复现算法、理解NASA遥感数据实验流程的读者。压缩包共5个文件全部为m脚本整体约3KB体量轻便便于快速阅读与二次修改内容可能涉及空间变换、滤波、融合及自场常数变换等处理环节。资源围绕多尺度遥感、多源数据整合、目标检测与图像融合展开可帮助读者梳理从特征提取、分类识别到融合增强的完整思路理解不同分辨率与传感器数据如何协同提升信息解译能力。目前已有288人学习下载适合作为遥感图像处理入门实践与算法验证的参考素材也可为土地覆盖分类、灾害监测等应用提供代码层面的借鉴。1. 从一份 yuandaima.rar 说起多尺度遥感图像检测与融合到底在解决什么如果你手头正好有一份名为yuandaima.rar的代码包里面塞着 NASA 公开遥感数据、多尺度处理脚本、多数据融合模块和检测网络那你大概率正卡在同一个问题上单尺度模型在遥感图像上跑不动了。遥感图像和自然图像最大的区别在于目标尺度跨度极大——同一张图里既有几十个像素的小汽车也有横跨上千像素的机场跑道再加上多光谱、SAR、高光谱等多源数据各有各的物理含义单一尺度、单一数据源的检测方案很容易在密集小目标上翻车。这篇笔记就围绕「多尺度 多数据融合 遥感图像检测」这条线把从数据准备到模型落地再到精度验证的完整路径拆开讲清楚适合已经跑通过基础检测模型、想往遥感方向深入的人。2. 多尺度遥感检测的底层逻辑为什么单一尺度必然漏检2.1 遥感目标的尺度分布到底有多离谱自然图像数据集里COCO 的标注目标面积中位数大约在 64×64 像素量级而遥感数据集如 DOTA 里同一张 1024×1024 的图上小型车辆可能只占 10×10 像素大型船舶能到 300×300 像素以上。这意味着特征金字塔最底层的 stride4 特征图负责小目标最顶层的 stride32 特征图负责大目标中间任何一层单独拿出来做预测都会在某一端出现严重漏检。常见做法是直接用 FPN 结构做多尺度融合但遥感场景下 FPN 的自顶向下路径会把顶层的大目标语义信息传递到底层反而可能淹没小目标的细节特征。我一般会在 FPN 基础上加一条自底向上的增强路径让底层的高分辨率细节也能反向补充到顶层。2.2 多尺度训练的三个必调参数多尺度训练不是简单地把图片 resize 成不同尺寸就完事有三个参数直接决定模型能不能收敛参数典型值作用调错后果尺度抖动范围0.51.5每轮随机缩放比例范围过大导致小目标消失基础尺度1024输入网络的标准尺寸过小丢失小目标过大爆显存多尺度测试尺度数35推理时融合的尺度数量过多导致推理速度线性下降尺度抖动范围建议从 0.81.2 开始确认模型稳定后再逐步放宽。如果数据集里小目标占比超过 60%基础尺度不要低于 1024否则 resize 之后小目标直接变成几个像素网络根本学不到有效特征。2.3 用代码实现一个最小多尺度数据加载器下面这段代码展示如何在 PyTorch 的 Dataset 里实现多尺度随机缩放核心思路是每轮训练时随机选一个尺度而不是固定 resizeimport random import torch from torch.utils.data import Dataset from PIL import Image import torchvision.transforms.functional as F class MultiScaleRemoteSensingDataset(Dataset): def __init__(self, image_paths, labels, base_size1024, scale_range(0.8, 1.2)): self.image_paths image_paths self.labels labels self.base_size base_size self.scale_range scale_range def __getitem__(self, idx): img Image.open(self.image_paths[idx]).convert(RGB) label self.labels[idx] # 每轮随机选一个缩放比例而不是固定尺寸 scale random.uniform(*self.scale_range) target_size int(self.base_size * scale) # 保持长宽比缩放短边对齐 target_size w, h img.size ratio target_size / min(w, h) new_w, new_h int(w * ratio), int(h * ratio) img F.resize(img, (new_h, new_w)) # 确保尺寸是 32 的倍数适配 FPN 的下采样 pad_w (32 - new_w % 32) % 32 pad_h (32 - new_h % 32) % 32 img F.pad(img, (0, 0, pad_w, pad_h), fill0) img_tensor F.to_tensor(img) return img_tensor, label def __len__(self): return len(self.image_paths)逻辑说明scale_range控制每轮缩放的随机范围base_size是基准尺寸。关键点在于缩放后要做 32 对齐的 padding因为 FPN 结构需要特征图尺寸能被 32 整除否则在 concat 或 add 融合时会报维度不匹配。参数方面如果显存吃紧把base_size降到 768 但scale_range下限不要低于 0.7否则小目标信息损失太严重。3. 多数据融合把 NASA 多光谱和 SAR 数据接进检测网络3.1 像素级、特征级、决策级融合怎么选多数据融合按融合发生的阶段分三种像素级融合是在输入层就把多光谱和 SAR 拼成多通道张量特征级融合是各自过 backbone 后再合并特征图决策级融合是各自出检测结果再做 NMS 合并。遥感检测里最常用的是特征级融合原因是不同传感器的成像机理差异太大——多光谱看的是反射率SAR 看的是后向散射系数像素级直接拼接会让网络在浅层就陷入混乱。我一般会用一个双分支 backbone每个分支处理一种数据源然后在 neck 部分做跨模态注意力融合。这样既保留了各模态的独立特征提取能力又能在高层语义空间做对齐。3.2 跨模态特征对齐的实现细节下面是一个简化的跨模态注意力融合模块核心是用一个模态的特征去 query 另一个模态import torch import torch.nn as nn class CrossModalFusion(nn.Module): def __init__(self, channels): super().__init__() self.query_conv nn.Conv2d(channels, channels // 8, 1) self.key_conv nn.Conv2d(channels, channels // 8, 1) self.value_conv nn.Conv2d(channels, channels, 1) self.gamma nn.Parameter(torch.zeros(1)) self.softmax nn.Softmax(dim-1) def forward(self, feat_a, feat_b): # feat_a 作为 queryfeat_b 作为 key/value B, C, H, W feat_a.shape query self.query_conv(feat_a).view(B, -1, H * W).permute(0, 2, 1) key self.key_conv(feat_b).view(B, -1, H * W) value self.value_conv(feat_b).view(B, -1, H * W) attention self.softmax(torch.bmm(query, key)) out torch.bmm(value, attention.permute(0, 2, 1)) out out.view(B, C, H, W) # 残差连接gamma 初始为 0 保证训练初期不破坏原特征 return self.gamma * out feat_a逻辑说明query_conv和key_conv把通道压缩到 1/8 减少计算量gamma初始化为 0 是一个血泪经验——如果直接做注意力加权训练初期融合特征会严重干扰单模态特征导致 loss 震荡不收敛。参数上channels // 8是压缩比如果显存充足可以调到channels // 4提升表达能力。3.3 数据配准融合之前必须过的一道坎多源遥感数据融合最大的坑不在网络结构而在数据配准。NASA 的多光谱数据和 SAR 数据往往来自不同卫星、不同时间、不同分辨率直接融合等于给网络喂噪声。常见做法是先用地理坐标做粗配准再用互信息或相位相关做精配准确保同一位置的像素对应同一地物。配准精度要求像素级融合需要亚像素级配准误差0.5 像素特征级融合可以放宽到 12 像素。如果配准误差超过 3 像素融合后的特征图会出现明显的重影检测框会大量重复。4. 检测头设计与训练策略让多尺度融合真正生效4.1 Anchor 设置与尺度匹配遥感目标的宽高比分布和自然图像差异很大DOTA 数据集里船舶的宽高比能到 7:1而车辆接近 1:1。如果直接用 COCO 的 anchor 配置召回率会掉 20% 以上。我一般会用 k-means 在训练集标注上重新聚类 anchor聚类数设为 9然后按面积分配到三个尺度层。具体操作把每个 anchor 的面积开方小于 32 像素的分到 P3 层stride83296 像素的分到 P4 层stride16大于 96 像素的分到 P5 层stride32。这样每个尺度的检测头只负责自己擅长的那段目标尺寸。4.2 损失函数里的尺度平衡多尺度检测的另一个坑是损失被大目标主导。大目标的回归损失绝对值远大于小目标如果不做平衡网络会偏向于优化大目标。常见做法是用 GIoU 或 CIoU 替代 Smooth L1因为 IoU 类损失对目标尺寸不敏感。另外可以在分类损失里给小目标更高的权重权重系数一般设为 1.52.0。def balanced_loss(cls_loss, reg_loss, target_sizes, small_weight1.8): # target_sizes: 每个目标的面积开方 weights torch.where(target_sizes 32, torch.full_like(target_sizes, small_weight), torch.ones_like(target_sizes)) weighted_cls (cls_loss * weights).mean() return weighted_cls reg_loss逻辑说明small_weight控制小目标的分类损失权重target_sizes是每个 GT 框的面积开方。注意这个权重只加在分类损失上回归损失用 IoU 类损失本身已经做了尺度归一化再加权反而会导致小目标回归不稳定。4.3 训练策略从冻结到解冻的三阶段多数据融合网络参数量大直接端到端训练容易过拟合。我一般分三个阶段第一阶段冻结双分支 backbone只训融合模块和检测头学习率 1e-3跑 10 个 epoch第二阶段解冻 backbone 的高层学习率降到 1e-4跑 20 个 epoch第三阶段全部解冻学习率 1e-5跑 30 个 epoch。这样做的原因是融合模块随机初始化时梯度很大如果直接反传到 backbone 会破坏预训练权重。5. 避坑与排查多尺度融合检测的五个翻车现场5.1 小目标召回率始终上不去现象mAP 整体还行但小目标 AP 只有大目标的一半不到。原因通常是 P3 层的特征图虽然分辨率高但语义信息太弱融合模块没有把高层的语义有效传递下来。解决办法是在 P3 层后面加一个额外的语义增强模块或者把 FPN 的自顶向下路径改成多轮迭代让语义信息传递更充分。5.2 融合后 loss 震荡不收敛现象训练 loss 在前几个 epoch 剧烈震荡甚至出现 NaN。原因多半是融合模块的初始化有问题或者两个模态的特征尺度差异太大。解决方法是检查融合模块的gamma参数是否初始化为 0以及两个分支的输出是否都做了 BN 归一化。如果还不行先把融合模块的学习率单独调低一个数量级。5.3 推理速度慢到无法接受现象多尺度测试时每张图要跑 35 次前向加上多数据融合的双分支单张图推理时间超过 1 秒。解决办法是只在训练时用多尺度推理时固定一个最优尺度融合模块用轻量化的注意力比如把channels // 8改成channels // 16另外可以用 TensorRT 对双分支做并行优化。5.4 配准误差导致检测框大量重复现象同一目标出现多个高度重叠的检测框NMS 之后仍然有残留。原因是多源数据配准误差导致同一目标在不同模态里的位置有偏移融合后网络学到了两个偏移位置的特征。解决办法是提高配准精度或者在 NMS 阶段用 Soft-NMS 替代标准 NMS给重叠框一个衰减而不是直接抑制。5.5 多光谱通道数不匹配现象加载 NASA 多光谱数据时报通道维度错误。原因是不同传感器的波段数不同Landsat 8 有 11 个波段Sentinel-2 有 13 个而网络输入通常只接受 3 通道。解决办法是写一个波段选择配置只保留对检测任务最有用的波段通常是近红外、红、绿或者用 1×1 卷积把多波段压缩到 3 通道再送入 backbone。6. 进阶技巧用测试时增强和多模型融合再榨几个点6.1 测试时增强在遥感检测里的正确打开方式测试时增强TTA在遥感检测里效果比自然图像更明显因为遥感图像的方向不确定性更大——同一架飞机旋转 90 度在自然图像里很少见但在遥感图里是常态。我一般会用四个旋转角度0°、90°、180°、270°加水平翻转一共 8 种变换每种跑一次推理然后把所有检测框映射回原图做 NMS。关键细节旋转后的图像要做 padding 保证尺寸一致推理完再把框坐标逆变换回去。NMS 的 IoU 阈值建议从 0.5 调到 0.6因为 TTA 产生的框位置会有轻微偏移阈值太低会误抑制正确框。6.2 多模型融合的权重分配如果你训练了多个模型比如一个基于 FPN 的、一个基于 Transformer 的可以把它们的检测结果做加权框融合WBF。WBF 比 NMS 更适合多模型融合因为它不是简单抑制重叠框而是对重叠框做加权平均。融合方法适用场景注意事项NMS单模型多尺度IoU 阈值 0.50.6Soft-NMS配准误差较大衰减系数 0.30.5WBF多模型融合权重按模型 mAP 分配权重分配我一般按验证集 mAP 做归一化比如模型 A 的 mAP 是 0.72模型 B 是 0.68那权重分别是 0.72/(0.720.68) 和 0.68/(0.720.68)。如果某个模型在特定类别上表现特别好也可以做类别级的权重分配。6.3 一个容易被忽略的验证技巧遥感数据集的验证集划分不能随机分因为同一区域的不同图像块之间有空间相关性随机划分会导致验证集泄漏。正确做法是按地理区域划分确保验证集里的区域在训练集中没有出现过。这个细节很多开源代码都没做对导致验证 mAP 虚高实际部署时掉点严重。我自己的习惯是每次改完融合模块或检测头先在一个小规模子集上跑 5 个 epoch确认 loss 正常下降再上全量数据。多尺度多数据融合的训练成本很高盲目上全量数据跑一天才发现不收敛后悔药都没得吃。希望帮到你。本文还有配套的精品资源点击获取