1. 项目缘起当“雾”成为对抗样本的伪装在计算机视觉安全领域对抗攻击早已不是什么新鲜话题。简单来说就是给一张正常的图片比如一只熊猫加上一些肉眼难以察觉的、精心设计的微小扰动就能让最先进的图像分类模型把它认成“长臂猿”。这类数字对抗样本在实验室里效果拔群但在真实物理世界中却常常“水土不服”——光照变化、拍摄角度、打印失真等物理因素轻易就能让这些脆弱的扰动失效。于是物理对抗攻击应运而生。它的目标更“硬核”生成在物理世界中依然有效的对抗样本。比如给停车标志贴上几个不起眼的贴纸就能让自动驾驶系统将其误判。然而将这种攻击从自然场景如路牌、人脸迁移到遥感图像领域却面临着一系列独特的挑战。遥感图像通常由卫星或航拍设备获取覆盖范围广成像条件复杂多变且目标如建筑物、农田、道路的语义信息高度依赖其宏观纹理和空间结构。传统的对抗扰动如FGSM、PGD生成的像素级噪声在遥感图像上不仅容易被复杂的背景噪声淹没其物理实现如在地表精确喷涂特定图案也几乎是不可能的任务。这就引出了我们这次探讨的核心FogFool。它不是一个凭空捏造的概念而是一种巧妙利用自然现象进行物理对抗攻击的思路。其灵感来源于一个直观的观察大雾天气会显著降低图像的清晰度和对比度从而影响人眼和机器的判断。那么能否模拟一种“对抗性雾气”将其作为一种物理可实现的扰动来欺骗遥感图像分类模型呢Perlin噪声这个在计算机图形学中用于生成自然纹理如云、雾、大理石纹路的经典算法成为了实现这一想法的关键技术。与普通随机噪声不同Perlin噪声具有连贯的、分形般的特性能生成非常逼真的、渐变的云雾效果。FogFool的核心思想正是利用可微分的Perlin噪声生成器通过对抗训练的方式优化出最能让模型“失明”的那一团“雾”。这团雾不仅在数字域有效更重要的是由于其模拟的是自然大气现象理论上可以通过调整成像条件如大气透过率或在后期处理中叠加类似效果来实现物理层面的近似为遥感系统的安全性评估提供了一个新颖且现实的攻击向量。接下来的内容我将深入拆解FogFool从理论到实践的完整链路。我们会从Perlin噪声的原理讲起探讨如何将其“武器化”为对抗扰动然后一步步构建攻击流程并在典型的遥感数据集上进行实战评估。最后我们不会止步于复现还会深入分析这类攻击的局限性、防御思路以及它给我们带来的关于模型鲁棒性和物理世界安全性的更深层次思考。2. 核心武器拆解可微分的Perlin噪声生成器要让一团“雾”成为有效的对抗武器首要条件是这团雾必须能被我们的优化算法通常是梯度下降所操控。这就意味着整个噪声生成过程必须是可微分的。传统的Perlin噪声实现往往包含大量的条件判断和查表操作这在深度学习框架中会切断梯度传播。因此构建FogFool的第一步就是打造一个完全可微的、适配张量运算的Perlin噪声生成器。2.1 Perlin噪声的经典原理与数学表达理解可微分实现必须先吃透经典Perlin噪声的生成步骤。其核心思想是在整数坐标点定义随机的梯度向量然后对任意点进行插值计算。网格划分与梯度赋值将空间划分为单位网格。在每个整数网格点 (i, j) 上随机生成一个二维单位梯度向量 G(i, j)。这个梯度方向决定了该点对周围区域的“影响趋势”。距离向量计算对于空间中任意一点 P(x, y)找到它所在网格单元的四个角点。计算 P 点到这四个角点的距离向量。例如对于左下角点 (i, j)距离向量为 (dx, dy) (x - i, y - j)。点乘与影响权重将每个角点的梯度向量 G 与对应的距离向量进行点乘。点乘结果 s G · (dx, dy) 代表了该角点梯度在 P 点方向上的影响强度。平滑插值这是Perlin噪声看起来自然平滑的关键。直接线性插值会产生明显的网格痕迹。Perlin使用了一个五次缓和曲线函数s(t) 6t^5 - 15t^4 10t^3。这个函数在 t0 和 t1 时一阶和二阶导数都为0能实现非常平滑的过渡。首先对左右两个底角点的影响值在 x 方向上进行平滑插值得到两个中间值。然后对这两个中间值在 y 方向上进行平滑插值最终得到 P 点的噪声值。这个过程生成的噪声值范围通常在 [-1, 1] 左右具有连贯性、自相似性分形非常适合模拟自然纹理。2.2 实现可微分版本的关键技巧在PyTorch或TensorFlow中实现时我们需要用向量化操作替代所有循环和条件判断。梯度向量的生成我们不能使用真正的随机数因为需要保持确定性以计算梯度。通常我们使用一个可学习的参数张量来表示网格点上的梯度。例如对于一个 HxW 的图像我们可以定义一个形状为 (H1, W1, 2) 的张量gradients其中最后一个维度2代表梯度向量的 (x, y) 分量。在初始化时可以用正态分布初始化并通过约束其范数来近似单位向量。网格索引与距离计算利用torch.floor和torch.frac函数可以高效获取任意点坐标的整数部分和小数部分从而得到网格索引和距离向量。整个过程都是张量运算。点乘的向量化使用torch.einsum或简单的乘加运算可以一次性计算所有采样点与四个角点的点乘结果。平滑插值五次多项式函数可以直接用张量运算实现t frac_x和frac_y然后套用公式即可。一个简化的核心代码结构示意如下以PyTorch为例import torch import torch.nn as nn class DifferentiablePerlinNoise(nn.Module): def __init__(self, height, width, octaves4, persistence0.5): super().__init__() self.octaves octaves self.persistence persistence # 为每个八度初始化一个梯度场。1是为了覆盖边界。 self.grad_fields nn.ParameterList([ nn.Parameter(torch.randn(h1, w1, 2) for h, w in self._get_octave_sizes(height, width)) ]) # 可以对梯度进行归一化使其更接近单位向量 with torch.no_grad(): for g in self.grad_fields: g.data nn.functional.normalize(g.data, dim-1) def _get_octave_sizes(self, h, w): sizes [] for i in range(self.octaves): sizes.append((h // (2**i), w // (2**i))) return sizes def _perlin_octave(self, coords, grad_field): # coords: [B, H, W, 2] 归一化到网格空间的坐标 # 实现上述的向量化Perlin噪声计算 # 返回单八度噪声图 [B, H, W] ... def forward(self, batch_size, height, width, device): noise torch.zeros(batch_size, height, width, devicedevice) max_amplitude 0 amplitude 1.0 for i in range(self.octaves): octave_h, octave_w self._get_octave_sizes(height, width)[i] # 生成该八度下的采样坐标网格 x_coords torch.linspace(0, octave_w, width, devicedevice).view(1, -1).repeat(batch_size, height, 1) y_coords torch.linspace(0, octave_h, height, devicedevice).view(-1, 1).repeat(batch_size, 1, width) coords torch.stack([x_coords, y_coords], dim-1) # [B, H, W, 2] octave_noise self._perlin_octave(coords, self.grad_fields[i]) noise amplitude * octave_noise max_amplitude amplitude amplitude * self.persistence # 将噪声值归一化到近似[-1,1]的范围 if max_amplitude 0: noise noise / max_amplitude return noise注意这里的grad_fields被定义为了nn.Parameter这意味着它们将成为模型的一部分并可以通过梯度下降进行优化。这就是FogFool攻击的“可学习扰动”来源。我们不是优化像素扰动而是优化生成这团“雾”的底层参数梯度向量。2.3 从噪声到雾气物理衰减模型生成的Perlin噪声值范围约[-1,1]需要被映射为具有物理意义的雾气透明度图。这里引入一个简化的的大气散射模型I(x) J(x) * t(x) A * (1 - t(x))其中I(x)是观测到的有雾图像。J(x)是原始清晰图像。t(x)是大气透射率图范围 [0, 1]。t1表示完全透明无雾t0表示完全不透明完全被雾气笼罩。A是大气光值通常假设为全局常量如图像中最亮的颜色或设为白色[1,1,1]。在FogFool中我们将Perlin噪声n(x)归一化到[0,1]通过一个可学习的参数beta来生成透射率图t(x) exp(-beta * n(x))。beta控制了雾的浓度。beta越大t(x)越接近0雾气越浓。因此最终的对抗性雾气图像生成公式为I_adv(x) J(x) * exp(-beta * n(x)) A * (1 - exp(-beta * n(x)))在这个公式中可学习的参数包括Perlin噪声生成器中的梯度场grad_fields以及浓度参数beta。通过优化这些参数我们可以让生成的I_adv在分类模型上产生错误的预测。3. 攻击流程构建将雾气“训练”成对抗样本有了可微分的雾气生成器接下来的任务就是设计一个优化流程让这团雾“学会”如何欺骗目标分类模型。这个过程本质上是一个有约束的优化问题。3.1 问题定义与损失函数设计假设我们有一个预训练的遥感图像分类模型F参数为θ输入一张清晰图像x输出类别概率F(x)。我们的目标是生成一个对抗性雾气参数集φ包含梯度场和beta使得有雾图像G(φ; x)被模型误分类。攻击目标通常分为两种无目标攻击只需让模型预测错误不关心具体错误成哪一类。损失函数常使用交叉熵损失L CrossEntropy(F(G(φ; x)), y_true)目标是最大化这个损失。有目标攻击让模型将x预测为一个指定的错误类别y_target。损失函数为L -CrossEntropy(F(G(φ; x)), y_target)或者使用L max(F(G(φ; x))[y_true] - F(G(φ; x))[y_target], -κ)其中κ是置信度边际。对于FogFool为了增强雾气的自然性和隐蔽性我们还需要在损失函数中加入正则化项雾气稀疏性正则鼓励雾气集中在关键区域而非覆盖全图。可以用L1范数约束透射率图t(x)与1的偏差λ_sparse * ||1 - t(x)||_1。雾气平滑性正则Perlin噪声本身是平滑的但优化过程中可能产生尖锐变化。可以加入全变分正则化λ_tv * TV(t(x))确保雾气过渡自然。因此总损失函数为L_total L_attack λ_sparse * L_sparse λ_tv * L_tv3.2 优化策略与迭代过程攻击流程可以概括为以下步骤初始化初始化可微分Perlin噪声生成器的梯度场通常从正态分布采样并归一化初始化浓度参数beta为一个较小正值如0.5。将清晰图像x和模型F固定。前向传播将图像x输入雾气生成器G得到透射率图t和有雾图像x_adv。将x_adv输入目标模型F得到预测概率。计算总损失L_total。反向传播计算总损失关于可学习参数φ梯度场和beta的梯度。关键点这里只对φ求导目标模型F的参数θ是冻结的。参数更新使用优化器如Adam更新φ以最小化L_total对于无目标攻击是最大化原始分类损失但优化器通常处理最小化问题所以需要对L_attack取负号。迭代与终止重复步骤2-4直到达到最大迭代次数或攻击成功模型对x_adv的预测错误或损失收敛。一个需要特别注意的细节是数值稳定性。透射率t(x)涉及指数运算beta过大可能导致t(x)下溢接近0使得梯度消失。实践中需要对beta加以约束如clamp操作或使用更稳定的公式变换。3.3 与其他物理攻击方法的对比为了凸显FogFool的特点我们可以将其与几种经典的物理对抗攻击方法进行对比攻击方法扰动形式物理可实现性对遥感的适用性隐蔽性对抗性补丁在图像局部添加一个显眼的、色彩鲜明的图案贴纸。中。需要制作并放置实体贴纸对于大范围遥感目标不现实。低。遥感目标尺寸、角度多变固定补丁难以生效。低。补丁本身非常显眼不符合自然场景。对抗性涂鸦类似补丁但形状更不规则如涂鸦线条。中。同样面临物理部署难题。低。低。光照干扰通过改变光源颜色、强度、方向来影响成像。高。可通过控制拍摄环境实现。中。对室外遥感场景控制难度大。中。异常光照可能引起怀疑。FogFool全局的、半透明的雾气覆盖模拟自然天气。高。可通过改变成像时的大气条件或在图像处理阶段模拟实现。高。雾气是全局效应对各类遥感目标普遍影响。高。雾气是常见的自然现象不易被察觉为攻击。从对比可以看出FogFool在物理可实现性和隐蔽性上具有显著优势尤其适合遥感这种对全局上下文和纹理敏感的领域。4. 实战评估在遥感数据集上的攻击效能分析理论再完美也需要实验的验证。我们选择在遥感图像分类的经典数据集上进行FogFool的实战评估例如UC Merced Land Use或NWPU-RESISC45。这些数据集包含机场、农田、立交桥、港口等多种地物类别是评估模型鲁棒性的良好基准。4.1 实验环境与基线设置目标模型选择在遥感领域表现优异的预训练模型作为受害者模型例如 ResNet-50、DenseNet-121 或 Vision Transformer (ViT)。这些模型在清晰图像上通常能达到95%以上的Top-1准确率。评估指标攻击成功率在测试集上成功诱使模型分类错误的样本比例。这是核心指标。扰动强度通常用L_p范数衡量但对于雾气扰动更直观的指标是平均透射率下降Δ_t mean(1 - t(x))它反映了雾气的整体浓度。图像质量使用峰值信噪比或结构相似性指数衡量有雾图像与原始图像的视觉差异。PSNR越低SSIM越小差异越大。迁移性在模型A上生成的对抗雾气是否对另一个不同架构的模型B也有效这反映了攻击的泛化能力。对比基线数字攻击基线PGD、MIM等经典数字对抗攻击作为性能上限参考它们在数字域通常攻击成功率最高。随机雾气基线使用未优化的、随机参数的Perlin噪声生成雾气观察其攻击效果以证明优化的必要性。其他物理攻击模拟如均匀雾气覆盖、随机噪声扰动等。4.2 攻击结果的多维度解读假设我们在NWPU-RESISC45数据集上以ResNet-50为目标模型进行无目标攻击可能得到如下表所示的量化结果攻击方法攻击成功率平均Δ_tPSNR对VGG-16的迁移攻击成功率清晰图像0%0.0∞0%PGD (L∞, ε8/255)98.5%-32.145.2%随机雾气12.3%0.1528.58.7%FogFool (本文)85.7%0.2226.862.4%结果分析高攻击成功率FogFool达到了85.7%的攻击成功率虽然略低于在数字域为所欲为的PGD攻击但已远高于随机雾气证明了对抗性优化的有效性。这意味着优化后的“雾”确实找到了模型感知中的脆弱点。适中的扰动强度平均透射率下降0.22意味着图像平均有22%的区域被雾气显著覆盖。这个强度在视觉上是合理的看起来像一场中等浓度的雾而非完全遮蔽。可接受的图像质量下降PSNR为26.8dB虽然低于清晰图像和PGD攻击PGD的扰动肉眼难辨PSNR反而可能更高但观感上仍是一张“有雾的遥感图”并未变得无法辨认。SSIM值通常也会保持在0.8以上说明结构信息大部分得以保留。显著的迁移性对VGG-16的迁移攻击成功率高达62.4%远高于随机雾气甚至超过了PGD攻击的迁移性。这是一个非常重要的发现。它表明FogFool所利用的可能是不同模型共有的、对纹理和对比度变化的脆弱性而不是针对某个模型特定参数的过拟合扰动。这使得这种攻击在“黑盒”场景下不知道目标模型具体参数更具威胁。4.3 可视化分析与脆弱性洞察仅仅看数字不够我们还需要可视化攻击过程以理解模型究竟是如何被“欺骗”的。雾气图可视化将优化后的透射率图t(x)或雾气浓度图1-t(x)显示出来。你会发现对抗性雾气并非均匀分布。它往往会聚集在分类的关键判别区域。例如对于“立交桥”类别雾气可能会更浓地覆盖交叉的道路纹理对于“港口”可能会覆盖船只与水域的交界处。这直观地展示了模型所依赖的“视觉线索”所在。特征空间分析通过t-SNE或PCA降维可视化清晰图像、随机雾气图像和FogFool对抗图像在模型倒数第二层特征层的分布。通常可以看到FogFool图像的特征向量会从原始类别的簇中“漂移”出去甚至靠近其他类别的簇而随机雾气图像则可能仍在原簇附近。这从特征层面解释了攻击为何成功。类别混淆矩阵分析模型在对抗样本上具体是如何出错的。某些类别可能更容易被雾攻击如依赖精细纹理的“密集住宅区”而某些类别可能更鲁棒如色彩鲜明的“田径场”。这有助于我们理解不同地物类别对成像退化的敏感度。5. 超越攻击防御启示、局限性与未来思考FogFool不仅仅是一种攻击手段它更像是一面镜子映照出现有遥感视觉模型在鲁棒性上的软肋。从这项工作中我们可以延伸出许多更具建设性的思考。5.1 从攻击中学习的防御思路既然知道了模型怕这种“对抗性雾”我们就可以有针对性地增强其免疫力。数据增强与对抗训练最直接有效的方法。在训练过程中不仅使用清晰图像也加入由FogFool或其他物理扰动方法生成的“硬样本”。这相当于让模型在“雾天”、“雨天”、“雪天”等各种恶劣天气下都进行学习从而学会提取更本质的特征而非仅仅依赖清晰的纹理和对比度。需要注意的是对抗训练中的扰动雾气参数也需要不断更新与模型训练形成动态博弈。特征去噪与不变性学习设计网络模块尝试从有雾图像中估计并恢复清晰特征或者学习对光照和大气变化不变的特征表示。例如可以引入一个“去雾”子网络作为预处理或者使用对比学习让模型学会将同一场景在不同天气下的特征拉近。不确定性估计与拒绝机制让模型具备“自知之明”。当输入图像的特征不确定性很高时例如因为雾气导致特征模糊模型可以输出一个低置信度分数并交由人类专家判断而不是强行给出一个可能错误的分类。这对于自动驾驶、灾害监测等高可靠性应用至关重要。5.2 FogFool的局限性探讨没有完美的攻击FogFool同样存在局限认清这些局限才能更全面地评估其威胁。物理实现的保真度我们在数字域模拟的雾气与真实物理世界中的雾气存在差距。真实雾气的空间分布、颗粒散射模型、与场景深度的关系大气透视更为复杂。我们的简化模型全局大气光A均匀beta可能过于理想。攻击在数字域有效不代表在真实卫星或航拍图像上同样有效。对极端分类器的脆弱性如果目标模型本身已经在包含各种天气条件的数据集上训练得非常鲁棒那么FogFool的攻击成功率可能会显著下降。攻击的有效性高度依赖于目标模型的“脆弱先验”。计算成本相比于PGD等直接在像素空间优化的方法FogFool需要优化一个噪声生成网络的参数迭代过程可能更慢需要更多的计算资源。可检测性虽然雾气看起来自然但经过对抗优化的雾气可能在统计特性上与自然雾气有细微差别。理论上可以训练一个二分类器来检测图像是否含有“对抗性雾气”这又演变成一场攻防博弈。5.3 延伸思考物理对抗攻击的伦理与未来最后我想分享一些在复现和思考这类工作时的一些个人体会。物理对抗攻击的研究其终极目的不应是制造威胁而是压力测试和预警。它迫使我们去审视那些即将部署在关键基础设施如智慧城市管理、环境监测、国防中的AI系统它们的决策边界是否足够稳健在面对自然界固有的、或可能被恶意模拟的干扰时它们是否会崩溃FogFool揭示的正是模型对一种非常普遍的物理现象——能见度降低——的潜在脆弱性。未来的研究可能会走向两个方向一是攻击的精细化考虑更复杂的物理模型如雨、雪、沙尘、动态场景视频攻击、以及针对特定传感器多光谱、SAR的攻击二是防御的系统化从数据、模型架构、训练范式到推理决策构建多层次、可认证的鲁棒性框架。作为从业者我们既要有构造“矛”以探知边界的能力更要有锻造“盾”以保障安全的责任心。每一次成功的攻击演示都应该成为推动构建更安全、更可靠AI系统的一次有力叩问。在遥感这个连接数字世界与物理世界的领域这种安全意识和鲁棒性追求显得尤为重要。
