简介面向图像处理入门者与研究者这份Matlab源码包聚焦小波域的图像融合任务提供6种经典融合算法的完整实现覆盖最大值、局部能量、平均值、最小二乘估计与自适应策略等核心思路可帮助读者对比不同系数规则对融合效果的影响快速搭建自己的融合实验基线。压缩包共6个文件均为.m脚本整体仅3KB每个算法对应一个独立文件代码精简、结构清晰便于阅读和二次修改。算法说明涵盖小波变换基础及每种方法的适用场景从边缘细节保留到纹理突出、噪声抑制各有侧重。该资源已有543人学习下载。通过运行与调试这些脚本可以直观理解小波分解后低频与高频分量的处理差异尤其适合课程设计、论文复现、遥感或医学图像融合等场景下的算法选型与快速验证。1. 从像素到小波图像融合入门6 种融合算法都在解决同一件事图像融合在实际项目里最先遇到的问题不是算法选型而是方案太多、验证太慢。直接拼像素会把亮区域叠成一团白用拉普拉斯金字塔做多尺度分解细节又会显得发硬换到小波域做融合低频控制全局亮度、高频按显著性挑选细节路径清晰、可解释性强这也是小波图像融合在医学和多聚焦场景里仍是主流基线的原因。所谓 6 种融合算法指的是系数最大值、最小值、平均值、加权平均、区域能量选大和梯度显著性自适应六种规则它们覆盖了从“只选一个”到“加权混合”再到“局部统计量驱动”三种决策思路。下面用 Python PyWavelets 把这 6 种策略串成一套可运行的图像融合流程给出参数设置和验证方法适合要快速搭建小波图像融合基线、或要对比融合效果的工程师和研究人员。2. 小波图像融合的三步框架分解、规则、重建2.1 为什么低频和高频不能共用同一个融合规则小波分解把图像拆成四组系数一个近似子带 CA 和三个方向细节子带 CH、CV、CD。从视觉贡献看它们的职责完全不同融合时不能一视同仁子带来源视觉贡献常见误操作CA低通滤波后的大尺度分量亮度和整体结构高频规则直接套用结果过曝CH水平方向高通垂直边缘用 np.maximum 丢负极性CV垂直方向高通水平边缘同上CD对角高通斜向纹理只保留一个方向其他模糊低频系数承载的是图像本底照度和宏观结构两幅源图的差异更多体现在灰度层次而不是位置偏移。低频取最大值会把两幅图偏亮区域叠加成块状高光低频取最小值融合结果整体发暗。所以在多数实现里低频策略固定为平均或能量加权改造点集中在高频规则上。高频系数记录边缘与噪声差异主要集中在这里融合结果锐度如何取决于每一层细节子带怎么筛。这里有个很容易忽视的点高频系数的符号代表边缘的明暗方向直接用 numpy.maximum(a, b) 选的是带符号最大值会把较暗一侧的负边缘系数丢掉边缘看着会“断线”。正确做法是用绝对值做判决再把原系数写回。2.2 用 PyWavelets 完成三级分解和重建的最小代码先确定环境OpenCV 负责图像读写与合作滤波统计PyWavelets 负责离散小波变换。下面是一套最小流程输入两幅已配准的灰度图输出重建后的浮点结果import cv2 import numpy as np import pywt def load_gray(path): img cv2.imread(path, cv2.IMREAD_GRAYSCALE) return img.astype(np.float32) / 255.0 def save_recon(coeffs, path, waveletdb2): out pywt.waverec2(coeffs, wavelet) out np.clip(out, 0.0, 1.0) cv2.imwrite(path, (out * 255.0).astype(np.uint8)) img1 load_gray(focus_a.png) img2 load_gray(focus_b.png) c1 pywt.wavedec2(img1, waveletdb2, level3) c2 pywt.wavedec2(img2, waveletdb2, level3) # c1[0] 是第 3 层近似系数尺寸约为输入的 1/8 # c1[1] 是第 3 层细节元组 (cH3, cV3, cD3) # c1[2] 是第 2 层细节元组 (cH2, cV2, cD2) # c1[3] 是第 1 层细节元组 (cH1, cV1, cD1)waverec2 的输入顺序必须保持 wavedec2 的输出格式层级不能缺否则重建尺寸错位。两个参数需要注意wavelet 默认是 db1也就是 Haar 小波只适合快速验证换成 db2 后边缘更平滑level 不能超过 max level普通图片的安全上界是 floor(log2(min(H, W))) 减一层级太高时最低频的近似系数只剩几个像素失去融合意义。2.3 把融合规则抽象成低频和高频两个函数六种算法的差异集中在规则函数上为了方便替换把融合过程拆成 low_rule 和 high_rule 两个接口。两者输入都是两个同形状系数数组输出一个数组def fuse_coeffs(ca, cb, low_rule, high_rule): fused [low_rule(ca[0], cb[0])] for i in range(1, len(ca)): fused.append(tuple(high_rule(ca[i][j], cb[i][j]) for j in range(3))) return fused这段封装里fused 列表的第一个元素是低频近似系数后续元素是每层细节元组。列表推导里的 j 遍历三个方向如果后面想对水平、垂直、对角使用不同规则在推导式里加 j 判断即可不需要改整体结构。下一章的六种算法本质上就是为 low_rule 和 high_rule 提供不同实现。3. 6 种融合算法逐一实现从最大值到显著性自适应3.1 算法一与算法二系数绝对值取大Max-Abs与取小Min-Abs最大值是最常用的高频规则。实现时用绝对值比较保留原值避免破坏边缘极性def fuse_max_abs(a, b): # 绝对值大的系数胜出保留边缘的正负极性 mask np.abs(a) np.abs(b) return np.where(mask, a, b) def fuse_min_abs(a, b): # 绝对值小的系数保留用于抑制高亮噪声类伪迹 mask np.abs(a) np.abs(b) return np.where(mask, a, b)max_abs 适合医学多模态融合红外与可见光配对时它能把边缘轮廓完整保留min_abs 看着反直觉但遇到 PET 图像里高亮代谢灶的伪影时很有效这类高亮点在小波域表现为绝对值明显偏大的系数取小规则会把这些点拉回正常范围。两者都不适合直接做低频规则我会把低频固定为平均高频分别换成 max_abs 或 min_abs 再跑对比。3.2 算法三与算法四平均融合与局部能量加权平均融合是信息论意义上的无偏估计也是效果最平滑的基线。高频全用平均值会柔化边缘所以它主要作为对照指标def fuse_average(a, b): return (a b) * 0.5局部能量加权是“平均”的升级版用窗口内平方均值代表局部活跃度按占比分配权重。这样边缘较丰富的源图会获得更高加权过渡区域又不会出现生硬切换def local_energy(img, win3): kernel np.ones((win, win), dtypenp.float32) / (win * win) return cv2.filter2D(img * img, -1, kernel, borderTypecv2.BORDER_REPLICATE) def fuse_energy_weighted(a, b, win3): ea local_energy(a, win) 1e-8 eb local_energy(b, win) 1e-8 wa ea / (ea eb) return wa * a (1.0 - wa) * bwin 是这套规则里唯一要调的参数控制权重切换的平滑过渡范围。win 太小权重图案呈颗粒状win 太大两条聚焦边界交界处的细节会被混叠掉。对于 512×512 的灰度图建议从 win3 起步视觉上出现重影就加 1 到 2出现磨砂感就回退。3.3 算法五与算法六区域能量选大与 SML 显著性自适应区域能量选大是“多数比赛里更稳”的方案不做混合直接从能量更大的源图整体取系数。它的细节层次比加权更硬朗边界干净适合多聚焦图像def fuse_energy_select(a, b, win3): ea local_energy(a, win) eb local_energy(b, win) return np.where(ea eb, a, b)SMLSum-Modified-Laplacian改进拉普拉斯能量和走的是另一条路先对图像做拉普拉斯变换取绝对值后做窗口求和得到显著性度量再按显著性平方归一化加权。相比区域能量SML 对灰度变化更敏感纹理密集区域不容易糊成一片def sml_map(img, win3): lap cv2.Laplacian(img, cv2.CV_32F, ksize1) kernel np.ones((win, win), dtypenp.float32) return cv2.filter2D(np.abs(lap), -1, kernel, borderTypecv2.BORDER_REPLICATE) def fuse_sml(a, b, win3): sa sml_map(a, win) sb sml_map(b, win) # 显著性做平方拉开两图差距让边缘更利落 wa sa * sa / (sa * sa sb * sb 1e-10) return wa * a (1.0 - wa) * b这里拉普拉斯核用 ksize1避免核本身把邻域信息卷入太深实际等价于四邻域二阶差分。win 对 SML 的作用比拉普拉斯核更关键它决定显著性在多大范围内形成投票win5 时对细纹理更友好win3 时边缘定位更准。3.4 统一调用函数与六种规则的适用场景对照把上面六种规则接入 fuse_coeffs得到可切换的融合入口def wavelet_fusion(img1, img2, waveletdb2, level3, ruleenergy_select, win3): ca pywt.wavedec2(img1, wavelet, levellevel) cb pywt.wavedec2(img2, wavelet, levellevel) if rule max_abs: fused fuse_coeffs(ca, cb, fuse_average, fuse_max_abs) elif rule min_abs: fused fuse_coeffs(ca, cb, fuse_average, fuse_min_abs) elif rule average: fused fuse_coeffs(ca, cb, fuse_average, fuse_average) elif rule energy_weighted: fused fuse_coeffs(ca, cb, fuse_average, lambda a, b: fuse_energy_weighted(a, b, win)) elif rule energy_select: fused fuse_coeffs(ca, cb, fuse_average, lambda a, b: fuse_energy_select(a, b, win)) elif rule sml: fused fuse_coeffs(ca, cb, fuse_average, lambda a, b: fuse_sml(a, b, win)) else: raise ValueError(funknown rule: {rule}) return np.clip(pywt.waverec2(fused, wavelet), 0.0, 1.0)规则名低频处理高频处理典型用途max_abs平均绝对值取大医学图像融合轮廓锐利min_abs平均绝对值取小高亮噪声抑制average平均平均基准对照平滑背景energy_weighted平均局部能量加权红外与可见光融合energy_select平均区域能量选大多聚焦图边界清晰sml平均SML 显著性加权纹理密集场景参数 rule 直接决定决策方式win 只对后三种规则生效。如果项目后续要接入 YOLO 多模态检测器优先考虑 sml 或 energy_select这两者的边缘响应更接近检测网络关注的轮廓结构如果只是做可视化提质energy_weighted 的过渡更柔和不会产生边缘残留。多模态融合算法通常还会在通道维度加注意力小波融合在这一步提供的是像素级前置输入两者并不冲突可以串接使用。4. 参数怎么调小波基、分解层数、评价指标三件套4.1 小波基与分解层数的搭配小波基家族的差异集中在对称性、消失矩和紧支性三条线上。db1 是 Haar对称性最差但速度最快db2 到 db4 适合大多数自然图像边缘无明显振铃sym4 比 db 族更对称在细纹理上表现稳定bior3.5 具有线性相位常用于需要保留相位信息的医学图像。预实验时我会用 db2 和 sym4 各跑一遍PSNR 差距小于 2% 就固定用 db2处理速度更快。分解层数是另一个容易踩坑的点。level2 时频带划分太粗焦点区域边界会有切痕level4 时最低频近似尺寸只有输入的 1/16边缘细节被过度压缩振铃明显。对 256×256 的输入level3 是第一选择1024×1024 的大图可以试 level4但窗口半径也要同步上调否则高频显著性统计范围偏小噪声会被当成细节保留。4.2 评价融合质量的四个指标与最小实现只用肉眼判断很容易误判。常看的客观指标中信息熵衡量信息丰富度空间频率衡量清晰度标准差衡量对比度互信息衡量源图信息的保留程度。四者组合能暴露“加了噪声导致熵虚高”这类问题。def image_entropy(gray): hist cv2.calcHist([gray], [0], None, [256], [0, 256]) hist hist[hist 0] / hist.sum() return float(-np.sum(hist * np.log2(hist))) def spatial_frequency(gray): g gray.astype(np.float32) / 255.0 dh np.diff(g, axis1) dv np.diff(g, axis0) return float(np.sqrt((dh ** 2).mean() (dv ** 2).mean())) def mutual_information(gray_a, gray_b, bins64): hist_2d, _, _ np.histogram2d( gray_a.ravel(), gray_b.ravel(), binsbins, range[[0, 255], [0, 255]]) pxy hist_2d / hist_2d.sum() px pxy.sum(axis1) py pxy.sum(axis0) mi 0.0 for i in range(bins): for j in range(bins): if pxy[i, j] 0: mi pxy[i, j] * np.log2(pxy[i, j] / (px[i] * py[j] 1e-12)) return float(mi)使用时固定同一组配准对把六种规则全部跑完横向比较四个指标即可。有一点要特别提醒熵不是越高越好融合结果有颗粒噪声时熵会虚高空间频率高但边缘断裂说明高频规则过激。所以三个指标要一起判断再用互信息验证是否保真而不是加料。4.3 多模态与检测器衔接时的融合前处理可见光与红外的多模态配对输入灰度范围差异大直接分解会把红外高亮区当成细节。在进小波融合框架前先对两幅图分别做线性归一化到 [0,1]红外图用 Otsu 阈值定位过亮区域做一次饱和截断再分解。基于 HSV 空间融合与 Retinex 增强的场景里小波融合只处理 V 通道H 保持主图色相S 做两幅平均这样输出不会出现红绿串色。与 YOLO 多模态融合算法衔接时常见做法有两种把融合结果作为检测器单通道输入直接用普通检测网络推理或者在检测器内部对特征层再做融合小波融合负责预处理阶段把两模态差异压缩到合理区间。前者可替换性强后者精度上限更高两者都可以在融合后加一个轻量注意力模块。对比像 EMMA 这类基于 Transformer 架构的图像融合模型注意力更多建模全局依赖小波融合保留的是局部频域结构。在小样本医学图像上纯注意力模型容易过拟合小波规则反而能稳定给出可解释的基线结果。建议把第四章这套实现当作最低线后续再叠加深度学习模型做赛道改进。5. 融合效果检验与落地技巧三个让实验更可信的动作5.1 用合成多聚焦图对做定量回归真实成对数据标定成本高可以先造一组可量化的测试对一张清晰图做 ground truth左侧做高斯模糊右侧不做得到一张左侧清晰、另一张右侧清晰的配对图。这样融合结果可以直接算 PSNR 和 SSIM六种规则的差距立刻拉开。def make_focus_pair(img, blur_ksize15, blur_sigma2.0): h, w img.shape[:2] blur_img cv2.GaussianBlur(img, (blur_ksize, blur_ksize), blur_sigma) img_a img.copy() img_b img.copy() half w // 2 img_a[:, half:] blur_img[:, half:] img_b[:, :half] blur_img[:, :half] return img_a, img_b核尺寸模糊过窄对比不明显过宽会把边界附近的结构也模糊掉。15 到 21 的范围内测试即可。5.2 彩色输入只融合亮度通道直接对 BGR 三通道各自做小波融合会出现三通道高频系数不一致的偏色问题边缘区域容易泛红或泛绿。实际项目中把图像转到 YCrCb 空间只对 Y 通道做小波融合Cr、Cb 取两幅输入的均值然后合并还原为 BGR 图。实测这样处理对结果颜色稳定性改善明显计算量也没有增加。5.3 没有 GPU 时的三层降级策略生产环境没有 GPU且图片分辨率较高可以做三层降级level 从 3 降到 2高频规则从 SML 换成 max_abs小波基从 db4 换成 haar。处理时间能降到原来的约四分之一代价是边缘细节偏硬肉眼可接受。运行时把 wavelet、level、rule 和 win 四个参数暴露成命令行配置优先权交给下游需求。批量验证时建议把所有中间结果和指标输出到 CSV 文件按空间频率和熵排序快速定位整批数据上表现最稳定的参数组合而不是逐张看图进行主观判断。本文还有配套的精品资源点击获取
从像素到小波：6种图像融合算法Python实战
简介面向图像处理入门者与研究者这份Matlab源码包聚焦小波域的图像融合任务提供6种经典融合算法的完整实现覆盖最大值、局部能量、平均值、最小二乘估计与自适应策略等核心思路可帮助读者对比不同系数规则对融合效果的影响快速搭建自己的融合实验基线。压缩包共6个文件均为.m脚本整体仅3KB每个算法对应一个独立文件代码精简、结构清晰便于阅读和二次修改。算法说明涵盖小波变换基础及每种方法的适用场景从边缘细节保留到纹理突出、噪声抑制各有侧重。该资源已有543人学习下载。通过运行与调试这些脚本可以直观理解小波分解后低频与高频分量的处理差异尤其适合课程设计、论文复现、遥感或医学图像融合等场景下的算法选型与快速验证。1. 从像素到小波图像融合入门6 种融合算法都在解决同一件事图像融合在实际项目里最先遇到的问题不是算法选型而是方案太多、验证太慢。直接拼像素会把亮区域叠成一团白用拉普拉斯金字塔做多尺度分解细节又会显得发硬换到小波域做融合低频控制全局亮度、高频按显著性挑选细节路径清晰、可解释性强这也是小波图像融合在医学和多聚焦场景里仍是主流基线的原因。所谓 6 种融合算法指的是系数最大值、最小值、平均值、加权平均、区域能量选大和梯度显著性自适应六种规则它们覆盖了从“只选一个”到“加权混合”再到“局部统计量驱动”三种决策思路。下面用 Python PyWavelets 把这 6 种策略串成一套可运行的图像融合流程给出参数设置和验证方法适合要快速搭建小波图像融合基线、或要对比融合效果的工程师和研究人员。2. 小波图像融合的三步框架分解、规则、重建2.1 为什么低频和高频不能共用同一个融合规则小波分解把图像拆成四组系数一个近似子带 CA 和三个方向细节子带 CH、CV、CD。从视觉贡献看它们的职责完全不同融合时不能一视同仁子带来源视觉贡献常见误操作CA低通滤波后的大尺度分量亮度和整体结构高频规则直接套用结果过曝CH水平方向高通垂直边缘用 np.maximum 丢负极性CV垂直方向高通水平边缘同上CD对角高通斜向纹理只保留一个方向其他模糊低频系数承载的是图像本底照度和宏观结构两幅源图的差异更多体现在灰度层次而不是位置偏移。低频取最大值会把两幅图偏亮区域叠加成块状高光低频取最小值融合结果整体发暗。所以在多数实现里低频策略固定为平均或能量加权改造点集中在高频规则上。高频系数记录边缘与噪声差异主要集中在这里融合结果锐度如何取决于每一层细节子带怎么筛。这里有个很容易忽视的点高频系数的符号代表边缘的明暗方向直接用 numpy.maximum(a, b) 选的是带符号最大值会把较暗一侧的负边缘系数丢掉边缘看着会“断线”。正确做法是用绝对值做判决再把原系数写回。2.2 用 PyWavelets 完成三级分解和重建的最小代码先确定环境OpenCV 负责图像读写与合作滤波统计PyWavelets 负责离散小波变换。下面是一套最小流程输入两幅已配准的灰度图输出重建后的浮点结果import cv2 import numpy as np import pywt def load_gray(path): img cv2.imread(path, cv2.IMREAD_GRAYSCALE) return img.astype(np.float32) / 255.0 def save_recon(coeffs, path, waveletdb2): out pywt.waverec2(coeffs, wavelet) out np.clip(out, 0.0, 1.0) cv2.imwrite(path, (out * 255.0).astype(np.uint8)) img1 load_gray(focus_a.png) img2 load_gray(focus_b.png) c1 pywt.wavedec2(img1, waveletdb2, level3) c2 pywt.wavedec2(img2, waveletdb2, level3) # c1[0] 是第 3 层近似系数尺寸约为输入的 1/8 # c1[1] 是第 3 层细节元组 (cH3, cV3, cD3) # c1[2] 是第 2 层细节元组 (cH2, cV2, cD2) # c1[3] 是第 1 层细节元组 (cH1, cV1, cD1)waverec2 的输入顺序必须保持 wavedec2 的输出格式层级不能缺否则重建尺寸错位。两个参数需要注意wavelet 默认是 db1也就是 Haar 小波只适合快速验证换成 db2 后边缘更平滑level 不能超过 max level普通图片的安全上界是 floor(log2(min(H, W))) 减一层级太高时最低频的近似系数只剩几个像素失去融合意义。2.3 把融合规则抽象成低频和高频两个函数六种算法的差异集中在规则函数上为了方便替换把融合过程拆成 low_rule 和 high_rule 两个接口。两者输入都是两个同形状系数数组输出一个数组def fuse_coeffs(ca, cb, low_rule, high_rule): fused [low_rule(ca[0], cb[0])] for i in range(1, len(ca)): fused.append(tuple(high_rule(ca[i][j], cb[i][j]) for j in range(3))) return fused这段封装里fused 列表的第一个元素是低频近似系数后续元素是每层细节元组。列表推导里的 j 遍历三个方向如果后面想对水平、垂直、对角使用不同规则在推导式里加 j 判断即可不需要改整体结构。下一章的六种算法本质上就是为 low_rule 和 high_rule 提供不同实现。3. 6 种融合算法逐一实现从最大值到显著性自适应3.1 算法一与算法二系数绝对值取大Max-Abs与取小Min-Abs最大值是最常用的高频规则。实现时用绝对值比较保留原值避免破坏边缘极性def fuse_max_abs(a, b): # 绝对值大的系数胜出保留边缘的正负极性 mask np.abs(a) np.abs(b) return np.where(mask, a, b) def fuse_min_abs(a, b): # 绝对值小的系数保留用于抑制高亮噪声类伪迹 mask np.abs(a) np.abs(b) return np.where(mask, a, b)max_abs 适合医学多模态融合红外与可见光配对时它能把边缘轮廓完整保留min_abs 看着反直觉但遇到 PET 图像里高亮代谢灶的伪影时很有效这类高亮点在小波域表现为绝对值明显偏大的系数取小规则会把这些点拉回正常范围。两者都不适合直接做低频规则我会把低频固定为平均高频分别换成 max_abs 或 min_abs 再跑对比。3.2 算法三与算法四平均融合与局部能量加权平均融合是信息论意义上的无偏估计也是效果最平滑的基线。高频全用平均值会柔化边缘所以它主要作为对照指标def fuse_average(a, b): return (a b) * 0.5局部能量加权是“平均”的升级版用窗口内平方均值代表局部活跃度按占比分配权重。这样边缘较丰富的源图会获得更高加权过渡区域又不会出现生硬切换def local_energy(img, win3): kernel np.ones((win, win), dtypenp.float32) / (win * win) return cv2.filter2D(img * img, -1, kernel, borderTypecv2.BORDER_REPLICATE) def fuse_energy_weighted(a, b, win3): ea local_energy(a, win) 1e-8 eb local_energy(b, win) 1e-8 wa ea / (ea eb) return wa * a (1.0 - wa) * bwin 是这套规则里唯一要调的参数控制权重切换的平滑过渡范围。win 太小权重图案呈颗粒状win 太大两条聚焦边界交界处的细节会被混叠掉。对于 512×512 的灰度图建议从 win3 起步视觉上出现重影就加 1 到 2出现磨砂感就回退。3.3 算法五与算法六区域能量选大与 SML 显著性自适应区域能量选大是“多数比赛里更稳”的方案不做混合直接从能量更大的源图整体取系数。它的细节层次比加权更硬朗边界干净适合多聚焦图像def fuse_energy_select(a, b, win3): ea local_energy(a, win) eb local_energy(b, win) return np.where(ea eb, a, b)SMLSum-Modified-Laplacian改进拉普拉斯能量和走的是另一条路先对图像做拉普拉斯变换取绝对值后做窗口求和得到显著性度量再按显著性平方归一化加权。相比区域能量SML 对灰度变化更敏感纹理密集区域不容易糊成一片def sml_map(img, win3): lap cv2.Laplacian(img, cv2.CV_32F, ksize1) kernel np.ones((win, win), dtypenp.float32) return cv2.filter2D(np.abs(lap), -1, kernel, borderTypecv2.BORDER_REPLICATE) def fuse_sml(a, b, win3): sa sml_map(a, win) sb sml_map(b, win) # 显著性做平方拉开两图差距让边缘更利落 wa sa * sa / (sa * sa sb * sb 1e-10) return wa * a (1.0 - wa) * b这里拉普拉斯核用 ksize1避免核本身把邻域信息卷入太深实际等价于四邻域二阶差分。win 对 SML 的作用比拉普拉斯核更关键它决定显著性在多大范围内形成投票win5 时对细纹理更友好win3 时边缘定位更准。3.4 统一调用函数与六种规则的适用场景对照把上面六种规则接入 fuse_coeffs得到可切换的融合入口def wavelet_fusion(img1, img2, waveletdb2, level3, ruleenergy_select, win3): ca pywt.wavedec2(img1, wavelet, levellevel) cb pywt.wavedec2(img2, wavelet, levellevel) if rule max_abs: fused fuse_coeffs(ca, cb, fuse_average, fuse_max_abs) elif rule min_abs: fused fuse_coeffs(ca, cb, fuse_average, fuse_min_abs) elif rule average: fused fuse_coeffs(ca, cb, fuse_average, fuse_average) elif rule energy_weighted: fused fuse_coeffs(ca, cb, fuse_average, lambda a, b: fuse_energy_weighted(a, b, win)) elif rule energy_select: fused fuse_coeffs(ca, cb, fuse_average, lambda a, b: fuse_energy_select(a, b, win)) elif rule sml: fused fuse_coeffs(ca, cb, fuse_average, lambda a, b: fuse_sml(a, b, win)) else: raise ValueError(funknown rule: {rule}) return np.clip(pywt.waverec2(fused, wavelet), 0.0, 1.0)规则名低频处理高频处理典型用途max_abs平均绝对值取大医学图像融合轮廓锐利min_abs平均绝对值取小高亮噪声抑制average平均平均基准对照平滑背景energy_weighted平均局部能量加权红外与可见光融合energy_select平均区域能量选大多聚焦图边界清晰sml平均SML 显著性加权纹理密集场景参数 rule 直接决定决策方式win 只对后三种规则生效。如果项目后续要接入 YOLO 多模态检测器优先考虑 sml 或 energy_select这两者的边缘响应更接近检测网络关注的轮廓结构如果只是做可视化提质energy_weighted 的过渡更柔和不会产生边缘残留。多模态融合算法通常还会在通道维度加注意力小波融合在这一步提供的是像素级前置输入两者并不冲突可以串接使用。4. 参数怎么调小波基、分解层数、评价指标三件套4.1 小波基与分解层数的搭配小波基家族的差异集中在对称性、消失矩和紧支性三条线上。db1 是 Haar对称性最差但速度最快db2 到 db4 适合大多数自然图像边缘无明显振铃sym4 比 db 族更对称在细纹理上表现稳定bior3.5 具有线性相位常用于需要保留相位信息的医学图像。预实验时我会用 db2 和 sym4 各跑一遍PSNR 差距小于 2% 就固定用 db2处理速度更快。分解层数是另一个容易踩坑的点。level2 时频带划分太粗焦点区域边界会有切痕level4 时最低频近似尺寸只有输入的 1/16边缘细节被过度压缩振铃明显。对 256×256 的输入level3 是第一选择1024×1024 的大图可以试 level4但窗口半径也要同步上调否则高频显著性统计范围偏小噪声会被当成细节保留。4.2 评价融合质量的四个指标与最小实现只用肉眼判断很容易误判。常看的客观指标中信息熵衡量信息丰富度空间频率衡量清晰度标准差衡量对比度互信息衡量源图信息的保留程度。四者组合能暴露“加了噪声导致熵虚高”这类问题。def image_entropy(gray): hist cv2.calcHist([gray], [0], None, [256], [0, 256]) hist hist[hist 0] / hist.sum() return float(-np.sum(hist * np.log2(hist))) def spatial_frequency(gray): g gray.astype(np.float32) / 255.0 dh np.diff(g, axis1) dv np.diff(g, axis0) return float(np.sqrt((dh ** 2).mean() (dv ** 2).mean())) def mutual_information(gray_a, gray_b, bins64): hist_2d, _, _ np.histogram2d( gray_a.ravel(), gray_b.ravel(), binsbins, range[[0, 255], [0, 255]]) pxy hist_2d / hist_2d.sum() px pxy.sum(axis1) py pxy.sum(axis0) mi 0.0 for i in range(bins): for j in range(bins): if pxy[i, j] 0: mi pxy[i, j] * np.log2(pxy[i, j] / (px[i] * py[j] 1e-12)) return float(mi)使用时固定同一组配准对把六种规则全部跑完横向比较四个指标即可。有一点要特别提醒熵不是越高越好融合结果有颗粒噪声时熵会虚高空间频率高但边缘断裂说明高频规则过激。所以三个指标要一起判断再用互信息验证是否保真而不是加料。4.3 多模态与检测器衔接时的融合前处理可见光与红外的多模态配对输入灰度范围差异大直接分解会把红外高亮区当成细节。在进小波融合框架前先对两幅图分别做线性归一化到 [0,1]红外图用 Otsu 阈值定位过亮区域做一次饱和截断再分解。基于 HSV 空间融合与 Retinex 增强的场景里小波融合只处理 V 通道H 保持主图色相S 做两幅平均这样输出不会出现红绿串色。与 YOLO 多模态融合算法衔接时常见做法有两种把融合结果作为检测器单通道输入直接用普通检测网络推理或者在检测器内部对特征层再做融合小波融合负责预处理阶段把两模态差异压缩到合理区间。前者可替换性强后者精度上限更高两者都可以在融合后加一个轻量注意力模块。对比像 EMMA 这类基于 Transformer 架构的图像融合模型注意力更多建模全局依赖小波融合保留的是局部频域结构。在小样本医学图像上纯注意力模型容易过拟合小波规则反而能稳定给出可解释的基线结果。建议把第四章这套实现当作最低线后续再叠加深度学习模型做赛道改进。5. 融合效果检验与落地技巧三个让实验更可信的动作5.1 用合成多聚焦图对做定量回归真实成对数据标定成本高可以先造一组可量化的测试对一张清晰图做 ground truth左侧做高斯模糊右侧不做得到一张左侧清晰、另一张右侧清晰的配对图。这样融合结果可以直接算 PSNR 和 SSIM六种规则的差距立刻拉开。def make_focus_pair(img, blur_ksize15, blur_sigma2.0): h, w img.shape[:2] blur_img cv2.GaussianBlur(img, (blur_ksize, blur_ksize), blur_sigma) img_a img.copy() img_b img.copy() half w // 2 img_a[:, half:] blur_img[:, half:] img_b[:, :half] blur_img[:, :half] return img_a, img_b核尺寸模糊过窄对比不明显过宽会把边界附近的结构也模糊掉。15 到 21 的范围内测试即可。5.2 彩色输入只融合亮度通道直接对 BGR 三通道各自做小波融合会出现三通道高频系数不一致的偏色问题边缘区域容易泛红或泛绿。实际项目中把图像转到 YCrCb 空间只对 Y 通道做小波融合Cr、Cb 取两幅输入的均值然后合并还原为 BGR 图。实测这样处理对结果颜色稳定性改善明显计算量也没有增加。5.3 没有 GPU 时的三层降级策略生产环境没有 GPU且图片分辨率较高可以做三层降级level 从 3 降到 2高频规则从 SML 换成 max_abs小波基从 db4 换成 haar。处理时间能降到原来的约四分之一代价是边缘细节偏硬肉眼可接受。运行时把 wavelet、level、rule 和 win 四个参数暴露成命令行配置优先权交给下游需求。批量验证时建议把所有中间结果和指标输出到 CSV 文件按空间频率和熵排序快速定位整批数据上表现最稳定的参数组合而不是逐张看图进行主观判断。本文还有配套的精品资源点击获取