消融实验与 baseline以 RainMamba 为例 · 学习笔记素材来源RainMamba: Enhanced Locality Learning with State Space Models for Video DerainingACM Multimedia 2024 OralarXiv 2407.21773主题范畴深度学习方法论 · 消融实验 / baseline / Mamba-SSM整理日期2026-10-02关联阅读模块缝合与人物蒸馏笔记同系列方法论篇目录摘要一、术语定位什么是消融什么是基线1.1 消融Ablation的词源与本义1.2 baseline基线及其语境漂移二、背景知识Mamba 与 SSM2.1 Mamba 不是缩写2.2 Mamba 的核心贡献2.3 SSM 用于视觉任务的共性缺陷三、RainMamba缝合式方法论的典型样本3.1 任务与命名3.2 三个核心组件3.3 Hilbert 扫描的数学依据四、消融实验数据精读Table 5VRDS 数据集4.1 递进式消融设计4.2 主消融结果4.3 增益瀑布拆解4.4 长序列消融Table 9NTURain 数据集五、方法论如何用消融实验掂量一篇缝合论文5.1 消融展示的是缝合增益分解不是对骨干的贡献5.2 判断可迁移贡献的标准5.3 读消融表的两个小心眼5.4 读缝合论文的操作流程六、常见误区附录 A术语速查表附录 B自查清单读缝合论文五问待生成摘要消融实验源自医学术语本质是控制变量法逐个移除组件以性能损失量化贡献基线在消融与对比实验中含义不同。本文以 ACM MM 2024 去雨论文 RainMamba 为样本解读 Hilbert 扫描与差分对比学习如何修补 SSM 的局部性缺陷并拆解三组件共 2.69 dB 增益。一、术语定位什么是消融什么是基线1.1 消融Ablation的词源与本义消融原为医学术语ablation指通过切除或烧蚀身体某块组织——如心脏消融手术、神经科学中的脑区切除——并观察功能损失来反推该组织原本承担的职能。深度学习借用了这一思想把模型的某个模块切掉观察性能下降多少用性能损失反推该模块的贡献。其方法论本质即科研中的控制变量法除被移除组件外训练数据、超参数、算力配置全部保持一致每次只动一个零件。1.2 baseline基线及其语境漂移baseline 指用于比对的参照模型但在论文不同位置含义会漂移出现语境baseline 通常指RainMamba 中的实例消融实验Ablation Study拆到最简的裸模型M1去掉全部三个核心组件的基础网络对比实验Comparison领域内已有的他人方法ESTINet 等已有视频去雨模型读论文时扫一眼表头即可确认所指。相关高频术语SOTAState-of-the-Art当前最优、w/o ×××without去掉某组件消融表最常见标记、upper bound性能上界。二、背景知识Mamba 与 SSM2.1 Mamba 不是缩写Mamba 取自黑曼巴蛇black mamba延续 Python 生态的蛇系命名传统是 2023 年 Albert Gu 与 Tri Dao 提出的架构代号NeurIPS 2023Mamba: Linear-Time Sequence Modeling with Selective State Spaces。真正构成技术缩写的是两个词SSMState Space Model状态空间模型其技术内核S4Structured State Space Sequence Model其前身这个才是缩写。2.2 Mamba 的核心贡献在 SSM 基础上引入两项改进选择性机制selective SSM状态参数随输入内容动态变化硬件感知并行扫描parallel scan使一维序列可高效并行训练。其卖点是线性复杂度完成长序列建模对标 Transformer 注意力的二次复杂度序列越长收益越大。2.3 SSM 用于视觉任务的共性缺陷SSM 天生只接受一维序列。将视频三维张量时间 × 高 × 宽拉平为一条序列时相邻像素在序列上被扯散局部相关性被破坏——这是所有视频类 Mamba 模型的共性痛点也是 RainMamba 的切入点。三、RainMamba缝合式方法论的典型样本3.1 任务与命名任务为视频去雨去除雨条 rain streaks 与雨滴附着物 raindrops。命名遵循任务 骨架缝合式起名法Rain Mamba。注意其 selective SSM 算子原封未动改动集中在算子之外。3.2 三个核心组件缩写全称机制角色GMBGlobal Mamba BlockZigzag逐行光栅扫描全局时空依赖粗到细的粗LMBLocal Mamba Block3D Hilbert 曲线扫描序列级局部性粗到细的细DCLDifference-guided dynamic Contrastive Locality learning差分引导的动态对比学习patch 级自相似正则训练期策略3.3 Hilbert 扫描的数学依据论文以膨胀因子 DFdilation factor空间-线性比的上界刻画扫描方式的局部性保持能力Hilbert 曲线DF 6为常数与分辨率无关Zigzag 曲线DF 4ⁿ − 2ⁿ⁺¹ 2随曲线阶数 n 发散至无穷。即分辨率越高Hilbert 扫描保持局部性的优势越大。二者分工Zigzag 偏全局相关性Hilbert 偏局部相关性构成互补分别对应 GMB 与 LMB。四、消融实验数据精读Table 5VRDS 数据集4.1 递进式消融设计论文采用递进构建progressive build-up而非单组件移除M1移除全部三个核心组件的基础网络消融基线M2M1 GMBM3M1 LMBM4M1 GMB LMB完整粗到细模块OursM4 DCL完整模型。4.2 主消融结果模型GMBLMBDCLPSNR↑SSIM↑LPIPS↓GFLOPs参数量(M)M1———29.350.91180.089349.8230.23M2✓——30.860.92770.077484.4032.49M3—✓—31.040.93020.075384.4032.49M4✓✓—31.790.93610.0704118.9934.75Ours✓✓✓32.040.93760.0684118.9934.754.3 增益瀑布拆解从 M1 到完整模型共2.69 dB各组件净贡献步骤增量说明M1 → M2GMB1.51 dB验证 SSM 捕捉长程依赖的能力M2 → M4LMB0.93 dB粗到细设计的互补增益M4 → OursDCL0.25 dB零开销增益GFLOPs 与参数量完全不变三条关键读表结论M3 M2 是最干净的对照同为 84.40 GFLOPsHilbert31.04 dB胜 Zigzag30.86 dB——控制算力、只换扫描方式的单变量实验直接支撑Hilbert 更有效的主张DCL 是性价比最高的零件纯训练期正则推理零成本属于缝合时值得优先积攒的组件类型扫描方向不敏感Table 7time-first / height-first / width-first 三种 Hilbert 方向仅差 0.06 dB说明增益来自 Hilbert 机制本身而非方向运气。4.4 长序列消融Table 9NTURain 数据集输入帧数7205080110PSNR↑37.53437.80637.85837.87037.875显存占用5,082M9,530M20,056M32,056M41,100M帧数增加性能单调提升且边际递减、显存近似线性增长——这正是 SSM 线性复杂度优势的实证换成 Transformer110 帧的注意力矩阵开销将不可承受。五、方法论如何用消融实验掂量一篇缝合论文5.1 消融展示的是缝合增益分解不是对骨干的贡献RainMamba 未改动 SSM 算子本身其贡献在于SSM 的视频应用方法论修补一维化破坏局部性这一通用缺陷Hilbert 扫描与训练策略DCL。措辞上应区分对 SSM 算子的贡献与对 SSM 使用方式的贡献。5.2 判断可迁移贡献的标准单一任务消融只能证明在视频去雨上有用。要主张通用贡献需跨任务、跨模型验证如将 Hilbert 扫描迁移到视频分割、修复或其他视频 Mamba 模型。可迁移性是缝合零件价值的试金石。5.3 读消融表的两个小心眼协同效应单独移除某组件只掉 0.2 dB不代表它不重要——组件间可能配合工作单变量消融会低估协同价值坐标轴截断论文图表常截断指标轴如从 88 而非 0 开始视觉差距被放大务必看具体数值。5.4 读缝合论文的操作流程看瀑布图拆解每个零件各贡献多少 dB / 点数算力对齐检查找同 FLOPs 的对照行如 M3 vs M2零开销组件优先关注如 DCL 类训练期策略问一句这个零件能否搬到别的任务/模型六、常见误区误以为 Mamba 是缩写——它是蛇名S4 与 SSM 才是缩写误以为消融证明因果——消融只证明去掉后变差模块间的交互与替代路径仍需设计实验排除误以为 baseline 含义唯一——消融表与对比表中的 baseline 指向不同对象误以为贡献于 SSM——任务级增益与骨干级改进是两个层级的贡献审稿人会严格区分。附录 A术语速查表术语全称 / 含义Ablation Study消融实验逐个移除组件量化贡献baseline基线参照模型语境决定具体所指SOTAState-of-the-Art当前最优w/owithout消融表中去掉某组件的标记SSMState Space Model状态空间模型S4Structured State Space Sequence Modelselective SSM选择性状态空间模型Mamba 的核心机制GMB / LMB / DCLRainMamba 三组件全局 Mamba 块 / 局部 Mamba 块 / 差分引导对比局部学习DFDilation Factor膨胀因子扫描局部性度量PSNR / SSIM / LPIPS去雨/修复任务三大指标峰值信噪比 / 结构相似度 / 感知距离附录 B自查清单读缝合论文五问消融基线拆到多简是否含全无参照每个零件的净增益与增量算力分别是多少是否存在同算力的干净对照有无零开销的纯训练期组件核心零件是否做过跨任务 / 跨模型迁移验证本笔记由对话蒸馏整理数据均引自论文原文 Table 5 / 7 / 9。
消融实验与 baseline：以 RainMamba 为例 · 学习笔记
消融实验与 baseline以 RainMamba 为例 · 学习笔记素材来源RainMamba: Enhanced Locality Learning with State Space Models for Video DerainingACM Multimedia 2024 OralarXiv 2407.21773主题范畴深度学习方法论 · 消融实验 / baseline / Mamba-SSM整理日期2026-10-02关联阅读模块缝合与人物蒸馏笔记同系列方法论篇目录摘要一、术语定位什么是消融什么是基线1.1 消融Ablation的词源与本义1.2 baseline基线及其语境漂移二、背景知识Mamba 与 SSM2.1 Mamba 不是缩写2.2 Mamba 的核心贡献2.3 SSM 用于视觉任务的共性缺陷三、RainMamba缝合式方法论的典型样本3.1 任务与命名3.2 三个核心组件3.3 Hilbert 扫描的数学依据四、消融实验数据精读Table 5VRDS 数据集4.1 递进式消融设计4.2 主消融结果4.3 增益瀑布拆解4.4 长序列消融Table 9NTURain 数据集五、方法论如何用消融实验掂量一篇缝合论文5.1 消融展示的是缝合增益分解不是对骨干的贡献5.2 判断可迁移贡献的标准5.3 读消融表的两个小心眼5.4 读缝合论文的操作流程六、常见误区附录 A术语速查表附录 B自查清单读缝合论文五问待生成摘要消融实验源自医学术语本质是控制变量法逐个移除组件以性能损失量化贡献基线在消融与对比实验中含义不同。本文以 ACM MM 2024 去雨论文 RainMamba 为样本解读 Hilbert 扫描与差分对比学习如何修补 SSM 的局部性缺陷并拆解三组件共 2.69 dB 增益。一、术语定位什么是消融什么是基线1.1 消融Ablation的词源与本义消融原为医学术语ablation指通过切除或烧蚀身体某块组织——如心脏消融手术、神经科学中的脑区切除——并观察功能损失来反推该组织原本承担的职能。深度学习借用了这一思想把模型的某个模块切掉观察性能下降多少用性能损失反推该模块的贡献。其方法论本质即科研中的控制变量法除被移除组件外训练数据、超参数、算力配置全部保持一致每次只动一个零件。1.2 baseline基线及其语境漂移baseline 指用于比对的参照模型但在论文不同位置含义会漂移出现语境baseline 通常指RainMamba 中的实例消融实验Ablation Study拆到最简的裸模型M1去掉全部三个核心组件的基础网络对比实验Comparison领域内已有的他人方法ESTINet 等已有视频去雨模型读论文时扫一眼表头即可确认所指。相关高频术语SOTAState-of-the-Art当前最优、w/o ×××without去掉某组件消融表最常见标记、upper bound性能上界。二、背景知识Mamba 与 SSM2.1 Mamba 不是缩写Mamba 取自黑曼巴蛇black mamba延续 Python 生态的蛇系命名传统是 2023 年 Albert Gu 与 Tri Dao 提出的架构代号NeurIPS 2023Mamba: Linear-Time Sequence Modeling with Selective State Spaces。真正构成技术缩写的是两个词SSMState Space Model状态空间模型其技术内核S4Structured State Space Sequence Model其前身这个才是缩写。2.2 Mamba 的核心贡献在 SSM 基础上引入两项改进选择性机制selective SSM状态参数随输入内容动态变化硬件感知并行扫描parallel scan使一维序列可高效并行训练。其卖点是线性复杂度完成长序列建模对标 Transformer 注意力的二次复杂度序列越长收益越大。2.3 SSM 用于视觉任务的共性缺陷SSM 天生只接受一维序列。将视频三维张量时间 × 高 × 宽拉平为一条序列时相邻像素在序列上被扯散局部相关性被破坏——这是所有视频类 Mamba 模型的共性痛点也是 RainMamba 的切入点。三、RainMamba缝合式方法论的典型样本3.1 任务与命名任务为视频去雨去除雨条 rain streaks 与雨滴附着物 raindrops。命名遵循任务 骨架缝合式起名法Rain Mamba。注意其 selective SSM 算子原封未动改动集中在算子之外。3.2 三个核心组件缩写全称机制角色GMBGlobal Mamba BlockZigzag逐行光栅扫描全局时空依赖粗到细的粗LMBLocal Mamba Block3D Hilbert 曲线扫描序列级局部性粗到细的细DCLDifference-guided dynamic Contrastive Locality learning差分引导的动态对比学习patch 级自相似正则训练期策略3.3 Hilbert 扫描的数学依据论文以膨胀因子 DFdilation factor空间-线性比的上界刻画扫描方式的局部性保持能力Hilbert 曲线DF 6为常数与分辨率无关Zigzag 曲线DF 4ⁿ − 2ⁿ⁺¹ 2随曲线阶数 n 发散至无穷。即分辨率越高Hilbert 扫描保持局部性的优势越大。二者分工Zigzag 偏全局相关性Hilbert 偏局部相关性构成互补分别对应 GMB 与 LMB。四、消融实验数据精读Table 5VRDS 数据集4.1 递进式消融设计论文采用递进构建progressive build-up而非单组件移除M1移除全部三个核心组件的基础网络消融基线M2M1 GMBM3M1 LMBM4M1 GMB LMB完整粗到细模块OursM4 DCL完整模型。4.2 主消融结果模型GMBLMBDCLPSNR↑SSIM↑LPIPS↓GFLOPs参数量(M)M1———29.350.91180.089349.8230.23M2✓——30.860.92770.077484.4032.49M3—✓—31.040.93020.075384.4032.49M4✓✓—31.790.93610.0704118.9934.75Ours✓✓✓32.040.93760.0684118.9934.754.3 增益瀑布拆解从 M1 到完整模型共2.69 dB各组件净贡献步骤增量说明M1 → M2GMB1.51 dB验证 SSM 捕捉长程依赖的能力M2 → M4LMB0.93 dB粗到细设计的互补增益M4 → OursDCL0.25 dB零开销增益GFLOPs 与参数量完全不变三条关键读表结论M3 M2 是最干净的对照同为 84.40 GFLOPsHilbert31.04 dB胜 Zigzag30.86 dB——控制算力、只换扫描方式的单变量实验直接支撑Hilbert 更有效的主张DCL 是性价比最高的零件纯训练期正则推理零成本属于缝合时值得优先积攒的组件类型扫描方向不敏感Table 7time-first / height-first / width-first 三种 Hilbert 方向仅差 0.06 dB说明增益来自 Hilbert 机制本身而非方向运气。4.4 长序列消融Table 9NTURain 数据集输入帧数7205080110PSNR↑37.53437.80637.85837.87037.875显存占用5,082M9,530M20,056M32,056M41,100M帧数增加性能单调提升且边际递减、显存近似线性增长——这正是 SSM 线性复杂度优势的实证换成 Transformer110 帧的注意力矩阵开销将不可承受。五、方法论如何用消融实验掂量一篇缝合论文5.1 消融展示的是缝合增益分解不是对骨干的贡献RainMamba 未改动 SSM 算子本身其贡献在于SSM 的视频应用方法论修补一维化破坏局部性这一通用缺陷Hilbert 扫描与训练策略DCL。措辞上应区分对 SSM 算子的贡献与对 SSM 使用方式的贡献。5.2 判断可迁移贡献的标准单一任务消融只能证明在视频去雨上有用。要主张通用贡献需跨任务、跨模型验证如将 Hilbert 扫描迁移到视频分割、修复或其他视频 Mamba 模型。可迁移性是缝合零件价值的试金石。5.3 读消融表的两个小心眼协同效应单独移除某组件只掉 0.2 dB不代表它不重要——组件间可能配合工作单变量消融会低估协同价值坐标轴截断论文图表常截断指标轴如从 88 而非 0 开始视觉差距被放大务必看具体数值。5.4 读缝合论文的操作流程看瀑布图拆解每个零件各贡献多少 dB / 点数算力对齐检查找同 FLOPs 的对照行如 M3 vs M2零开销组件优先关注如 DCL 类训练期策略问一句这个零件能否搬到别的任务/模型六、常见误区误以为 Mamba 是缩写——它是蛇名S4 与 SSM 才是缩写误以为消融证明因果——消融只证明去掉后变差模块间的交互与替代路径仍需设计实验排除误以为 baseline 含义唯一——消融表与对比表中的 baseline 指向不同对象误以为贡献于 SSM——任务级增益与骨干级改进是两个层级的贡献审稿人会严格区分。附录 A术语速查表术语全称 / 含义Ablation Study消融实验逐个移除组件量化贡献baseline基线参照模型语境决定具体所指SOTAState-of-the-Art当前最优w/owithout消融表中去掉某组件的标记SSMState Space Model状态空间模型S4Structured State Space Sequence Modelselective SSM选择性状态空间模型Mamba 的核心机制GMB / LMB / DCLRainMamba 三组件全局 Mamba 块 / 局部 Mamba 块 / 差分引导对比局部学习DFDilation Factor膨胀因子扫描局部性度量PSNR / SSIM / LPIPS去雨/修复任务三大指标峰值信噪比 / 结构相似度 / 感知距离附录 B自查清单读缝合论文五问消融基线拆到多简是否含全无参照每个零件的净增益与增量算力分别是多少是否存在同算力的干净对照有无零开销的纯训练期组件核心零件是否做过跨任务 / 跨模型迁移验证本笔记由对话蒸馏整理数据均引自论文原文 Table 5 / 7 / 9。