195、视频超分中的时序一致性:光流引导的帧间约束与闪烁抑制一段让人抓狂的调试经历去年夏天,我在处理一段监控视频的超分任务。单帧超分效果已经调得不错,PSNR能到32dB以上,但一跑视频,问题就来了——画面像得了帕金森,每一帧都在轻微抖动,尤其是边缘区域,一会儿亮一会儿暗,像老式CRT电视的闪烁。更诡异的是,这种闪烁在静态背景上最明显,树叶不动的时候反而在“呼吸”。我盯着屏幕看了半小时,差点以为自己眼花了。后来用差分图一算,相邻帧的像素差异居然有15%以上,而原始低分视频的帧间差异只有2%。问题很明确:单帧超分模型把每一帧当成独立图片处理,完全没考虑时序一致性。闪烁的本质:帧间高频信息的“失配”视频超分里的闪烁,说白了就是模型对同一场景在不同帧里“画”出了不同的高频细节。比如一堵砖墙,第1帧超分结果在砖缝位置加了锐化,第2帧却把锐化加在了砖面中间,人眼对这类高频变化极其敏感,哪怕只有1-2个像素的偏移,看起来就像在闪。更坑爹的是,这种闪烁在低分辨率输入本身就有噪声或轻微运动时会被放大。我曾经试过用EDSR直接逐帧处理一段720p视频,结果输出里出现了明显的“呼吸效应”——静态区域的亮度周期性波动,频率大概在3-5Hz,看得人头晕。光流:给帧间信息“牵线搭桥”解决闪烁的核心思路,是让模型知道“这一帧的像素和上一帧的哪个像素对应”。光流就是干这个的——它计算每个像素点在相邻帧之间的位移矢量。我最早踩过的一个坑:直接用O