做图像传感器方案这几年我经常遇到有人把Quad Bayer和Binning放在一起对比甚至直接问“我到底该选Quad Bayer还是Binning”。乍一听好像是个选择题但真正调过CMOS传感器的人都知道这俩根本不在同一个维度上。Quad Bayer是一种像素排列方式Binning是一种读出策略两者经常同时出现在同一颗传感器里只是在不同工作模式下分别生效。这篇文章我就从实际调试的角度把这两个概念拆开揉碎讲清楚再给出几个应用场景下的选型思路希望对你下一个项目有帮助。1. 先理清一个常被混淆的逻辑Quad Bayer是像素排布Binning是读出策略很多人第一次看到Quad Bayer这个词是从手机发布会听到的比如“5000万像素四合一像素”。厂商的这个宣传把两个概念绑在一起讲导致大家默认Quad Bayer就等于四合一输出。实际上Quad Bayer说的是传感器色彩滤波阵列CFA的排列方式Binning说的是传感器在读出时如何处理相邻像素的信号。一个是结构一个是行为两者可以组合使用也可以独立存在。1.1 Quad Bayer真正改变的是像素排列方式传统拜耳阵列Bayer Pattern的排列原则是一行RGRG下一行GBGB每个像素拥有独立的颜色滤镜每个2x2子块内有R、G、G、B四个不同颜色。这样排列的好处是相邻像素各不相同颜色信息在空间上交错分布单帧就能同时采到完整RGB信息缺点也很直接绿像素只占一半红蓝各占四分之一低光下每个像素收集的光子量都不够信噪比会明显下滑。Quad Bayer把CFA改成了2x2同色像素簇。具体来说它的最小重复单元是4x4其中左上角2x2全是R右上角2x2全是G左下角2x2全是G右下角2x2全是B。也就是说同样一颗5000万像素的传感器在物理排布上每4个同色像素共享一块颜色滤镜。这颗传感器在出厂时CFA是“大学宿舍式的四人间”——四个同颜色像素住一起看似浪费了色彩分辨率却为后续的合并输出和重排输出留出了操作空间。这个设计的好处非常明显它允许同一颗传感器在两种完全相反的工作模式之间切换。需要高分辨率时通过重排Remosaic算法把2x2同色像素重新映射成传统拜耳排列输出5000万像素全分辨率照片需要弱光画质时把2x2同色像素合并成一个等效大像素输出约1250万像素照片。一颗传感器两种个性这种灵活性正是Quad Bayer被手机、平板、车载摄像头广泛采用的核心原因。1.2 Binning不只是一个开关而是一条完整的数据通路Binning中文常叫像素合并比Quad Bayer出现的早得多。早在传统拜耳阵列时代工业相机和安防摄像头就有这个功能。它的核心思想是把相邻像素的信号合在一起读出用一个物理单元的能量去表征2x2或3x3范围内的平均亮度从而提升灵敏度。按合并发生的阶段Binning可以粗略分成两类。第一类是模拟域Binning也叫电荷域合并通常的做法是在像素内部或像素阵列的读出通路里把多个像素的电荷先汇入同一个浮空扩散节点再做一次读出。这样做的直接效果是4个像素的电荷被累加成一份大电荷相当于一个物理上的大感光面积读出噪声仍然只有单次读出的量低光表现提升非常明显。这类Binning在CCD时代就很常用CMOS传感器里一些型号也支持。第二类是数字域Binning更常见于现代CMOS图像传感器。像素各自独立读出、各自经过ADC转换数字图像上相邻2x2的数值相加取平均再输出。这类Binning实现灵活不需要改动模拟电路但劣势是读出噪声没有被平均掉而是四份噪声叠加。信号提升4倍随机噪声只提升2倍最终信噪比还是有提升只是不如模拟域合并来得干净。1.3 为什么两者总被放一起比较因为它们在“输出什么”这个点上相遇既然Quad Bayer像素本身是同色四合一排列那只要把2x2同色像素合并成一个大像素输出图像就会自然变成预期中的低分辨率高灵敏度画面。这种合并操作从传感器工作流程角度看就是一次典型的Binning行为。所以厂商宣传里“四合一”就是把这个过程简化为一个卖点。同样的道理如果传感器不支持BinningQuad Bayer就是个麻烦。你拍一张照片图像传感器输出的是四同色排布的RAW边缘会有大量伪彩和错误的颜色间距正常软件解不开这种RAW必须经过Remosaic插值。所以实际项目中Quad Bayer传感器基本都内置了2x2 Binning或者等效的合并输出模式也就难怪很多人把这两个概念划等号了。但从选型角度你必须要知道Quad Bayer决定的是这枚传感器能不能做全分辨率重排Binning决定的是低光模式能做得多好、有多快。两者的能力边界不同对ISP和系统的影响也不同。2. Binning的物理账从光子到电子的合并为什么暗光画质提升明显理解了概念接下来要把账算清楚。很多人知道Binning能提升暗光性能但说不清提升多少、是什么条件下的提升、有没有副作用。我建议所有选型工程师都走一遍这条推导比看任何数据表都管用。2.1 2x2合并的信噪比账信号翻4倍噪声只翻2倍先设一个最理想的简化模型。假设一个像素在某一光照下产生的光电子数是N那么它的散粒噪声Shot Noise是sqrt(N)这个噪声源于光子到达的随机性是物理极限。单像素信噪比SNR就是N/sqrt(N) sqrt(N)。做2x2合并后4个像素的光电子全部累加信号量变成4N。散粒噪声的规律是方差相加四个像素的散粒噪声方差都是N总方差是4N总噪声是sqrt(4N)2sqrt(N)。合成信噪比就是4N / 2sqrt(N) 2sqrt(N)。把两个SNR对比一下合并后是合并前的2倍。用dB表示20log10(2)约等于6.02dB。也就是说在散粒噪声受限的理想情况下2x2 Binning能让信噪比提升约6dB这几乎相当于把一档曝光时间或一档光圈加到了传感器上。这也是为什么很多安防摄像头在全彩夜视模式下实际输出的分辨率远低于标称像素但画面的确更亮更干净的原因。但这里有个重要的前提这个6dB只在散粒噪声主导的情况下成立。实际使用中如果场景极度低光、读出噪声接近甚至超过散粒噪声或者传感器存在明显的固定模式噪声FPN和像素响应不均匀PRNU合并带来的真实收益会打折扣。数字域Binning还会额外引入ADC读出噪声的叠加虽然随机噪声叠加规律同样符合方差相加但只要读出链路里有任何系统性偏差合并后的画质就不会像理论值那么理想。所以数据表上的“暗光SNR提升”仅供参考实际一定要实测。下面这段Python代码可以直接用来估算不同光电子数下的信噪比提升方便你快速判断某个方案值不值得上Binningimport math def snr_db(N, pixels4): signal N * pixels shot_noise math.sqrt(signal) snr signal / shot_noise return 20 * math.log10(snr) # 对比不同光电子数下单像素与4像素合并的SNR for N in [5, 10, 50, 100, 500]: print(fN{N:5.0f} e- | 单像素SNR{snr_db(N, 1):6.2f} dB | 合并SNR{snr_db(N, 4):6.2f} dB f| 提升{snr_db(N, 4) - snr_db(N, 1):5.2f} dB)运行结果很直观无论N是多少合并后的SNR都刚好比合并前高6dB。只要你的目标场景处于散粒噪声主导区这个理论值就是可靠的。2.2 模拟域合并和数字域合并的差异噪声处理不在同一层次刚才提到模拟Binning和数字Binning实操中对画质影响差异很大。我举个真实调过的项目例子一颗200万像素的安防传感器原生像素尺寸1.45μm支持2x2模拟合并合并后等效2.9μm像素输出50万像素。在0.1 lux的光照下模拟合并模式能把画面主体轮廓看得很清楚噪点虽有但颗粒感均匀没有明显横向条纹。同样场景下如果用数字2x2 binning信号量提升一样但读出噪声处理不如模拟合并干净等亮度的画面上会看到更多的高频噪声点尤其暗部区域更明显。原因在于模拟合并是先把电荷累加再做一次放大和模数转换等效于放大器的输入信号更大读出噪声只分摊到4个像素信号上。数字合并则是每颗像素先独立经过放大和ADC再把4个数值相加读出噪声、复位噪声、ADC量化误差都是4份叠加。虽然随机噪声符合平方和关系但如果传感器本身的读出噪声偏大数字合并的收益就会被稀释。所以如果项目里有极低照度场景优先找支持模拟域Binning的传感器如果只是通用场景数字Binning的灵活性和成本优势可能更合适。2.3 动态范围的额外收益和重排的代价除了信噪比Binning还有一个容易忽略的福利动态范围。合并后等效像素面积变大满阱电荷量也会相应变大。比如原像素满阱4000e-2x2合并后满阱可以到16000e-理想情况下同一场景下高光区域不容易提前饱和能容纳更大的信号摆幅这让暗部和亮部能同时保留更多层次。这也是为什么很多传感器的HDR模式喜欢结合合并输出一起用。不过Quad Bayer传感器的全分辨率输出并不免费。它需要经过Remosaic重排算法把2x2同色像素“拆回”拜耳排列。这个过程很依赖插值算法如果插值不当画面边缘会出现方向性伪彩尤其在灰阶纹理和细密线条区域比如毛衣纹路、百叶窗、远处铁丝网肉眼很容易看出紫边或彩点。我调试过一台预研机Remosaic模式下拍黑白色卡RGB通道不一致导致灰卡上出现很明显的粉色条纹折腾了三四天才用黑电平校准和偏色校正矩阵压下去。所以选Quad Bayer传感器前务必问清楚ISP端有没有成熟的Remosaic方案以及重排后中心与边缘的MTF50值能做到多少。不少平台只是简单做了个色差修正输出看似正常一放大截图就露馅。全分辨率重排的解析力打折问题几乎可以确定但打折比例差异很大有的能保持在95%以上有的只有70%这个数据只能靠实测。等到了选型阶段你会后悔没早点把这块纳入测试项。3. 场景化对比不同行业应该怎么选理论讲完落到实际选型。不同应用场景对图像传感器的诉求差异很大下面从手机影像、安防监控、车载摄像头、工业机器视觉四个方向谈谈我的理解。3.1 手机影像追求“按需切换”的均衡方案手机行业是Quad Bayer推广最猛的地方。原因很简单消费者既想要高像素数、能数毛又想要暗光拍照能看而物理空间又放不下大底大像元Quad Bayer成了用一颗传感器同时满足两种需求的最现实的方案。在手机主摄上我的选型建议是优先看像素尺寸和满阱电荷量而不是单纯看像素数。同样5000万像素0.7μm和1.0μm两种方案的暗光差距肉眼可见。0.7μm像素在合并后等效1.4μm1.0μm合并后等效2.0μm后者单片暗光进来的光量更大信噪比优势明显。手机上还有超广角和潜望长焦超广角建议选约4000万到5000万像素、阵列较小的传感器因为超广角更多是记录大场景和大动态范围过度追求像素意义不大潜望长焦反而可以选像素高一点的因为长焦适合数码裁剪合并输出后的噪点控制对弱光变焦画质至关重要。这里最容易踩的坑是“默认像素数”和“实际输出像素数”不一致导致的体验困惑。有些手机默认拍1200万像素光线不足时切回低分辨率模式用户缩放对比时会觉得“怎么变糊了”。设计上要把模式切换策略写成“渐进式”暗到一定程度才切到四合一输出而不是一进夜景就全用低分辨率否则长焦和主摄之间的观感断层会很严重。3.2 安防与车载暗光与HDR优先合并是默认项安防摄像头和车载摄像头是另一个极端。它们对像素数的敏感度远低于对低光照度和运动拖影的敏感度。安防场景尤其是定焦枪机晚上依然要输出可用的人脸、车牌、行为轮廓这时Quad Bayer的合并输出基本就是默认运行状态。实际项目里我更看重的是传感器在合并模式下的灵敏度覆盖范围以及帧率是否因为在2x2合并时通过降低行周期而得到提升。车载应用里除了低光还强调高动态范围。车道上的隧道出入口、夜间对向大灯、树荫与强烈顺光并存这些都容易过曝。选型时建议关注传感器是否有单帧多曝光HDR能力Quad Bayer像素在这类传感器中越来越常见因为合并模式天然提高了暗部灵敏度配合长中短曝光合成整个场景的HDR表现会更自然。有一点需要特别提醒车载系统在HDR合成时如果曝光帧之间发生运动容易出现重影要确认ISP端有没有可靠的动态对齐和去重影方案这块翻车的案例不少。3.3 工业与机器视觉分辨率和一致性说话工业检测和机器视觉的选型逻辑又不一样。这类场景通常光照可控不太依赖Binning去补灵敏度反而更看重整张图像的一致性、畸变控制、像元响应均匀性以及高速读出能力。如果产线上需要抓取极细的裂纹、划痕或微小缺陷建议优先选择大靶面、原生高分辨率、像素尺寸不太小的传感器必要时用软件层面的Binning做快速预扫描再用全分辨率模式精拍。还需要考虑的是帧率带宽。很多高速检测要求每秒30帧以上的全分辨率输出这需要传感器支持高带宽接口比如MIPI CSI-2多通道或SLVS-EC。开了Binning虽然输出像素减少、接口压力下降但代价是细节丢失有些表面缺陷恰恰就藏在细节里。另外工业环境温度变化大Binning合并后暗电流也会累加长时间运行画面容易出现暗角或亮度偏移最好在标定阶段做一次多点温度的黑电平补偿。应用场景优先指标常见像素方案是否推荐开启Binning核心注意事项手机主摄画质、解析力、夜景5000万级Quad Bayer按需切换Remosaic路径要成熟模式切换要平滑安防定焦灵敏度、动态范围500万/800万级四合一或原生大像元默认开启低光噪声形态、宽动态算法适配车载前视HDR、运动抗拖影300万-800万级视平台能力开启防鬼影、暗部与亮部均衡工业检测解析力、一致性原生高分辨率高帧率仅在预扫描阶段使用细节丢失风险、温度漂移校准4. 选型决策的四个实用步骤每个项目都有自己的特殊性但选型逻辑是有共性的。我这里总结四步走适合大多数需要评估Quad Bayer或Binning能力的项目。4.1 第一步列出输出目标与光线预算选型第一步不是看芯片规格书而是把最终使用场景写清楚。你需要回答几个问题最终输出给用户或算法的是RAW还是YUV目标分辨率是多少最暗环境下照度大概多少画面里要求能看到多小的目标这些指标决定了你可接受的最小像素尺寸。比如你要求夜间0.1 lux环境下依然能识别5米外的人脸合并后的等效像元尺寸最好在1.5μm以上一定小于1.4μm像素就别碰了。有了光线预算后再倒推传感器增益、快门时间、镜头光圈可以快速缩小候选范围。4.2 第二步评估合并模式的“副作用”Binning不是白白送的性能它会把一些隐藏问题放大。最典型的是坏点一个亮点坏像素在合并后会被放大成一个大亮点而且不同位置的坏点合并后形态各异其次是暗电流不均合并后暗部会出现块状亮度差异这种伪纹理在黑色背景场景里很显眼还有CFA串扰Quad Bayer因为同色像素紧挨着电学串扰会比传统拜耳更明显极端角度光照射下会出现色偏。所以我建议在评估阶段就抓几颗样片在暗房用均匀光源拍灰色板分别输出单像素模式和合并模式计算FPN和PRNU肉眼还要看有没有明显mura。实测数据比规格书里写的“Binning模式暗电流”来得真实得多。4.3 第三步把ISP和接口带宽拉进来一起算传感器选得再好ISP跟不上一样白搭。Quad Bayer全分辨率输出模式下RAW数据量是极大的。以5000万像素RGB Bayer编码10bit为例一帧RAW约50MB30fps就是1.5GB/s的数据流这对接口和ISP的管线吞吐都是巨大考验。如果没有对应的硬件Remosaic单元纯软件重排的算力开销会让你整个模组发热量上升出图延迟也会明显增加。我的经验是先列出下列三项再选传感器传感器支持的最大输出模式、接口型号与lane数、后端ISP在对应分辨率下的帧率余量。三者必须互相匹配。如果接口带宽吃紧有几种缓解方案开Binning输出降低分辨率、用RAW压缩、降低帧率但这都会影响体验最好还是选择带宽余量充足的组合。4.4 第四步用标准测试图验证而不是肉眼看样张最后一步是实测。室内看样张只能给你一个模糊的感觉不能给你可复现的结论。我建议准备这几样东西24色色卡、ISO 12233分辨率测试卡、灰阶卡、以及一个可控亮度的积分球或灯箱。用同一镜头、同一焦距、同一白平衡在不同照度下分别拍摄全分辨率、合并模式、开启Remosaic和关闭Remosaic的样张然后用Imatest或专用软件计算MTF50、SNR和动态范围。实际测试中我经常遇到规格书上标称“Binning模式帧率30fps全分辨率帧率10fps”的传感器但开合并后噪声形态反而比全分辨率重采样更差的情况。所以优化输出策略不一定非得走传感器内Binning也可以全分辨率输出后在ISP里做数字重采样。两种方式殊途同归但适用条件不同一定要用实测数据说话。5. 高频问题与排查速查做图像传感器这几年我在Binning和Quad Bayer相关项目里踩过不少坑下面把最常遇到的现象和排查思路整理成表算是给大家的一个避坑参考。现象可能原因排查方向合并模式出现块状亮斑坏点或暗电流不均被放大拍全黑帧检查黑电平、做坏点校正低光下噪点颗粒粗糙不细腻数字Binning叠加了多次读出噪声查到传感器是否支持模拟域合并切换模式对比Remosaic后边缘伪彩严重彩色插值算法不够好或CFA校准不准确跑黑白灰阶图逐通道校准黑电平与CCM高光区域色偏或过曝合并后满阱增大但HDR曝光策略未调整检查HDR三段曝光时长和增益参数开启Binning后帧率没有上升传感器行周期未缩短或接口输出未变查寄存器配置确认输出尺寸、blanking和时钟暗光人脸肤色偏绿或偏紫Quad Bayer串扰或白平衡增益异常检查光学校准数据调黑白平衡矩阵数码变焦后画质明显劣化全分辨率输出能力不足裁切像素数不够换高像素传感器或开启多帧超分除了表格还有两个经验值得单独提。一是温度对暗电流的影响被很多人低估。在室外密闭的枪机外壳里传感器温度能比实验室高十几度甚至二十度暗电流会翻倍合并模式下的暗部均匀性会肉眼可见地变差。项目里最好在高温环境下跑一次24小时长测记录不同温度点的黑电平漂移再写进标定。二是关于Binning IC和外部处理的问题。某些模组设计里传感器本身不提供Binning能力或合并输出模式受限后端会用FPGA或ISP做数字binning也就是常说的软件级Binning IC方案。这种方案灵活不受限于传感器型号但要注意数据带宽是从传感器到处理芯片的RAW全分辨率并不是“省带宽”的方案。如果你的模组空间和功耗余量足够独立做一层预处理也不错但如果本来就是低功耗产品我更建议直接在传感器内部解决。最后再分享一个我在实际调机中的感受面对Quad Bayer和Binning没必要神话任何一个。Binning是工具Quad Bayer是排列两者组合出来的效果好不好取决于你的场景是想保细节还是保亮度。只要前期把照度、噪声、带宽这三件事算清楚大部分坑都可以在设计阶段就避开。