1. 工业目标检测到底在解决什么问题1.1 从一条产线说起为什么通用检测模型到了车间就“水土不服”我第一次接触工业目标检测是在一个做精密结构件的车间里。当时产线主管拉着我看一台视觉检测设备屏幕上跑着一个在公开数据集上mAP能到0.85的模型但到了他们产线上漏检率高得离谱尤其是那种表面有油污、反光、边缘有毛刺的工件模型基本处于“睁眼瞎”的状态。这件事让我彻底明白了一个道理工业目标检测和我们在学术数据集上刷榜的那套玩法根本就是两个世界的东西。通用目标检测解决的是“图里有什么、在哪里”的问题数据集里的猫狗、车辆、行人目标大、特征明显、背景相对干净。但工业场景下你要检测的可能是0.5毫米的划痕、焊点上的微小气孔、织物上的一根异色纱线目标尺度小、对比度低、背景纹理还特别复杂。更要命的是工业检测对精度的要求不是“差不多就行”而是“宁可错杀一千不可放过一个”——漏检一个缺陷件流到下游可能就是整批产品召回损失按万起步。所以工业目标检测的核心命题从来不是“把模型做深做复杂”而是在特定成像条件、特定缺陷形态、特定节拍要求下找到一个精度、速度、稳定性三者平衡的方案。这句话听起来像废话但真正落地过的人才知道这三个词在工业现场往往是互相打架的。1.2 工业目标检测的四大典型场景与需求差异我把这些年接触过的工业目标检测需求大致归成四类每一类的技术侧重点完全不同场景类型典型任务核心难点精度要求节拍要求缺陷检测划痕、气孔、脏污、裂纹缺陷形态多变、样本极少极高漏检率0.1%中高尺寸测量孔径、间距、角度亚像素精度、标定误差极高±0.01mm中定位引导抓取点、贴合位置实时性、姿态估计高极高30ms分类分拣良品/不良品、等级判定类间差异小、类别不平衡高高这张表是我自己总结的不一定全面但基本能覆盖大部分工业视觉项目的需求画像。你会发现缺陷检测和定位引导几乎是两个极端前者可以容忍几百毫秒的推理时间但精度要求苛刻到变态后者精度可以放宽到几个像素但节拍要求可能只有20到30毫秒。你在做方案选型的时候第一件事就是搞清楚自己到底在哪个象限里别拿做缺陷检测的思路去做引导定位反之亦然。1.3 一个容易被忽视的前提成像质量决定检测上限我见过太多团队一上来就讨论用YOLO还是Faster R-CNN用ResNet还是EfficientNet但很少有人先问一句你的图拍清楚了吗工业目标检测有一条铁律算法永远无法弥补成像的缺陷。如果打光方案不对缺陷和背景的对比度不够再强的模型也是在噪声里找信号。我做过一个金属表面划痕检测的项目前两周一直在调模型效果死活上不去后来换了一套低角度环形光划痕的灰度差异一下子从5个灰度级拉到40多个同样的模型结构召回率直接从72%跳到96%。所以我的习惯是任何工业检测项目前30%的时间花在成像方案上包括光源选型、相机参数、镜头焦距、工作距离的计算。这部分内容展开能写一整篇这里先按下不表但你记住一点打光打好了传统算法都能跑出不错的效果打光打不好Transformer来了也救不了你。2. 技术路线选型从传统方法到深度学习到底怎么选2.1 传统视觉方法别急着淘汰它现在一提工业检测很多人第一反应就是上深度学习。但我想说传统视觉方法在很多场景下依然是性价比最高的选择尤其是那些缺陷形态固定、背景可控、精度要求高的项目。举个例子检测一个圆形零件的内径尺寸你用边缘检测加圆拟合可能几行Halcon代码就搞定了精度能到亚像素级速度还快。你非要用深度学习去做分割再拟合不仅训练数据难搞推理速度还慢精度还不一定比传统方法高。传统方法的核心优势在于可解释性强、参数可调、不需要大量标注数据、在特定条件下精度极高。它的劣势也很明显对光照变化敏感、换一个产品型号就要重新调参、难以处理形态多变的缺陷。我的经验是如果缺陷可以用明确的几何特征或灰度特征描述优先考虑传统方法如果缺陷形态多变、难以用规则描述再上深度学习。很多项目其实是传统方法和深度学习混着用的比如用传统方法做粗定位用深度学习做精细分类这种组合往往比纯深度学习方案更稳。2.2 深度学习目标检测两阶段 vs 单阶段 vs 无锚框当你确定要用深度学习做检测时下一个问题就是选什么架构。我把主流方案分成三代第一代两阶段检测器Faster R-CNN系列。先出候选框再分类回归。精度高尤其是小目标检测但速度慢。在工业场景里如果你的节拍要求不严比如单张图可以给到200ms以上而且缺陷目标很小Faster R-CNN依然是一个可靠的选择。我做过一个PCB板缺陷检测的项目缺陷尺寸只有十几个像素用Faster R-CNN的召回率比YOLOv5高了将近8个百分点。第二代单阶段检测器YOLO系列、SSD系列。一步到位速度快精度也追上来了。YOLOv5、YOLOv8在工业界用得最多生态好、部署方便、社区活跃。但YOLO系列对小目标的检测能力相对弱一些如果你的缺陷目标很小可能需要改一下检测头或者用更高分辨率的输入。第三代无锚框检测器FCOS、CenterNet、DETR系列。去掉了锚框设计简化了后处理对小目标和密集目标更友好。DETR系列用Transformer做检测理论上限高但训练收敛慢、数据需求大在工业场景里落地案例还不多。FCOS和CenterNet在工业缺陷检测里倒是有不少成功案例尤其是CenterNet把目标检测变成关键点检测的思路对某些特定缺陷形态特别有效。下面这张表是我个人对这几类方案的选型建议方案类型代表模型优点缺点适用场景两阶段Faster R-CNN精度高、小目标好速度慢缺陷小、节拍宽松单阶段YOLOv8速度快、生态好小目标弱节拍紧、目标中等无锚框FCOS/CenterNet密集目标好、后处理简单训练调参难密集缺陷、重叠目标TransformerDETR理论上限高数据需求大、收敛慢数据充足、精度优先2.3 选型背后的三个关键考量精度、速度、数据量选型不是拍脑袋我一般会问三个问题第一你的精度底线是多少是99.9%的召回率还是95%就行这个数字直接决定了你能不能用轻量模型。如果要求99.9%以上那基本只能在Faster R-CNN或者高分辨率输入的YOLO里选而且后处理还要加一堆过滤逻辑。第二你的节拍窗口有多宽如果产线节拍是每分钟60件那单件检测时间不能超过1秒扣掉上下料和通信时间留给推理的可能只有300到500毫秒。这个窗口决定了你能用多大的模型。我一般会留50%的余量因为现场总会有各种意外。第三你有多少标注数据工业缺陷样本往往极少尤其是新产线刚投产的时候可能一天就攒几十张缺陷图。这种情况下你只能走小样本学习或者数据增强的路子别指望用DETR这种数据饥渴型模型。这三个问题问完选型范围基本就缩小到一两个方案了。剩下的就是实验验证用真实数据跑一遍看指标能不能达标。3. 数据工业目标检测最深的坑3.1 工业数据的三个“少”样本少、缺陷少、标注少如果说算法是工业目标检测的骨架那数据就是血肉。但工业数据有三个天然的“少”样本总量少。一条产线一天可能就生产几百件产品其中大部分还是良品。你不可能像互联网公司那样搞到百万级的数据集。缺陷样本少。良品率99%意味着100件里只有1件有缺陷而且缺陷形态还千奇百怪。我做过一个项目整整一个月只收集到37张缺陷图其中还有一半是重复的。标注人员少。工业标注不是画个框就完事很多缺陷需要懂工艺的人才能判断。你让一个普通标注员去区分“划痕”和“材料纹理”他根本分不清。所以工业标注往往需要工程师亲自上阵成本极高。这三个“少”叠加在一起就导致了一个尴尬的局面你有一个很强的模型但没有足够的数据去训练它。3.2 数据增强不是随便转个角度就叫增强面对数据少的问题第一反应肯定是数据增强。但工业场景的数据增强和自然图像的数据增强完全不是一回事。在自然图像里你把猫翻转一下、裁剪一下、调个亮度猫还是猫。但在工业图像里很多增强操作会改变缺陷的物理意义。比如你把一张有划痕的图旋转90度划痕的方向变了但划痕的成因和形态特征可能和方向强相关旋转后的样本反而会误导模型。再比如你把亮度调高可能把原本微弱的缺陷信号给淹没了。我常用的工业数据增强策略按优先级排几何增强要谨慎翻转和旋转可以用但要确认缺陷的形态和方向无关。对于划痕、裂纹这类方向敏感的缺陷尽量只用小角度旋转±10度以内。光度增强要克制亮度、对比度调整的幅度要小最好基于实际产线的光照波动范围来定。我一般会先统计一批真实图像的光照分布然后在这个范围内做增强。噪声增强要真实加高斯噪声不如加真实的传感器噪声。你可以从暗场图像里提取噪声模板然后叠加到训练图上这样更接近真实情况。CutMix和Mosaic要慎用这两种增强在自然图像检测里很有效但在工业场景里拼接后的图像可能出现不合理的缺陷组合反而引入噪声。我一般只在缺陷目标较大、背景简单的情况下才用。还有一个被低估的增强手段合成缺陷。用传统图像处理或者GAN生成缺陷然后贴到良品图上。这个方法在缺陷形态固定、背景可控的场景下效果很好。我做过一个项目用合成数据把训练集从50张扩到2000张模型召回率提升了15个百分点。但合成数据的质量很关键合成得不像反而会拉低模型性能。3.3 标注策略从“全量标注”到“策略性标注”数据少的时候标注策略比标注数量更重要。我的经验是第一优先标注难例。良品图不用标太多模型很容易学会。把有限的标注预算花在那些模型容易混淆的样本上比如缺陷和背景对比度低的、缺陷形态不典型的、有遮挡的。第二用弱监督降低标注成本。如果只需要知道图里有没有缺陷不需要知道缺陷在哪可以用图像级标签做弱监督训练。虽然精度会打折扣但在数据极少的时候有总比没有强。第三迭代式标注。先用少量数据训一个初始模型用它去预测未标注数据把置信度高的预测结果人工确认后加入训练集再训再标循环几轮。这个方法我称之为“模型带着标注跑”实测下来能把标注效率提升3到5倍。第四标注规范要统一。工业缺陷的边界往往很模糊不同标注员对同一个缺陷的标注框可能差很多。我一般会写一份标注规范文档明确每种缺陷的标注标准比如“划痕的标注框要包含划痕两端各2个像素的余量”然后让所有标注员先标一批交叉验证一致性一致性达标了再正式开标。3.4 数据不平衡当良品和缺陷的比例是1000:1数据不平衡是工业检测的常态。良品几千张缺陷几十张模型很容易学会“全部预测为良品”这种偷懒策略准确率还能到99%以上但召回率是0。解决数据不平衡我常用的几招重采样对缺陷样本过采样对良品样本欠采样。但过采样容易导致过拟合欠采样会丢失信息。我一般用“适度过采样适度欠采样”把比例控制在10:1到5:1之间。损失函数加权给缺陷类更高的损失权重让模型更关注缺陷样本。Focal Loss是常用的选择但在工业场景里我更喜欢用带权重的交叉熵权重根据类别频率的倒数来定简单有效。难例挖掘在线难例挖掘OHEM在工业检测里很实用。每轮训练后把模型预测错的样本挑出来加大它们的权重。这个方法能让模型持续关注那些“硬骨头”。异常检测思路如果缺陷样本实在太少可以换个思路不做缺陷检测而是做良品建模。用自编码器或者One-Class SVM学习良品的分布偏离这个分布的就判为缺陷。这个方法在缺陷形态完全未知的情况下特别有用但误报率通常偏高需要配合后处理。4. 模型训练与调优那些文档里不会写的细节4.1 输入分辨率小目标检测的第一道门槛工业缺陷往往很小在整幅图里可能只占几十个像素。如果你把图像缩放到640×640再送进网络缺陷可能就剩几个像素了模型根本学不到有效特征。我的经验是输入分辨率要保证缺陷目标在特征图上至少还有4到8个像素。以YOLOv8为例它的最大下采样倍率是32倍如果缺陷在原图里是20个像素缩放到640后可能只剩5个像素再经过32倍下采样特征图上就剩0.15个像素了等于消失了。所以对于小目标检测我有两个建议第一提高输入分辨率。把输入从640提到1024甚至1280缺陷在特征图上的像素数会显著增加。代价是推理速度下降显存占用上升。你需要根据节拍要求来权衡。第二修改网络结构。去掉最后几个下采样层或者用空洞卷积代替下采样保持特征图的分辨率。YOLOv8可以通过修改配置文件来调整下采样倍率但改动后需要重新训练。第三切图检测。如果缺陷很小但图像很大可以把大图切成小块分别检测再把结果拼回去。这个方法在PCB检测、液晶屏检测里很常用。切图的时候要注意重叠区域避免缺陷被切在边界上。4.2 锚框设计别直接用COCO的默认值如果你用的是基于锚框的检测器比如Faster R-CNN或YOLOv5锚框的尺寸和比例对检测性能影响很大。COCO数据集的默认锚框是针对自然图像设计的直接拿来用在工业缺陷上效果往往不好。正确的做法是用K-means聚类你自己的数据集统计缺陷目标的宽高分布重新生成锚框。具体步骤是统计所有标注框的宽高。用K-means聚类聚类数一般取9对应3个尺度×3个比例。把聚类得到的宽高作为锚框尺寸替换默认值。重新训练模型。这个操作看起来简单但效果立竿见影。我做过对比实验在同一个缺陷检测数据集上用聚类锚框比用默认锚框的mAP高了6个百分点尤其是小目标的召回率提升明显。4.3 学习率与优化器工业场景下的“保守策略”工业检测模型训练我一般走保守路线。原因很简单数据少经不起折腾。学习率设大了模型容易过拟合到少数样本上设小了收敛太慢等不起。我的默认配置是优化器SGD with momentum0.9或者AdamW。SGD更稳AdamW收敛更快。数据极少的时候我用SGD数据量中等的时候用AdamW。初始学习率0.001到0.01之间配合warmup。warmup很重要能让模型在训练初期稳定下来。学习率调度Cosine Annealing或者Step LR。Cosine更平滑Step更可控。我一般用Cosine配合早停。权重衰减1e-4到5e-4。工业场景下我倾向于用大一点的权重衰减抑制过拟合。Batch Size能多大就多大但不要超过显存。Batch Size太小会导致BatchNorm统计不准影响性能。如果显存不够可以用梯度累积。还有一个细节冻结骨干网络。如果数据极少比如只有几十张我会先冻结骨干网络只训练检测头等检测头收敛了再解冻全部网络微调。这样能防止骨干网络在少量数据上过拟合。4.4 评价指标mAP不是唯一标准在工业场景里mAP只是一个参考指标真正决定模型能不能上线的是召回率、误报率和漏检率。召回率Recall所有缺陷里模型找出了多少。工业检测最怕漏检所以召回率是第一优先级。误报率False Positive Rate良品被误判为缺陷的比例。误报太高会导致产线频繁停机工人会骂娘。漏检率Miss Rate缺陷被漏掉的比例。这个指标直接关系到产品质量风险。我一般会画一条P-R曲线然后根据实际需求选一个工作点。比如要求召回率不低于99%那就看在这个召回率下误报率是多少能不能接受。如果误报率太高就得调整后处理阈值或者加一个二级分类器来过滤误报。还有一个工业场景特有的指标过杀率。就是良品被误判为缺陷的比例。过杀率和误报率有点像但过杀率更强调对生产节拍的影响。过杀率高了产线频繁报警工人会直接把检测系统关掉。5. 部署与工程化从实验室到产线的最后一公里5.1 模型压缩不是所有场景都需要模型压缩是个热门话题量化、剪枝、蒸馏听起来很高级。但我的观点是如果模型能在目标硬件上跑够快就别折腾压缩。压缩会带来精度损失而工业检测对精度极其敏感。我一般先测一下原始模型在目标硬件上的推理速度。如果满足节拍要求就直接部署。如果不满足再考虑压缩。压缩的优先级是换更小的模型YOLOv8n比YOLOv8x快好几倍精度可能只差几个点。先试试小模型能不能达标。量化FP16量化几乎无损INT8量化需要校准精度可能掉1到3个点。TensorRT的INT8量化在工业场景里用得很多但校准集要选好最好用真实产线的图。剪枝结构化剪枝能显著减少参数量和计算量但需要重新训练流程比较复杂。蒸馏用大模型教小模型能提升小模型的精度。但蒸馏需要同时加载两个模型训练成本高。我的经验是大部分工业检测场景换个小模型加FP16量化就够了没必要上剪枝和蒸馏。5.2 推理框架选型TensorRT、OpenVINO还是ONNX Runtime推理框架的选择主要看你的硬件平台硬件平台推荐框架理由NVIDIA GPUTensorRT性能最优支持INT8量化Intel CPUOpenVINO针对Intel硬件优化CPU上速度快通用平台ONNX Runtime跨平台部署简单边缘设备TensorRT/OpenVINO看芯片厂商一般都有配套工具我大部分项目用的是TensorRT因为NVIDIA GPU在工业现场最常见。TensorRT的坑也不少比如版本兼容性、自定义层的支持、动态Batch的处理这些都需要提前踩一遍。ONNX Runtime的好处是简单导出ONNX模型就能跑但性能不如TensorRT。还有一个容易被忽视的点预处理和后处理也要算进推理时间。很多人只测了模型前向的时间忘了图像解码、缩放、归一化、NMS这些操作的时间。在实际产线上这些操作可能占总时间的30%以上。我一般会用Nsight或者类似工具做端到端的性能分析找出瓶颈在哪。5.3 与产线系统的集成通信、触发、结果输出模型部署好了怎么和产线系统对接这是工程化的最后一公里也是最容易出问题的地方。触发方式工业现场一般用硬件触发比如光电传感器检测到产品到位发一个信号给相机相机拍照后传给工控机做推理。软件触发比如轮询延迟大不稳定不建议用。通信协议常见的有TCP/IP、Modbus、Profinet、EtherCAT。我一般用TCP/IP简单通用。如果产线PLC只支持Modbus那就用Modbus。通信的关键是要有心跳和重连机制网络断了要能自动恢复。结果输出检测结果一般有三种输出方式一是通过IO信号直接控制分拣机构二是通过通信协议发给PLC三是存数据库供追溯。我一般会同时做这三种IO信号用于实时控制通信协议用于状态同步数据库用于质量追溯。异常处理产线环境复杂相机可能掉线、光源可能故障、网络可能抖动。你的系统必须有完善的异常处理机制比如超时重试、降级策略、报警提示。我见过一个项目因为没做异常处理相机掉线后系统直接卡死整条产线停了半小时。5.4 现场调试那些只有到了车间才会遇到的问题实验室里跑得好好的模型到了车间可能各种问题。我列几个常见的光照变化车间的自然光、灯光、设备指示灯都会影响成像。解决方案是加遮光罩用主动光源固定曝光时间。温度漂移相机和光源长时间工作会发热导致成像参数漂移。解决方案是预热等设备稳定了再标定。振动产线振动会导致图像模糊。解决方案是加固相机支架用短曝光时间。电磁干扰变频器、伺服电机等设备会产生电磁干扰影响通信和成像。解决方案是用屏蔽线做好接地。粉尘和油污镜头和光源上会积灰积油影响成像质量。解决方案是定期清洁或者加气帘吹扫。这些问题文档里不会写但每一个都可能让你的系统上线失败。我的建议是在实验室里尽量模拟现场环境比如用可调光源模拟光照变化用振动台模拟振动提前把问题暴露出来。6. 我踩过的坑和总结的经验6.1 三个让我印象深刻的失败案例案例一过度依赖公开数据集预训练。我做过一个织物疵点检测的项目一开始用ImageNet预训练的骨干网络想着迁移学习能省事。结果织物纹理和自然图像差异太大预训练权重反而成了负担。后来改用随机初始化配合大量数据增强效果反而更好。这件事让我明白预训练不是万能的域差异太大的时候从头训练可能更靠谱。案例二忽视后处理的重要性。有一个项目模型指标很好但上线后误报率居高不下。排查后发现是NMS的IoU阈值设得太高导致重叠的缺陷框没被抑制掉。把IoU阈值从0.5调到0.3误报率直接降了一半。后处理的参数和模型结构一样重要。案例三没有考虑产线节拍。一个项目模型精度达标了但推理速度差了20毫秒导致产线节拍跟不上。最后只能换小模型精度掉了2个点但节拍满足了。精度和速度的权衡要在项目初期就搞清楚别等到上线了才发现。6.2 工业目标检测的“三不原则”干了这么多年我总结了一个“三不原则”第一不追求SOTA。工业场景要的是稳定可靠不是刷榜。YOLOv5可能比YOLOv8差几个点但YOLOv5的部署生态更成熟坑更少。选模型的时候成熟度比先进性更重要。第二不迷信端到端。很多工业检测任务传统方法加深度学习组合比纯端到端方案更稳。比如用传统方法做定位用深度学习做分类各取所长。第三不忽视工程化。模型只是系统的一部分成像、通信、异常处理、人机交互每一个环节都可能成为瓶颈。一个80分的模型加一个90分的工程比一个95分的模型加一个60分的工程上线成功率高得多。6.3 给新入行朋友的建议如果你刚入行工业目标检测我的建议是先去产线待一周。看看产品是怎么生产的缺陷是怎么产生的工人是怎么判断良品的。这些现场知识比任何论文都值钱。先跑通一个简单项目。别一上来就搞复杂缺陷检测先做一个简单的定位或者分类项目把成像、标注、训练、部署、集成的全流程走一遍。走通了再挑战复杂场景。多和工艺工程师聊天。他们知道缺陷的成因、形态规律、质量标准这些信息对设计检测方案至关重要。我很多灵感都来自和工艺工程师的闲聊。保持敬畏心。工业检测关系到产品质量甚至人身安全。你的一个漏检可能导致严重事故。精度指标上的每一个小数点背后都是真金白银和责任。这个领域没有银弹每一个项目都是新的挑战。但正是这种复杂性让工业目标检测变得有意思。你永远在解决新问题永远在学新东西。这大概就是我干了这么多年还没腻的原因。
工业目标检测实战：从成像、选型到部署的避坑指南
1. 工业目标检测到底在解决什么问题1.1 从一条产线说起为什么通用检测模型到了车间就“水土不服”我第一次接触工业目标检测是在一个做精密结构件的车间里。当时产线主管拉着我看一台视觉检测设备屏幕上跑着一个在公开数据集上mAP能到0.85的模型但到了他们产线上漏检率高得离谱尤其是那种表面有油污、反光、边缘有毛刺的工件模型基本处于“睁眼瞎”的状态。这件事让我彻底明白了一个道理工业目标检测和我们在学术数据集上刷榜的那套玩法根本就是两个世界的东西。通用目标检测解决的是“图里有什么、在哪里”的问题数据集里的猫狗、车辆、行人目标大、特征明显、背景相对干净。但工业场景下你要检测的可能是0.5毫米的划痕、焊点上的微小气孔、织物上的一根异色纱线目标尺度小、对比度低、背景纹理还特别复杂。更要命的是工业检测对精度的要求不是“差不多就行”而是“宁可错杀一千不可放过一个”——漏检一个缺陷件流到下游可能就是整批产品召回损失按万起步。所以工业目标检测的核心命题从来不是“把模型做深做复杂”而是在特定成像条件、特定缺陷形态、特定节拍要求下找到一个精度、速度、稳定性三者平衡的方案。这句话听起来像废话但真正落地过的人才知道这三个词在工业现场往往是互相打架的。1.2 工业目标检测的四大典型场景与需求差异我把这些年接触过的工业目标检测需求大致归成四类每一类的技术侧重点完全不同场景类型典型任务核心难点精度要求节拍要求缺陷检测划痕、气孔、脏污、裂纹缺陷形态多变、样本极少极高漏检率0.1%中高尺寸测量孔径、间距、角度亚像素精度、标定误差极高±0.01mm中定位引导抓取点、贴合位置实时性、姿态估计高极高30ms分类分拣良品/不良品、等级判定类间差异小、类别不平衡高高这张表是我自己总结的不一定全面但基本能覆盖大部分工业视觉项目的需求画像。你会发现缺陷检测和定位引导几乎是两个极端前者可以容忍几百毫秒的推理时间但精度要求苛刻到变态后者精度可以放宽到几个像素但节拍要求可能只有20到30毫秒。你在做方案选型的时候第一件事就是搞清楚自己到底在哪个象限里别拿做缺陷检测的思路去做引导定位反之亦然。1.3 一个容易被忽视的前提成像质量决定检测上限我见过太多团队一上来就讨论用YOLO还是Faster R-CNN用ResNet还是EfficientNet但很少有人先问一句你的图拍清楚了吗工业目标检测有一条铁律算法永远无法弥补成像的缺陷。如果打光方案不对缺陷和背景的对比度不够再强的模型也是在噪声里找信号。我做过一个金属表面划痕检测的项目前两周一直在调模型效果死活上不去后来换了一套低角度环形光划痕的灰度差异一下子从5个灰度级拉到40多个同样的模型结构召回率直接从72%跳到96%。所以我的习惯是任何工业检测项目前30%的时间花在成像方案上包括光源选型、相机参数、镜头焦距、工作距离的计算。这部分内容展开能写一整篇这里先按下不表但你记住一点打光打好了传统算法都能跑出不错的效果打光打不好Transformer来了也救不了你。2. 技术路线选型从传统方法到深度学习到底怎么选2.1 传统视觉方法别急着淘汰它现在一提工业检测很多人第一反应就是上深度学习。但我想说传统视觉方法在很多场景下依然是性价比最高的选择尤其是那些缺陷形态固定、背景可控、精度要求高的项目。举个例子检测一个圆形零件的内径尺寸你用边缘检测加圆拟合可能几行Halcon代码就搞定了精度能到亚像素级速度还快。你非要用深度学习去做分割再拟合不仅训练数据难搞推理速度还慢精度还不一定比传统方法高。传统方法的核心优势在于可解释性强、参数可调、不需要大量标注数据、在特定条件下精度极高。它的劣势也很明显对光照变化敏感、换一个产品型号就要重新调参、难以处理形态多变的缺陷。我的经验是如果缺陷可以用明确的几何特征或灰度特征描述优先考虑传统方法如果缺陷形态多变、难以用规则描述再上深度学习。很多项目其实是传统方法和深度学习混着用的比如用传统方法做粗定位用深度学习做精细分类这种组合往往比纯深度学习方案更稳。2.2 深度学习目标检测两阶段 vs 单阶段 vs 无锚框当你确定要用深度学习做检测时下一个问题就是选什么架构。我把主流方案分成三代第一代两阶段检测器Faster R-CNN系列。先出候选框再分类回归。精度高尤其是小目标检测但速度慢。在工业场景里如果你的节拍要求不严比如单张图可以给到200ms以上而且缺陷目标很小Faster R-CNN依然是一个可靠的选择。我做过一个PCB板缺陷检测的项目缺陷尺寸只有十几个像素用Faster R-CNN的召回率比YOLOv5高了将近8个百分点。第二代单阶段检测器YOLO系列、SSD系列。一步到位速度快精度也追上来了。YOLOv5、YOLOv8在工业界用得最多生态好、部署方便、社区活跃。但YOLO系列对小目标的检测能力相对弱一些如果你的缺陷目标很小可能需要改一下检测头或者用更高分辨率的输入。第三代无锚框检测器FCOS、CenterNet、DETR系列。去掉了锚框设计简化了后处理对小目标和密集目标更友好。DETR系列用Transformer做检测理论上限高但训练收敛慢、数据需求大在工业场景里落地案例还不多。FCOS和CenterNet在工业缺陷检测里倒是有不少成功案例尤其是CenterNet把目标检测变成关键点检测的思路对某些特定缺陷形态特别有效。下面这张表是我个人对这几类方案的选型建议方案类型代表模型优点缺点适用场景两阶段Faster R-CNN精度高、小目标好速度慢缺陷小、节拍宽松单阶段YOLOv8速度快、生态好小目标弱节拍紧、目标中等无锚框FCOS/CenterNet密集目标好、后处理简单训练调参难密集缺陷、重叠目标TransformerDETR理论上限高数据需求大、收敛慢数据充足、精度优先2.3 选型背后的三个关键考量精度、速度、数据量选型不是拍脑袋我一般会问三个问题第一你的精度底线是多少是99.9%的召回率还是95%就行这个数字直接决定了你能不能用轻量模型。如果要求99.9%以上那基本只能在Faster R-CNN或者高分辨率输入的YOLO里选而且后处理还要加一堆过滤逻辑。第二你的节拍窗口有多宽如果产线节拍是每分钟60件那单件检测时间不能超过1秒扣掉上下料和通信时间留给推理的可能只有300到500毫秒。这个窗口决定了你能用多大的模型。我一般会留50%的余量因为现场总会有各种意外。第三你有多少标注数据工业缺陷样本往往极少尤其是新产线刚投产的时候可能一天就攒几十张缺陷图。这种情况下你只能走小样本学习或者数据增强的路子别指望用DETR这种数据饥渴型模型。这三个问题问完选型范围基本就缩小到一两个方案了。剩下的就是实验验证用真实数据跑一遍看指标能不能达标。3. 数据工业目标检测最深的坑3.1 工业数据的三个“少”样本少、缺陷少、标注少如果说算法是工业目标检测的骨架那数据就是血肉。但工业数据有三个天然的“少”样本总量少。一条产线一天可能就生产几百件产品其中大部分还是良品。你不可能像互联网公司那样搞到百万级的数据集。缺陷样本少。良品率99%意味着100件里只有1件有缺陷而且缺陷形态还千奇百怪。我做过一个项目整整一个月只收集到37张缺陷图其中还有一半是重复的。标注人员少。工业标注不是画个框就完事很多缺陷需要懂工艺的人才能判断。你让一个普通标注员去区分“划痕”和“材料纹理”他根本分不清。所以工业标注往往需要工程师亲自上阵成本极高。这三个“少”叠加在一起就导致了一个尴尬的局面你有一个很强的模型但没有足够的数据去训练它。3.2 数据增强不是随便转个角度就叫增强面对数据少的问题第一反应肯定是数据增强。但工业场景的数据增强和自然图像的数据增强完全不是一回事。在自然图像里你把猫翻转一下、裁剪一下、调个亮度猫还是猫。但在工业图像里很多增强操作会改变缺陷的物理意义。比如你把一张有划痕的图旋转90度划痕的方向变了但划痕的成因和形态特征可能和方向强相关旋转后的样本反而会误导模型。再比如你把亮度调高可能把原本微弱的缺陷信号给淹没了。我常用的工业数据增强策略按优先级排几何增强要谨慎翻转和旋转可以用但要确认缺陷的形态和方向无关。对于划痕、裂纹这类方向敏感的缺陷尽量只用小角度旋转±10度以内。光度增强要克制亮度、对比度调整的幅度要小最好基于实际产线的光照波动范围来定。我一般会先统计一批真实图像的光照分布然后在这个范围内做增强。噪声增强要真实加高斯噪声不如加真实的传感器噪声。你可以从暗场图像里提取噪声模板然后叠加到训练图上这样更接近真实情况。CutMix和Mosaic要慎用这两种增强在自然图像检测里很有效但在工业场景里拼接后的图像可能出现不合理的缺陷组合反而引入噪声。我一般只在缺陷目标较大、背景简单的情况下才用。还有一个被低估的增强手段合成缺陷。用传统图像处理或者GAN生成缺陷然后贴到良品图上。这个方法在缺陷形态固定、背景可控的场景下效果很好。我做过一个项目用合成数据把训练集从50张扩到2000张模型召回率提升了15个百分点。但合成数据的质量很关键合成得不像反而会拉低模型性能。3.3 标注策略从“全量标注”到“策略性标注”数据少的时候标注策略比标注数量更重要。我的经验是第一优先标注难例。良品图不用标太多模型很容易学会。把有限的标注预算花在那些模型容易混淆的样本上比如缺陷和背景对比度低的、缺陷形态不典型的、有遮挡的。第二用弱监督降低标注成本。如果只需要知道图里有没有缺陷不需要知道缺陷在哪可以用图像级标签做弱监督训练。虽然精度会打折扣但在数据极少的时候有总比没有强。第三迭代式标注。先用少量数据训一个初始模型用它去预测未标注数据把置信度高的预测结果人工确认后加入训练集再训再标循环几轮。这个方法我称之为“模型带着标注跑”实测下来能把标注效率提升3到5倍。第四标注规范要统一。工业缺陷的边界往往很模糊不同标注员对同一个缺陷的标注框可能差很多。我一般会写一份标注规范文档明确每种缺陷的标注标准比如“划痕的标注框要包含划痕两端各2个像素的余量”然后让所有标注员先标一批交叉验证一致性一致性达标了再正式开标。3.4 数据不平衡当良品和缺陷的比例是1000:1数据不平衡是工业检测的常态。良品几千张缺陷几十张模型很容易学会“全部预测为良品”这种偷懒策略准确率还能到99%以上但召回率是0。解决数据不平衡我常用的几招重采样对缺陷样本过采样对良品样本欠采样。但过采样容易导致过拟合欠采样会丢失信息。我一般用“适度过采样适度欠采样”把比例控制在10:1到5:1之间。损失函数加权给缺陷类更高的损失权重让模型更关注缺陷样本。Focal Loss是常用的选择但在工业场景里我更喜欢用带权重的交叉熵权重根据类别频率的倒数来定简单有效。难例挖掘在线难例挖掘OHEM在工业检测里很实用。每轮训练后把模型预测错的样本挑出来加大它们的权重。这个方法能让模型持续关注那些“硬骨头”。异常检测思路如果缺陷样本实在太少可以换个思路不做缺陷检测而是做良品建模。用自编码器或者One-Class SVM学习良品的分布偏离这个分布的就判为缺陷。这个方法在缺陷形态完全未知的情况下特别有用但误报率通常偏高需要配合后处理。4. 模型训练与调优那些文档里不会写的细节4.1 输入分辨率小目标检测的第一道门槛工业缺陷往往很小在整幅图里可能只占几十个像素。如果你把图像缩放到640×640再送进网络缺陷可能就剩几个像素了模型根本学不到有效特征。我的经验是输入分辨率要保证缺陷目标在特征图上至少还有4到8个像素。以YOLOv8为例它的最大下采样倍率是32倍如果缺陷在原图里是20个像素缩放到640后可能只剩5个像素再经过32倍下采样特征图上就剩0.15个像素了等于消失了。所以对于小目标检测我有两个建议第一提高输入分辨率。把输入从640提到1024甚至1280缺陷在特征图上的像素数会显著增加。代价是推理速度下降显存占用上升。你需要根据节拍要求来权衡。第二修改网络结构。去掉最后几个下采样层或者用空洞卷积代替下采样保持特征图的分辨率。YOLOv8可以通过修改配置文件来调整下采样倍率但改动后需要重新训练。第三切图检测。如果缺陷很小但图像很大可以把大图切成小块分别检测再把结果拼回去。这个方法在PCB检测、液晶屏检测里很常用。切图的时候要注意重叠区域避免缺陷被切在边界上。4.2 锚框设计别直接用COCO的默认值如果你用的是基于锚框的检测器比如Faster R-CNN或YOLOv5锚框的尺寸和比例对检测性能影响很大。COCO数据集的默认锚框是针对自然图像设计的直接拿来用在工业缺陷上效果往往不好。正确的做法是用K-means聚类你自己的数据集统计缺陷目标的宽高分布重新生成锚框。具体步骤是统计所有标注框的宽高。用K-means聚类聚类数一般取9对应3个尺度×3个比例。把聚类得到的宽高作为锚框尺寸替换默认值。重新训练模型。这个操作看起来简单但效果立竿见影。我做过对比实验在同一个缺陷检测数据集上用聚类锚框比用默认锚框的mAP高了6个百分点尤其是小目标的召回率提升明显。4.3 学习率与优化器工业场景下的“保守策略”工业检测模型训练我一般走保守路线。原因很简单数据少经不起折腾。学习率设大了模型容易过拟合到少数样本上设小了收敛太慢等不起。我的默认配置是优化器SGD with momentum0.9或者AdamW。SGD更稳AdamW收敛更快。数据极少的时候我用SGD数据量中等的时候用AdamW。初始学习率0.001到0.01之间配合warmup。warmup很重要能让模型在训练初期稳定下来。学习率调度Cosine Annealing或者Step LR。Cosine更平滑Step更可控。我一般用Cosine配合早停。权重衰减1e-4到5e-4。工业场景下我倾向于用大一点的权重衰减抑制过拟合。Batch Size能多大就多大但不要超过显存。Batch Size太小会导致BatchNorm统计不准影响性能。如果显存不够可以用梯度累积。还有一个细节冻结骨干网络。如果数据极少比如只有几十张我会先冻结骨干网络只训练检测头等检测头收敛了再解冻全部网络微调。这样能防止骨干网络在少量数据上过拟合。4.4 评价指标mAP不是唯一标准在工业场景里mAP只是一个参考指标真正决定模型能不能上线的是召回率、误报率和漏检率。召回率Recall所有缺陷里模型找出了多少。工业检测最怕漏检所以召回率是第一优先级。误报率False Positive Rate良品被误判为缺陷的比例。误报太高会导致产线频繁停机工人会骂娘。漏检率Miss Rate缺陷被漏掉的比例。这个指标直接关系到产品质量风险。我一般会画一条P-R曲线然后根据实际需求选一个工作点。比如要求召回率不低于99%那就看在这个召回率下误报率是多少能不能接受。如果误报率太高就得调整后处理阈值或者加一个二级分类器来过滤误报。还有一个工业场景特有的指标过杀率。就是良品被误判为缺陷的比例。过杀率和误报率有点像但过杀率更强调对生产节拍的影响。过杀率高了产线频繁报警工人会直接把检测系统关掉。5. 部署与工程化从实验室到产线的最后一公里5.1 模型压缩不是所有场景都需要模型压缩是个热门话题量化、剪枝、蒸馏听起来很高级。但我的观点是如果模型能在目标硬件上跑够快就别折腾压缩。压缩会带来精度损失而工业检测对精度极其敏感。我一般先测一下原始模型在目标硬件上的推理速度。如果满足节拍要求就直接部署。如果不满足再考虑压缩。压缩的优先级是换更小的模型YOLOv8n比YOLOv8x快好几倍精度可能只差几个点。先试试小模型能不能达标。量化FP16量化几乎无损INT8量化需要校准精度可能掉1到3个点。TensorRT的INT8量化在工业场景里用得很多但校准集要选好最好用真实产线的图。剪枝结构化剪枝能显著减少参数量和计算量但需要重新训练流程比较复杂。蒸馏用大模型教小模型能提升小模型的精度。但蒸馏需要同时加载两个模型训练成本高。我的经验是大部分工业检测场景换个小模型加FP16量化就够了没必要上剪枝和蒸馏。5.2 推理框架选型TensorRT、OpenVINO还是ONNX Runtime推理框架的选择主要看你的硬件平台硬件平台推荐框架理由NVIDIA GPUTensorRT性能最优支持INT8量化Intel CPUOpenVINO针对Intel硬件优化CPU上速度快通用平台ONNX Runtime跨平台部署简单边缘设备TensorRT/OpenVINO看芯片厂商一般都有配套工具我大部分项目用的是TensorRT因为NVIDIA GPU在工业现场最常见。TensorRT的坑也不少比如版本兼容性、自定义层的支持、动态Batch的处理这些都需要提前踩一遍。ONNX Runtime的好处是简单导出ONNX模型就能跑但性能不如TensorRT。还有一个容易被忽视的点预处理和后处理也要算进推理时间。很多人只测了模型前向的时间忘了图像解码、缩放、归一化、NMS这些操作的时间。在实际产线上这些操作可能占总时间的30%以上。我一般会用Nsight或者类似工具做端到端的性能分析找出瓶颈在哪。5.3 与产线系统的集成通信、触发、结果输出模型部署好了怎么和产线系统对接这是工程化的最后一公里也是最容易出问题的地方。触发方式工业现场一般用硬件触发比如光电传感器检测到产品到位发一个信号给相机相机拍照后传给工控机做推理。软件触发比如轮询延迟大不稳定不建议用。通信协议常见的有TCP/IP、Modbus、Profinet、EtherCAT。我一般用TCP/IP简单通用。如果产线PLC只支持Modbus那就用Modbus。通信的关键是要有心跳和重连机制网络断了要能自动恢复。结果输出检测结果一般有三种输出方式一是通过IO信号直接控制分拣机构二是通过通信协议发给PLC三是存数据库供追溯。我一般会同时做这三种IO信号用于实时控制通信协议用于状态同步数据库用于质量追溯。异常处理产线环境复杂相机可能掉线、光源可能故障、网络可能抖动。你的系统必须有完善的异常处理机制比如超时重试、降级策略、报警提示。我见过一个项目因为没做异常处理相机掉线后系统直接卡死整条产线停了半小时。5.4 现场调试那些只有到了车间才会遇到的问题实验室里跑得好好的模型到了车间可能各种问题。我列几个常见的光照变化车间的自然光、灯光、设备指示灯都会影响成像。解决方案是加遮光罩用主动光源固定曝光时间。温度漂移相机和光源长时间工作会发热导致成像参数漂移。解决方案是预热等设备稳定了再标定。振动产线振动会导致图像模糊。解决方案是加固相机支架用短曝光时间。电磁干扰变频器、伺服电机等设备会产生电磁干扰影响通信和成像。解决方案是用屏蔽线做好接地。粉尘和油污镜头和光源上会积灰积油影响成像质量。解决方案是定期清洁或者加气帘吹扫。这些问题文档里不会写但每一个都可能让你的系统上线失败。我的建议是在实验室里尽量模拟现场环境比如用可调光源模拟光照变化用振动台模拟振动提前把问题暴露出来。6. 我踩过的坑和总结的经验6.1 三个让我印象深刻的失败案例案例一过度依赖公开数据集预训练。我做过一个织物疵点检测的项目一开始用ImageNet预训练的骨干网络想着迁移学习能省事。结果织物纹理和自然图像差异太大预训练权重反而成了负担。后来改用随机初始化配合大量数据增强效果反而更好。这件事让我明白预训练不是万能的域差异太大的时候从头训练可能更靠谱。案例二忽视后处理的重要性。有一个项目模型指标很好但上线后误报率居高不下。排查后发现是NMS的IoU阈值设得太高导致重叠的缺陷框没被抑制掉。把IoU阈值从0.5调到0.3误报率直接降了一半。后处理的参数和模型结构一样重要。案例三没有考虑产线节拍。一个项目模型精度达标了但推理速度差了20毫秒导致产线节拍跟不上。最后只能换小模型精度掉了2个点但节拍满足了。精度和速度的权衡要在项目初期就搞清楚别等到上线了才发现。6.2 工业目标检测的“三不原则”干了这么多年我总结了一个“三不原则”第一不追求SOTA。工业场景要的是稳定可靠不是刷榜。YOLOv5可能比YOLOv8差几个点但YOLOv5的部署生态更成熟坑更少。选模型的时候成熟度比先进性更重要。第二不迷信端到端。很多工业检测任务传统方法加深度学习组合比纯端到端方案更稳。比如用传统方法做定位用深度学习做分类各取所长。第三不忽视工程化。模型只是系统的一部分成像、通信、异常处理、人机交互每一个环节都可能成为瓶颈。一个80分的模型加一个90分的工程比一个95分的模型加一个60分的工程上线成功率高得多。6.3 给新入行朋友的建议如果你刚入行工业目标检测我的建议是先去产线待一周。看看产品是怎么生产的缺陷是怎么产生的工人是怎么判断良品的。这些现场知识比任何论文都值钱。先跑通一个简单项目。别一上来就搞复杂缺陷检测先做一个简单的定位或者分类项目把成像、标注、训练、部署、集成的全流程走一遍。走通了再挑战复杂场景。多和工艺工程师聊天。他们知道缺陷的成因、形态规律、质量标准这些信息对设计检测方案至关重要。我很多灵感都来自和工艺工程师的闲聊。保持敬畏心。工业检测关系到产品质量甚至人身安全。你的一个漏检可能导致严重事故。精度指标上的每一个小数点背后都是真金白银和责任。这个领域没有银弹每一个项目都是新的挑战。但正是这种复杂性让工业目标检测变得有意思。你永远在解决新问题永远在学新东西。这大概就是我干了这么多年还没腻的原因。