简介PDF文档聚焦苹果生产中霉心病的无损检测难题面向计算机视觉、图像处理及农业工程领域的研发人员、研究生与专业参考者。文档完整阐述基于近红外光谱特性与Otsu自适应阈值的图像分割方案详细覆盖果实—病变—背景的全自动分割、区域填充等图像预处理操作、病斑面积与苹果总面积比例计算以及病变程度判定流程并给出误检率8.87%与Photoshop手工选取结果对比的实验验证数据可作为相关课题研究参考与专业指导。包内含1个PDF文件压缩包大小2.24MB已有93人学习。读者可从中获取Otsu分割原理、近红外光谱与病变程度对应关系、病斑定量测量等核心技术细节也可借鉴其图像处理流程与实验验证思路适用于课程设计、算法复现、毕业论文撰写或农业生产中的无损检测方案规划。1. 为什么苹果霉心病是计算机视觉最难测的“内部缺陷”一个外表红润、果形端正、摸起来硬挺的苹果切开后才发现果心已经发黑发霉这就是苹果霉心病最气人的地方病变发生在心室和果心线附近外观几乎不给任何信号。传统分选线上的黑白相机、彩色相机拍再多照片也只能看到果皮表面的着色和瑕疵对内部腐烂无能为力。用计算机视觉测量苹果霉心病病变程度本质上要把三件事串起来选一种能让内部病变“显形”的成像方式把病变区域从图像里可靠地分割出来再把病变面积换算成可操作的分级结果。这套流程适合果品采后品质检测、无损检测设备研发以及做计算机视觉大作业想找真实农业场景的从业者难点不在算法多深而在成像方案和测量口径是否站得住。2. 拍照方案先行怎么让看不见的病变在图像里显形2.1 可见光为什么失效病变在果心外观在骗人很多人拿到这个题目第一反应是找公开数据集然后训练一个分类网络。但霉心病和苹果表面的碰压伤、锈斑完全不同病变位置在果实内部从果皮方向入射的可见光很难穿透到果心红光波长较长穿透深度勉强能到果肉浅层绿光和蓝光基本被果皮和表层果肉吸收反射掉了。换句话说常规RGB相机拍到的光信息里几乎没有来自果心病变的贡献。有人试过退而求其次用果柄端颜色、果实整体着色度做间接推断比如发病重的果实有时着色偏浅、果柄容易脱落。这类特征在群体统计上有一点相关性但单果测量时稳定性很差同一品种、同一成熟度的健康果也可能着色偏浅。做计算机视觉项目时容易掉进一个惯性思维先调模型把准确率从90%调到95%。但在这个场景里成像方式不换输入图像里根本没有病变信息模型再强也是在噪声里找规律。2.2 三种成像手段的对比透射、X射线与切开拍照要让内部病变变成图像上的明暗差常见做法有三条路线我按落地场景做了对比。成像方式物理原理对霉心病敏感度成本与条件适合场景可见光剖面拍照切开果实俯拍横切面病变组织颜色与健康果肉差异明显极高能作为人工判级真值最低只需要相机和固定光源实验室测量、模型标定、人工标注基准近红外漫透射成像850nm附近光线穿透果实病变区水分和化学组分变化引起光衰减呈现暗斑中等偏高能看到果心附近异常需要暗箱、透射光源成本适中产线无损初筛、按级分选X射线成像病变组织密度与健康果肉存在差异灰度图上可分辨高成像稳定设备贵需要辐射防护资质科研精密测量、在线检测设备定制切开拍照适合建立真值和标定算法近红外漫透射适合做无损测量X射线效果好但门槛高一般项目前期不需要上。我一般建议先用剖面图像把分割和定级算法跑通再迁移到透射图像原因是剖面图的真值明确能直接检查算法每一步对不对而透射图的病变边界模糊很容易把果核、种子误判成霉变区域。2.3 搭建最小透射采集台遮光、曝光、标定板参数如果直接做无损测量采集台的搭建比模型重要得多。近红外漫透射的本质是让光穿过果实、再由相机接收衰减后的光信号所以环境光必须压到最低否则背景噪声会淹没病灶的暗区。我常用的最小配置是一台黑白工业相机、一个850nm附近的近红外LED阵列光源、一块乳白匀光板以及用黑色植绒布围出来的封闭暗箱。苹果放在匀光板上方相机从正上方俯拍光源从下方或侧下方打光。这里有一个关键参数曝光时间不能按“看得清楚”来调而要看直方图。我一般把曝光调到图像直方图峰值在满量程的70%到85%之间保证大部分果肉区域不饱和同时保留暗部层次。超过85%果心附近的细节会被高光吃掉低于50%噪声会变得非常明显。固定曝光后白平衡、增益全部锁死不允许自动调整。存储格式也容易被忽略。JPG的8bit压缩会丢失暗部细节而霉心病病灶在透射图里恰恰是暗部信号所以保存成PNG或TIFF有条件就上16bit。每批样本拍摄前在苹果同一平面放一个直径已知的标定圆片拍一张标定图用来把像素尺寸换算成毫米。标定板不能省因为不同批次的拍摄高度、镜头焦距可能有微调没有标定就没办法比较不同图像里的病变面积。提示透射光场的均匀性直接影响分割。光源如果偏向一侧苹果同一位置的灰度会随摆放角度变化导致同一果实转个方向拍测出来的病变占比差好几个百分点。匀光板能救回来一部分但最基本的操作是固定放置方向比如果柄朝左所有样本统一。3. 图像预处理与病变分割从原图到可测量的病灶区域3.1 读图与背景剥离为什么暗室能让阈值简单十倍拿到图像后第一步不是急着分割病变而是把苹果从背景里干净地剥离出来。暗室条件下背景灰度接近0苹果透射区域的灰度远高于背景这给阈值分割创造了非常好的条件。下面这段代码完成读图、灰度化和背景剥离。import cv2 import numpy as np def load_and_make_fruit_mask(path): # 用IMREAD_UNCHANGED保留16bit位深避免暗部细节被截断 gray cv2.imread(str(path), cv2.IMREAD_UNCHANGED) if gray is None: raise FileNotFoundError(f读不到图像: {path}) if len(gray.shape) 3: gray cv2.cvtColor(gray, cv2.COLOR_BGR2GRAY) # 暗室背景下背景接近0苹果透射部分灰度远高于背景 _, fg cv2.threshold(gray, 15, 255, cv2.THRESH_BINARY) fg cv2.morphologyEx(fg, cv2.MORPH_CLOSE, np.ones((5, 5), np.uint8)) # 取最大的连通轮廓当作苹果本身排除标定板或阴影干扰 contours, _ cv2.findContours(fg, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) if len(contours) 0: raise RuntimeError(没找到苹果轮廓请检查透射光是否打开) fruit_mask np.zeros_like(gray) cv2.drawContours(fruit_mask, [max(contours, keycv2.contourArea)], -1, 255, -1) return gray, fruit_mask这段代码里阈值取15是因为暗室背景理想情况下接近0图像里的噪声和暗电流可能产生少量非零像素取15既能滤掉噪声又不会误伤苹果边缘的弱信号。如果你拍的图背景不是纯黑先看直方图找到背景峰和苹果峰之间的谷底把15换成谷底值不要硬套。闭运算用来填平苹果内部因为透射不均匀产生的细小空洞5x5的结构元对大多数工业相机分辨率够用分辨率更高可以适当放大。这里要特别强调最大轮廓的意义。透射图像里标定板、遮光罩边缘都可能产生亮区如果直接对所有前景像素做后续处理会把非苹果区域也算进去。取最大连通轮廓是成本最低的防呆手段。遇到两个苹果挨在一起的情况这种简单方法会失效需要先做分水岭或凹点分割不过最小验证阶段不用急着处理。3.2 定位果心区域与病变分割用椭圆约束滤掉背景杂讯背景剥离之后接下来要分割病变区域。但如果直接在整颗苹果范围内做阈值分割果皮边缘、果柄阴影、表皮花青素吸收都会混进来。更稳的做法是先把测量范围约束在果心附近再在这个局部区域内分割病变。def extract_core_and_lesions(gray, fruit_mask, low80, high140, core_ratio0.35): # 用果实轮廓拟合椭圆确定果心区域的中心和范围 contours, _ cv2.findContours(fruit_mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) largest max(contours, keycv2.contourArea) (cx, cy), (MA, ma), angle cv2.fitEllipse(largest) # 以椭圆中心为圆心取长短轴的core_ratio作为果心测量区 core_mask np.zeros_like(fruit_mask) cv2.ellipse(core_mask, (int(cx), int(cy)), (int(MA * core_ratio), int(ma * core_ratio)), angle, 0, 360, 255, -1) core_mask cv2.bitwise_and(core_mask, fruit_mask) core_area cv2.countNonZero(core_mask) # 在透射图里霉变区域灰度低于健康果肉用低阈值提取暗区 _, lesion_bin cv2.threshold(gray, low, high, cv2.THRESH_BINARY_INV) lesion_bin cv2.morphologyEx(lesion_bin, cv2.MORPH_OPEN, np.ones((3, 3), np.uint8)) lesion_bin cv2.bitwise_and(lesion_bin, core_mask) # 去掉面积小于30像素的孤立噪点 n, labels, stats, _ cv2.connectedComponentsWithStats(lesion_bin) for i in range(1, n): if stats[i, cv2.CC_STAT_AREA] 30: labels[labels i] 0 lesion_area np.count_nonzero(labels) return lesion_area / core_area if core_area 0 else 0.0这个函数的核心是把“病变分割”限制在果心区域内。霉心病从果心开始向外扩展早期病变一定在果实中心附近把测量区域收缩到椭圆长短轴的35%以内可以有效避开表层果肉因光路不均产生的假暗区。参数core_ratio是可调的透射图里苹果边缘光路更长、衰减更明显如果误检多就调小到0.25如果已知霉变蔓延到果肉较深处可以调大到0.45。low和high是透射图像的灰度区间Dark区域是病变候选。实际项目中这两个值不能拍脑袋定我的做法是先打开一张典型样本的直方图找到健康果肉的灰度峰把high设在峰值的60%到70%low设在噪声底之上。代码里默认low80、high140对应8bit图像如果是16bit图像需要等比放大到20480和35840左右。形态学开运算用3x3结构元既能打散细小噪声又不会把细长的病变区域整个抹掉。面积小于30像素的连通区大概率是传感器热点或灰尘阴影直接清零。3.3 像素面积怎么换算成毫米标定与占比归一化分割完成后不能直接把像素占比当作真实病变程度。苹果有大有小同一棵树的果实横截面积差一倍很常见同一批果实靠近果柄和靠近花萼的切面大小也不一样。所以我不建议用“病变像素数”做跨样本比较而是算“病变面积占果心区域面积的比例”这个比例天然归一化了果实大小差异。如果要报告真实的病变面积需要用到采集时拍的标定板图像。假设标定圆片的实际直径是d毫米在图像里量到的直径是p像素那么缩放系数scale d / p单位是毫米每像素。单个像素的真实面积就是scale的平方病变真实面积约等于病变像素数乘以scale的平方。但这句话有个前提拍摄时苹果和标定板必须处于同一平面否则近大远小会让scale失真。归一化比例这个指标不需要标定板也能用但它只在同一个成像设置下才有可比性。如果你今天用850nm光源明天换了940nm光源或者相机增益改了比例值会整体偏移。我把每个批次的采集参数固化成一个config字典拍样本前先拍标定板再处理图片。这一步看似繁琐却能把跨批次的系统误差从“玄学”变成可追溯的数值偏移后面调阈值时能省下大量返工时间。4. 病变程度怎么定级面积占比、人工对齐与一致性评估4.1 为什么不能只按面积占比一条线定级测量出病变占比之后下一个问题是占比多少算轻度多少算中度多少算重度很多人直接划三条等距线比如0到0.2算轻度0.2到0.4算中度0.4以上算重度。这种做法在真实样本上几乎一定会翻车因为霉心病的严重程度不只是面积问题。同样的0.3占比一个集中在果心室内部的病变和一个已经蔓延到果肉中部、逼近果皮的病变市场接受度完全不同。后者切开后肉眼可见的腐烂范围大消费者误食风险高而前者虽然面积不小但削皮后基本不影响食用。所以更合理的定级应当把病变位置作为第二维度病变区域最外缘到果实轮廓的距离或者病变是否突破果心线。算法上实现也不难在提取到病变掩膜后对每个病变连通区算一次到果实轮廓的最短距离取最小值然后和面积占比一起送入分级规则。面积占比负责衡量“有多少”位置距离负责衡量“有多深”两者结合才接近植保专家切开果实后的判断习惯。4.2 用人工剖检数据标定分级阈值网格搜索Kappa分级阈值应该由数据标定出来而不是由开发者直觉定下来。做法是先采100个左右样本逐一切开拍摄剖面图像由至少两位有经验的植保人员独立标注0到3级出现分歧的样本讨论达成一致。然后自动测量这些剖面图像的病变占比用网格搜索找到一组阈值让自动分级结果和人工标注的一致性最高。from sklearn.metrics import cohen_kappa_score import numpy as np # ratios是自动测量出的病变面积占比levels是人工标注的0/1/2/3级 ratios np.array([0.02, 0.08, 0.15, 0.28, 0.55, 0.12, 0.05, 0.42]) levels np.array([0, 1, 1, 2, 3, 1, 0, 2]) best_th (0, 0, 0) best_kappa -1 # 三个阈值分别对应0/1、1/2、2/3分界范围根据预实验占比分布设定 for t1 in np.arange(0.02, 0.15, 0.01): for t2 in np.arange(0.15, 0.35, 0.01): for t3 in np.arange(0.35, 0.70, 0.02): pred np.zeros_like(levels) pred[ratios t1] 1 pred[ratios t2] 2 pred[ratios t3] 3 k cohen_kappa_score(levels, pred, weightslinear) if k best_kappa: best_kappa k best_th (t1, t2, t3) print(最优阈值:, best_th, 加权Kappa:, round(best_kappa, 3))用cohen_kappa_score而不是accuracy是因为霉心病样本天然不平衡健康果和轻度果占比高中度和重度占比低。如果只用准确率把所有样本都判成轻度准确率可能也有70%但完全没有测量意义。加权Kappa对有序类别之间的“跨级误判”更敏感线性权重意味着1级误判成2级的代价比误判成3级更低这符合人工分级的真实逻辑。网格搜索的参数范围不是随便设的。先对ratios做一次描述性统计看健康果、轻度果、中度果、重度果的占比分布大致落在哪些区间再把t1、t2、t3的搜索范围分别对准这些区间的交界处。搜索步长0.01对应1个百分点对面积占比测量来说已经足够精细。样本量只有100左右时网格搜索得到的最优阈值会在小范围波动稳妥的做法是把阈值圆整到0.05的倍数避免过度拟合这批标注数据。4.3 评估测量方法混淆矩阵、加权Kappa与每级敏感性阈值定完之后不能只报一个Kappa数字就完事还要看误判方向。我一般输出三样东西混淆矩阵、加权Kappa、每个级别的敏感性。评估项含义合格参考线混淆矩阵每一级真实样本被自动判成了哪些级别相邻级误判为主跨级误判不超过5%加权Kappa有序分类一致性考虑跨级距离0.80以上优0.61到0.80良各级敏感性每一级真实样本中被正确识别的比例0级和3级不低于0.91级和2级不低于0.8如果混淆矩阵显示自动分级大量把0级健康果判成1级问题大概率出在透射成像的噪声上果核和种子被当成了早期病变。如果1级和2级互相混淆说明病变占比阈值分不开这两个级别这时候要回到4.1说的位置特征把“病变外缘到轮廓距离”加入分级规则。如果3级经常被低估成2级常见原因是重病果病变区域中心出现空洞图像里空洞部分灰度很低明显属于病变但自动分割可能把空洞内的异常高光当成健康组织。这类问题靠调阈值解决不了需要在分割阶段补一个“空洞内区域自动纳入病变”的规则。评估数据要另外留出一批没有参与阈值搜索的样本不能拿同一批数据既标定又评估否则Kappa虚高。我一般从100个样本里留20个做验证集阈值搜索只跑80个。5. 苹果霉心病测量避坑清单5个高频翻车点与排查步骤5.1 曝光过度苹果内部细节被高光直接抹平现象是透射图像上整颗苹果亮成一片果心附近的暗区几乎看不到分割结果噪声极大或完全为空。原因是相机自动曝光把整体亮度拉得太高或者光源功率过大病变区域和健康果肉的灰度差被压缩到了几个灰度级以内。解决方法是把相机切到手动模式固定ISO和快门观察直方图调整光源功率或曝光时间让峰值落在满量程70%到85%区间。同时检查是否有环境光漏进暗箱LED光源一开箱外光线越少越好。记住一个原则透射图不是要让苹果看起来漂亮而是要让内部密度差异在灰度上有最大跨度。5.2 果核和种子被误判成霉变区域这是最常见的误判。透射图像里种子、果心室的纤维组织、石细胞团的密度都比果肉高灰度偏低形态上表现为果心中央的连续暗区。而霉变区域通常从心室壁向外蔓延呈絮状或不规则片状。如果把整个低灰度区域都当病变健康果的果核会被算成重度霉心。解决思路是把“果核结构”和“病变组织”分开建模。果核区域有一定对称性贴合并限制在果实中心很小的椭圆内而霉变区会突破这个椭圆、延伸到果肉。代码里core_ratio从0.35开始往小调同时检查分割出的连通区域是否环绕果实中心一圈如果暗区是环形或放射状分布优先怀疑是果核结构。另一个辅助判断是纹理霉变区边缘不规则内部灰度起伏大果核纤维相对平滑。可以在分割后加一个灰度共生矩阵的熵特征熵高的暗区认定为病变熵低的认定为正常结构。5.3 切面位置不统一面积占比完全不可比做剖面拍照做真值时如果有的果实沿赤道横切有的沿果柄中轴纵切同一个病灶在两种切面上的面积占比可能差好几倍后续用这些数据标定分级阈值阈值本身就会失真。解决方法是强制统一切面方向。横切沿果实赤道最大横径处下刀纵切沿果柄到花萼的中轴线。无论选哪种同一个项目里只能选一种而且要拍摄切面照片时把切面垂直朝上用水平仪或简单的固定V形槽保证相机光轴与切面垂直。处理图像时也要检查轮廓的椭圆度如果椭圆长短轴比超过1.5很可能是斜切直接剔除。5.4 人工标注不一致算法学到的是“标注人的纠结”让两个人标100个剖面图像健康和重度好标轻度和中度最折腾两人一致率能差到20个百分点。有人按面积占比有人按病变颜色深浅有人看病变是否散发异味、是否触及果皮。标注标准不统一自动测量模型学到的就是一批互相矛盾的标签。解决方法是先建立标准图例把每个级别的2到3张典型剖面图打印或放进标注界面明确每个级别的判定维度病变面积占比、病变距果皮最小距离、病变颜色范围。标注界面最好让标注人员直接在图像上圈出病变区域而不是只打一个等级数字把面积和位置的计算交给程序。每标完30张算一次两人Kappa低于0.7就停下来重新对齐标准。5.5 样本量小且类别不平衡准确率高但没有测量价值一个常见翻车现场是重度样本占全部数据的5%模型把所有样本都判为健康也能报出95%的准确率看起来非常漂亮。用这种模型去测实际产线重度病果几乎全部漏检这就是为什么不看Kappa、不看混淆矩阵就只看准确率一定会被数据欺骗。解决方法是采样时有意均衡类别健康果和轻度、中度、重度样本尽量各占四分之一至少保证最少的重度样本不少于20个。评估时单独看每个级别的敏感性和特异性如果重度敏感性低于0.8先别谈上线回采数据或者加重度样本的训练权重。6. 从单张图到批量脚本验证一件事再放大样本把前面流程串成一个批量脚本不需要很复杂但一定要能从命令行跑完一批样本并输出结构化结果。我习惯这样组织一个config.json存放标定板和分割阈值参数一个process_image.py处理单张一个run_batch.py遍历整个文件夹。python process_image.py \ --input moldy_apples/IMG_001.png \ --config config.json \ --output results/IMG_001_overlay.png python run_batch.py \ --input_dir moldy_apples/march/ \ --config config.json \ --result_csv results/measurements.csv \ --overlay_dir results/overlay/批量脚本跑完每个样本输出一行CSV记录字段包括图像名、病变面积像素数、果心区域像素数、面积占比、自动分级结果。同时生成一张叠加图把病变轮廓画在原图上。跑完第一批20张我的习惯是先把叠加图全部人工看一遍不看CSV数字只看分割轮廓对不对。轮廓错得离谱的回过去调参数不要急着跑第二批。这一步能拦住80%的脏数据因为批量跑1000张之后再回头逐张检查轮廓就来不及了。我自己最早做这个方向时犯过最蠢的错误是拿到一批图就直接训练深度学习模型结果模型把每个苹果中央的果核结构都当成了霉变准确率还很高因为健康果本来就有果核。后来老老实实从成像、分割、标定做起用最朴素的阈值加形态学把流程跑通才有了可信的测量结果。如果你只有少量样本别急着上卷积神经网络先用手工特征加规则把测量口径定准再考虑用学习模型替代某个环节。这个提前量留得越大后面翻车越少。希望帮到你。本文还有配套的精品资源点击获取
苹果霉心病无损检测：计算机视觉与近红外透射成像实战指南
简介PDF文档聚焦苹果生产中霉心病的无损检测难题面向计算机视觉、图像处理及农业工程领域的研发人员、研究生与专业参考者。文档完整阐述基于近红外光谱特性与Otsu自适应阈值的图像分割方案详细覆盖果实—病变—背景的全自动分割、区域填充等图像预处理操作、病斑面积与苹果总面积比例计算以及病变程度判定流程并给出误检率8.87%与Photoshop手工选取结果对比的实验验证数据可作为相关课题研究参考与专业指导。包内含1个PDF文件压缩包大小2.24MB已有93人学习。读者可从中获取Otsu分割原理、近红外光谱与病变程度对应关系、病斑定量测量等核心技术细节也可借鉴其图像处理流程与实验验证思路适用于课程设计、算法复现、毕业论文撰写或农业生产中的无损检测方案规划。1. 为什么苹果霉心病是计算机视觉最难测的“内部缺陷”一个外表红润、果形端正、摸起来硬挺的苹果切开后才发现果心已经发黑发霉这就是苹果霉心病最气人的地方病变发生在心室和果心线附近外观几乎不给任何信号。传统分选线上的黑白相机、彩色相机拍再多照片也只能看到果皮表面的着色和瑕疵对内部腐烂无能为力。用计算机视觉测量苹果霉心病病变程度本质上要把三件事串起来选一种能让内部病变“显形”的成像方式把病变区域从图像里可靠地分割出来再把病变面积换算成可操作的分级结果。这套流程适合果品采后品质检测、无损检测设备研发以及做计算机视觉大作业想找真实农业场景的从业者难点不在算法多深而在成像方案和测量口径是否站得住。2. 拍照方案先行怎么让看不见的病变在图像里显形2.1 可见光为什么失效病变在果心外观在骗人很多人拿到这个题目第一反应是找公开数据集然后训练一个分类网络。但霉心病和苹果表面的碰压伤、锈斑完全不同病变位置在果实内部从果皮方向入射的可见光很难穿透到果心红光波长较长穿透深度勉强能到果肉浅层绿光和蓝光基本被果皮和表层果肉吸收反射掉了。换句话说常规RGB相机拍到的光信息里几乎没有来自果心病变的贡献。有人试过退而求其次用果柄端颜色、果实整体着色度做间接推断比如发病重的果实有时着色偏浅、果柄容易脱落。这类特征在群体统计上有一点相关性但单果测量时稳定性很差同一品种、同一成熟度的健康果也可能着色偏浅。做计算机视觉项目时容易掉进一个惯性思维先调模型把准确率从90%调到95%。但在这个场景里成像方式不换输入图像里根本没有病变信息模型再强也是在噪声里找规律。2.2 三种成像手段的对比透射、X射线与切开拍照要让内部病变变成图像上的明暗差常见做法有三条路线我按落地场景做了对比。成像方式物理原理对霉心病敏感度成本与条件适合场景可见光剖面拍照切开果实俯拍横切面病变组织颜色与健康果肉差异明显极高能作为人工判级真值最低只需要相机和固定光源实验室测量、模型标定、人工标注基准近红外漫透射成像850nm附近光线穿透果实病变区水分和化学组分变化引起光衰减呈现暗斑中等偏高能看到果心附近异常需要暗箱、透射光源成本适中产线无损初筛、按级分选X射线成像病变组织密度与健康果肉存在差异灰度图上可分辨高成像稳定设备贵需要辐射防护资质科研精密测量、在线检测设备定制切开拍照适合建立真值和标定算法近红外漫透射适合做无损测量X射线效果好但门槛高一般项目前期不需要上。我一般建议先用剖面图像把分割和定级算法跑通再迁移到透射图像原因是剖面图的真值明确能直接检查算法每一步对不对而透射图的病变边界模糊很容易把果核、种子误判成霉变区域。2.3 搭建最小透射采集台遮光、曝光、标定板参数如果直接做无损测量采集台的搭建比模型重要得多。近红外漫透射的本质是让光穿过果实、再由相机接收衰减后的光信号所以环境光必须压到最低否则背景噪声会淹没病灶的暗区。我常用的最小配置是一台黑白工业相机、一个850nm附近的近红外LED阵列光源、一块乳白匀光板以及用黑色植绒布围出来的封闭暗箱。苹果放在匀光板上方相机从正上方俯拍光源从下方或侧下方打光。这里有一个关键参数曝光时间不能按“看得清楚”来调而要看直方图。我一般把曝光调到图像直方图峰值在满量程的70%到85%之间保证大部分果肉区域不饱和同时保留暗部层次。超过85%果心附近的细节会被高光吃掉低于50%噪声会变得非常明显。固定曝光后白平衡、增益全部锁死不允许自动调整。存储格式也容易被忽略。JPG的8bit压缩会丢失暗部细节而霉心病病灶在透射图里恰恰是暗部信号所以保存成PNG或TIFF有条件就上16bit。每批样本拍摄前在苹果同一平面放一个直径已知的标定圆片拍一张标定图用来把像素尺寸换算成毫米。标定板不能省因为不同批次的拍摄高度、镜头焦距可能有微调没有标定就没办法比较不同图像里的病变面积。提示透射光场的均匀性直接影响分割。光源如果偏向一侧苹果同一位置的灰度会随摆放角度变化导致同一果实转个方向拍测出来的病变占比差好几个百分点。匀光板能救回来一部分但最基本的操作是固定放置方向比如果柄朝左所有样本统一。3. 图像预处理与病变分割从原图到可测量的病灶区域3.1 读图与背景剥离为什么暗室能让阈值简单十倍拿到图像后第一步不是急着分割病变而是把苹果从背景里干净地剥离出来。暗室条件下背景灰度接近0苹果透射区域的灰度远高于背景这给阈值分割创造了非常好的条件。下面这段代码完成读图、灰度化和背景剥离。import cv2 import numpy as np def load_and_make_fruit_mask(path): # 用IMREAD_UNCHANGED保留16bit位深避免暗部细节被截断 gray cv2.imread(str(path), cv2.IMREAD_UNCHANGED) if gray is None: raise FileNotFoundError(f读不到图像: {path}) if len(gray.shape) 3: gray cv2.cvtColor(gray, cv2.COLOR_BGR2GRAY) # 暗室背景下背景接近0苹果透射部分灰度远高于背景 _, fg cv2.threshold(gray, 15, 255, cv2.THRESH_BINARY) fg cv2.morphologyEx(fg, cv2.MORPH_CLOSE, np.ones((5, 5), np.uint8)) # 取最大的连通轮廓当作苹果本身排除标定板或阴影干扰 contours, _ cv2.findContours(fg, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) if len(contours) 0: raise RuntimeError(没找到苹果轮廓请检查透射光是否打开) fruit_mask np.zeros_like(gray) cv2.drawContours(fruit_mask, [max(contours, keycv2.contourArea)], -1, 255, -1) return gray, fruit_mask这段代码里阈值取15是因为暗室背景理想情况下接近0图像里的噪声和暗电流可能产生少量非零像素取15既能滤掉噪声又不会误伤苹果边缘的弱信号。如果你拍的图背景不是纯黑先看直方图找到背景峰和苹果峰之间的谷底把15换成谷底值不要硬套。闭运算用来填平苹果内部因为透射不均匀产生的细小空洞5x5的结构元对大多数工业相机分辨率够用分辨率更高可以适当放大。这里要特别强调最大轮廓的意义。透射图像里标定板、遮光罩边缘都可能产生亮区如果直接对所有前景像素做后续处理会把非苹果区域也算进去。取最大连通轮廓是成本最低的防呆手段。遇到两个苹果挨在一起的情况这种简单方法会失效需要先做分水岭或凹点分割不过最小验证阶段不用急着处理。3.2 定位果心区域与病变分割用椭圆约束滤掉背景杂讯背景剥离之后接下来要分割病变区域。但如果直接在整颗苹果范围内做阈值分割果皮边缘、果柄阴影、表皮花青素吸收都会混进来。更稳的做法是先把测量范围约束在果心附近再在这个局部区域内分割病变。def extract_core_and_lesions(gray, fruit_mask, low80, high140, core_ratio0.35): # 用果实轮廓拟合椭圆确定果心区域的中心和范围 contours, _ cv2.findContours(fruit_mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) largest max(contours, keycv2.contourArea) (cx, cy), (MA, ma), angle cv2.fitEllipse(largest) # 以椭圆中心为圆心取长短轴的core_ratio作为果心测量区 core_mask np.zeros_like(fruit_mask) cv2.ellipse(core_mask, (int(cx), int(cy)), (int(MA * core_ratio), int(ma * core_ratio)), angle, 0, 360, 255, -1) core_mask cv2.bitwise_and(core_mask, fruit_mask) core_area cv2.countNonZero(core_mask) # 在透射图里霉变区域灰度低于健康果肉用低阈值提取暗区 _, lesion_bin cv2.threshold(gray, low, high, cv2.THRESH_BINARY_INV) lesion_bin cv2.morphologyEx(lesion_bin, cv2.MORPH_OPEN, np.ones((3, 3), np.uint8)) lesion_bin cv2.bitwise_and(lesion_bin, core_mask) # 去掉面积小于30像素的孤立噪点 n, labels, stats, _ cv2.connectedComponentsWithStats(lesion_bin) for i in range(1, n): if stats[i, cv2.CC_STAT_AREA] 30: labels[labels i] 0 lesion_area np.count_nonzero(labels) return lesion_area / core_area if core_area 0 else 0.0这个函数的核心是把“病变分割”限制在果心区域内。霉心病从果心开始向外扩展早期病变一定在果实中心附近把测量区域收缩到椭圆长短轴的35%以内可以有效避开表层果肉因光路不均产生的假暗区。参数core_ratio是可调的透射图里苹果边缘光路更长、衰减更明显如果误检多就调小到0.25如果已知霉变蔓延到果肉较深处可以调大到0.45。low和high是透射图像的灰度区间Dark区域是病变候选。实际项目中这两个值不能拍脑袋定我的做法是先打开一张典型样本的直方图找到健康果肉的灰度峰把high设在峰值的60%到70%low设在噪声底之上。代码里默认low80、high140对应8bit图像如果是16bit图像需要等比放大到20480和35840左右。形态学开运算用3x3结构元既能打散细小噪声又不会把细长的病变区域整个抹掉。面积小于30像素的连通区大概率是传感器热点或灰尘阴影直接清零。3.3 像素面积怎么换算成毫米标定与占比归一化分割完成后不能直接把像素占比当作真实病变程度。苹果有大有小同一棵树的果实横截面积差一倍很常见同一批果实靠近果柄和靠近花萼的切面大小也不一样。所以我不建议用“病变像素数”做跨样本比较而是算“病变面积占果心区域面积的比例”这个比例天然归一化了果实大小差异。如果要报告真实的病变面积需要用到采集时拍的标定板图像。假设标定圆片的实际直径是d毫米在图像里量到的直径是p像素那么缩放系数scale d / p单位是毫米每像素。单个像素的真实面积就是scale的平方病变真实面积约等于病变像素数乘以scale的平方。但这句话有个前提拍摄时苹果和标定板必须处于同一平面否则近大远小会让scale失真。归一化比例这个指标不需要标定板也能用但它只在同一个成像设置下才有可比性。如果你今天用850nm光源明天换了940nm光源或者相机增益改了比例值会整体偏移。我把每个批次的采集参数固化成一个config字典拍样本前先拍标定板再处理图片。这一步看似繁琐却能把跨批次的系统误差从“玄学”变成可追溯的数值偏移后面调阈值时能省下大量返工时间。4. 病变程度怎么定级面积占比、人工对齐与一致性评估4.1 为什么不能只按面积占比一条线定级测量出病变占比之后下一个问题是占比多少算轻度多少算中度多少算重度很多人直接划三条等距线比如0到0.2算轻度0.2到0.4算中度0.4以上算重度。这种做法在真实样本上几乎一定会翻车因为霉心病的严重程度不只是面积问题。同样的0.3占比一个集中在果心室内部的病变和一个已经蔓延到果肉中部、逼近果皮的病变市场接受度完全不同。后者切开后肉眼可见的腐烂范围大消费者误食风险高而前者虽然面积不小但削皮后基本不影响食用。所以更合理的定级应当把病变位置作为第二维度病变区域最外缘到果实轮廓的距离或者病变是否突破果心线。算法上实现也不难在提取到病变掩膜后对每个病变连通区算一次到果实轮廓的最短距离取最小值然后和面积占比一起送入分级规则。面积占比负责衡量“有多少”位置距离负责衡量“有多深”两者结合才接近植保专家切开果实后的判断习惯。4.2 用人工剖检数据标定分级阈值网格搜索Kappa分级阈值应该由数据标定出来而不是由开发者直觉定下来。做法是先采100个左右样本逐一切开拍摄剖面图像由至少两位有经验的植保人员独立标注0到3级出现分歧的样本讨论达成一致。然后自动测量这些剖面图像的病变占比用网格搜索找到一组阈值让自动分级结果和人工标注的一致性最高。from sklearn.metrics import cohen_kappa_score import numpy as np # ratios是自动测量出的病变面积占比levels是人工标注的0/1/2/3级 ratios np.array([0.02, 0.08, 0.15, 0.28, 0.55, 0.12, 0.05, 0.42]) levels np.array([0, 1, 1, 2, 3, 1, 0, 2]) best_th (0, 0, 0) best_kappa -1 # 三个阈值分别对应0/1、1/2、2/3分界范围根据预实验占比分布设定 for t1 in np.arange(0.02, 0.15, 0.01): for t2 in np.arange(0.15, 0.35, 0.01): for t3 in np.arange(0.35, 0.70, 0.02): pred np.zeros_like(levels) pred[ratios t1] 1 pred[ratios t2] 2 pred[ratios t3] 3 k cohen_kappa_score(levels, pred, weightslinear) if k best_kappa: best_kappa k best_th (t1, t2, t3) print(最优阈值:, best_th, 加权Kappa:, round(best_kappa, 3))用cohen_kappa_score而不是accuracy是因为霉心病样本天然不平衡健康果和轻度果占比高中度和重度占比低。如果只用准确率把所有样本都判成轻度准确率可能也有70%但完全没有测量意义。加权Kappa对有序类别之间的“跨级误判”更敏感线性权重意味着1级误判成2级的代价比误判成3级更低这符合人工分级的真实逻辑。网格搜索的参数范围不是随便设的。先对ratios做一次描述性统计看健康果、轻度果、中度果、重度果的占比分布大致落在哪些区间再把t1、t2、t3的搜索范围分别对准这些区间的交界处。搜索步长0.01对应1个百分点对面积占比测量来说已经足够精细。样本量只有100左右时网格搜索得到的最优阈值会在小范围波动稳妥的做法是把阈值圆整到0.05的倍数避免过度拟合这批标注数据。4.3 评估测量方法混淆矩阵、加权Kappa与每级敏感性阈值定完之后不能只报一个Kappa数字就完事还要看误判方向。我一般输出三样东西混淆矩阵、加权Kappa、每个级别的敏感性。评估项含义合格参考线混淆矩阵每一级真实样本被自动判成了哪些级别相邻级误判为主跨级误判不超过5%加权Kappa有序分类一致性考虑跨级距离0.80以上优0.61到0.80良各级敏感性每一级真实样本中被正确识别的比例0级和3级不低于0.91级和2级不低于0.8如果混淆矩阵显示自动分级大量把0级健康果判成1级问题大概率出在透射成像的噪声上果核和种子被当成了早期病变。如果1级和2级互相混淆说明病变占比阈值分不开这两个级别这时候要回到4.1说的位置特征把“病变外缘到轮廓距离”加入分级规则。如果3级经常被低估成2级常见原因是重病果病变区域中心出现空洞图像里空洞部分灰度很低明显属于病变但自动分割可能把空洞内的异常高光当成健康组织。这类问题靠调阈值解决不了需要在分割阶段补一个“空洞内区域自动纳入病变”的规则。评估数据要另外留出一批没有参与阈值搜索的样本不能拿同一批数据既标定又评估否则Kappa虚高。我一般从100个样本里留20个做验证集阈值搜索只跑80个。5. 苹果霉心病测量避坑清单5个高频翻车点与排查步骤5.1 曝光过度苹果内部细节被高光直接抹平现象是透射图像上整颗苹果亮成一片果心附近的暗区几乎看不到分割结果噪声极大或完全为空。原因是相机自动曝光把整体亮度拉得太高或者光源功率过大病变区域和健康果肉的灰度差被压缩到了几个灰度级以内。解决方法是把相机切到手动模式固定ISO和快门观察直方图调整光源功率或曝光时间让峰值落在满量程70%到85%区间。同时检查是否有环境光漏进暗箱LED光源一开箱外光线越少越好。记住一个原则透射图不是要让苹果看起来漂亮而是要让内部密度差异在灰度上有最大跨度。5.2 果核和种子被误判成霉变区域这是最常见的误判。透射图像里种子、果心室的纤维组织、石细胞团的密度都比果肉高灰度偏低形态上表现为果心中央的连续暗区。而霉变区域通常从心室壁向外蔓延呈絮状或不规则片状。如果把整个低灰度区域都当病变健康果的果核会被算成重度霉心。解决思路是把“果核结构”和“病变组织”分开建模。果核区域有一定对称性贴合并限制在果实中心很小的椭圆内而霉变区会突破这个椭圆、延伸到果肉。代码里core_ratio从0.35开始往小调同时检查分割出的连通区域是否环绕果实中心一圈如果暗区是环形或放射状分布优先怀疑是果核结构。另一个辅助判断是纹理霉变区边缘不规则内部灰度起伏大果核纤维相对平滑。可以在分割后加一个灰度共生矩阵的熵特征熵高的暗区认定为病变熵低的认定为正常结构。5.3 切面位置不统一面积占比完全不可比做剖面拍照做真值时如果有的果实沿赤道横切有的沿果柄中轴纵切同一个病灶在两种切面上的面积占比可能差好几倍后续用这些数据标定分级阈值阈值本身就会失真。解决方法是强制统一切面方向。横切沿果实赤道最大横径处下刀纵切沿果柄到花萼的中轴线。无论选哪种同一个项目里只能选一种而且要拍摄切面照片时把切面垂直朝上用水平仪或简单的固定V形槽保证相机光轴与切面垂直。处理图像时也要检查轮廓的椭圆度如果椭圆长短轴比超过1.5很可能是斜切直接剔除。5.4 人工标注不一致算法学到的是“标注人的纠结”让两个人标100个剖面图像健康和重度好标轻度和中度最折腾两人一致率能差到20个百分点。有人按面积占比有人按病变颜色深浅有人看病变是否散发异味、是否触及果皮。标注标准不统一自动测量模型学到的就是一批互相矛盾的标签。解决方法是先建立标准图例把每个级别的2到3张典型剖面图打印或放进标注界面明确每个级别的判定维度病变面积占比、病变距果皮最小距离、病变颜色范围。标注界面最好让标注人员直接在图像上圈出病变区域而不是只打一个等级数字把面积和位置的计算交给程序。每标完30张算一次两人Kappa低于0.7就停下来重新对齐标准。5.5 样本量小且类别不平衡准确率高但没有测量价值一个常见翻车现场是重度样本占全部数据的5%模型把所有样本都判为健康也能报出95%的准确率看起来非常漂亮。用这种模型去测实际产线重度病果几乎全部漏检这就是为什么不看Kappa、不看混淆矩阵就只看准确率一定会被数据欺骗。解决方法是采样时有意均衡类别健康果和轻度、中度、重度样本尽量各占四分之一至少保证最少的重度样本不少于20个。评估时单独看每个级别的敏感性和特异性如果重度敏感性低于0.8先别谈上线回采数据或者加重度样本的训练权重。6. 从单张图到批量脚本验证一件事再放大样本把前面流程串成一个批量脚本不需要很复杂但一定要能从命令行跑完一批样本并输出结构化结果。我习惯这样组织一个config.json存放标定板和分割阈值参数一个process_image.py处理单张一个run_batch.py遍历整个文件夹。python process_image.py \ --input moldy_apples/IMG_001.png \ --config config.json \ --output results/IMG_001_overlay.png python run_batch.py \ --input_dir moldy_apples/march/ \ --config config.json \ --result_csv results/measurements.csv \ --overlay_dir results/overlay/批量脚本跑完每个样本输出一行CSV记录字段包括图像名、病变面积像素数、果心区域像素数、面积占比、自动分级结果。同时生成一张叠加图把病变轮廓画在原图上。跑完第一批20张我的习惯是先把叠加图全部人工看一遍不看CSV数字只看分割轮廓对不对。轮廓错得离谱的回过去调参数不要急着跑第二批。这一步能拦住80%的脏数据因为批量跑1000张之后再回头逐张检查轮廓就来不及了。我自己最早做这个方向时犯过最蠢的错误是拿到一批图就直接训练深度学习模型结果模型把每个苹果中央的果核结构都当成了霉变准确率还很高因为健康果本来就有果核。后来老老实实从成像、分割、标定做起用最朴素的阈值加形态学把流程跑通才有了可信的测量结果。如果你只有少量样本别急着上卷积神经网络先用手工特征加规则把测量口径定准再考虑用学习模型替代某个环节。这个提前量留得越大后面翻车越少。希望帮到你。本文还有配套的精品资源点击获取