简介面向具备Python基础并关注计算机视觉与文物保护的技术人员、研发人员或研究生这是一份围绕古建筑表面病害智能检测展开的完整项目实例文档重点解决传统巡检依赖人工、病害发现不及时的问题可用于日常巡检、修缮前调查和修缮过程质量检查等场景的快速初筛。系统以YOLO目标检测模型为核心结合OpenCV图像处理、FastAPI服务接口和SQLite存储覆盖裂缝、剥落、盐析、霉斑和渗水等常见表面病害的自动识别与定位文档从图像采集、数据标注、模型训练讲到推理检测、结果可视化与人工复核并给出可复核、可追踪的数字化工作流设计强调“模型识别人工复核”的协同模式。资源仅含1个docx文件压缩包大小112KB内容包含项目背景、系统架构、代码示例、数据库表结构及GUI设计说明虽然没有直接附带的独立程序文件但文档中的代码详解、模块拆解和界面设计足以支撑复现与二次开发。目前已有94人学习属于小巧而含金量较高的工程实践型资料。1. 古建筑表面病害辅助检测用图像识别把巡检照片变成可查询的病害档案古建筑巡检是典型的“拍图一时爽整理两小时”场景。我见过最真实的流程巡检员绕着大殿拍几百张照片晚上回办公室对着电脑一张张翻往 Excel 里填“东立面三层窗下砖缝开裂、长约 40cm”漏记、错记、重复记录都时有发生。基于 Python 图像识别的古建筑表面病害辅助检测系统解决的不是“自动出检测报告”这种大而全的问题而是更具体的一环用计算机视觉模型在巡检照片上自动圈出裂缝、剥落、渗水、泛碱等病害区域给出类别、轮廓和置信度由人工复核后连同位置描述一起写进数据库。这套系统适合文保单位、古建修缮公司也适合正在找计算机视觉大作业落点的学生——模型选型清晰GUI 和数据库都能独立演示代码量控制在几千行内就能形成完整闭环。2. 病害识别为什么不能只靠阈值和边缘检测先给计算机视觉方案分层2.1 古建筑表面病害的分类逻辑先分清“看得见的”和“边界模糊的”做古建病害识别第一步不是选模型而是建立分类框架。我在实际项目里一般把病害拆成四类它们的成像特征差异极大直接决定算法路线病害类别成像特征首选处理手段裂缝细线状、对比度低、方向随机边缘检测辅助 语义分割剥落 / 空鼓块状、边界清晰、与底色呈跳变阈值分割或语义分割渗水 / 泛碱大面积渐变色斑、边界晕开语义分割颜色信息强风化 / 酥碱纹理退化、表面粉化、边界难定深度学习依赖上下文这个表的意义在于裂缝和风化几乎不可能靠“颜色不一样”找出来而渗水和泛碱恰恰主要靠颜色。如果一上来就用同一条图像处理流水线处理所有病害必然顾此失彼。这里还要解释一个常见误区为什么不用目标检测框如果只是把病害当成检测对象用 yolo 这类检测器也能跑但裂缝是细长目标矩形框里大部分是背景像素后续算长度、面积都无从下手。所以古建病害场景天然适合语义分割——按像素分类输出的是病害轮廓而不是方框。2.2 传统图像识别的上限OpenCV 阈值分割能兜住哪类病害传统计算机视觉方法并非没有价值它在“背景干净 边界清晰”的场景下仍然是最快路径。常见做法是灰度化、边缘检测、形态学闭运算、按连通域面积筛选一段典型的处理流程大概是import cv2 import numpy as np img cv2.imread(wall_001.jpg) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 高斯模糊降噪kernel 取 5x5太小会把砖缝噪声带进来 blur cv2.GaussianBlur(gray, (5, 5), 0) # Canny 双阈值低阈值 50、高阈值 150低对比度裂缝可以降到 30/90 edges cv2.Canny(blur, 50, 150) # 闭运算把断裂的裂缝线接起来kernel 尺寸与图像分辨率成正比 kernel np.ones((5, 5), np.uint8) closed cv2.morphologyEx(edges, cv2.MORPH_CLOSE, kernel) # 按连通域面积筛掉砖缝、麻点等小噪声 n, labels, stats, _ cv2.connectedComponentsWithStats(closed) for i in range(1, n): if stats[i, cv2.CC_STAT_AREA] 200: closed[labels i] 0这段代码的逻辑不算复杂先降噪得到干净边缘再用闭运算把断裂的裂缝线接起来最后按面积过滤小噪声。参数上Canny 的两个阈值决定了“哪些梯度变化算边缘”阈值越低召回越高但误报也越多连通域面积阈值则筛掉砖缝、灰点这类小目标。但它的问题也很明显古建墙面很少有“干净背景”。砖缝、木纹、苔藓、光照阴影都会被识别成边缘导致假阳性爆炸。传统方法真正靠谱的场景只有两个墙面经过清洗、背景相对均匀的剥落检测或者拿它做候选区域提取把“可能是病害的区域”缩小后再交给后续模块。这也是几乎所有计算机视觉学习路线里都会强调的——传统方法做预处理深度模型做最终判断。2.3 语义分割才是主力为什么古建筑病害适合分割而不是普通检测框回到 2.1 那张表裂缝和风化这类病害的共同特点是边界不清晰、依赖周围纹理上下文。语义分割模型在像素级别做分类天然适合这种“区域是一种状态而不是一个物体”的识别任务。模型选型上我一般优先考虑两类U-Net 和 DeepLabV3。U-Net 结构简单、在小数据集上也能训出可用效果适合做原型验证DeepLabV3 带着空洞卷积和 ASPP 模块对多尺度目标更友好是工程化的常见选择。backbone 建议用 ResNet18 或 MobileNetV3而不是 ResNet50——古建病害图动辄几千万像素推理速度直接决定巡检员愿不愿意用。如果只追求精度不在乎速度再换更大的 backbone 也不迟。这里有一个值得注意的工程细节输入分辨率。裂缝在原始照片里可能只有 3 到 5 像素宽如果直接缩放到 512x512 输入模型裂缝基本就消失了。常见做法是滑窗裁剪——把大图切成 512x512 或 640x640 的 patch带重叠地送进模型推理再把输出 mask 拼回去。重叠率一般取 10% 到 20%太低会在拼接缝处产生断裂太高浪费算力。数据标注层面用 LabelMe 或任何多边形标注工具描病害轮廓导出 JSON 后转成 mask 即可。需要警惕的是渗水和泛碱这类边界模糊的病害不同标注员描出来的轮廓能差 20% 以上。这种标注不一致对模型训练的影响往往比模型结构本身更大所以标注规范里要写清楚“以颜色突变处为边界过渡区一律归入病害”。2.4 辅助检测的交互边界置信度、人工复核与“AI 只圈不判”既然系统名字里带“辅助”就必须明确 AI 的权限边界。我不会让系统直接输出“这条裂缝需要加固”之类的结论而是让它输出三样东西病害类别、病害轮廓、置信度。置信度分级处理是常见做法置信度大于 0.9自动进入待归档队列但仍保留复核状态置信度 0.6 到 0.9标记为“待确认”需要人工在 GUI 里二次确认置信度低于 0.6不生成病害记录但保留在日志里备查这个设计不是保守而是对工程负责。模型在训练分布之外很容易给出虚假的高置信度把“看似病害”的区域框出来反而干扰判断。人工复核不是流程的兜底而是流程的固定组成部分。3. 落地一套 Python 辅助检测系统分割模型、GUI 与数据库的接法3.1 先跑通最小推理管线DeepLabV3 权重加载与被忽略的类别问题拿到一台干净环境的机器第一步不是训练而是先跑通一条最小推理管线验证硬件、依赖和图像处理链路都没问题。torchvision 里直接提供了 DeepLabV3 的预训练权重可以快速搭出推理代码import torch import torchvision.transforms as T from PIL import Image from torchvision.models.segmentation import deeplabv3_resnet50 model deeplabv3_resnet50(weightsDEFAULT) model.eval() transform T.Compose([ T.Resize((512, 512)), T.ToTensor(), T.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) img Image.open(wall_002.jpg).convert(RGB) input_tensor transform(img).unsqueeze(0) with torch.no_grad(): out model(input_tensor)[out] # 输出形状: 1, 21, 512, 512 mask out.argmax(dim1)[0].numpy() # 每个像素取概率最大的类别索引这段代码的要点有三个输入图像必须做 ImageNet 均值和标准差的归一化否则输出会异常模型输出的是 21 通道概率图每个通道对应 VOC 数据集里的一类argmax 之后得到的是每个像素的类别编号。跑通之后你会立刻发现一个现实问题——这 21 个类别里根本没有“裂缝”“渗水”这类古建病害类别预训练模型只能作为特征提取器真正用于病害识别必须经过微调。3.2 微调成自己的病害分割模型训练代码里的关键参数微调的目标是把分割头换成两类背景和病害。用迁移学习的方式在自建数据集上继续训练这是整个系统里最核心的一步。训练骨架大概长这样model deeplabv3_resnet50(weightsDEFAULT) # 把最后一层分割头换成 2 类输入通道数保持 256 不变 model.classifier[4] torch.nn.Conv2d(256, 2, kernel_size1) optimizer torch.optim.AdamW( model.parameters(), lr1e-4, weight_decay1e-4) # 病害像素占比通常远低于背景给病害类更高权重 criterion torch.nn.CrossEntropyLoss( weighttorch.tensor([0.3, 1.0])) for epoch in range(30): for imgs, masks in train_loader: preds model(imgs)[out] # 输出形状: N, 2, H, W loss criterion(preds, masks.long()) optimizer.zero_grad() loss.backward() optimizer.step()参数选择上学习率取 1e-4 而不是默认的 1e-3因为预训练权重已经收敛得比较好学习率太大容易把学到的特征破坏掉。损失函数里的类别权重 0.3 和 1.0 的含义是背景像素即使被预测错对总损失的贡献也控制在 0.3 倍病害像素的错分则按 1.0 倍计算。病害的标注量如果特别少还可以把权重调成 0.2 比 1.0但不要低于 0.1否则背景的梯度会淹没病害的梯度模型会退化成“什么都预测为背景”。训练集和验证集划分有个细节同一面墙不同角度的照片要放在同一个集合里不能一张分到训练集、另一张分到验证集否则验证指标会虚高。这个错误我在早期项目里犯过换到新墙上验证时掉点明显。3.3 GUI 用 PySide6 把检测流程固定下来回调函数的正确写法GUI 的技术选型Python 生态里绕不开 PySide6 和 Tkinter。Tkinter 胜在零依赖但界面观感停留在十年前PySide6 是 Qt 的官方 Python 绑定控件成熟、样式灵活做图像标注类工具最合适。一个最小可用界面的核心逻辑是选图、检测、展示 mask、确认或驳回。from PySide6.QtWidgets import (QMainWindow, QFileDialog, QPushButton, QLabel, QVBoxLayout, QWidget) class MainWindow(QMainWindow): def __init__(self): super().__init__() self.btn QPushButton(选择巡检照片并检测, self) self.btn.clicked.connect(self.run_detect) self.result_label QLabel(检测结果将显示在这里) layout QVBoxLayout() layout.addWidget(self.btn) layout.addWidget(self.result_label) container QWidget() container.setLayout(layout) self.setCentralWidget(container) def run_detect(self): path, _ QFileDialog.getOpenFileName( self, 选择图像, , Images (*.jpg *.png)) if not path: return mask detect_single_image(path) # 调用检测函数返回病害 mask show_mask_on_result_label(self.result_label, path, mask)这里最容易踩的坑是界面卡死。模型推理通常是秒级操作如果直接放在按钮回调里执行GUI 会整个冻结用户会以为程序崩溃。常见做法是把推理放到 QThread 或 QRunnable 里异步执行主线程只负责更新界面。mask 叠加显示用 QPainter 在原始图上绘制半透明红色蒙版即可注意保存结果时要保存原始图和 mask 两张图不要只保存叠加后的图。GUI 设计里还有一个容易被忽略的交互细节置信度调整滑条。模型输出的置信度阈值不应该写死在代码里而是让复核员根据现场情况实时调整——光线差的照片适当降低阈值提高召回背景干净的墙可以调高阈值减少误报。3.4 SQLite 记录病害档案检测结果需要“复核前后”两个版本数据库选型上单机场景用 SQLite 就够了完全不需要引入数据库同步工具。SQLite 是嵌入式数据库零配置、单文件、Python 标准库自带驱动非常适合巡检员在笔记本电脑上离线使用。等将来需要多人协同、多端同步时再平滑迁移到 PostgreSQL 不迟。病害记录表的核心结构大致如下CREATE TABLE defect_annotations ( id INTEGER PRIMARY KEY AUTOINCREMENT, image_path TEXT NOT NULL, defect_type TEXT NOT NULL, polygon TEXT, -- JSON 数组存分割轮廓点坐标 confidence REAL, -- 模型输出的置信度 area_mm2 REAL, -- 病害面积由像素面积换算得到 status TEXT DEFAULT pending, -- pending/confirmed/rejected reviewer TEXT, -- 复核人 created_at TEXT DEFAULT (datetime(now, localtime)) ); INSERT INTO defect_annotations (image_path, defect_type, polygon, confidence) VALUES (/data/wall_002.jpg, crack, [[12,34],[15,38],[120,88],[98,12]], 0.92);polygon 字段用 JSON 数组保存分割轮廓而不是只存一个矩形框是因为后续算裂缝长度、病害面积、导出 GIS 数据时都需要轮廓信息。status 字段是这套设计的核心模型自动检测生成的记录默认是 pending复核员在 GUI 里确认后改成 confirmed误报改成 rejected。这样设计的好处是任何时候想重新训练模型都能直接筛选出 confirmed 的记录作为高质量训练数据pending 和 rejected 的数据也保留了完整的样本痕迹。查询时按病害类型聚合统计就是一个很实用的报表SELECT defect_type, COUNT(*), AVG(area_mm2) FROM defect_annotations WHERE status confirmed GROUP BY defect_type;4. 检测效果验证与现场拍摄的实用技巧4.1 效果验证别只看准确率抽 50 张图手工数一遍模型训练完面对“效果怎么样”这个问题不能只看训练集损失曲线。更可靠的做法是随机抽 50 张现场照片请一位熟悉病害的复核员在 GUI 里手工确认每张图里模型标出的病害哪些是对的、哪些是误报然后计算精确率和召回率。精确率是“模型标出的病害里有多少真的存在”召回率是“真实病害里有多少被模型找出来了”。两者之间通常此消彼长调整置信度阈值就是在它们之间找平衡点。对应的 IoU 计算也很简单用两段 mask 的交集除以并集即可def iou(mask_a, mask_b): inter (mask_a mask_b).sum() union (mask_a | mask_b).sum() return inter / union if union else 0.0IoU 大于 0.5 通常算作命中如果大部分病害的 IoU 在 0.3 以下问题往往出在标注一致性而不是模型能力上。4.2 面积换算要用标定尺图像上像素与真实尺寸的换算病害面积是文保单位最看重的量化指标之一。从像素面积换算到真实面积常见做法是在拍摄时放一把标定尺在墙面上通过标定尺的实际长度算出每像素对应的毫米数。注意这个方法只适用于镜头正对墙面、墙面近似平面的情况。如果拍摄角度倾斜标记点的位置会发生透视形变这时候就要涉及计算机视觉里的透视几何通过至少四个已知坐标的标记点计算单应矩阵做校正。条件允许的话让巡检员尽量正面拍摄能省掉大量后期校正工作。4.3 现场拍摄规范与常见误判排查拍摄规范直接决定模型上限。三个实用建议打光优先用侧面 45 度角能显著增强裂缝的阴影对比度镜头尽量与墙面垂直避免透视变形连续拍摄时保持大约 50% 的重叠率方便后期拼接或对同一病害的多角度复核。渗水痕迹在刚下过雨和干燥两天后的成像差异极大系统里要记录拍摄时的天气和墙面干湿状态。误判排查方面最常见的问题是泛碱与光照高光混淆二者在图像上都表现为大片亮白色区域区别在于高光区域会随着拍摄角度变化移动而泛碱不会——复核员可以通过略微移动机位拍摄第二张对比图来确认。系统上线后建议把三份日志落成 CSV 文件模型推理日志、GUI 操作日志、数据库变更日志。三个月后回查时能直接回答“哪张图的哪条病害被谁改过”这比任何检测指标都更能说明系统是否真正可用。本文还有配套的精品资源点击获取
Python+语义分割：古建筑表面病害辅助检测系统实战
简介面向具备Python基础并关注计算机视觉与文物保护的技术人员、研发人员或研究生这是一份围绕古建筑表面病害智能检测展开的完整项目实例文档重点解决传统巡检依赖人工、病害发现不及时的问题可用于日常巡检、修缮前调查和修缮过程质量检查等场景的快速初筛。系统以YOLO目标检测模型为核心结合OpenCV图像处理、FastAPI服务接口和SQLite存储覆盖裂缝、剥落、盐析、霉斑和渗水等常见表面病害的自动识别与定位文档从图像采集、数据标注、模型训练讲到推理检测、结果可视化与人工复核并给出可复核、可追踪的数字化工作流设计强调“模型识别人工复核”的协同模式。资源仅含1个docx文件压缩包大小112KB内容包含项目背景、系统架构、代码示例、数据库表结构及GUI设计说明虽然没有直接附带的独立程序文件但文档中的代码详解、模块拆解和界面设计足以支撑复现与二次开发。目前已有94人学习属于小巧而含金量较高的工程实践型资料。1. 古建筑表面病害辅助检测用图像识别把巡检照片变成可查询的病害档案古建筑巡检是典型的“拍图一时爽整理两小时”场景。我见过最真实的流程巡检员绕着大殿拍几百张照片晚上回办公室对着电脑一张张翻往 Excel 里填“东立面三层窗下砖缝开裂、长约 40cm”漏记、错记、重复记录都时有发生。基于 Python 图像识别的古建筑表面病害辅助检测系统解决的不是“自动出检测报告”这种大而全的问题而是更具体的一环用计算机视觉模型在巡检照片上自动圈出裂缝、剥落、渗水、泛碱等病害区域给出类别、轮廓和置信度由人工复核后连同位置描述一起写进数据库。这套系统适合文保单位、古建修缮公司也适合正在找计算机视觉大作业落点的学生——模型选型清晰GUI 和数据库都能独立演示代码量控制在几千行内就能形成完整闭环。2. 病害识别为什么不能只靠阈值和边缘检测先给计算机视觉方案分层2.1 古建筑表面病害的分类逻辑先分清“看得见的”和“边界模糊的”做古建病害识别第一步不是选模型而是建立分类框架。我在实际项目里一般把病害拆成四类它们的成像特征差异极大直接决定算法路线病害类别成像特征首选处理手段裂缝细线状、对比度低、方向随机边缘检测辅助 语义分割剥落 / 空鼓块状、边界清晰、与底色呈跳变阈值分割或语义分割渗水 / 泛碱大面积渐变色斑、边界晕开语义分割颜色信息强风化 / 酥碱纹理退化、表面粉化、边界难定深度学习依赖上下文这个表的意义在于裂缝和风化几乎不可能靠“颜色不一样”找出来而渗水和泛碱恰恰主要靠颜色。如果一上来就用同一条图像处理流水线处理所有病害必然顾此失彼。这里还要解释一个常见误区为什么不用目标检测框如果只是把病害当成检测对象用 yolo 这类检测器也能跑但裂缝是细长目标矩形框里大部分是背景像素后续算长度、面积都无从下手。所以古建病害场景天然适合语义分割——按像素分类输出的是病害轮廓而不是方框。2.2 传统图像识别的上限OpenCV 阈值分割能兜住哪类病害传统计算机视觉方法并非没有价值它在“背景干净 边界清晰”的场景下仍然是最快路径。常见做法是灰度化、边缘检测、形态学闭运算、按连通域面积筛选一段典型的处理流程大概是import cv2 import numpy as np img cv2.imread(wall_001.jpg) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 高斯模糊降噪kernel 取 5x5太小会把砖缝噪声带进来 blur cv2.GaussianBlur(gray, (5, 5), 0) # Canny 双阈值低阈值 50、高阈值 150低对比度裂缝可以降到 30/90 edges cv2.Canny(blur, 50, 150) # 闭运算把断裂的裂缝线接起来kernel 尺寸与图像分辨率成正比 kernel np.ones((5, 5), np.uint8) closed cv2.morphologyEx(edges, cv2.MORPH_CLOSE, kernel) # 按连通域面积筛掉砖缝、麻点等小噪声 n, labels, stats, _ cv2.connectedComponentsWithStats(closed) for i in range(1, n): if stats[i, cv2.CC_STAT_AREA] 200: closed[labels i] 0这段代码的逻辑不算复杂先降噪得到干净边缘再用闭运算把断裂的裂缝线接起来最后按面积过滤小噪声。参数上Canny 的两个阈值决定了“哪些梯度变化算边缘”阈值越低召回越高但误报也越多连通域面积阈值则筛掉砖缝、灰点这类小目标。但它的问题也很明显古建墙面很少有“干净背景”。砖缝、木纹、苔藓、光照阴影都会被识别成边缘导致假阳性爆炸。传统方法真正靠谱的场景只有两个墙面经过清洗、背景相对均匀的剥落检测或者拿它做候选区域提取把“可能是病害的区域”缩小后再交给后续模块。这也是几乎所有计算机视觉学习路线里都会强调的——传统方法做预处理深度模型做最终判断。2.3 语义分割才是主力为什么古建筑病害适合分割而不是普通检测框回到 2.1 那张表裂缝和风化这类病害的共同特点是边界不清晰、依赖周围纹理上下文。语义分割模型在像素级别做分类天然适合这种“区域是一种状态而不是一个物体”的识别任务。模型选型上我一般优先考虑两类U-Net 和 DeepLabV3。U-Net 结构简单、在小数据集上也能训出可用效果适合做原型验证DeepLabV3 带着空洞卷积和 ASPP 模块对多尺度目标更友好是工程化的常见选择。backbone 建议用 ResNet18 或 MobileNetV3而不是 ResNet50——古建病害图动辄几千万像素推理速度直接决定巡检员愿不愿意用。如果只追求精度不在乎速度再换更大的 backbone 也不迟。这里有一个值得注意的工程细节输入分辨率。裂缝在原始照片里可能只有 3 到 5 像素宽如果直接缩放到 512x512 输入模型裂缝基本就消失了。常见做法是滑窗裁剪——把大图切成 512x512 或 640x640 的 patch带重叠地送进模型推理再把输出 mask 拼回去。重叠率一般取 10% 到 20%太低会在拼接缝处产生断裂太高浪费算力。数据标注层面用 LabelMe 或任何多边形标注工具描病害轮廓导出 JSON 后转成 mask 即可。需要警惕的是渗水和泛碱这类边界模糊的病害不同标注员描出来的轮廓能差 20% 以上。这种标注不一致对模型训练的影响往往比模型结构本身更大所以标注规范里要写清楚“以颜色突变处为边界过渡区一律归入病害”。2.4 辅助检测的交互边界置信度、人工复核与“AI 只圈不判”既然系统名字里带“辅助”就必须明确 AI 的权限边界。我不会让系统直接输出“这条裂缝需要加固”之类的结论而是让它输出三样东西病害类别、病害轮廓、置信度。置信度分级处理是常见做法置信度大于 0.9自动进入待归档队列但仍保留复核状态置信度 0.6 到 0.9标记为“待确认”需要人工在 GUI 里二次确认置信度低于 0.6不生成病害记录但保留在日志里备查这个设计不是保守而是对工程负责。模型在训练分布之外很容易给出虚假的高置信度把“看似病害”的区域框出来反而干扰判断。人工复核不是流程的兜底而是流程的固定组成部分。3. 落地一套 Python 辅助检测系统分割模型、GUI 与数据库的接法3.1 先跑通最小推理管线DeepLabV3 权重加载与被忽略的类别问题拿到一台干净环境的机器第一步不是训练而是先跑通一条最小推理管线验证硬件、依赖和图像处理链路都没问题。torchvision 里直接提供了 DeepLabV3 的预训练权重可以快速搭出推理代码import torch import torchvision.transforms as T from PIL import Image from torchvision.models.segmentation import deeplabv3_resnet50 model deeplabv3_resnet50(weightsDEFAULT) model.eval() transform T.Compose([ T.Resize((512, 512)), T.ToTensor(), T.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) img Image.open(wall_002.jpg).convert(RGB) input_tensor transform(img).unsqueeze(0) with torch.no_grad(): out model(input_tensor)[out] # 输出形状: 1, 21, 512, 512 mask out.argmax(dim1)[0].numpy() # 每个像素取概率最大的类别索引这段代码的要点有三个输入图像必须做 ImageNet 均值和标准差的归一化否则输出会异常模型输出的是 21 通道概率图每个通道对应 VOC 数据集里的一类argmax 之后得到的是每个像素的类别编号。跑通之后你会立刻发现一个现实问题——这 21 个类别里根本没有“裂缝”“渗水”这类古建病害类别预训练模型只能作为特征提取器真正用于病害识别必须经过微调。3.2 微调成自己的病害分割模型训练代码里的关键参数微调的目标是把分割头换成两类背景和病害。用迁移学习的方式在自建数据集上继续训练这是整个系统里最核心的一步。训练骨架大概长这样model deeplabv3_resnet50(weightsDEFAULT) # 把最后一层分割头换成 2 类输入通道数保持 256 不变 model.classifier[4] torch.nn.Conv2d(256, 2, kernel_size1) optimizer torch.optim.AdamW( model.parameters(), lr1e-4, weight_decay1e-4) # 病害像素占比通常远低于背景给病害类更高权重 criterion torch.nn.CrossEntropyLoss( weighttorch.tensor([0.3, 1.0])) for epoch in range(30): for imgs, masks in train_loader: preds model(imgs)[out] # 输出形状: N, 2, H, W loss criterion(preds, masks.long()) optimizer.zero_grad() loss.backward() optimizer.step()参数选择上学习率取 1e-4 而不是默认的 1e-3因为预训练权重已经收敛得比较好学习率太大容易把学到的特征破坏掉。损失函数里的类别权重 0.3 和 1.0 的含义是背景像素即使被预测错对总损失的贡献也控制在 0.3 倍病害像素的错分则按 1.0 倍计算。病害的标注量如果特别少还可以把权重调成 0.2 比 1.0但不要低于 0.1否则背景的梯度会淹没病害的梯度模型会退化成“什么都预测为背景”。训练集和验证集划分有个细节同一面墙不同角度的照片要放在同一个集合里不能一张分到训练集、另一张分到验证集否则验证指标会虚高。这个错误我在早期项目里犯过换到新墙上验证时掉点明显。3.3 GUI 用 PySide6 把检测流程固定下来回调函数的正确写法GUI 的技术选型Python 生态里绕不开 PySide6 和 Tkinter。Tkinter 胜在零依赖但界面观感停留在十年前PySide6 是 Qt 的官方 Python 绑定控件成熟、样式灵活做图像标注类工具最合适。一个最小可用界面的核心逻辑是选图、检测、展示 mask、确认或驳回。from PySide6.QtWidgets import (QMainWindow, QFileDialog, QPushButton, QLabel, QVBoxLayout, QWidget) class MainWindow(QMainWindow): def __init__(self): super().__init__() self.btn QPushButton(选择巡检照片并检测, self) self.btn.clicked.connect(self.run_detect) self.result_label QLabel(检测结果将显示在这里) layout QVBoxLayout() layout.addWidget(self.btn) layout.addWidget(self.result_label) container QWidget() container.setLayout(layout) self.setCentralWidget(container) def run_detect(self): path, _ QFileDialog.getOpenFileName( self, 选择图像, , Images (*.jpg *.png)) if not path: return mask detect_single_image(path) # 调用检测函数返回病害 mask show_mask_on_result_label(self.result_label, path, mask)这里最容易踩的坑是界面卡死。模型推理通常是秒级操作如果直接放在按钮回调里执行GUI 会整个冻结用户会以为程序崩溃。常见做法是把推理放到 QThread 或 QRunnable 里异步执行主线程只负责更新界面。mask 叠加显示用 QPainter 在原始图上绘制半透明红色蒙版即可注意保存结果时要保存原始图和 mask 两张图不要只保存叠加后的图。GUI 设计里还有一个容易被忽略的交互细节置信度调整滑条。模型输出的置信度阈值不应该写死在代码里而是让复核员根据现场情况实时调整——光线差的照片适当降低阈值提高召回背景干净的墙可以调高阈值减少误报。3.4 SQLite 记录病害档案检测结果需要“复核前后”两个版本数据库选型上单机场景用 SQLite 就够了完全不需要引入数据库同步工具。SQLite 是嵌入式数据库零配置、单文件、Python 标准库自带驱动非常适合巡检员在笔记本电脑上离线使用。等将来需要多人协同、多端同步时再平滑迁移到 PostgreSQL 不迟。病害记录表的核心结构大致如下CREATE TABLE defect_annotations ( id INTEGER PRIMARY KEY AUTOINCREMENT, image_path TEXT NOT NULL, defect_type TEXT NOT NULL, polygon TEXT, -- JSON 数组存分割轮廓点坐标 confidence REAL, -- 模型输出的置信度 area_mm2 REAL, -- 病害面积由像素面积换算得到 status TEXT DEFAULT pending, -- pending/confirmed/rejected reviewer TEXT, -- 复核人 created_at TEXT DEFAULT (datetime(now, localtime)) ); INSERT INTO defect_annotations (image_path, defect_type, polygon, confidence) VALUES (/data/wall_002.jpg, crack, [[12,34],[15,38],[120,88],[98,12]], 0.92);polygon 字段用 JSON 数组保存分割轮廓而不是只存一个矩形框是因为后续算裂缝长度、病害面积、导出 GIS 数据时都需要轮廓信息。status 字段是这套设计的核心模型自动检测生成的记录默认是 pending复核员在 GUI 里确认后改成 confirmed误报改成 rejected。这样设计的好处是任何时候想重新训练模型都能直接筛选出 confirmed 的记录作为高质量训练数据pending 和 rejected 的数据也保留了完整的样本痕迹。查询时按病害类型聚合统计就是一个很实用的报表SELECT defect_type, COUNT(*), AVG(area_mm2) FROM defect_annotations WHERE status confirmed GROUP BY defect_type;4. 检测效果验证与现场拍摄的实用技巧4.1 效果验证别只看准确率抽 50 张图手工数一遍模型训练完面对“效果怎么样”这个问题不能只看训练集损失曲线。更可靠的做法是随机抽 50 张现场照片请一位熟悉病害的复核员在 GUI 里手工确认每张图里模型标出的病害哪些是对的、哪些是误报然后计算精确率和召回率。精确率是“模型标出的病害里有多少真的存在”召回率是“真实病害里有多少被模型找出来了”。两者之间通常此消彼长调整置信度阈值就是在它们之间找平衡点。对应的 IoU 计算也很简单用两段 mask 的交集除以并集即可def iou(mask_a, mask_b): inter (mask_a mask_b).sum() union (mask_a | mask_b).sum() return inter / union if union else 0.0IoU 大于 0.5 通常算作命中如果大部分病害的 IoU 在 0.3 以下问题往往出在标注一致性而不是模型能力上。4.2 面积换算要用标定尺图像上像素与真实尺寸的换算病害面积是文保单位最看重的量化指标之一。从像素面积换算到真实面积常见做法是在拍摄时放一把标定尺在墙面上通过标定尺的实际长度算出每像素对应的毫米数。注意这个方法只适用于镜头正对墙面、墙面近似平面的情况。如果拍摄角度倾斜标记点的位置会发生透视形变这时候就要涉及计算机视觉里的透视几何通过至少四个已知坐标的标记点计算单应矩阵做校正。条件允许的话让巡检员尽量正面拍摄能省掉大量后期校正工作。4.3 现场拍摄规范与常见误判排查拍摄规范直接决定模型上限。三个实用建议打光优先用侧面 45 度角能显著增强裂缝的阴影对比度镜头尽量与墙面垂直避免透视变形连续拍摄时保持大约 50% 的重叠率方便后期拼接或对同一病害的多角度复核。渗水痕迹在刚下过雨和干燥两天后的成像差异极大系统里要记录拍摄时的天气和墙面干湿状态。误判排查方面最常见的问题是泛碱与光照高光混淆二者在图像上都表现为大片亮白色区域区别在于高光区域会随着拍摄角度变化移动而泛碱不会——复核员可以通过略微移动机位拍摄第二张对比图来确认。系统上线后建议把三份日志落成 CSV 文件模型推理日志、GUI 操作日志、数据库变更日志。三个月后回查时能直接回答“哪张图的哪条病害被谁改过”这比任何检测指标都更能说明系统是否真正可用。本文还有配套的精品资源点击获取