PaddleOCR 中 PSE 文本检测后处理扩展模块pse的编译与原理详解【免费下载链接】PaddleOCR飞桨多语言OCR工具包实用超轻量OCR系统支持80种语言识别提供数据标注与合成工具支持服务器、移动端、嵌入式及IoT设备端的训练与部署 Awesome multilingual OCR toolkits based on PaddlePaddle (practical ultra lightweight OCR system, support 80 languages recognition, provide data annotation and synthesis tools, support training and deployment among server, mobile, embedded and IoT devices)项目地址: https://gitcode.com/paddlepaddle/PaddleOCR导读PaddleOCR 的ppocr/postprocess/pse_postprocess/pse目录承载着 PSEProgressive Scale Expansion渐进式尺度扩张文本检测算法的核心后处理 Cython 加速模块它通过“多个缩放核 广度优先扩张”的方式把神经网络输出还原为贴近文字形状的四边形或多边形检测框从而提升任意朝向、弯曲文字场景的检测精度。本文以该目录下的 README 为起点结合仓库中 PSE 的标签生成、网络头、损失函数与后处理完整链路讲解编译方法、运行原理、参数调优与踩坑要点帮助读者独立编译并复现 PSE 检测全流程。一、pse 模块是什么PSE 后处理加速单元在 PaddleOCR 的目录结构中pse 模块 是 PSEPostProcess 的底层加速核心。PSE 算法原论文为 PSENet与常见的基于阈值二值化 连通域的检测后处理如 DB不同其思路是网络一次性输出N 个尺度的文本分割图kernel核从最大文本区域到逐级收缩的文本骨架后处理先用最小核文本骨架做连通域标记再沿尺度从小到大逐级“扩张”把相邻像素合并回对应文本实例通过扩张过程把靠近的不同文本实例区分开天然适合任意朝向、弯曲、粘连的文本检测。而pse.pyx就是把这个扩张过程用 Cython C 标准库libcpp.queue队列实现的加速版本最终以pse这个名字作为可导入的 Python 扩展模块被后处理代码调用。从源码结构看这个目录包含四个文件职责清晰文件作用pse.pyxCython 源码实现 PSE 扩张核心算法与入口函数pse(kernels, min_area)setup.py基于 setuptools Cython 的编译配置生成pse扩展模块init.py模块入口首次导入时自动执行编译并导出pse函数README.md编译说明本文核心关联文档二、编译一条命令生成 PSE 加速扩展2.1 编译命令pse 模块目录下的 README 给出了编译命令该命令需要在仓库根目录下执行python3 setup.py build_ext --inplace注意README 中的这条命令实际对应的文件是pse子目录内的 setup.py因此实际执行时需要先进入该子目录cd ppocr/postprocess/pse_postprocess/pse python3 setup.py build_ext --inplacebuild_ext --inplace的含义是将编译生成的.soLinux/macOS或.pydWindows扩展文件直接输出到与pse.pyx相同的目录这样import pse时解释器无需额外配置路径即可找到模块。2.2 编译配置逐项拆解setup.py 的配置如下from setuptools import setup, Extension from Cython.Build import cythonize import numpy setup( ext_modulescythonize( Extension( pse, sources[pse.pyx], languagec, include_dirs[numpy.get_include()], library_dirs[], libraries[], extra_compile_args[-O3], extra_link_args[], ) ) )逐项说明配置项值含义namepse扩展模块名编译产物为pse模块sources[pse.pyx]唯一的 Cython 源文件languagec以 C 模式编译才能使用libcpp.queue、libcpp.pair等 C STL 容器include_dirs[numpy.get_include()]自动注入 NumPy C API 头文件路径供cimport numpy使用extra_compile_args[-O3]开启最高级优化这是扩张算法性能的关键由于源码里用到了cimport numpy、cimport libcpp.queue等 Cython 语法编译前必须安装cython与numpypip install cython numpy2.3 自动编译机制pse 模块的init.py 实现了“首次导入即编译”的机制python_path sys.executable ori_path os.getcwd() os.chdir(ppocr/postprocess/pse_postprocess/pse) if subprocess.call({} setup.py build_ext --inplace.format(python_path), shellTrue) ! 0: raise RuntimeError( Cannot compile pse: {}, if your system is windows, you need to install all the default components of desktop development using C in visual studio 2019.format(...) ) os.chdir(ori_path) from .pse import pse也就是说当 Python 导入ppocr.postprocess.pse_postprocess.pse时会先调用当前解释器的setup.py build_ext --inplace尝试编译如果编译失败例如缺少 C 编译器会抛出RuntimeError源码中针对 Windows 给出了明确提示需要安装 Visual Studio 2019 的“使用 C 的桌面开发”默认组件编译成功后才会from .pse import pse真正导出加速函数。因此即使不手动执行 2.1 节的命令运行 PSE 相关代码时也会触发自动编译但手动先编译一次可以提前暴露环境问题也更符合 README 的推荐做法。三、核心算法pse.pyx 的渐进式尺度扩张实现PSE 核心算法源码 由两部分构成。3.1 入口函数pse(kernels, min_area)def pse(kernels, min_area): kernel_num kernels.shape[0] label_num, label cv2.connectedComponents(kernels[-1], connectivity4) return _pse(kernels[:-1], label, kernel_num, label_num, min_area)处理逻辑取最后一层核kernels[-1]即最大的文本区域图由text_mask与所有核相乘得到用 OpenCV 的connectedComponents以 4 邻接方式做连通域标记得到初始实例标签图label调用内部函数_pse把剩余的kernels[:-1]逐级收缩的小核用于后续扩张。3.2 内部扩张函数_pse_pse是整个算法的心脏关键步骤为第一步过滤小连通域。对每个标签1到label_num-1若该标签像素总数小于min_area直接置 0 丢弃for label_idx in range(1, label_num): if np.sum(label label_idx) min_area: label[label label_idx] 0第二步初始化 BFS 队列。把所有标签大于 0 的像素压入队列que并同步写入predpoints np.array(np.where(label 0)).transpose((1, 0)) for point_idx in range(points.shape[0]): tmpx, tmpy points[point_idx, 0], points[point_idx, 1] que.push(pairnp.int16_t,np.int16_t) pred[tmpx, tmpy] label[tmpx, tmpy]第三步从大到小逐级扩张。遍历每个 kernel从kernel_num-1到0即从最大核到最小核对队列中每个像素做 4 邻域dx [-1,1,0,0]、dy [0,0,-1,1]BFS邻域像素在当前核上非零kernels[kernel_idx, tmpx, tmpy] ! 0且尚未被分配标签pred[tmpx, tmpy] 0时把当前标签扩散过去并继续入队若像素没有可扩张的新邻域到达边缘is_edge True则放入nxt_que留到下一轮更小核时继续尝试每轮结束后交换que与nxt_quefor kernel_idx in range(kernel_num - 1, -1, -1): while not que.empty(): cur que.front() que.pop() cur_label pred[cur.first, cur.second] is_edge True for j in range(4): tmpx cur.first dx[j] tmpy cur.second dy[j] if tmpx 0 or tmpx label.shape[0] or tmpy 0 or tmpy label.shape[1]: continue if kernels[kernel_idx, tmpx, tmpy] 0 or pred[tmpx, tmpy] 0: continue que.push(pairnp.int16_t,np.int16_t) pred[tmpx, tmpy] cur_label is_edge False if is_edge: nxt_que.push(cur) que, nxt_que nxt_que, que从实现上可以看到几个性能与正确性设计函数用cython.boundscheck(False)、cython.wraparound(False)关闭边界检查与负数索引回绕配合-O3编译获得接近 C 的速度像素坐标使用np.int16_t、标签使用int32队列使用 Clibcpp.queue避免 Python 对象开销扩张是“层级渐进”的先在大核上扩张到边界再把边界像素交给下一级小核继续扩张最终把各级核融合成一个完整文本区域同时保留实例之间的分隔。四、完整调用链从模型输出到检测框pse 扩展只是链条的最后一环PaddleOCR 中 PSE 检测的完整链路以 det_r50_vd_pse.yml 为例为训练标签生成(MakePseGt) → PSEHead 输出多通道 maps → PSELoss 训练 → 推理时 PSEPostProcess(pse) 扩张 → generate_box 生成 box4.1 训练标签生成MakePseGtMakePseGt 根据kernel_num与min_shrink_ratio生成多级收缩核for i in range(1, self.kernel_num 1): # s1-sn, from big to small rate 1.0 - (1.0 - self.min_shrink_ratio) / (self.kernel_num - 1) * i text_kernel, ignore_tags self.generate_kernel(image.shape[0:2], rate, text_polys, ignore_tags) gt_kernels.append(text_kernel)kernel_num7表示生成 7 级核配置见 det_r50_vd_pse.ymlmin_shrink_ratio0.4控制最小核相对文本多边形面积的收缩程度收缩通过 pyclipper 对多边形做负偏移实现收缩后面积为零的多边形会被标记为 ignoregt_text取第 0 级核最大核作为文本区域真值gt_kernels为全部核mask标记需要忽略的区域。4.2 网络头PSEHeadPSEHead 结构简洁一个 3×3 卷积 BN ReLU再接一个 1×1 卷积输出多通道 mapsclass PSEHead(nn.Layer): def __init__(self, in_channels, hidden_dim256, out_channels7, **kwargs): self.conv1 nn.Conv2D(in_channels, hidden_dim, kernel_size3, stride1, padding1) self.bn1 nn.BatchNorm2D(hidden_dim) self.relu1 nn.ReLU() self.conv2 nn.Conv2D(hidden_dim, out_channels, kernel_size1, stride1, padding0) def forward(self, x, **kwargs): out self.conv1(x) out self.relu1(self.bn1(out)) out self.conv2(out) return {maps: out}其中out_channels7与训练时的kernel_num7严格对应第 0 通道是文本区域图其余 6 个通道是逐级收缩的核。4.3 损失函数PSELossPSELoss 由文本损失与核损失加权组合loss self.alpha * loss_text (1 - self.alpha) * loss_kernelsalpha0.7配置见 det_r50_vd_pse.yml控制文本损失与核损失的权重文本损失采用带 OHEMohem_ratio3的 Dice Loss缓解正负样本不平衡核损失对每个核分别计算 Dice Loss 后取平均且仅在有文本的区域kernel_sample_mask: pred表示用 sigmoid(texts)0.5 的预测文本区域做采样掩码监督训练时predicts会先F.interpolate(scale_factor4)上采样 4 倍与标签分辨率对齐。4.4 推理后处理PSEPostProcessPSEPostProcess 是 pse 扩展的直接调用方__call__中的处理流程为网络输出pred上采样到原图 1/4 分辨率F.interpolate(pred, scale_factor4 // self.scale, modebilinear)对第 0 通道做 sigmoid 得到score分数图用thresh阈值二值化得到各级核kernels并用text_mask第 0 核约束所有核保证核只存在于文本区域内kernels (pred self.thresh).astype(float32) text_mask kernels[:, 0, :, :] kernels[:, 0:, :, :] kernels[:, 0:, :, :] * text_mask对每个 batch 样本调用boxes_from_bitmap→pse(kernels, self.min_area)完成扩张generate_box对每个标签实例做框生成并映射回原图坐标box_typequad时用cv2.minAreaRectcv2.boxPoints得到最小外接矩形 4 点box_typepoly时把标签点画到 mask 上用cv2.findContours得到多边形轮廓坐标通过ratio_w、ratio_h除回去并用np.clip限制在原图范围内。五、参数配置与调优指南PSE 相关的全部参数集中在配置文件的PostProcess段以 det_r50_vd_pse.yml 为例PostProcess: name: PSEPostProcess thresh: 0 box_thresh: 0.85 min_area: 16 box_type: quad # quad or poly scale: 1参数默认值作用与调优建议thresh0.5源码默认/0PSE 配置核二值化阈值。det_r50_vd_pse.yml中设为 0表示直接对pred 0取核调大可滤除低置信噪声核box_thresh0.85实例分数阈值。实例内像素平均 sigmoid 分数低于该值则丢弃该框调高可减少误检调低可召回弱文本min_area16最小实例面积像素。小于该面积的连通域直接丢弃用于过滤小噪点box_typequad输出框类型quad为最小外接矩形 4 点poly为多边形轮廓弯曲文本建议用polyscale4源码默认/1PSE 配置与后处理上采样相关的缩放因子F.interpolate使用4 // scale作为上采样倍率对应训练侧的关键参数det_r50_vd_pse.yml- MakePseGt: kernel_num: 7 min_shrink_ratio: 0.4 size: 640kernel_num核数量必须与 PSEHead 的out_channels一致训练与推理两侧都要对齐min_shrink_ratio最小核收缩比例越小则最小核越接近文本骨架有利于分离粘连文本size最短边长度若输入图短边小于该值会被先等比放大。此外在 det_mv3_pse.yml 中可以对比轻量配置Backbone 为 MobileNetV3scale: 0.5、Neck 输出 96 通道、学习率 0.001PostProcess 参数与 ResNet50_vd 版本保持一致方便按算力选型。六、常见问题与排查建议ImportError: cannot import name pse或编译报错说明 Cython 扩展未成功编译。先确认安装了cython与numpy再手动执行cd ppocr/postprocess/pse_postprocess/pse python3 setup.py build_ext --inplace查看具体报错检查编译产物Linux 下为pse*.so是否生成。Windows 平台编译失败按init.py 中的提示安装 Visual Studio 2019并勾选“使用 C 的桌面开发”默认组件。setup.py build_ext找不到文件README 中的命令需在pse子目录下执行pse.pyx与setup.py同目录不要直接在仓库根目录执行。检测框碎片化/漏检优先检查min_area是否过大、box_thresh是否过高弯曲文本场景建议把box_type设为poly。训练与推理不一致确认 PSEHead 的out_channels与 MakePseGt 的kernel_num数值一致否则多级核扩张会错位。七、小结与延伸阅读PSE 后处理扩展模块是 PaddleOCR 中实现 PSENet 系列算法的基础设施README 只给出了一行编译命令但其背后是由 Cython 编写的渐进式尺度扩张算法、自动编译机制以及与标签生成、网络头、损失函数、后处理全链路的深度耦合。理解 pse.pyx 的 BFS 扩张实现是调优 PSE 检测效果、排查编译问题的前提。如需继续深入可以按以下路径阅读后处理封装与框生成pse_postprocess.py训练标签生成make_pse_gt.py损失函数实现det_pse_loss.py网络头结构det_pse_head.py完整训练配置det_r50_vd_pse.yml、det_mv3_pse.yml【免费下载链接】PaddleOCR飞桨多语言OCR工具包实用超轻量OCR系统支持80种语言识别提供数据标注与合成工具支持服务器、移动端、嵌入式及IoT设备端的训练与部署 Awesome multilingual OCR toolkits based on PaddlePaddle (practical ultra lightweight OCR system, support 80 languages recognition, provide data annotation and synthesis tools, support training and deployment among server, mobile, embedded and IoT devices)项目地址: https://gitcode.com/paddlepaddle/PaddleOCR创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
PaddleOCR 中 PSE 文本检测后处理扩展模块（pse）的编译与原理详解
PaddleOCR 中 PSE 文本检测后处理扩展模块pse的编译与原理详解【免费下载链接】PaddleOCR飞桨多语言OCR工具包实用超轻量OCR系统支持80种语言识别提供数据标注与合成工具支持服务器、移动端、嵌入式及IoT设备端的训练与部署 Awesome multilingual OCR toolkits based on PaddlePaddle (practical ultra lightweight OCR system, support 80 languages recognition, provide data annotation and synthesis tools, support training and deployment among server, mobile, embedded and IoT devices)项目地址: https://gitcode.com/paddlepaddle/PaddleOCR导读PaddleOCR 的ppocr/postprocess/pse_postprocess/pse目录承载着 PSEProgressive Scale Expansion渐进式尺度扩张文本检测算法的核心后处理 Cython 加速模块它通过“多个缩放核 广度优先扩张”的方式把神经网络输出还原为贴近文字形状的四边形或多边形检测框从而提升任意朝向、弯曲文字场景的检测精度。本文以该目录下的 README 为起点结合仓库中 PSE 的标签生成、网络头、损失函数与后处理完整链路讲解编译方法、运行原理、参数调优与踩坑要点帮助读者独立编译并复现 PSE 检测全流程。一、pse 模块是什么PSE 后处理加速单元在 PaddleOCR 的目录结构中pse 模块 是 PSEPostProcess 的底层加速核心。PSE 算法原论文为 PSENet与常见的基于阈值二值化 连通域的检测后处理如 DB不同其思路是网络一次性输出N 个尺度的文本分割图kernel核从最大文本区域到逐级收缩的文本骨架后处理先用最小核文本骨架做连通域标记再沿尺度从小到大逐级“扩张”把相邻像素合并回对应文本实例通过扩张过程把靠近的不同文本实例区分开天然适合任意朝向、弯曲、粘连的文本检测。而pse.pyx就是把这个扩张过程用 Cython C 标准库libcpp.queue队列实现的加速版本最终以pse这个名字作为可导入的 Python 扩展模块被后处理代码调用。从源码结构看这个目录包含四个文件职责清晰文件作用pse.pyxCython 源码实现 PSE 扩张核心算法与入口函数pse(kernels, min_area)setup.py基于 setuptools Cython 的编译配置生成pse扩展模块init.py模块入口首次导入时自动执行编译并导出pse函数README.md编译说明本文核心关联文档二、编译一条命令生成 PSE 加速扩展2.1 编译命令pse 模块目录下的 README 给出了编译命令该命令需要在仓库根目录下执行python3 setup.py build_ext --inplace注意README 中的这条命令实际对应的文件是pse子目录内的 setup.py因此实际执行时需要先进入该子目录cd ppocr/postprocess/pse_postprocess/pse python3 setup.py build_ext --inplacebuild_ext --inplace的含义是将编译生成的.soLinux/macOS或.pydWindows扩展文件直接输出到与pse.pyx相同的目录这样import pse时解释器无需额外配置路径即可找到模块。2.2 编译配置逐项拆解setup.py 的配置如下from setuptools import setup, Extension from Cython.Build import cythonize import numpy setup( ext_modulescythonize( Extension( pse, sources[pse.pyx], languagec, include_dirs[numpy.get_include()], library_dirs[], libraries[], extra_compile_args[-O3], extra_link_args[], ) ) )逐项说明配置项值含义namepse扩展模块名编译产物为pse模块sources[pse.pyx]唯一的 Cython 源文件languagec以 C 模式编译才能使用libcpp.queue、libcpp.pair等 C STL 容器include_dirs[numpy.get_include()]自动注入 NumPy C API 头文件路径供cimport numpy使用extra_compile_args[-O3]开启最高级优化这是扩张算法性能的关键由于源码里用到了cimport numpy、cimport libcpp.queue等 Cython 语法编译前必须安装cython与numpypip install cython numpy2.3 自动编译机制pse 模块的init.py 实现了“首次导入即编译”的机制python_path sys.executable ori_path os.getcwd() os.chdir(ppocr/postprocess/pse_postprocess/pse) if subprocess.call({} setup.py build_ext --inplace.format(python_path), shellTrue) ! 0: raise RuntimeError( Cannot compile pse: {}, if your system is windows, you need to install all the default components of desktop development using C in visual studio 2019.format(...) ) os.chdir(ori_path) from .pse import pse也就是说当 Python 导入ppocr.postprocess.pse_postprocess.pse时会先调用当前解释器的setup.py build_ext --inplace尝试编译如果编译失败例如缺少 C 编译器会抛出RuntimeError源码中针对 Windows 给出了明确提示需要安装 Visual Studio 2019 的“使用 C 的桌面开发”默认组件编译成功后才会from .pse import pse真正导出加速函数。因此即使不手动执行 2.1 节的命令运行 PSE 相关代码时也会触发自动编译但手动先编译一次可以提前暴露环境问题也更符合 README 的推荐做法。三、核心算法pse.pyx 的渐进式尺度扩张实现PSE 核心算法源码 由两部分构成。3.1 入口函数pse(kernels, min_area)def pse(kernels, min_area): kernel_num kernels.shape[0] label_num, label cv2.connectedComponents(kernels[-1], connectivity4) return _pse(kernels[:-1], label, kernel_num, label_num, min_area)处理逻辑取最后一层核kernels[-1]即最大的文本区域图由text_mask与所有核相乘得到用 OpenCV 的connectedComponents以 4 邻接方式做连通域标记得到初始实例标签图label调用内部函数_pse把剩余的kernels[:-1]逐级收缩的小核用于后续扩张。3.2 内部扩张函数_pse_pse是整个算法的心脏关键步骤为第一步过滤小连通域。对每个标签1到label_num-1若该标签像素总数小于min_area直接置 0 丢弃for label_idx in range(1, label_num): if np.sum(label label_idx) min_area: label[label label_idx] 0第二步初始化 BFS 队列。把所有标签大于 0 的像素压入队列que并同步写入predpoints np.array(np.where(label 0)).transpose((1, 0)) for point_idx in range(points.shape[0]): tmpx, tmpy points[point_idx, 0], points[point_idx, 1] que.push(pairnp.int16_t,np.int16_t) pred[tmpx, tmpy] label[tmpx, tmpy]第三步从大到小逐级扩张。遍历每个 kernel从kernel_num-1到0即从最大核到最小核对队列中每个像素做 4 邻域dx [-1,1,0,0]、dy [0,0,-1,1]BFS邻域像素在当前核上非零kernels[kernel_idx, tmpx, tmpy] ! 0且尚未被分配标签pred[tmpx, tmpy] 0时把当前标签扩散过去并继续入队若像素没有可扩张的新邻域到达边缘is_edge True则放入nxt_que留到下一轮更小核时继续尝试每轮结束后交换que与nxt_quefor kernel_idx in range(kernel_num - 1, -1, -1): while not que.empty(): cur que.front() que.pop() cur_label pred[cur.first, cur.second] is_edge True for j in range(4): tmpx cur.first dx[j] tmpy cur.second dy[j] if tmpx 0 or tmpx label.shape[0] or tmpy 0 or tmpy label.shape[1]: continue if kernels[kernel_idx, tmpx, tmpy] 0 or pred[tmpx, tmpy] 0: continue que.push(pairnp.int16_t,np.int16_t) pred[tmpx, tmpy] cur_label is_edge False if is_edge: nxt_que.push(cur) que, nxt_que nxt_que, que从实现上可以看到几个性能与正确性设计函数用cython.boundscheck(False)、cython.wraparound(False)关闭边界检查与负数索引回绕配合-O3编译获得接近 C 的速度像素坐标使用np.int16_t、标签使用int32队列使用 Clibcpp.queue避免 Python 对象开销扩张是“层级渐进”的先在大核上扩张到边界再把边界像素交给下一级小核继续扩张最终把各级核融合成一个完整文本区域同时保留实例之间的分隔。四、完整调用链从模型输出到检测框pse 扩展只是链条的最后一环PaddleOCR 中 PSE 检测的完整链路以 det_r50_vd_pse.yml 为例为训练标签生成(MakePseGt) → PSEHead 输出多通道 maps → PSELoss 训练 → 推理时 PSEPostProcess(pse) 扩张 → generate_box 生成 box4.1 训练标签生成MakePseGtMakePseGt 根据kernel_num与min_shrink_ratio生成多级收缩核for i in range(1, self.kernel_num 1): # s1-sn, from big to small rate 1.0 - (1.0 - self.min_shrink_ratio) / (self.kernel_num - 1) * i text_kernel, ignore_tags self.generate_kernel(image.shape[0:2], rate, text_polys, ignore_tags) gt_kernels.append(text_kernel)kernel_num7表示生成 7 级核配置见 det_r50_vd_pse.ymlmin_shrink_ratio0.4控制最小核相对文本多边形面积的收缩程度收缩通过 pyclipper 对多边形做负偏移实现收缩后面积为零的多边形会被标记为 ignoregt_text取第 0 级核最大核作为文本区域真值gt_kernels为全部核mask标记需要忽略的区域。4.2 网络头PSEHeadPSEHead 结构简洁一个 3×3 卷积 BN ReLU再接一个 1×1 卷积输出多通道 mapsclass PSEHead(nn.Layer): def __init__(self, in_channels, hidden_dim256, out_channels7, **kwargs): self.conv1 nn.Conv2D(in_channels, hidden_dim, kernel_size3, stride1, padding1) self.bn1 nn.BatchNorm2D(hidden_dim) self.relu1 nn.ReLU() self.conv2 nn.Conv2D(hidden_dim, out_channels, kernel_size1, stride1, padding0) def forward(self, x, **kwargs): out self.conv1(x) out self.relu1(self.bn1(out)) out self.conv2(out) return {maps: out}其中out_channels7与训练时的kernel_num7严格对应第 0 通道是文本区域图其余 6 个通道是逐级收缩的核。4.3 损失函数PSELossPSELoss 由文本损失与核损失加权组合loss self.alpha * loss_text (1 - self.alpha) * loss_kernelsalpha0.7配置见 det_r50_vd_pse.yml控制文本损失与核损失的权重文本损失采用带 OHEMohem_ratio3的 Dice Loss缓解正负样本不平衡核损失对每个核分别计算 Dice Loss 后取平均且仅在有文本的区域kernel_sample_mask: pred表示用 sigmoid(texts)0.5 的预测文本区域做采样掩码监督训练时predicts会先F.interpolate(scale_factor4)上采样 4 倍与标签分辨率对齐。4.4 推理后处理PSEPostProcessPSEPostProcess 是 pse 扩展的直接调用方__call__中的处理流程为网络输出pred上采样到原图 1/4 分辨率F.interpolate(pred, scale_factor4 // self.scale, modebilinear)对第 0 通道做 sigmoid 得到score分数图用thresh阈值二值化得到各级核kernels并用text_mask第 0 核约束所有核保证核只存在于文本区域内kernels (pred self.thresh).astype(float32) text_mask kernels[:, 0, :, :] kernels[:, 0:, :, :] kernels[:, 0:, :, :] * text_mask对每个 batch 样本调用boxes_from_bitmap→pse(kernels, self.min_area)完成扩张generate_box对每个标签实例做框生成并映射回原图坐标box_typequad时用cv2.minAreaRectcv2.boxPoints得到最小外接矩形 4 点box_typepoly时把标签点画到 mask 上用cv2.findContours得到多边形轮廓坐标通过ratio_w、ratio_h除回去并用np.clip限制在原图范围内。五、参数配置与调优指南PSE 相关的全部参数集中在配置文件的PostProcess段以 det_r50_vd_pse.yml 为例PostProcess: name: PSEPostProcess thresh: 0 box_thresh: 0.85 min_area: 16 box_type: quad # quad or poly scale: 1参数默认值作用与调优建议thresh0.5源码默认/0PSE 配置核二值化阈值。det_r50_vd_pse.yml中设为 0表示直接对pred 0取核调大可滤除低置信噪声核box_thresh0.85实例分数阈值。实例内像素平均 sigmoid 分数低于该值则丢弃该框调高可减少误检调低可召回弱文本min_area16最小实例面积像素。小于该面积的连通域直接丢弃用于过滤小噪点box_typequad输出框类型quad为最小外接矩形 4 点poly为多边形轮廓弯曲文本建议用polyscale4源码默认/1PSE 配置与后处理上采样相关的缩放因子F.interpolate使用4 // scale作为上采样倍率对应训练侧的关键参数det_r50_vd_pse.yml- MakePseGt: kernel_num: 7 min_shrink_ratio: 0.4 size: 640kernel_num核数量必须与 PSEHead 的out_channels一致训练与推理两侧都要对齐min_shrink_ratio最小核收缩比例越小则最小核越接近文本骨架有利于分离粘连文本size最短边长度若输入图短边小于该值会被先等比放大。此外在 det_mv3_pse.yml 中可以对比轻量配置Backbone 为 MobileNetV3scale: 0.5、Neck 输出 96 通道、学习率 0.001PostProcess 参数与 ResNet50_vd 版本保持一致方便按算力选型。六、常见问题与排查建议ImportError: cannot import name pse或编译报错说明 Cython 扩展未成功编译。先确认安装了cython与numpy再手动执行cd ppocr/postprocess/pse_postprocess/pse python3 setup.py build_ext --inplace查看具体报错检查编译产物Linux 下为pse*.so是否生成。Windows 平台编译失败按init.py 中的提示安装 Visual Studio 2019并勾选“使用 C 的桌面开发”默认组件。setup.py build_ext找不到文件README 中的命令需在pse子目录下执行pse.pyx与setup.py同目录不要直接在仓库根目录执行。检测框碎片化/漏检优先检查min_area是否过大、box_thresh是否过高弯曲文本场景建议把box_type设为poly。训练与推理不一致确认 PSEHead 的out_channels与 MakePseGt 的kernel_num数值一致否则多级核扩张会错位。七、小结与延伸阅读PSE 后处理扩展模块是 PaddleOCR 中实现 PSENet 系列算法的基础设施README 只给出了一行编译命令但其背后是由 Cython 编写的渐进式尺度扩张算法、自动编译机制以及与标签生成、网络头、损失函数、后处理全链路的深度耦合。理解 pse.pyx 的 BFS 扩张实现是调优 PSE 检测效果、排查编译问题的前提。如需继续深入可以按以下路径阅读后处理封装与框生成pse_postprocess.py训练标签生成make_pse_gt.py损失函数实现det_pse_loss.py网络头结构det_pse_head.py完整训练配置det_r50_vd_pse.yml、det_mv3_pse.yml【免费下载链接】PaddleOCR飞桨多语言OCR工具包实用超轻量OCR系统支持80种语言识别提供数据标注与合成工具支持服务器、移动端、嵌入式及IoT设备端的训练与部署 Awesome multilingual OCR toolkits based on PaddlePaddle (practical ultra lightweight OCR system, support 80 languages recognition, provide data annotation and synthesis tools, support training and deployment among server, mobile, embedded and IoT devices)项目地址: https://gitcode.com/paddlepaddle/PaddleOCR创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考