3分钟上手PARSeq从安装到实现高精度场景文本识别的完整指南【免费下载链接】parseqScene Text Recognition with Permuted Autoregressive Sequence Models (ECCV 2022)项目地址: https://gitcode.com/gh_mirrors/pa/parseqPARSeqPermuted Autoregressive Sequence Models是一款基于ECCV 2022论文实现的场景文本识别工具它通过创新的置换自回归序列模型在保持高效计算的同时实现了高精度的文本识别能力。无论是自然场景中的复杂文字还是低质量图像中的模糊文本PARSeq都能提供可靠的识别结果是开发者和研究人员处理场景文本识别任务的理想选择。 PARSeq的核心优势PARSeq在传统场景文本识别模型的基础上进行了突破性改进主要优势体现在以下几个方面高精度与高效能的平衡PARSeq通过统一的Transformer架构实现了多种解码方式的融合无需单独的语言模型即可完成上下文感知推理和双向优化。从性能对比图可以看出PARSeq在参数规模、计算量和延迟方面均优于ABINet、TRBA等主流模型图PARSeq与其他模型在参数规模、计算量和延迟上的性能对比展示了其高效高精度的特性强大的抗干扰能力针对自然场景中常见的文本变形、模糊、光照变化等问题PARSeq采用视觉-语言解码器和多头注意力机制能够有效提取文本特征并纠正识别错误。灵活的部署选项支持PyTorch Hub快速加载预训练模型同时提供ONNX和TorchScript导出功能可轻松集成到各种应用场景中。 PARSeq的工作原理PARSeq的核心创新在于其独特的置换自回归序列建模方式通过以下关键组件实现高精度文本识别视觉编码器采用ViTVision Transformer架构提取图像特征置换注意力机制通过不同的注意力掩码实现多种解码策略视觉-语言解码器融合视觉特征和语言上下文进行文本预测图PARSeq的系统架构示意图展示了从图像输入到文本输出的完整流程这种架构使PARSeq能够像人类阅读一样根据上下文信息动态调整识别策略尤其擅长处理复杂场景中的文本识别任务。⚡ 快速开始3分钟安装指南环境要求Python ≥ 3.9PyTorch ≥ 1.10推荐1.13版本支持CPU和GPU运行GPU可显著提升性能安装步骤克隆代码仓库git clone https://gitcode.com/gh_mirrors/pa/parseq cd parseq生成依赖文件根据你的硬件环境选择合适的配置CPU、cu116、cu117或rocm5.2# 对于CPU环境 platformcpu make torch-${platform}安装核心依赖pip install -r requirements/core.${platform}.txt -e .[train,test] 首次使用识别你的第一张图片使用预训练模型快速体验PARSeq的文本识别能力只需以下几步准备测试图片PARSeq提供了多个示例图片位于demo_images/目录下例如包含CHEWBACCA文字的场景图片图包含复杂背景和艺术字体的场景文本示例PARSeq能准确识别其中的CHEWBACCA文字使用命令行工具识别文本# 使用预训练的PARSeq模型识别demo_images目录下的所有图片 ./read.py pretrainedparseq --images demo_images/*预期输出结果demo_images/art-01107.jpg: CHEWBACCA demo_images/coco-1166773.jpg: Chevrol demo_images/cute-184.jpg: SALMON demo_images/ic13_word_256.png: Verbandsteffe demo_images/ic15_word_26.png: Kaopa demo_images/uber-27491.jpg: 3rdAve Python API调用示例除了命令行工具PARSeq还提供简洁的Python API方便集成到你的项目中import torch from PIL import Image from strhub.data.module import SceneTextDataModule # 加载预训练模型 parseq torch.hub.load(baudm/parseq, parseq, pretrainedTrue).eval() img_transform SceneTextDataModule.get_transform(parseq.hparams.img_size) # 加载并预处理图像 img Image.open(demo_images/art-01107.jpg).convert(RGB) img img_transform(img).unsqueeze(0) # 添加批次维度 # 执行推理 logits parseq(img) pred logits.softmax(-1) label, confidence parseq.tokenizer.decode(pred) print(f识别结果: {label[0]} (置信度: {confidence[0]:.2f})) 进阶使用指南训练自定义模型PARSeq提供了灵活的训练配置系统位于configs/目录下支持多种模型变体和训练参数的调整# 训练PARSeq-Tiny模型 ./train.py experimentparseq-tiny # 指定字符集36小写/62大小写/94全字符 ./train.py charset94_full # 调整训练参数 ./train.py model.batch_size384 trainer.max_epochs20评估模型性能使用test.py脚本评估模型在标准数据集上的表现# 基本评估 ./test.py pretrainedparseq # 评估不同字符集上的性能 ./test.py pretrainedparseq --cased --punctuation模型性能基准测试使用bench.py测试模型的计算效率./bench.py modelparseq model.decode_arfalse model.refine_iters3❓ 常见问题解答Q: 如何训练支持新语言的模型A: 参考GitHub Issues #5和#9主要涉及字符集配置和数据集准备。Q: 能否导出为ONNX格式用于生产环境A: 支持具体方法见Issue #12。Q: 如何在自定义数据集上进行测试A: 参考Issue #27需要将数据集转换为LMDB格式。 许可证信息PARSeq项目采用Apache License v2.0开源许可部分代码如ABINet和CRNN使用BSD和MIT许可证详细信息见项目根目录下的LICENSE文件和各模型目录中的许可证文件。 引用如果在研究中使用PARSeq请引用以下论文InProceedings{bautista2022parseq, title{Scene Text Recognition with Permuted Autoregressive Sequence Models}, author{Bautista, Darwin and Atienza, Rowel}, booktitle{European Conference on Computer Vision}, pages{178--196}, month{10}, year{2022}, publisher{Springer Nature Switzerland}, address{Cham}, doi{10.1007/978-3-031-19815-1_11} }通过本指南你已经掌握了PARSeq的基本安装、使用和进阶技巧。无论是快速集成到现有项目还是进行深入的模型研究和改进PARSeq都能为你提供强大而灵活的场景文本识别能力。现在就开始探索PARSeq在你的应用场景中所能带来的价值吧【免费下载链接】parseqScene Text Recognition with Permuted Autoregressive Sequence Models (ECCV 2022)项目地址: https://gitcode.com/gh_mirrors/pa/parseq创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 3分钟上手PARSeq：从安装到实现高精度场景文本识别的完整指南
3分钟上手PARSeq从安装到实现高精度场景文本识别的完整指南【免费下载链接】parseqScene Text Recognition with Permuted Autoregressive Sequence Models (ECCV 2022)项目地址: https://gitcode.com/gh_mirrors/pa/parseqPARSeqPermuted Autoregressive Sequence Models是一款基于ECCV 2022论文实现的场景文本识别工具它通过创新的置换自回归序列模型在保持高效计算的同时实现了高精度的文本识别能力。无论是自然场景中的复杂文字还是低质量图像中的模糊文本PARSeq都能提供可靠的识别结果是开发者和研究人员处理场景文本识别任务的理想选择。 PARSeq的核心优势PARSeq在传统场景文本识别模型的基础上进行了突破性改进主要优势体现在以下几个方面高精度与高效能的平衡PARSeq通过统一的Transformer架构实现了多种解码方式的融合无需单独的语言模型即可完成上下文感知推理和双向优化。从性能对比图可以看出PARSeq在参数规模、计算量和延迟方面均优于ABINet、TRBA等主流模型图PARSeq与其他模型在参数规模、计算量和延迟上的性能对比展示了其高效高精度的特性强大的抗干扰能力针对自然场景中常见的文本变形、模糊、光照变化等问题PARSeq采用视觉-语言解码器和多头注意力机制能够有效提取文本特征并纠正识别错误。灵活的部署选项支持PyTorch Hub快速加载预训练模型同时提供ONNX和TorchScript导出功能可轻松集成到各种应用场景中。 PARSeq的工作原理PARSeq的核心创新在于其独特的置换自回归序列建模方式通过以下关键组件实现高精度文本识别视觉编码器采用ViTVision Transformer架构提取图像特征置换注意力机制通过不同的注意力掩码实现多种解码策略视觉-语言解码器融合视觉特征和语言上下文进行文本预测图PARSeq的系统架构示意图展示了从图像输入到文本输出的完整流程这种架构使PARSeq能够像人类阅读一样根据上下文信息动态调整识别策略尤其擅长处理复杂场景中的文本识别任务。⚡ 快速开始3分钟安装指南环境要求Python ≥ 3.9PyTorch ≥ 1.10推荐1.13版本支持CPU和GPU运行GPU可显著提升性能安装步骤克隆代码仓库git clone https://gitcode.com/gh_mirrors/pa/parseq cd parseq生成依赖文件根据你的硬件环境选择合适的配置CPU、cu116、cu117或rocm5.2# 对于CPU环境 platformcpu make torch-${platform}安装核心依赖pip install -r requirements/core.${platform}.txt -e .[train,test] 首次使用识别你的第一张图片使用预训练模型快速体验PARSeq的文本识别能力只需以下几步准备测试图片PARSeq提供了多个示例图片位于demo_images/目录下例如包含CHEWBACCA文字的场景图片图包含复杂背景和艺术字体的场景文本示例PARSeq能准确识别其中的CHEWBACCA文字使用命令行工具识别文本# 使用预训练的PARSeq模型识别demo_images目录下的所有图片 ./read.py pretrainedparseq --images demo_images/*预期输出结果demo_images/art-01107.jpg: CHEWBACCA demo_images/coco-1166773.jpg: Chevrol demo_images/cute-184.jpg: SALMON demo_images/ic13_word_256.png: Verbandsteffe demo_images/ic15_word_26.png: Kaopa demo_images/uber-27491.jpg: 3rdAve Python API调用示例除了命令行工具PARSeq还提供简洁的Python API方便集成到你的项目中import torch from PIL import Image from strhub.data.module import SceneTextDataModule # 加载预训练模型 parseq torch.hub.load(baudm/parseq, parseq, pretrainedTrue).eval() img_transform SceneTextDataModule.get_transform(parseq.hparams.img_size) # 加载并预处理图像 img Image.open(demo_images/art-01107.jpg).convert(RGB) img img_transform(img).unsqueeze(0) # 添加批次维度 # 执行推理 logits parseq(img) pred logits.softmax(-1) label, confidence parseq.tokenizer.decode(pred) print(f识别结果: {label[0]} (置信度: {confidence[0]:.2f})) 进阶使用指南训练自定义模型PARSeq提供了灵活的训练配置系统位于configs/目录下支持多种模型变体和训练参数的调整# 训练PARSeq-Tiny模型 ./train.py experimentparseq-tiny # 指定字符集36小写/62大小写/94全字符 ./train.py charset94_full # 调整训练参数 ./train.py model.batch_size384 trainer.max_epochs20评估模型性能使用test.py脚本评估模型在标准数据集上的表现# 基本评估 ./test.py pretrainedparseq # 评估不同字符集上的性能 ./test.py pretrainedparseq --cased --punctuation模型性能基准测试使用bench.py测试模型的计算效率./bench.py modelparseq model.decode_arfalse model.refine_iters3❓ 常见问题解答Q: 如何训练支持新语言的模型A: 参考GitHub Issues #5和#9主要涉及字符集配置和数据集准备。Q: 能否导出为ONNX格式用于生产环境A: 支持具体方法见Issue #12。Q: 如何在自定义数据集上进行测试A: 参考Issue #27需要将数据集转换为LMDB格式。 许可证信息PARSeq项目采用Apache License v2.0开源许可部分代码如ABINet和CRNN使用BSD和MIT许可证详细信息见项目根目录下的LICENSE文件和各模型目录中的许可证文件。 引用如果在研究中使用PARSeq请引用以下论文InProceedings{bautista2022parseq, title{Scene Text Recognition with Permuted Autoregressive Sequence Models}, author{Bautista, Darwin and Atienza, Rowel}, booktitle{European Conference on Computer Vision}, pages{178--196}, month{10}, year{2022}, publisher{Springer Nature Switzerland}, address{Cham}, doi{10.1007/978-3-031-19815-1_11} }通过本指南你已经掌握了PARSeq的基本安装、使用和进阶技巧。无论是快速集成到现有项目还是进行深入的模型研究和改进PARSeq都能为你提供强大而灵活的场景文本识别能力。现在就开始探索PARSeq在你的应用场景中所能带来的价值吧【免费下载链接】parseqScene Text Recognition with Permuted Autoregressive Sequence Models (ECCV 2022)项目地址: https://gitcode.com/gh_mirrors/pa/parseq创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考