简介基于CNN的端到端验证码识别项目源码与说明文档面向毕业设计、课程设计及期末大作业场景也适合希望了解深度学习图像分类实践的开发者。资源共50个文件以8个Python脚本为核心覆盖训练、预测、测试、数据集生成及One-Hot编码等完整流程另含40张验证码样本图片和1份README说明文档压缩包仅592KB结构清晰、便于直接部署。代码中附有详细注释纯数字识别率可达99.99%可帮助理解卷积神经网络从数据准备、模型训练到推理识别的全过程。自带数据生成工具可自行扩充样本规模灵活验证不同参数下的识别效果。已有115人学习浏览下载后可快速获得一套可运行的验证码识别基础方案脚本之间调用关系明确还可作为项目演示或二次开发起点尤其适合作为高分毕设、课程设计的参考实现。1. 验证码识别用 CNN为什么值得作为一个正经练手项目验证码识别配上 Python 和 CNN卷积神经网络一直是工程师练手时性价比很高的一个方向数据可以自己生成网络结构可以用很浅的模型跑通准确率又能被量化地看到。这个项目并不是要教你怎么绕过某个网站的风控而是把一套“图像分类 序列预测”的能力落到自动化测试、自建系统回归、内部数据归档这些合法场景里。四五个字符、带噪点和干扰线的验证码刚好能暴露 CNN 在特征提取上的真实功底。对刚接触深度学习的人来说它比 MNIST 多一点挑战又不像目标检测那样需要复杂的锚框和后处理。有 Python 基础、会基本的 PyTorch 或 Keras 即可跟进。接下来我会按“原理 → 数据 → 模型 → 训练 → 推理 → 避坑 → 迁移”的顺序把一套可复现的 CNN 验证码识别方案拆开讲。2. CNN 凭什么能识别验证码纹理、边缘与卷积的叠加2.1 从像素到笔画卷积层在做什么验证码图片本质上是一张二维矩阵字符边缘是高频信号背景噪点是另一种频率的噪声。CNN 的卷积核就是一组可学习的滤波器第一层往往学到横线、竖线、斜边第二层把边缘组合成角点、弧线再往上就能组合成某个字符的“局部笔画”。这种层级结构对形变有容忍度同一个字符稍微旋转、拉伸、错位仍然能激活相近的特征组合。传统字符识别要先做二值化、去噪、分割一步出错后续全错。CNN 直接吃原始像素靠卷积和下采样把“哪里像字符”的特征提取出来。对验证码这类人为加干扰的图像CNN 的容忍能力明显好于固定规则。2.2 为什么传统 OCR 和模板匹配经常翻车很多人最初想拿 Tesseract 直接做验证码识别但在带噪点、旋转、扭曲的验证码面前通用 OCR 的准确率会掉到很惨。原因有三点一是验证码字体经过故意变形超出现有 OCR 训练分布二是干扰线会把字符粘连在一起字符切分阶段就出错三是验证码背景颜色和字符颜色随机二值化阈值很难固定。模板匹配的问题更直接模板库需要穷举字体、大小、旋转角度组合爆炸而且验证码常常使用多种字体混合。CNN 不存模板它存的是“权重”通过训练把字符的共性特征抽象出来遇到没见过的轻微变形也能猜个大概。2.3 一个能跑起来的浅层 CNN 结构我一般不会一上来就堆 ResNet。验证码图像尺寸小通常 40×120 左右字符数量固定4 个一个两层的浅层 CNN 就足够学到判别特征。下面这个结构是典型的 Conv-BN-ReLU-Pool 三件套简单、稳定、收敛快。# model.py # 实现一个面向 4 字符验证码的浅层 CNN输出每个位置上的字符类别概率 import torch import torch.nn as nn class CaptchaCNN(nn.Module): def __init__(self, num_classes, num_chars4): super().__init__() # 输入 [N, 3, 40, 120]三通道彩色图高 40宽 120 self.features nn.Sequential( nn.Conv2d(3, 32, kernel_size3, padding1), # 输出 32 通道尺寸不变 nn.BatchNorm2d(32), nn.ReLU(inplaceTrue), nn.MaxPool2d(2, 2), # 40x120 - 20x60 nn.Conv2d(32, 64, kernel_size3, padding1), # 输出 64 通道 nn.BatchNorm2d(64), nn.ReLU(inplaceTrue), nn.MaxPool2d(2, 2) # 20x60 - 10x30 ) # 展平后特征维度64 * 10 * 30 19200 self.classifier nn.Sequential( nn.Linear(64 * 10 * 30, 128), nn.ReLU(inplaceTrue), nn.Dropout(0.5), nn.Linear(128, num_classes * num_chars) ) self.num_classes num_classes self.num_chars num_chars def forward(self, x): x self.features(x) x x.view(x.size(0), -1) x self.classifier(x) return x.view(-1, self.num_chars, self.num_classes)逻辑说明卷积层提取局部特征池化层减小分辨率并增强平移不变性全连接层把特征映射成“每个字符位置上的类别得分”。最后用 view 把输出拆成[batch, 4, num_classes]这样每个位置独立做 Softmax 分类而不是把整串验证码当作一个整体类别。参数说明num_classes是字符集大小num_chars是验证码长度。输入尺寸必须和数据集保持一致。这里 BatchNorm 是训练稳定的关键不加的话浅层网络遇到 RGB 分布偏移时收敛很慢。Dropout 只在全连接层加卷积层不用防止特征丢失太多。3. 用 PyTorch 把识别管线跑通从生成数据到推理3.1 批量生成训练样本自己动手标注才是最快路径验证码识别项目最容易卡在数据收集上。手工截图标注太慢买标注数据又没必要。常见做法是用 PIL 写一个生成器按设定的字体、旋转角度、噪点强度批量产出样本。这样训练集、验证集都可以精确控制难度。# gen_captcha.py # 用 TrueType 字体生成合成验证码返回图像内容和对应标签 import random from PIL import Image, ImageDraw, ImageFont, ImageFilter CHARS ABCDEFGHJKLMNPQRSTUVWXYZ23456789 # 去掉易混淆的 0/O/1/I W, H 120, 40 def random_color(baseNone): if base is None: return tuple(random.randint(0, 180) for _ in range(3)) return tuple(base[i] random.randint(-40, 40) for i in range(3)) def gen_captcha_img(font_patharial.ttf, save_pathNone): img Image.new(RGB, (W, H), random_color((200, 200, 200))) draw ImageDraw.Draw(img) for _ in range(random.randint(50, 100)): x, y random.randint(0, W), random.randint(0, H) draw.point((x, y), fillrandom_color()) code .join(random.choice(CHARS) for _ in range(4)) font ImageFont.truetype(font_path, 28) for i, ch in enumerate(code): x 10 i * 28 random.randint(-3, 3) y random.randint(4, 10) draw.text((x, y), ch, fontfont, fillrandom_color((20, 20, 20))) img img.filter(ImageFilter.SMOOTH) if save_path: img.save(save_path .png) return img, code if __name__ __main__: for i in range(1000): gen_captcha_img(arial.ttf, f./data_captcha/{i:05d})逻辑说明每张图先生成浅色背景撒上随机点做噪点然后用随机坐标逐个画字符最后做一次平滑滤波模拟真实验证码的模糊感。标签和图片同步保存格式为“文件名 标签文本”。参数说明CHARS这个字符串决定了字符集大小。经验建议是先把易混淆的字符去掉训练难度会明显下降。字体路径在 Linux 上常见是/usr/share/fonts/truetype/dejavu/DejaVuSans.ttfWindows 上是C:/Windows/Fonts/arial.ttf要按自己环境改。旋转角度控制在 ±15 度以内角度太大模型容量不够时很难收敛。3.2 封装 Dataset把图片变成模型能吃的张量生成器做好之后需要一个 PyTorch Dataset 来遍历图片、做标签编码。标签不是“ABCD”这种字符串而是把它映射成每个位置上的类别索引再配合nn.CrossEntropyLoss计算各位置分类损失。# dataset.py # 读取验证码图片返回图像张量和标签索引矩阵 import os import torch from torch.utils.data import Dataset from PIL import Image class CaptchaDataset(Dataset): def __init__(self, img_dir, char_to_idx, length4, transformNone): self.img_dir img_dir self.char_to_idx char_to_idx self.length length self.transform transform self.images [] self.labels [] for fname in os.listdir(img_dir): if fname.endswith(.png): self.images.append(fname) code fname.split(.)[0] # 文件名本身就是标签 label [char_to_idx[ch] for ch in code] self.labels.append(label) def __len__(self): return len(self.images) def __getitem__(self, idx): img Image.open(os.path.join(self.img_dir, self.images[idx])).convert(RGB) if self.transform: img self.transform(img) label_tensor torch.tensor(self.labels[idx], dtypetorch.long) return img, label_tensor逻辑说明标签是长度 4 的整数列表每个元素对应一个字符在字符表里的索引。训练时模型输出[batch, 4, num_classes]标签就是[batch, 4]PyTorch 的 CrossEntropyLoss 会自动按位置计算交叉熵并求平均。参数说明img_dir要指向生成器输出的目录文件名必须是“标签.png”的格式否则读取逻辑要对齐。transform可以后续扩展比如水平翻转、亮度抖动但要注意翻转字符会导致标签语义变化验证码不能随便翻转。3.3 训练一个浅层 CNN损失函数、优化器与收敛判断有了数据和模型训练循环本身并不复杂。关键点用 Adam 优化器时学习率不要给太大0.001 左右起步并且每次 epoch 结束保存最佳权重。验证码识别是个多分类问题所以我用“按字符位置求 CrossEntropy”的思路而不是把整串验证码当成一个类。# train.py # 训练主循环分批喂数据每个位置独立算交叉熵保存验证集准确率最高的模型 import torch import torch.nn as nn from torch.optim import Adam from torch.utils.data import DataLoader from torchvision import transforms from model import CaptchaCNN from dataset import CaptchaDataset CHARS ABCDEFGHJKLMNPQRSTUVWXYZ23456789 char_to_idx {ch: i for i, ch in enumerate(CHARS)} transform transforms.Compose([ transforms.Resize((40, 120)), transforms.ToTensor(), transforms.Normalize(mean[0.5, 0.5, 0.5], std[0.5, 0.5, 0.5]) ]) train_set CaptchaDataset(./data_captcha/train, char_to_idx, transformtransform) val_set CaptchaDataset(./data_captcha/val, char_to_idx, transformtransform) train_loader DataLoader(train_set, batch_size64, shuffleTrue, num_workers2) val_loader DataLoader(val_set, batch_size64, shuffleFalse, num_workers2) model CaptchaCNN(num_classeslen(CHARS), num_chars4) device torch.device(cuda if torch.cuda.is_available() else cpu) model model.to(device) criterion nn.CrossEntropyLoss() optimizer Adam(model.parameters(), lr0.001) best_acc 0.0 for epoch in range(30): model.train() total_loss 0.0 for imgs, labels in train_loader: imgs, labels imgs.to(device), labels.to(device) optimizer.zero_grad() logits model(imgs) # [N, 4, num_classes] loss criterion(logits.permute(0, 2, 1), labels) loss.backward() optimizer.step() total_loss loss.item() # 验证逻辑 model.eval() correct 0 total 0 with torch.no_grad(): for imgs, labels in val_loader: imgs, labels imgs.to(device), labels.to(device) logits model(imgs) pred logits.argmax(dim-1) # [N, 4] correct (pred labels).all(dim1).sum().item() total labels.size(0) acc correct / total print(fepoch {epoch1:02d} | loss {total_loss:.4f} | val_acc {acc:.4f}) if acc best_acc: best_acc acc torch.save(model.state_dict(), best_captcha.pth) print(fbest_acc {best_acc:.4f})逻辑说明criterion(logits.permute(0, 2, 1), labels)这行很关键。CrossEntropyLoss 期望输入维度是[batch, num_classes, 4]而模型输出是[batch, 4, num_classes]所以要转置一下。验证时用argmax(dim-1)取出每个位置最可能的字符索引all(dim1)表示整串完全正确才算 1 个样本预测成功这个要求和实际使用场景一致。参数说明batch_size64在 GPU 上合适CPU 上建议降到 16 或 8。num_workers2如果 Windows 报错改成 0。epochs30对合成数据通常足够当 val_acc 连续 5 轮不涨可以提前停止。学习率 0.001 是 Adam 的常见起点如果损失发散就降到 0.0001。3.4 推理单张图片加载权重输出字符串训练完成后使用环节反而要做得足够简单。加载模型权重对单张图片做预处理前向一次把四个位置的索引映射回字符。# inference.py # 加载权重读单张验证码图片输出完整字符串 import torch from torchvision import transforms from PIL import Image from model import CaptchaCNN CHARS ABCDEFGHJKLMNPQRSTUVWXYZ23456789 idx_to_char {i: ch for i, ch in enumerate(CHARS)} model CaptchaCNN(num_classeslen(CHARS), num_chars4) model.load_state_dict(torch.load(best_captcha.pth, map_locationcpu)) model.eval() transform transforms.Compose([ transforms.Resize((40, 120)), transforms.ToTensor(), transforms.Normalize(mean[0.5, 0.5, 0.5], std[0.5, 0.5, 0.5]) ]) def predict(img_path: str) - str: img Image.open(img_path).convert(RGB) x transform(img).unsqueeze(0) # 加 batch 维度 with torch.no_grad(): logits model(x) # [1, 4, num_classes] pred_indices logits.argmax(dim-1).squeeze(0).tolist() return .join(idx_to_char[i] for i in pred_indices) if __name__ __main__: print(predict(./sample.png))逻辑说明unsqueeze(0)给单张图补一个 batch 维度因为模型是[N, 3, 40, 120]的输入。argmax拿出的 4 个索引再通过反向映射表换成字符。整个推理过程没有循环一次前向就出结果速度在 CPU 上也是毫秒级。参数说明map_locationcpu是为了让在 GPU 上训练的权重也能在纯 CPU 环境加载。如果图片尺寸不统一Resize会强制拉伸可能略微降低准确率稳妥起见可以在预处理里做中心裁剪或等比缩放填充但合成数据场景下直接拉伸也行。3.5 训练参数的几个建议值下面这张参数表是我跑这类项目时的默认配置。它不是最优解但能稳定收敛适合做基线。参数建议值说明图像尺寸40×120高度 40宽度按字符数 ×30字符集去掉 0/O/1/I减少混淆提升收敛速度Batch Size64显存不够就降到 16学习率0.001Adam 默认启动值Epoch30验证集不涨就提前停Dropout0.5只加在全连接层池化层2×2 MaxPool两次下采样参数之间是联动的。比如字符集从 4.7 万降到 3.4 万同样模型收敛速度更快准确率也会高一点。图像尺寸如果压缩到 30×80推理更快但准确率可能下降。改动任何一项都要重新跑基线不要只调一个。4. 字符切分式与端到端 CNN两条路线的选型对比4.1 老路子的致命伤切分一旦出错整串报废很多传统 OCR 项目把验证码识别拆成“切分 单字符分类”两步。先是二值化再做连通域分析或投影切分把图片切成单个字符然后逐个交给分类器。这套路子的逻辑是清晰的但验证码设计者最喜欢在这种过程里埋雷字符挨得近干扰线和字符粘连投影切分直接失效。处理粘连的常用方案是滴水算法或基于深度学习的切分点预测但这等于把问题从“识别”转移到了“检测”复杂度不减反增。而且每个字符的宽度不固定切分边界稍微偏一点后面分类器再强也没用。血泪经验是不要试图用“完美切分”来解决问题端到端模型绕过了这一步。4.2 端到端 CNN 的思路一次预测四个位置固定长度验证码的端到端方案很简单模型直接输出[4, num_classes]每个位置独立预测。它不切字符而是让卷积层自己学会“一个字符大概在哪个位置激活”。即便字符有轻微重叠CNN 也能根据上下文猜出内容。实现上这种方案比切分式少了很多中间环节训练数据只需要“图片 整串标签”。推理时一次前向即可得到全部字符。对我来说这是固定长度验证码默认首选路线。前面几章的代码都是围绕这个方案展开的。4.3 变长验证码和滑块验证码是另一个问题域如果验证码长度不固定端到端 CNN 直接输出[4, num_classes]就不合适。常见做法是把编码器换成带 CTC Loss 的序列模型比如 CNN LSTM CTC。字符长度可变时CTC 会计算所有对齐路径的概率之和模型自己决定每个位置输出什么字符或者输出空白。滑块验证码、点选文字这类行为式验证码则完全是另一套体系。它们依赖用户行为轨迹或图片语义理解普通 CNN 可以做初步的目标检测定位但真正的难点是轨迹仿真交互行为。如果项目目标是应对这类验证码建议去看目标检测方向比如 YOLO 系列做缺口定位而不是在本方案里硬套。验证码类型推荐方案原因固定 4 位字符浅层 CNN 端到端分类实现简单收敛快变长字符验证码CNN LSTM CTC处理长度不确定性滑块验证码目标检测 轨迹模拟关键是行为不是字符点选图片文字目标检测 分类定位和语义都要5. CNN 验证码识别避坑指南五个最容易翻车的地方5.1 坑一生成分布和真实分布不一致训练成绩虚高现象合成验证码集上准确率 98%换一批手工收集或线上截图就会掉到 60% 以下。原因合成数据太“干净”字体固定、噪声模式单一、背景颜色范围窄CNN 把训练集里的背景特征也学了进去。解决第一增大生成时随机性字体、字号、颜色、噪声类型各随机取第二加入少量真实截图参与训练第三评估时单独留一套真实图片集合当作测试集不要用合成数据混在一起测。另外ImageFilter.SMOOTH 这类滤波是全局的如果真实验证码有动态模糊还得加入实际对应的模糊算子。5.2 坑二字符集混淆0 和 O、1 和 I 分不清现象单独跑“数字验证码”准确率很高把大小写字母加进来之后0 和 O、1 和 L、1 和 I 之间会互相误判。原因这些字符在视觉上本来就相似浅层 CNN 的特征区分度不足。如果训练数据里两类样本数量差不多模型会倾向于输出概率相似的结果。解决最直接的做法是把易混淆字符从字符集中去掉这也是很多真实验证码系统故意用同型字符替代的原因。如果业务不允许去掉就得给模型加容量比如把通道数从 32 提到 64或者加一层卷积。还有一个细节字符集里的相似字符应尽量在同一个 epoch 内反复出现这依赖 shuffle 是否彻底。5.3 坑三数据增强过度把字符变换坏了现象加了随机旋转 30 度、随机透视变换之后训练损失不降反升。原因验证码里的字符本来就小旋转超过 15 度、扭曲幅度过大会把字符变成难以辨认的图案模型学不到有效特征。数据增强不是越猛越好。解决控制旋转角度在 ±10 度缩放范围 0.9 到 1.1。不要做水平翻转因为字符方向本身很重要。如果确实需要增强优先考虑颜色抖动亮度、饱和度、对比度这对鲁棒性有帮助且不会破坏字符结构。建议增强前后各跑一次基线用数字对比而不是感觉说话。5.4 坑四随机种子不固定复现全靠碰运气现象同一份代码、同一批数据前后跑两遍best_acc 差了 2 个百分点。原因模型初始化、数据加载顺序、数据增强里的随机操作都没有固定种子所以每次训练路径完全不同。尤其在验证码生成阶段随机点位置和字符偏移量每次都不一样。解决在训练脚本开头固定所有随机源。常见做法是设置random.seed(42)、numpy.random.seed(42)、torch.manual_seed(42)并把 DataLoader 的shuffle也置为确定性的。数据生成阶段生成一次之后保存成文件不要在训练前临时批量生成否则验证集也会漂移。5.5 坑五验证集被“污染”成绩标定无效现象训练集准确率 99%验证集准确率 95%单张测试图却肉眼可见地识别错。原因验证集样本可能和训练集来自同一个生成批次甚至相同的种子导致同几张图出现在两边模型相当于“考了原题”。解决验证集和训练集必须分开生成且互不重叠。按时间戳分开最靠谱每天生成一批数据连续 5 天的做训练第 6 天单独做验证。不要按文件名随机打乱因为很可能把同一批生成的同主题图片分散到两边。最简单粗暴的检查方式是取训练集和验证集文件名的哈希交集确保交集为空。6. 把模型从“能跑”练到“能交差”迁移学习与验收技巧当自训练浅层 CNN 效果达到瓶颈比如 95% 就上不去迁移学习往往能拉到 99%。在 ImageNet 上预训练的 ResNet18 腿部卷积提取的是通用边缘纹理语义对字符这种图形也有一定迁移性。做法是把 ResNet18 的最后一层全连接换掉输出到 4×num_classes冻结前 3 层只训练后面部分。这批微调代码量不大但收敛速度很快。# finetune.py # 加载预训练 ResNet18替换分类头冻结 backbone 前段做迁移 from torchvision import models import torch.nn as nn model models.resnet18(pretrainedTrue) # 替换全连接层输出维度变成位置数 * 字符类别数 model.fc nn.Linear(model.fc.in_features, 4 * len(CHARS)) # 冻结前三个 res 层只训练 fc 和最后两个 stage for name, param in model.named_parameters(): if layer4 not in name and fc not in name: param.requires_grad False验证时不过分看重整串准确率真正该先看的指标是“字符级准确率”预测字符串与标签逐位对比统计正确字符占比。比如能整串对 90%但字符级 98%说明偶发错误集中在某几位如果字符级只有 90%说明模型整体还差火候。这类指标在验证码场景下适合用混淆矩阵辅助分析把常搞错的字符对找出来。最后说一条我的习惯验证码识别这类项目代码本身不难难的是把评价体系搭对。没有一套干净可信的验证集任何调参都是在盲人摸象。我每次接手这类业务都会先在生成器上花半小时确认分布和标签对应关系再开始训练——这比调结构省下的时间多得多。希望这篇能帮你少踩几个坑。本文还有配套的精品资源点击获取
CNN验证码识别实战：从原理到PyTorch代码的完整指南
简介基于CNN的端到端验证码识别项目源码与说明文档面向毕业设计、课程设计及期末大作业场景也适合希望了解深度学习图像分类实践的开发者。资源共50个文件以8个Python脚本为核心覆盖训练、预测、测试、数据集生成及One-Hot编码等完整流程另含40张验证码样本图片和1份README说明文档压缩包仅592KB结构清晰、便于直接部署。代码中附有详细注释纯数字识别率可达99.99%可帮助理解卷积神经网络从数据准备、模型训练到推理识别的全过程。自带数据生成工具可自行扩充样本规模灵活验证不同参数下的识别效果。已有115人学习浏览下载后可快速获得一套可运行的验证码识别基础方案脚本之间调用关系明确还可作为项目演示或二次开发起点尤其适合作为高分毕设、课程设计的参考实现。1. 验证码识别用 CNN为什么值得作为一个正经练手项目验证码识别配上 Python 和 CNN卷积神经网络一直是工程师练手时性价比很高的一个方向数据可以自己生成网络结构可以用很浅的模型跑通准确率又能被量化地看到。这个项目并不是要教你怎么绕过某个网站的风控而是把一套“图像分类 序列预测”的能力落到自动化测试、自建系统回归、内部数据归档这些合法场景里。四五个字符、带噪点和干扰线的验证码刚好能暴露 CNN 在特征提取上的真实功底。对刚接触深度学习的人来说它比 MNIST 多一点挑战又不像目标检测那样需要复杂的锚框和后处理。有 Python 基础、会基本的 PyTorch 或 Keras 即可跟进。接下来我会按“原理 → 数据 → 模型 → 训练 → 推理 → 避坑 → 迁移”的顺序把一套可复现的 CNN 验证码识别方案拆开讲。2. CNN 凭什么能识别验证码纹理、边缘与卷积的叠加2.1 从像素到笔画卷积层在做什么验证码图片本质上是一张二维矩阵字符边缘是高频信号背景噪点是另一种频率的噪声。CNN 的卷积核就是一组可学习的滤波器第一层往往学到横线、竖线、斜边第二层把边缘组合成角点、弧线再往上就能组合成某个字符的“局部笔画”。这种层级结构对形变有容忍度同一个字符稍微旋转、拉伸、错位仍然能激活相近的特征组合。传统字符识别要先做二值化、去噪、分割一步出错后续全错。CNN 直接吃原始像素靠卷积和下采样把“哪里像字符”的特征提取出来。对验证码这类人为加干扰的图像CNN 的容忍能力明显好于固定规则。2.2 为什么传统 OCR 和模板匹配经常翻车很多人最初想拿 Tesseract 直接做验证码识别但在带噪点、旋转、扭曲的验证码面前通用 OCR 的准确率会掉到很惨。原因有三点一是验证码字体经过故意变形超出现有 OCR 训练分布二是干扰线会把字符粘连在一起字符切分阶段就出错三是验证码背景颜色和字符颜色随机二值化阈值很难固定。模板匹配的问题更直接模板库需要穷举字体、大小、旋转角度组合爆炸而且验证码常常使用多种字体混合。CNN 不存模板它存的是“权重”通过训练把字符的共性特征抽象出来遇到没见过的轻微变形也能猜个大概。2.3 一个能跑起来的浅层 CNN 结构我一般不会一上来就堆 ResNet。验证码图像尺寸小通常 40×120 左右字符数量固定4 个一个两层的浅层 CNN 就足够学到判别特征。下面这个结构是典型的 Conv-BN-ReLU-Pool 三件套简单、稳定、收敛快。# model.py # 实现一个面向 4 字符验证码的浅层 CNN输出每个位置上的字符类别概率 import torch import torch.nn as nn class CaptchaCNN(nn.Module): def __init__(self, num_classes, num_chars4): super().__init__() # 输入 [N, 3, 40, 120]三通道彩色图高 40宽 120 self.features nn.Sequential( nn.Conv2d(3, 32, kernel_size3, padding1), # 输出 32 通道尺寸不变 nn.BatchNorm2d(32), nn.ReLU(inplaceTrue), nn.MaxPool2d(2, 2), # 40x120 - 20x60 nn.Conv2d(32, 64, kernel_size3, padding1), # 输出 64 通道 nn.BatchNorm2d(64), nn.ReLU(inplaceTrue), nn.MaxPool2d(2, 2) # 20x60 - 10x30 ) # 展平后特征维度64 * 10 * 30 19200 self.classifier nn.Sequential( nn.Linear(64 * 10 * 30, 128), nn.ReLU(inplaceTrue), nn.Dropout(0.5), nn.Linear(128, num_classes * num_chars) ) self.num_classes num_classes self.num_chars num_chars def forward(self, x): x self.features(x) x x.view(x.size(0), -1) x self.classifier(x) return x.view(-1, self.num_chars, self.num_classes)逻辑说明卷积层提取局部特征池化层减小分辨率并增强平移不变性全连接层把特征映射成“每个字符位置上的类别得分”。最后用 view 把输出拆成[batch, 4, num_classes]这样每个位置独立做 Softmax 分类而不是把整串验证码当作一个整体类别。参数说明num_classes是字符集大小num_chars是验证码长度。输入尺寸必须和数据集保持一致。这里 BatchNorm 是训练稳定的关键不加的话浅层网络遇到 RGB 分布偏移时收敛很慢。Dropout 只在全连接层加卷积层不用防止特征丢失太多。3. 用 PyTorch 把识别管线跑通从生成数据到推理3.1 批量生成训练样本自己动手标注才是最快路径验证码识别项目最容易卡在数据收集上。手工截图标注太慢买标注数据又没必要。常见做法是用 PIL 写一个生成器按设定的字体、旋转角度、噪点强度批量产出样本。这样训练集、验证集都可以精确控制难度。# gen_captcha.py # 用 TrueType 字体生成合成验证码返回图像内容和对应标签 import random from PIL import Image, ImageDraw, ImageFont, ImageFilter CHARS ABCDEFGHJKLMNPQRSTUVWXYZ23456789 # 去掉易混淆的 0/O/1/I W, H 120, 40 def random_color(baseNone): if base is None: return tuple(random.randint(0, 180) for _ in range(3)) return tuple(base[i] random.randint(-40, 40) for i in range(3)) def gen_captcha_img(font_patharial.ttf, save_pathNone): img Image.new(RGB, (W, H), random_color((200, 200, 200))) draw ImageDraw.Draw(img) for _ in range(random.randint(50, 100)): x, y random.randint(0, W), random.randint(0, H) draw.point((x, y), fillrandom_color()) code .join(random.choice(CHARS) for _ in range(4)) font ImageFont.truetype(font_path, 28) for i, ch in enumerate(code): x 10 i * 28 random.randint(-3, 3) y random.randint(4, 10) draw.text((x, y), ch, fontfont, fillrandom_color((20, 20, 20))) img img.filter(ImageFilter.SMOOTH) if save_path: img.save(save_path .png) return img, code if __name__ __main__: for i in range(1000): gen_captcha_img(arial.ttf, f./data_captcha/{i:05d})逻辑说明每张图先生成浅色背景撒上随机点做噪点然后用随机坐标逐个画字符最后做一次平滑滤波模拟真实验证码的模糊感。标签和图片同步保存格式为“文件名 标签文本”。参数说明CHARS这个字符串决定了字符集大小。经验建议是先把易混淆的字符去掉训练难度会明显下降。字体路径在 Linux 上常见是/usr/share/fonts/truetype/dejavu/DejaVuSans.ttfWindows 上是C:/Windows/Fonts/arial.ttf要按自己环境改。旋转角度控制在 ±15 度以内角度太大模型容量不够时很难收敛。3.2 封装 Dataset把图片变成模型能吃的张量生成器做好之后需要一个 PyTorch Dataset 来遍历图片、做标签编码。标签不是“ABCD”这种字符串而是把它映射成每个位置上的类别索引再配合nn.CrossEntropyLoss计算各位置分类损失。# dataset.py # 读取验证码图片返回图像张量和标签索引矩阵 import os import torch from torch.utils.data import Dataset from PIL import Image class CaptchaDataset(Dataset): def __init__(self, img_dir, char_to_idx, length4, transformNone): self.img_dir img_dir self.char_to_idx char_to_idx self.length length self.transform transform self.images [] self.labels [] for fname in os.listdir(img_dir): if fname.endswith(.png): self.images.append(fname) code fname.split(.)[0] # 文件名本身就是标签 label [char_to_idx[ch] for ch in code] self.labels.append(label) def __len__(self): return len(self.images) def __getitem__(self, idx): img Image.open(os.path.join(self.img_dir, self.images[idx])).convert(RGB) if self.transform: img self.transform(img) label_tensor torch.tensor(self.labels[idx], dtypetorch.long) return img, label_tensor逻辑说明标签是长度 4 的整数列表每个元素对应一个字符在字符表里的索引。训练时模型输出[batch, 4, num_classes]标签就是[batch, 4]PyTorch 的 CrossEntropyLoss 会自动按位置计算交叉熵并求平均。参数说明img_dir要指向生成器输出的目录文件名必须是“标签.png”的格式否则读取逻辑要对齐。transform可以后续扩展比如水平翻转、亮度抖动但要注意翻转字符会导致标签语义变化验证码不能随便翻转。3.3 训练一个浅层 CNN损失函数、优化器与收敛判断有了数据和模型训练循环本身并不复杂。关键点用 Adam 优化器时学习率不要给太大0.001 左右起步并且每次 epoch 结束保存最佳权重。验证码识别是个多分类问题所以我用“按字符位置求 CrossEntropy”的思路而不是把整串验证码当成一个类。# train.py # 训练主循环分批喂数据每个位置独立算交叉熵保存验证集准确率最高的模型 import torch import torch.nn as nn from torch.optim import Adam from torch.utils.data import DataLoader from torchvision import transforms from model import CaptchaCNN from dataset import CaptchaDataset CHARS ABCDEFGHJKLMNPQRSTUVWXYZ23456789 char_to_idx {ch: i for i, ch in enumerate(CHARS)} transform transforms.Compose([ transforms.Resize((40, 120)), transforms.ToTensor(), transforms.Normalize(mean[0.5, 0.5, 0.5], std[0.5, 0.5, 0.5]) ]) train_set CaptchaDataset(./data_captcha/train, char_to_idx, transformtransform) val_set CaptchaDataset(./data_captcha/val, char_to_idx, transformtransform) train_loader DataLoader(train_set, batch_size64, shuffleTrue, num_workers2) val_loader DataLoader(val_set, batch_size64, shuffleFalse, num_workers2) model CaptchaCNN(num_classeslen(CHARS), num_chars4) device torch.device(cuda if torch.cuda.is_available() else cpu) model model.to(device) criterion nn.CrossEntropyLoss() optimizer Adam(model.parameters(), lr0.001) best_acc 0.0 for epoch in range(30): model.train() total_loss 0.0 for imgs, labels in train_loader: imgs, labels imgs.to(device), labels.to(device) optimizer.zero_grad() logits model(imgs) # [N, 4, num_classes] loss criterion(logits.permute(0, 2, 1), labels) loss.backward() optimizer.step() total_loss loss.item() # 验证逻辑 model.eval() correct 0 total 0 with torch.no_grad(): for imgs, labels in val_loader: imgs, labels imgs.to(device), labels.to(device) logits model(imgs) pred logits.argmax(dim-1) # [N, 4] correct (pred labels).all(dim1).sum().item() total labels.size(0) acc correct / total print(fepoch {epoch1:02d} | loss {total_loss:.4f} | val_acc {acc:.4f}) if acc best_acc: best_acc acc torch.save(model.state_dict(), best_captcha.pth) print(fbest_acc {best_acc:.4f})逻辑说明criterion(logits.permute(0, 2, 1), labels)这行很关键。CrossEntropyLoss 期望输入维度是[batch, num_classes, 4]而模型输出是[batch, 4, num_classes]所以要转置一下。验证时用argmax(dim-1)取出每个位置最可能的字符索引all(dim1)表示整串完全正确才算 1 个样本预测成功这个要求和实际使用场景一致。参数说明batch_size64在 GPU 上合适CPU 上建议降到 16 或 8。num_workers2如果 Windows 报错改成 0。epochs30对合成数据通常足够当 val_acc 连续 5 轮不涨可以提前停止。学习率 0.001 是 Adam 的常见起点如果损失发散就降到 0.0001。3.4 推理单张图片加载权重输出字符串训练完成后使用环节反而要做得足够简单。加载模型权重对单张图片做预处理前向一次把四个位置的索引映射回字符。# inference.py # 加载权重读单张验证码图片输出完整字符串 import torch from torchvision import transforms from PIL import Image from model import CaptchaCNN CHARS ABCDEFGHJKLMNPQRSTUVWXYZ23456789 idx_to_char {i: ch for i, ch in enumerate(CHARS)} model CaptchaCNN(num_classeslen(CHARS), num_chars4) model.load_state_dict(torch.load(best_captcha.pth, map_locationcpu)) model.eval() transform transforms.Compose([ transforms.Resize((40, 120)), transforms.ToTensor(), transforms.Normalize(mean[0.5, 0.5, 0.5], std[0.5, 0.5, 0.5]) ]) def predict(img_path: str) - str: img Image.open(img_path).convert(RGB) x transform(img).unsqueeze(0) # 加 batch 维度 with torch.no_grad(): logits model(x) # [1, 4, num_classes] pred_indices logits.argmax(dim-1).squeeze(0).tolist() return .join(idx_to_char[i] for i in pred_indices) if __name__ __main__: print(predict(./sample.png))逻辑说明unsqueeze(0)给单张图补一个 batch 维度因为模型是[N, 3, 40, 120]的输入。argmax拿出的 4 个索引再通过反向映射表换成字符。整个推理过程没有循环一次前向就出结果速度在 CPU 上也是毫秒级。参数说明map_locationcpu是为了让在 GPU 上训练的权重也能在纯 CPU 环境加载。如果图片尺寸不统一Resize会强制拉伸可能略微降低准确率稳妥起见可以在预处理里做中心裁剪或等比缩放填充但合成数据场景下直接拉伸也行。3.5 训练参数的几个建议值下面这张参数表是我跑这类项目时的默认配置。它不是最优解但能稳定收敛适合做基线。参数建议值说明图像尺寸40×120高度 40宽度按字符数 ×30字符集去掉 0/O/1/I减少混淆提升收敛速度Batch Size64显存不够就降到 16学习率0.001Adam 默认启动值Epoch30验证集不涨就提前停Dropout0.5只加在全连接层池化层2×2 MaxPool两次下采样参数之间是联动的。比如字符集从 4.7 万降到 3.4 万同样模型收敛速度更快准确率也会高一点。图像尺寸如果压缩到 30×80推理更快但准确率可能下降。改动任何一项都要重新跑基线不要只调一个。4. 字符切分式与端到端 CNN两条路线的选型对比4.1 老路子的致命伤切分一旦出错整串报废很多传统 OCR 项目把验证码识别拆成“切分 单字符分类”两步。先是二值化再做连通域分析或投影切分把图片切成单个字符然后逐个交给分类器。这套路子的逻辑是清晰的但验证码设计者最喜欢在这种过程里埋雷字符挨得近干扰线和字符粘连投影切分直接失效。处理粘连的常用方案是滴水算法或基于深度学习的切分点预测但这等于把问题从“识别”转移到了“检测”复杂度不减反增。而且每个字符的宽度不固定切分边界稍微偏一点后面分类器再强也没用。血泪经验是不要试图用“完美切分”来解决问题端到端模型绕过了这一步。4.2 端到端 CNN 的思路一次预测四个位置固定长度验证码的端到端方案很简单模型直接输出[4, num_classes]每个位置独立预测。它不切字符而是让卷积层自己学会“一个字符大概在哪个位置激活”。即便字符有轻微重叠CNN 也能根据上下文猜出内容。实现上这种方案比切分式少了很多中间环节训练数据只需要“图片 整串标签”。推理时一次前向即可得到全部字符。对我来说这是固定长度验证码默认首选路线。前面几章的代码都是围绕这个方案展开的。4.3 变长验证码和滑块验证码是另一个问题域如果验证码长度不固定端到端 CNN 直接输出[4, num_classes]就不合适。常见做法是把编码器换成带 CTC Loss 的序列模型比如 CNN LSTM CTC。字符长度可变时CTC 会计算所有对齐路径的概率之和模型自己决定每个位置输出什么字符或者输出空白。滑块验证码、点选文字这类行为式验证码则完全是另一套体系。它们依赖用户行为轨迹或图片语义理解普通 CNN 可以做初步的目标检测定位但真正的难点是轨迹仿真交互行为。如果项目目标是应对这类验证码建议去看目标检测方向比如 YOLO 系列做缺口定位而不是在本方案里硬套。验证码类型推荐方案原因固定 4 位字符浅层 CNN 端到端分类实现简单收敛快变长字符验证码CNN LSTM CTC处理长度不确定性滑块验证码目标检测 轨迹模拟关键是行为不是字符点选图片文字目标检测 分类定位和语义都要5. CNN 验证码识别避坑指南五个最容易翻车的地方5.1 坑一生成分布和真实分布不一致训练成绩虚高现象合成验证码集上准确率 98%换一批手工收集或线上截图就会掉到 60% 以下。原因合成数据太“干净”字体固定、噪声模式单一、背景颜色范围窄CNN 把训练集里的背景特征也学了进去。解决第一增大生成时随机性字体、字号、颜色、噪声类型各随机取第二加入少量真实截图参与训练第三评估时单独留一套真实图片集合当作测试集不要用合成数据混在一起测。另外ImageFilter.SMOOTH 这类滤波是全局的如果真实验证码有动态模糊还得加入实际对应的模糊算子。5.2 坑二字符集混淆0 和 O、1 和 I 分不清现象单独跑“数字验证码”准确率很高把大小写字母加进来之后0 和 O、1 和 L、1 和 I 之间会互相误判。原因这些字符在视觉上本来就相似浅层 CNN 的特征区分度不足。如果训练数据里两类样本数量差不多模型会倾向于输出概率相似的结果。解决最直接的做法是把易混淆字符从字符集中去掉这也是很多真实验证码系统故意用同型字符替代的原因。如果业务不允许去掉就得给模型加容量比如把通道数从 32 提到 64或者加一层卷积。还有一个细节字符集里的相似字符应尽量在同一个 epoch 内反复出现这依赖 shuffle 是否彻底。5.3 坑三数据增强过度把字符变换坏了现象加了随机旋转 30 度、随机透视变换之后训练损失不降反升。原因验证码里的字符本来就小旋转超过 15 度、扭曲幅度过大会把字符变成难以辨认的图案模型学不到有效特征。数据增强不是越猛越好。解决控制旋转角度在 ±10 度缩放范围 0.9 到 1.1。不要做水平翻转因为字符方向本身很重要。如果确实需要增强优先考虑颜色抖动亮度、饱和度、对比度这对鲁棒性有帮助且不会破坏字符结构。建议增强前后各跑一次基线用数字对比而不是感觉说话。5.4 坑四随机种子不固定复现全靠碰运气现象同一份代码、同一批数据前后跑两遍best_acc 差了 2 个百分点。原因模型初始化、数据加载顺序、数据增强里的随机操作都没有固定种子所以每次训练路径完全不同。尤其在验证码生成阶段随机点位置和字符偏移量每次都不一样。解决在训练脚本开头固定所有随机源。常见做法是设置random.seed(42)、numpy.random.seed(42)、torch.manual_seed(42)并把 DataLoader 的shuffle也置为确定性的。数据生成阶段生成一次之后保存成文件不要在训练前临时批量生成否则验证集也会漂移。5.5 坑五验证集被“污染”成绩标定无效现象训练集准确率 99%验证集准确率 95%单张测试图却肉眼可见地识别错。原因验证集样本可能和训练集来自同一个生成批次甚至相同的种子导致同几张图出现在两边模型相当于“考了原题”。解决验证集和训练集必须分开生成且互不重叠。按时间戳分开最靠谱每天生成一批数据连续 5 天的做训练第 6 天单独做验证。不要按文件名随机打乱因为很可能把同一批生成的同主题图片分散到两边。最简单粗暴的检查方式是取训练集和验证集文件名的哈希交集确保交集为空。6. 把模型从“能跑”练到“能交差”迁移学习与验收技巧当自训练浅层 CNN 效果达到瓶颈比如 95% 就上不去迁移学习往往能拉到 99%。在 ImageNet 上预训练的 ResNet18 腿部卷积提取的是通用边缘纹理语义对字符这种图形也有一定迁移性。做法是把 ResNet18 的最后一层全连接换掉输出到 4×num_classes冻结前 3 层只训练后面部分。这批微调代码量不大但收敛速度很快。# finetune.py # 加载预训练 ResNet18替换分类头冻结 backbone 前段做迁移 from torchvision import models import torch.nn as nn model models.resnet18(pretrainedTrue) # 替换全连接层输出维度变成位置数 * 字符类别数 model.fc nn.Linear(model.fc.in_features, 4 * len(CHARS)) # 冻结前三个 res 层只训练 fc 和最后两个 stage for name, param in model.named_parameters(): if layer4 not in name and fc not in name: param.requires_grad False验证时不过分看重整串准确率真正该先看的指标是“字符级准确率”预测字符串与标签逐位对比统计正确字符占比。比如能整串对 90%但字符级 98%说明偶发错误集中在某几位如果字符级只有 90%说明模型整体还差火候。这类指标在验证码场景下适合用混淆矩阵辅助分析把常搞错的字符对找出来。最后说一条我的习惯验证码识别这类项目代码本身不难难的是把评价体系搭对。没有一套干净可信的验证集任何调参都是在盲人摸象。我每次接手这类业务都会先在生成器上花半小时确认分布和标签对应关系再开始训练——这比调结构省下的时间多得多。希望这篇能帮你少踩几个坑。本文还有配套的精品资源点击获取