简介：Python使用CNN神经网络识别验证码的完整项目源码，面向高校毕业设计、期末大作业及课程设计场景，适合具备Python与深度学习基础的开发者。方案训练了一套端到端验证码识别模型，结合深度学习与大量训练数据，纯数字识别率可达99.99%，代码注释详细，新手也能快速上手。压缩包共50个文件，包含40张图片样本、8个Python脚本、1份Markdown文档及gitignore配置，整体仅592KB，内容涵盖数据集、模型训练、预测测试与单热编码等模块，目录结构清晰，部署简便。已有114人学习下载；项目内提供模型定义、数据生成、训练、预测与测试等脚本，可直接执行完成从数据准备到验证码识别的完整流程，训练过程包含单热编码与准确率评估，并支持自定义验证码设置。文档说明对项目结构、运行环境与使用步骤进行了整理，降低上手门槛；系统功能完善、运行稳定，既可直接作为毕业设计成果提交，也可作为深度学习图像识别项目的高分参考实现，具备良好的实用性与展示价值。

1. 验证码识别的数据本质：先认清要解决的是什么问题

很多人第一次接触验证码识别，第一反应是找现成的 OCR 库，但传统 OCR 在扭曲字符、干扰线、粘连背景面前很快就失效了。原因在于验证码的生成逻辑本身就是反 OCR 的：字符被旋转、缩放、叠加噪声，甚至不同字符之间还会互相穿插，传统模板匹配和特征工程根本扛不住这种分布外变化。这个项目选择用 CNN 做端到端识别，跳过了手工特征设计，直接把验证码图片的像素矩阵喂给网络，让卷积核自己去学字符的笔画、边缘和纹理组合。纯数字场景能到 99.99%，背后不是模型有多玄，而是数据生成和模型结构对齐得好。这个项目适合两类人：一是拿它当课程设计、毕业设计交作业，二是想搞清楚 CNN 在真实图像任务上从数据处理到模型部署全流程的开发者。下面按文件逐个拆，每个脚本在管线里承担什么角色，改哪些参数会影响识别率，都会说清楚。

2. 数据管线是识别率的地基：captcha_gen 与 my_dataset 的分工

2.1 数据从哪来：captcha_gen 的生成逻辑与参数

训练识别模型第一步不是搭网络，而是解决训练数据问题。手动去网站抓验证码样本，要面对标注成本高、样本分布不均、版权和合规风险三重麻烦。常规做法是本地模拟生成，captcha_gen.py 干的就是这个活：用 Python 的 PIL 库把随机数字画到画布上，再叠加干扰线和噪点，最后保存成图片。

# captcha_gen.py 核心逻辑（示意）
from PIL import Image, ImageDraw, ImageFilter
import random, string

def gen_captcha(text, path):
    img = Image.new('RGB', (100, 40), (255, 255, 255))
    draw = ImageDraw.Draw(img)
    for i, ch in enumerate(text):
        # 每个字符独立随机位移和旋转，模拟真实验证码的字符偏移
        draw.text((10 + i * 20 + random.randint(-3, 3), 
                   random.randint(2, 10)), ch, fill=(0, 0, 0))
    # 随机干扰线，长度和位置都随机，增加识别难度
    for _ in range(3):
        draw.line([(random.randint(0, 100), random.randint(0, 40)),
                   (random.randint(0, 100), random.randint(0, 40))], 
                  fill=(0, 0, 0), width=1)
    img = img.filter(ImageFilter.GaussianBlur(radius=0.5))
    img.save(path)

这段代码里有三个参数直接影响模型最终效果。

• 字符位置偏移量： random.randint(-3, 3) 控制每个字符在水平方向上的偏移，偏移越大，字符间距越不规律，模型就越难依赖位置先验。
• 干扰线数量和宽度：这里画了 3 条线，宽度是 1 像素。真实验证码的干扰线往往更多更粗，训练时可以把数量加到 5、6 条，让模型见过更脏的输入。
• 高斯模糊半径：0.5 是轻微模糊，模拟图片压缩或传输过程中的质量损失，太小起不到增强作用，太大字符边缘糊掉反而让模型学不到干净特征。

2.2 图片怎么进模型：my_dataset 的加载与预处理

验证码图片生成好了，不能直接喂给网络。原始图片是三通道 RGB，尺寸未统一，像素值范围是 0 到 255，直接训练会导致两个问题：一是通道数多带来多余计算量，二是像素值范围差异大让梯度更新不稳定。captcha_setting.py 在这里充当配置中心，把图片尺寸、通道数、字符长度统一写死，my_dataset.py 按这套配置逐张读图、转矩阵、归一化。

# captcha_setting.py 配置项（示意）
IMAGE_HEIGHT = 40
IMAGE_WIDTH = 100
CHAR_SET_LEN = 10  # 0-9 共 10 类
MAX_CAPTCHA = 4    # 每个验证码固定 4 个字符

# my_dataset.py 数据加载（示意）
import numpy as np
from PIL import Image

def load_image(path):
    img = Image.open(path).convert('RGB')
    img = img.resize((IMAGE_WIDTH, IMAGE_HEIGHT))
    arr = np.array(img) / 255.0   # 归一化到 [0, 1]
    return arr

convert('RGB') 把图片强制转成三通道，防止灰度图或 RGBA 图在输入维度上不一致； resize 统一到 100×40； / 255.0 是最大最小归一化，让所有像素值落在 0 到 1 之间。这里有个常见误区：有人直接用灰度图，把三通道变单通道来省显存，对纯数字验证码确实也能跑，但对带彩色背景的验证码，颜色信息本身是有区分度的，强行转灰度等于丢弃了一部分特征，识别率会掉。

2.3 标签的数学化：one_hot 编码为什么是必须的

分类任务里标签不能直接用整数 3、7 这样的数值去算交叉熵，因为数字大小在数学上会被网络误解为距离关系——4 和 5 的距离被当成 1，4 和 9 的距离被当成 5，这跟字符本身的意义毫无关系。one_hot_encoding.py 把每个字符转成长度为 10 的向量，4 个字符拼接成 40 维向量，损失函数才能正确计算预测分布和真实分布之间的差异，也才能让模型对每个位置的分类决策独立。

# one_hot_encoding.py（示意）
def char2pos(c):
    if c == '_':
        return 10
    k = ord(c) - 48
    return k

def encode(text):
    vector = np.zeros(MAX_CAPTCHA * CHAR_SET_LEN)
    for i, ch in enumerate(text):
        idx = i * CHAR_SET_LEN + char2pos(ch)
        vector[idx] = 1
    return vector

代码的逻辑是：每个字符在 40 维向量里占据一段长度为 10 的区间，第 i 个字符的类别决定这段区间里哪个位置是 1。 char2pos 里留了 _ 的位置，这是为了处理长度不足 4 的验证码，用下划线做填充符。实际训练里如果字符集固定是纯数字，这一支永远走不到，但保留它能让代码兼容变长验证码的数据集。

下表是这个项目几个核心脚本的责任划分，方便按需修改：

脚本文件	职责	常改参数
captcha_gen.py	生成训练图片和对应标签	干扰线数量、字符偏移量、模糊半径
captcha_setting.py	全局配置：尺寸、字符集、长度	IMAGE_WIDTH、CHAR_SET_LEN
my_dataset.py	读图、resize、归一化、批量加载	归一化方式、是否做数据增强
one_hot_encoding.py	标签转 one-hot 向量	字符集范围、向量长度
captcha_cnn_model.py	定义 CNN 网络结构	卷积核数量、全连接层维度
captcha_train.py	训练入口：加载数据、编译、fit	batch_size、epochs、学习率

3. CNN 结构拆解：captcha_cnn_model 的网络设计逻辑

3.1 输入层与卷积核的维度推演

网络输入是 100×40×3 的张量，经过第一层卷积后得到 98×38×32 的特征图。这里的维度变化是有规律的：3×3 卷积核不改变通道数以外的空间维度计算方式是 (W - K + 2P) / S + 1 ，没有 padding 时宽度从 100 变 98，高度从 40 变 38。第一层用 32 个卷积核，等于把原始 RGB 像素空间映射到 32 个不同的特征子空间，每个子空间关注一种模式，比如水平笔画、竖直笔画、弧形边缘。激活函数用 ReLU，因为验证码里的字符特征相对稀疏，ReLU 的稀疏激活特性能让网络更聚焦在真正有笔画的区域，在卷积层里省掉多余计算。

# captcha_cnn_model.py（示意）
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Conv2D, MaxPooling2D, Flatten, Dense, Dropout

def build_model():
    model = Sequential([
        Conv2D(32, (3, 3), activation='relu', input_shape=(40, 100, 3)),
        MaxPooling2D(pool_size=(2, 2)),
        Conv2D(64, (3, 3), activation='relu'),
        MaxPooling2D(pool_size=(2, 2)),
        Flatten(),
        Dense(128, activation='relu'),
        Dropout(0.5),
        Dense(40, activation='sigmoid')
    ])
    model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])
    return model

注意这里输出层只有一层 Dense(40)，没有用 softmax，损失函数选了 binary_crossentropy 而不是 categorical_crossentropy 。这个选择很关键：4 个字符的类别判断本质上是 4 个独立的 10 分类问题，但代码把它展开成一个 40 维的多标签二分类问题，每个维度独立判断是不是 1。 sigmoid 对每个维度输出 0 到 1 的概率，比单层 softmax 更容易优化，因为网络不需要同时约束 40 维概率和为 1，各维度独立更新误差，训练噪声更小。

3.2 池化、Dropout 与参数量的平衡

第二层卷积后面紧跟池化和 Dropout。 MaxPooling2D(pool_size=(2, 2)) 把特征图尺寸减半，100×40 经过两层池化后变成 25×10，参数量降到原来的四分之一。验证码图片本身就小，特征图再大也是浪费显存，池化的真正作用是给模型提供平移不变性——字符往左偏 2 个像素、往右偏 3 个像素，池化后特征响应依然近似，这比靠数据增强硬扛更省算力。

Dropout(0.5) 放在全连接层之前，训练时随机丢弃 50% 的神经元，迫使网络不依赖单一特征通路。验证码识别的难点在于字符间相似度高，比如 0 和 O、1 和 I，如果某个神经元过度拟合了某张图的噪声，Dropout 能强制网络学到冗余的、分布更均匀的特征表达。这里 0.5 是经验值，在 128 维全连接层上偏高但不过分，因为 Dense(128) 本身容量不大，丢弃太多反而欠拟合。

3.3 输出层维度与损失计算的对应关系

输出层 Dense(40) 的 40 对应 MAX_CAPTCHA * CHAR_SET_LEN ，也就是 4 个位置乘以 10 个类别。推理时从网络拿到 40 个概率值，需要按位置切分：#### 预测阶段位置切分与概率转字符

# captcha_predict.py 预测阶段的后处理（示意）
def decode(pred):
    pred = pred.reshape(MAX_CAPTCHA, CHAR_SET_LEN)
    text = ''
    for i in range(MAX_CAPTCHA):
        idx = np.argmax(pred[i])
        text += str(idx)
    return text

模型输出的 40 维向量经过 reshape(4, 10) 变成 4 行 10 列，每一行是某个字符位置上的 10 个概率， argmax 取最大概率对应的数字作为该位置的预测值。这套设计下，模型实际是同时学习 4 个分类子任务，但共享底层的卷积特征提取器，权重共享让数据利用率提高了 4 倍，这也是小数据集能训出高识别率的原因。

4. 训练、验证与性能边界：captcha_train 到 captcha_test 的完整闭环

4.1 训练入口与超参数设置

训练脚本把前面几块拼在一起，核心是告诉模型看什么、学多久。batch_size 的选择直接决定训练速度和稳定性：太小导致梯度震荡，损失曲线像锯齿；太大则每个 batch 的梯度方向过于平均，收敛变慢。这个项目场景下 64 是合理起点，验证码生成是内存操作，64 张图一个 batch 既能让梯度估计稳定，又不会撑爆显存。epochs 不要从一开始就设固定值，用验证集监控，保存最佳权重。

# captcha_train.py（示意）
model.fit(X_train, y_train,
          batch_size=64,
          epochs=30,
          validation_data=(X_val, y_val),
          callbacks=[
              EarlyStopping(monitor='val_loss', patience=3),
              ModelCheckpoint('best_model.h5', save_best_only=True)
          ])

EarlyStopping 在验证集损失连续 3 个 epoch 不再下降时停止训练，防止在训练后期过拟合； ModelCheckpoint 保存验证集表现最好的权重，避免最后几个 epoch 过拟合波动导致模型变差。这两个回调是标配，但很多人写训练脚本时会漏掉，结果拿着最后一个 epoch 的权重去预测，识别率比训练中途的检查点还低。

4.2 识别率、损失与过拟合的判断方法

训练日志里有两个指标要分开看：accuracy 是训练集上的正确率，val_accuracy 是验证集上的正确率。两者都高说明模型学到了通用规律；train 高 val 低则是过拟合，模型背下了训练图，没见过的新图认不出。纯数字 4 位验证码总共有 10^4 = 10000 种组合，生成 10 万张图时平均每类有 10 张，类别平衡，val_loss 的参考价值很大。

下表是训练调参时常见现象的对照，遇到对应症状直接改对应参数：

现象	可能原因	调整方向
损失不下降	学习率过大或数据归一化遗漏	学习率降到 0.0001，检查像素是否除 255
训练准确率 100%，验证准确率 80%	过拟合	加大 Dropout，增加干扰线让数据更复杂
val_loss 震荡剧烈	batch_size 太小	batch_size 翻倍到 128
识别速度慢	网络太深或图片太大	减少卷积层，缩小输入尺寸到 80×32

4.3 训练数据量与生成器增强的边界

这个项目的训练数据是实时生成的，每轮 epoch 喂给模型的是全新一批验证码，天然具备无限数据增强的效果。干扰线的位置、字符的偏移每次随机，模型每个 epoch 看到的输入都不一样，过拟合风险大幅降低。但这也带来一个坑：验证集必须固定，不能每次都用随机生成的图片，否则模型可能在验证集上看过的数据比训练集还多，val_loss 失去参考价值。做法是先固定生成一万张图做验证集，训练过程中不再变动。

显存不足时优先砍全连接层：把 Dense(128) 改成 Dense(64)，参数量直接减半，卷积层的特征提取能力几乎不受影响。如果显存还是不够，再把输入尺寸从 100×40 缩到 80×32，但要注意字符间距也会等比缩小，太挤时模型会把相邻字符的特征混在一起，识别率会掉 1 到 2 个百分点。

4.4 字符集扩展时的维度联动

如果想把纯数字扩展成数字加字母，改动不只是生成器， captcha_setting.py 的 CHAR_SET_LEN 要从 10 改成 36， one_hot_encoding.py 里的 char2pos 要处理字母到数字的映射， captcha_cnn_model.py 的输出层要从 40 改成 MAX_CAPTCHA * 36 。这三个文件必须同步改，少一个维度就对不上，报错往往不是维度不匹配就是损失函数直接算出 NaN。字母和数字一起识别时，O 和 0、I 和 1 的区分度会显著拉低识别率，建议在小写字母上做区分，或干脆去掉易混淆字符，这在真实项目里是常规操作。

5. 单张预测、批处理与部署到真实环境的细节

5.1 captcha_predict 与 captcha_test 的两层验证

captcha_predict.py 是单张图片入口，适合在本地拿一张验证码图跑通链路；captcha_test.py 是批量验证脚本，对大量样本统计整体识别率。实际使用时两者都要跑，单张能确认模型没有保存或加载错误，批量能确认模型是真的能泛化而不是碰运气。批量测试要注意统计口径：一个验证码 4 个字符全部正确才算通过，还是按字符算正确率。按字符算正确率虚高，按完整验证码算才是真实可用性指标。

python captcha_predict.py number.png
python captcha_test.py --num 1000

这两条命令分别对应单样本推理和千张图批量评估。 --num 1000 是常见的参数设计，测试数据量越大，识别率统计越稳定，但每次测试生成新图，结果会和训练时略有浮动。

5.2 识别结果与置信度的配合使用

模型输出的 40 维概率可以直接拿来判断这次识别是否可信：如果某个位置的最大概率只有 0.4，说明这个字符在卷积特征里和多个类别的响应都接近，模型也不确定，这时让用户重新输入或跳过，比强行给出一个可能错误的答案更友好。实操上设定阈值 0.7：4 个位置概率全部高于阈值才接受结果，否则判定识别失败。这种做法能把 95% 的正确率提升到实际可用层面，因为系统不再吐出低置信度的错误结果。

5.3 把预测脚本改造成接口服务的三个注意点

课程设计交完作业后，如果想让这个模型跑成线上服务，有三个方面要单独处理。第一是模型加载只做一次，不要在每次请求时重新 load_model ，磁盘 IO 和内存分配都会拖慢响应；第二是输入图片的预处理要和训练时完全一致，线上收到的验证码图往往尺寸不是 100×40，要先 resize，再归一化；第三是字符集的映射表要固定，训练时数字 0 到 9 的 one-hot 顺序如果换了，线上推理也要同步换，否则预测出来的全是乱码。用 Flask 或 FastAPI 包一层 HTTP 接口， predict 函数收图片字节流，返回识别字符串和置信度，整个项目的实用价值就完整了。

本文还有配套的精品资源，点击获取