简介这份Python源码资源聚焦基于知识蒸馏的目标检测模型增量深度学习方法面向人工智能、计算机及相关专业的学生、教师与企业研发人员尤其适合正在做毕设、课程设计或希望进阶目标检测与模型压缩方向的学习者。项目围绕VGG16主干网络结合知识蒸馏与剪枝策略提供从训练到推理的完整实现并附有各阶段运行说明文档便于理解增量学习流程与特征蒸馏细节。资源包共476个文件以189个py源码和192个pyc编译文件为核心辅以xml配置、jpg示例图、so与o等编译产物、c与pyx底层扩展及docx说明文档压缩包约5.99MB目录结构清晰便于按模块查阅。目前已有262人学习下载。读者可据此掌握知识蒸馏在目标检测增量任务中的落地方式参考运行说明完成环境配置与实验复现并在此基础上修改网络结构或蒸馏策略用于毕设、课设或项目初期立项演示。1. 知识蒸馏做增量检测这份源码到底能跑出什么如果你手头有一份标注好的旧数据集训出来的检测器现在业务又加了三类新目标重训全量数据既费卡又怕旧类掉点那这份基于知识蒸馏的目标检测增量深度学习 Python 源码就是冲这个场景来的。它把教师模型的知识迁移、VGG16 骨干的通道剪枝、Faster R-CNN 的增量训练串成了一条可复现的链路配套四份运行说明文档分别对应剪枝、全阶段特征蒸馏和基础蒸馏流程。适合正在做毕设、课设或者想拿一套能跑通的增量检测基线做二次开发的人。代码经过完整运行验证不是那种只丢几个脚本、缺权重缺配置的残缺包。2. 环境与目录先把 VGG16 剪枝链路搭起来2.1 为什么这套代码选 VGG16 而不是直接上 ResNet目标检测的增量学习里骨干网络的选择直接决定蒸馏信号好不好传。VGG16 结构规整、特征层语义清晰做通道剪枝时每一层卷积的通道重要性容易量化教师和学生之间的中间特征对齐也更好实现。相比之下 ResNet 的残差连接会让剪枝后的特征分布偏移更复杂蒸馏损失不好收敛。这份源码把 VGG16 作为统一骨干剪枝和蒸馏共用同一套特征提取接口省掉了跨结构对齐的麻烦。从工程角度看VGG16 参数量大、冗余高剪枝空间明显剪完之后的模型体积和推理耗时下降幅度直观可见适合拿来做增量学习的对比实验。如果你后面想换成 MobileNet 或 ResNet需要改的是骨干注册部分和特征层索引蒸馏损失函数本身不用动。2.2 环境依赖与安装步骤先确认 Python 版本。这套代码基于 PyTorch 1.x 系列编写建议用 Python 3.7 或 3.8太新的版本可能在编译_nms_gpu_post.c这类 CUDA 扩展时报错。我一般会单独建一个虚拟环境避免和系统里的包打架。# 创建并激活虚拟环境 conda create -n kd_det python3.8 -y conda activate kd_det # 安装 PyTorch按你的 CUDA 版本选对应命令 pip install torch1.10.0 torchvision0.11.0 # 安装检测框架依赖源码里通常带 requirements pip install -r requirements.txt # 编译 NMS 的 CUDA 扩展这一步最容易翻车 cd lib python setup.py build_ext --inplacesetup.py build_ext --inplace会把_nms_gpu_post.c编译成本地可导入的扩展模块。参数--inplace表示编译产物直接放在源码目录方便 Python 直接 import。如果这一步报nvcc not found说明 CUDA 工具链没配好需要把 CUDA 的 bin 目录加进 PATH。如果报架构不匹配检查setup.py里的arch参数是否和你显卡的计算能力一致。2.3 目录结构与四份说明文档的对应关系源码包里四份 docx 说明不是重复的各自对应一条独立链路文档名称对应流程关键脚本knowledge-distillation-prune-VGG16运行说明剪枝后蒸馏prune 相关脚本simple-faster-rcnn-prune-VGG16运行说明剪枝版检测器训练Faster R-CNN 训练入口knowledge-distillation-VGG16_AllStageFeature运行说明全阶段特征蒸馏多阶段特征对齐脚本knowledge-distillation-VGG16运行说明基础蒸馏标准 KD 训练入口建议按「先跑基础蒸馏 → 再跑剪枝 → 最后跑全阶段特征蒸馏」的顺序来因为全阶段特征蒸馏对教师模型权重和中间层缓存有依赖前面流程跑通后环境才是完整的。提示下载后先打开 README.md再对照 docx 说明确认脚本路径不要直接盲跑训练入口。3. 知识蒸馏增量训练损失函数与训练循环怎么改3.1 蒸馏损失在检测任务里的落点分类任务的蒸馏通常只在 logits 上做 KL 散度但目标检测的输出包含分类分支和回归分支直接照搬分类蒸馏会丢位置信息。这份源码的做法是在分类 logits 和回归输出上都加蒸馏项同时可选地在中间特征层加对齐损失。教师模型是旧类训好的检测器学生模型是加了新类、结构可能被剪枝的新模型。蒸馏温度 T 控制软标签的平滑程度。T 太大新旧类的概率分布都被抹平学生学不到判别性T 太小又退化成硬标签。常见做法是 T 取 2 到 4配合蒸馏损失权重 alpha 在 0.5 到 1.0 之间调。源码里这两个参数一般放在配置文件的KD段改的时候两个一起动别只调一个。3.2 增量训练循环的关键改动增量学习的核心矛盾是新类数据有标注旧类数据可能只有少量样本甚至没有。这份代码假设旧类保留了一部分样本通过蒸馏约束学生模型在旧类上的输出不要偏离教师太远。# 增量训练循环的核心逻辑简化示意 for images, targets in dataloader: # 学生前向 student_cls, student_reg student(images) # 教师前向不计算梯度 with torch.no_grad(): teacher_cls, teacher_reg teacher(images) # 检测本身的损失只在新类标注上算 det_loss detection_loss(student_cls, student_reg, targets) # 蒸馏损失分类用 KL回归用 MSE kd_cls F.kl_div( F.log_softmax(student_cls / T, dim1), F.softmax(teacher_cls / T, dim1), reductionbatchmean ) * (T * T) kd_reg F.mse_loss(student_reg, teacher_reg) # 总损失加权 loss det_loss alpha * (kd_cls beta * kd_reg) loss.backward() optimizer.step()T * T这个缩放是为了让蒸馏损失的梯度量级和温度解耦这是 Hinton 蒸馏的标准做法漏掉它会导致不同 T 下需要重新调 alpha。beta控制回归蒸馏的权重检测任务里回归蒸馏通常比分类蒸馏更敏感建议从 0.1 开始试。det_loss只在新类标注上计算旧类靠蒸馏约束这是增量学习的标准范式。3.3 教师模型权重加载与冻结教师模型在整个增量训练过程中必须冻结否则蒸馏目标会漂移。源码里一般通过requires_grad False和eval()两步来保证。加载教师权重时注意 key 的匹配如果教师是剪枝前的模型、学生是剪枝后的模型两者的 state_dict 结构不同不能直接load_state_dict需要按层名映射。# 加载教师权重并冻结 teacher.load_state_dict(torch.load(teacher_vgg16.pth), strictFalse) teacher.eval() for p in teacher.parameters(): p.requires_grad False # 学生模型如果是剪枝后的结构需要单独加载剪枝权重 student.load_state_dict(torch.load(student_pruned.pth), strictFalse)strictFalse允许部分层不匹配适合剪枝前后结构有差异的情况。但要注意如果关键层没加载上蒸馏信号就是错的训练 loss 会异常。加载完打印一下缺失的 key 列表确认没有分类头和回归头缺失。4. 剪枝与全阶段特征蒸馏参数怎么设、坑在哪4.1 通道剪枝的粒度与蒸馏的配合剪枝和蒸馏不是两个独立步骤剪枝后的学生模型容量下降如果蒸馏权重还按原模型的比例设学生会学不动。常见做法是剪枝率控制在 30% 到 50% 之间剪得太狠蒸馏也救不回来。剪枝时按卷积层通道的 L1 范数排序去掉范数最小的通道同时把对应的 BN 层和后续卷积的输入通道一起裁掉。全阶段特征蒸馏比基础蒸馏多了中间层的特征对齐。VGG16 有五个卷积阶段源码里的AllStageFeature说明对应的是在多个阶段都加特征蒸馏损失而不只是最后输出。这样学生模型在浅层就能学到教师的特征表达对小目标检测更友好。4.2 全阶段特征蒸馏的损失配置# 多阶段特征蒸馏损失 feature_loss 0 for s_feat, t_feat in zip(student_features, teacher_features): # 特征维度可能因剪枝不一致需要 1x1 卷积对齐 if s_feat.shape[1] ! t_feat.shape[1]: s_feat align_conv(s_feat) # 1x1 卷积把通道数对齐 feature_loss F.mse_loss(s_feat, t_feat.detach()) total_loss det_loss alpha * kd_cls gamma * feature_lossalign_conv是剪枝蒸馏里必须加的适配层因为剪枝后学生特征通道数变少直接和教师特征算 MSE 会维度报错。gamma控制特征蒸馏权重阶段越多每个阶段的权重应该越小否则浅层特征会主导整个损失。我一般让gamma随阶段深度递减浅层给 0.5深层给 0.1。4.3 训练参数与显存控制增量训练加上蒸馏显存占用比普通训练高因为要同时保留教师和学生的前向图。如果显存吃紧把教师前向放在torch.no_grad()里是必须的另外可以减小 batch size或者只对部分阶段做特征蒸馏。学习率方面学生模型如果是从剪枝权重初始化学习率要比从头训练小一个量级否则预训练权重会被冲掉。参数建议范围说明蒸馏温度 T2 ~ 4太大平滑过度太小退化成硬标签alpha0.5 ~ 1.0分类蒸馏权重beta0.1 ~ 0.5回归蒸馏权重gamma0.1 ~ 0.5特征蒸馏权重随阶段递减剪枝率30% ~ 50%超过 50% 蒸馏难以恢复精度学习率1e-4 ~ 1e-5从剪枝权重初始化时取小值5. 避坑与排查这几处翻车点我替你踩过了5.1 现象编译_nms_gpu_post.c报架构不匹配原因setup.py里的 CUDA arch 参数是按作者显卡写的和你的显卡计算能力不一致。解决找到setup.py里的-gencode参数按自己显卡的计算能力改比如 30 系显卡用sm_86。改完删掉 build 目录重新编译。5.2 现象蒸馏训练 loss 不降学生输出和教师完全不像原因教师权重没加载上或者教师模型没设成 eval 模式BN 层还在用 batch 统计量。解决加载权重后打印缺失 key确认分类头和回归头都在教师模型前向之前必须teacher.eval()否则 BN 的 running mean 会被更新蒸馏目标就漂了。5.3 现象剪枝后模型推理报通道数不匹配原因剪枝时只裁了卷积层输出通道没同步裁 BN 层和下一层卷积的输入通道。解决剪枝脚本里要维护一个通道索引映射每裁一层把受影响的后续层输入通道一起裁掉。源码里的剪枝脚本一般处理了这个问题但如果你自己改剪枝率要重新检查映射表。5.4 现象增量训练后旧类精度掉得厉害原因蒸馏权重 alpha 太小或者旧类样本保留太少学生模型在旧类上过拟合新数据。解决提高 alpha增加旧类样本比例或者对旧类分类 logits 单独加一个更强的蒸馏项。如果旧类完全没有样本那就不是这份代码能解决的了需要考虑零样本增量方法。5.5 现象全阶段特征蒸馏显存溢出原因多个阶段的特征图同时保留在显存里算 MSE加上教师和学生的前向图显存翻倍。解决减少同时蒸馏的阶段数或者把特征蒸馏改成离线缓存教师特征训练时只加载缓存。batch size 降到 2 或 1 也能缓解。注意改任何参数后先跑一个 epoch 看 loss 曲线别直接跑完整训练不然几小时白等。6. 验证蒸馏效果从 mAP 对比到特征可视化训练跑完不算完得验证蒸馏到底有没有起作用。我一般会做三组对比教师模型在旧类上的 mAP、学生模型不蒸馏直接微调的 mAP、学生模型加蒸馏后的 mAP。如果第三组明显高于第二组说明蒸馏信号有效如果第三组接近第一组说明学生已经学到了教师的旧类知识。# 评估脚本核心分别算新旧类的 mAP from eval_utils import compute_map # 旧类评估 old_map compute_map(student, old_class_dataloader, class_idsold_classes) # 新类评估 new_map compute_map(student, new_class_dataloader, class_idsnew_classes) print(f旧类 mAP: {old_map:.4f}, 新类 mAP: {new_map:.4f})class_ids参数用来区分新旧类评估时分开算才能看出增量学习有没有牺牲旧类。如果旧类 mAP 掉超过 5 个点回去调蒸馏权重。除了 mAP还可以可视化学生和教师在中间层的特征图看两者的响应区域是否接近这比单看数字更直观。另一个容易忽略的验证点是推理速度。剪枝加蒸馏之后模型参数量下降但实际推理耗时不一定线性下降因为蒸馏适配层和特征对齐可能引入额外计算。用torch.cuda.Event测一下端到端耗时确认剪枝带来的加速是真实的。从那以后我每次跑增量蒸馏都强制先跑一个 epoch 的 sanity check确认教师冻结、学生梯度正常、loss 在降再开完整训练。这套源码的四份说明文档把剪枝和蒸馏的链路拆得比较清楚按顺序跑基本能复现剩下的就是参数微调。希望帮到你。本文还有配套的精品资源点击获取
基于知识蒸馏与VGG16剪枝的Faster R-CNN增量检测源码实战
简介这份Python源码资源聚焦基于知识蒸馏的目标检测模型增量深度学习方法面向人工智能、计算机及相关专业的学生、教师与企业研发人员尤其适合正在做毕设、课程设计或希望进阶目标检测与模型压缩方向的学习者。项目围绕VGG16主干网络结合知识蒸馏与剪枝策略提供从训练到推理的完整实现并附有各阶段运行说明文档便于理解增量学习流程与特征蒸馏细节。资源包共476个文件以189个py源码和192个pyc编译文件为核心辅以xml配置、jpg示例图、so与o等编译产物、c与pyx底层扩展及docx说明文档压缩包约5.99MB目录结构清晰便于按模块查阅。目前已有262人学习下载。读者可据此掌握知识蒸馏在目标检测增量任务中的落地方式参考运行说明完成环境配置与实验复现并在此基础上修改网络结构或蒸馏策略用于毕设、课设或项目初期立项演示。1. 知识蒸馏做增量检测这份源码到底能跑出什么如果你手头有一份标注好的旧数据集训出来的检测器现在业务又加了三类新目标重训全量数据既费卡又怕旧类掉点那这份基于知识蒸馏的目标检测增量深度学习 Python 源码就是冲这个场景来的。它把教师模型的知识迁移、VGG16 骨干的通道剪枝、Faster R-CNN 的增量训练串成了一条可复现的链路配套四份运行说明文档分别对应剪枝、全阶段特征蒸馏和基础蒸馏流程。适合正在做毕设、课设或者想拿一套能跑通的增量检测基线做二次开发的人。代码经过完整运行验证不是那种只丢几个脚本、缺权重缺配置的残缺包。2. 环境与目录先把 VGG16 剪枝链路搭起来2.1 为什么这套代码选 VGG16 而不是直接上 ResNet目标检测的增量学习里骨干网络的选择直接决定蒸馏信号好不好传。VGG16 结构规整、特征层语义清晰做通道剪枝时每一层卷积的通道重要性容易量化教师和学生之间的中间特征对齐也更好实现。相比之下 ResNet 的残差连接会让剪枝后的特征分布偏移更复杂蒸馏损失不好收敛。这份源码把 VGG16 作为统一骨干剪枝和蒸馏共用同一套特征提取接口省掉了跨结构对齐的麻烦。从工程角度看VGG16 参数量大、冗余高剪枝空间明显剪完之后的模型体积和推理耗时下降幅度直观可见适合拿来做增量学习的对比实验。如果你后面想换成 MobileNet 或 ResNet需要改的是骨干注册部分和特征层索引蒸馏损失函数本身不用动。2.2 环境依赖与安装步骤先确认 Python 版本。这套代码基于 PyTorch 1.x 系列编写建议用 Python 3.7 或 3.8太新的版本可能在编译_nms_gpu_post.c这类 CUDA 扩展时报错。我一般会单独建一个虚拟环境避免和系统里的包打架。# 创建并激活虚拟环境 conda create -n kd_det python3.8 -y conda activate kd_det # 安装 PyTorch按你的 CUDA 版本选对应命令 pip install torch1.10.0 torchvision0.11.0 # 安装检测框架依赖源码里通常带 requirements pip install -r requirements.txt # 编译 NMS 的 CUDA 扩展这一步最容易翻车 cd lib python setup.py build_ext --inplacesetup.py build_ext --inplace会把_nms_gpu_post.c编译成本地可导入的扩展模块。参数--inplace表示编译产物直接放在源码目录方便 Python 直接 import。如果这一步报nvcc not found说明 CUDA 工具链没配好需要把 CUDA 的 bin 目录加进 PATH。如果报架构不匹配检查setup.py里的arch参数是否和你显卡的计算能力一致。2.3 目录结构与四份说明文档的对应关系源码包里四份 docx 说明不是重复的各自对应一条独立链路文档名称对应流程关键脚本knowledge-distillation-prune-VGG16运行说明剪枝后蒸馏prune 相关脚本simple-faster-rcnn-prune-VGG16运行说明剪枝版检测器训练Faster R-CNN 训练入口knowledge-distillation-VGG16_AllStageFeature运行说明全阶段特征蒸馏多阶段特征对齐脚本knowledge-distillation-VGG16运行说明基础蒸馏标准 KD 训练入口建议按「先跑基础蒸馏 → 再跑剪枝 → 最后跑全阶段特征蒸馏」的顺序来因为全阶段特征蒸馏对教师模型权重和中间层缓存有依赖前面流程跑通后环境才是完整的。提示下载后先打开 README.md再对照 docx 说明确认脚本路径不要直接盲跑训练入口。3. 知识蒸馏增量训练损失函数与训练循环怎么改3.1 蒸馏损失在检测任务里的落点分类任务的蒸馏通常只在 logits 上做 KL 散度但目标检测的输出包含分类分支和回归分支直接照搬分类蒸馏会丢位置信息。这份源码的做法是在分类 logits 和回归输出上都加蒸馏项同时可选地在中间特征层加对齐损失。教师模型是旧类训好的检测器学生模型是加了新类、结构可能被剪枝的新模型。蒸馏温度 T 控制软标签的平滑程度。T 太大新旧类的概率分布都被抹平学生学不到判别性T 太小又退化成硬标签。常见做法是 T 取 2 到 4配合蒸馏损失权重 alpha 在 0.5 到 1.0 之间调。源码里这两个参数一般放在配置文件的KD段改的时候两个一起动别只调一个。3.2 增量训练循环的关键改动增量学习的核心矛盾是新类数据有标注旧类数据可能只有少量样本甚至没有。这份代码假设旧类保留了一部分样本通过蒸馏约束学生模型在旧类上的输出不要偏离教师太远。# 增量训练循环的核心逻辑简化示意 for images, targets in dataloader: # 学生前向 student_cls, student_reg student(images) # 教师前向不计算梯度 with torch.no_grad(): teacher_cls, teacher_reg teacher(images) # 检测本身的损失只在新类标注上算 det_loss detection_loss(student_cls, student_reg, targets) # 蒸馏损失分类用 KL回归用 MSE kd_cls F.kl_div( F.log_softmax(student_cls / T, dim1), F.softmax(teacher_cls / T, dim1), reductionbatchmean ) * (T * T) kd_reg F.mse_loss(student_reg, teacher_reg) # 总损失加权 loss det_loss alpha * (kd_cls beta * kd_reg) loss.backward() optimizer.step()T * T这个缩放是为了让蒸馏损失的梯度量级和温度解耦这是 Hinton 蒸馏的标准做法漏掉它会导致不同 T 下需要重新调 alpha。beta控制回归蒸馏的权重检测任务里回归蒸馏通常比分类蒸馏更敏感建议从 0.1 开始试。det_loss只在新类标注上计算旧类靠蒸馏约束这是增量学习的标准范式。3.3 教师模型权重加载与冻结教师模型在整个增量训练过程中必须冻结否则蒸馏目标会漂移。源码里一般通过requires_grad False和eval()两步来保证。加载教师权重时注意 key 的匹配如果教师是剪枝前的模型、学生是剪枝后的模型两者的 state_dict 结构不同不能直接load_state_dict需要按层名映射。# 加载教师权重并冻结 teacher.load_state_dict(torch.load(teacher_vgg16.pth), strictFalse) teacher.eval() for p in teacher.parameters(): p.requires_grad False # 学生模型如果是剪枝后的结构需要单独加载剪枝权重 student.load_state_dict(torch.load(student_pruned.pth), strictFalse)strictFalse允许部分层不匹配适合剪枝前后结构有差异的情况。但要注意如果关键层没加载上蒸馏信号就是错的训练 loss 会异常。加载完打印一下缺失的 key 列表确认没有分类头和回归头缺失。4. 剪枝与全阶段特征蒸馏参数怎么设、坑在哪4.1 通道剪枝的粒度与蒸馏的配合剪枝和蒸馏不是两个独立步骤剪枝后的学生模型容量下降如果蒸馏权重还按原模型的比例设学生会学不动。常见做法是剪枝率控制在 30% 到 50% 之间剪得太狠蒸馏也救不回来。剪枝时按卷积层通道的 L1 范数排序去掉范数最小的通道同时把对应的 BN 层和后续卷积的输入通道一起裁掉。全阶段特征蒸馏比基础蒸馏多了中间层的特征对齐。VGG16 有五个卷积阶段源码里的AllStageFeature说明对应的是在多个阶段都加特征蒸馏损失而不只是最后输出。这样学生模型在浅层就能学到教师的特征表达对小目标检测更友好。4.2 全阶段特征蒸馏的损失配置# 多阶段特征蒸馏损失 feature_loss 0 for s_feat, t_feat in zip(student_features, teacher_features): # 特征维度可能因剪枝不一致需要 1x1 卷积对齐 if s_feat.shape[1] ! t_feat.shape[1]: s_feat align_conv(s_feat) # 1x1 卷积把通道数对齐 feature_loss F.mse_loss(s_feat, t_feat.detach()) total_loss det_loss alpha * kd_cls gamma * feature_lossalign_conv是剪枝蒸馏里必须加的适配层因为剪枝后学生特征通道数变少直接和教师特征算 MSE 会维度报错。gamma控制特征蒸馏权重阶段越多每个阶段的权重应该越小否则浅层特征会主导整个损失。我一般让gamma随阶段深度递减浅层给 0.5深层给 0.1。4.3 训练参数与显存控制增量训练加上蒸馏显存占用比普通训练高因为要同时保留教师和学生的前向图。如果显存吃紧把教师前向放在torch.no_grad()里是必须的另外可以减小 batch size或者只对部分阶段做特征蒸馏。学习率方面学生模型如果是从剪枝权重初始化学习率要比从头训练小一个量级否则预训练权重会被冲掉。参数建议范围说明蒸馏温度 T2 ~ 4太大平滑过度太小退化成硬标签alpha0.5 ~ 1.0分类蒸馏权重beta0.1 ~ 0.5回归蒸馏权重gamma0.1 ~ 0.5特征蒸馏权重随阶段递减剪枝率30% ~ 50%超过 50% 蒸馏难以恢复精度学习率1e-4 ~ 1e-5从剪枝权重初始化时取小值5. 避坑与排查这几处翻车点我替你踩过了5.1 现象编译_nms_gpu_post.c报架构不匹配原因setup.py里的 CUDA arch 参数是按作者显卡写的和你的显卡计算能力不一致。解决找到setup.py里的-gencode参数按自己显卡的计算能力改比如 30 系显卡用sm_86。改完删掉 build 目录重新编译。5.2 现象蒸馏训练 loss 不降学生输出和教师完全不像原因教师权重没加载上或者教师模型没设成 eval 模式BN 层还在用 batch 统计量。解决加载权重后打印缺失 key确认分类头和回归头都在教师模型前向之前必须teacher.eval()否则 BN 的 running mean 会被更新蒸馏目标就漂了。5.3 现象剪枝后模型推理报通道数不匹配原因剪枝时只裁了卷积层输出通道没同步裁 BN 层和下一层卷积的输入通道。解决剪枝脚本里要维护一个通道索引映射每裁一层把受影响的后续层输入通道一起裁掉。源码里的剪枝脚本一般处理了这个问题但如果你自己改剪枝率要重新检查映射表。5.4 现象增量训练后旧类精度掉得厉害原因蒸馏权重 alpha 太小或者旧类样本保留太少学生模型在旧类上过拟合新数据。解决提高 alpha增加旧类样本比例或者对旧类分类 logits 单独加一个更强的蒸馏项。如果旧类完全没有样本那就不是这份代码能解决的了需要考虑零样本增量方法。5.5 现象全阶段特征蒸馏显存溢出原因多个阶段的特征图同时保留在显存里算 MSE加上教师和学生的前向图显存翻倍。解决减少同时蒸馏的阶段数或者把特征蒸馏改成离线缓存教师特征训练时只加载缓存。batch size 降到 2 或 1 也能缓解。注意改任何参数后先跑一个 epoch 看 loss 曲线别直接跑完整训练不然几小时白等。6. 验证蒸馏效果从 mAP 对比到特征可视化训练跑完不算完得验证蒸馏到底有没有起作用。我一般会做三组对比教师模型在旧类上的 mAP、学生模型不蒸馏直接微调的 mAP、学生模型加蒸馏后的 mAP。如果第三组明显高于第二组说明蒸馏信号有效如果第三组接近第一组说明学生已经学到了教师的旧类知识。# 评估脚本核心分别算新旧类的 mAP from eval_utils import compute_map # 旧类评估 old_map compute_map(student, old_class_dataloader, class_idsold_classes) # 新类评估 new_map compute_map(student, new_class_dataloader, class_idsnew_classes) print(f旧类 mAP: {old_map:.4f}, 新类 mAP: {new_map:.4f})class_ids参数用来区分新旧类评估时分开算才能看出增量学习有没有牺牲旧类。如果旧类 mAP 掉超过 5 个点回去调蒸馏权重。除了 mAP还可以可视化学生和教师在中间层的特征图看两者的响应区域是否接近这比单看数字更直观。另一个容易忽略的验证点是推理速度。剪枝加蒸馏之后模型参数量下降但实际推理耗时不一定线性下降因为蒸馏适配层和特征对齐可能引入额外计算。用torch.cuda.Event测一下端到端耗时确认剪枝带来的加速是真实的。从那以后我每次跑增量蒸馏都强制先跑一个 epoch 的 sanity check确认教师冻结、学生梯度正常、loss 在降再开完整训练。这套源码的四份说明文档把剪枝和蒸馏的链路拆得比较清楚按顺序跑基本能复现剩下的就是参数微调。希望帮到你。本文还有配套的精品资源点击获取