简介面向驾驶员监控系统DMS开发与目标检测研究者这份资源围绕YOLOv8算法提供抽烟、打电话、喝水、吃东西四类分神行为的检测方案与配套数据集。包内共2000个文件其中1984个txt标签文件是可直接用于YOLO系列训练的标注格式另有13个md说明文档、2个pdf参考手册和1个data.yaml配置文件整体压缩包大小约300.7MB。数据集已按train、val、test划分完毕目录结构开箱即用无需额外整理即可接入YOLOv5、YOLOv7、YOLOv8、YOLOv9等常见框架训练data.yaml中定义了drinking、eating、mobile use、smoking四个类别标签清晰方便快速启动模型训练与验证。同时附带的说明文档与参考材料有助于理解数据组织方式和检测结果便于复现与二次开发。目前已有923人学习下载适合需要快速构建DMS分神检测模型的算法工程师和学生参考使用。开始认识DMS分神检测以及为什么是YOLOv8先说DMSDriver Monitoring System驾驶员监控系统。乘用车和商用车上法规强制要求装DMS它不只是做疲劳检测打哈欠、闭眼更核心的一项任务是分神检测——抽烟、打电话、喝水、吃东西。这些行为在交规里都是明确禁止的高危驾驶动作靠人眼盯不住靠传感器又做不了语义判断唯一靠谱的方案就是视觉AI。YOLOv8是当前目标检测领域里工程化最成熟的算法之一。相比YOLOv5YOLOv8在Anchor-Free机制、C2f主干模块、解耦头三个关键设计上做了改动精度和推理速度都有明显提升。用YOLOv8做DMS分神检测几乎成了车载视觉方案公司的标配路径。这篇内容我会从项目定位、数据集构建、模型训练、部署优化、问题排查五个角度完整拆解“抽烟-打电话-喝水-吃东西”四类分神行为检测的实操过程。既讲模型参数也讲踩坑记录希望能帮你把这条链路一次走通。1. 项目定位与整体思路1.1 DMS分神检测到底在解决什么问题先把这个项目放到真实场景里看。DMS面向的是驾驶员舱内视觉摄像头一般装在三个位置方向盘管柱上方、A柱、内后视镜附近。不论装在哪个位置拍到的都是驾驶员面部、手部、部分躯干和方向盘区域。我们要检测的四类行为——抽烟、打电话、喝水、吃东西共同点是“手离开方向盘、注意力从路面上转移”这正是分神事故的主要成因。为什么只做这四类因为它们的法规关联度和事故统计占比最高。抽烟还牵扯火灾隐患打电话直接干扰操控喝水、吃东西在长途货运场景非常常见。一套DMS算法能稳定识别这四类行为基本就覆盖了分神检测的核心需求。技术实现上这四类行为可以建模成“目标检测 行为属性判定”检测目标是烟、手机、水杯、食物再结合目标与手部、嘴部、耳部的空间关系判断是否发生对应行为。YOLOv8在这里承担的是视觉检测底座输出目标的类别和位置信息后端再接时序逻辑做最终判定。一开始就把这个架构想清楚后面做数据标注和模型设计才不会跑偏。1.2 为什么选YOLOv8而不是YOLOv5或其他模型我最早做DMS用的是YOLOv5s后来逐步迁移到YOLOv8s对比下来有几个明确优势。第一Anchor-Free机制。YOLOv5是Anchor-Based训练前需要用K-Means对数据集做锚框聚类换一次数据集就要重新聚类DMS这种小目标密集的场景尤其麻烦。YOLOv8直接去掉了锚框训练流程大幅简化自定义数据集的适配成本低很多。第二C2f模块。YOLOv8把CSPDarknet里的C3模块换成C2f让梯度在跨层连接中流动更充分同等计算量下特征表达能力更强。实测YOLOv8s在GTX 1660 Ti这种入门级显卡上640分辨率训练速度比YOLOv5s还快一点这对预算有限的小团队很关键。第三解耦头设计。YOLOv8把分类和回归分支分开处理。DMS场景里烟、手机这类小目标经常紧挨着脸和手分类和定位任务互相干扰严重解耦头能减少这种干扰收敛过程稳定很多。如果你更看重极致延迟也可以考虑YOLO系列更新的版本但从工程成熟度、社区资源、部署工具链来看YOLOv8依然是DMS项目里性价比最高的选择。它能导出ONNX、TensorRT、RKNN等格式对接车载芯片非常顺滑。2. 数据集构建从采集到标注2.1 数据来源与场景设计DMS数据集和通用目标检测数据集最大的不同是拍摄场景高度固定但人的差异、光照差异、遮挡差异特别大。算法要面对的是不同身高、体型、肤色、戴眼镜/口罩的驾驶员还要适应白天逆光、夜晚红外补光、隧道明暗切换等复杂光照。数据来源通常有三条路。第一条是真实车辆环境采集用DMS摄像头录制不同驾驶员在驾驶过程中的视频再抽帧标注。这类数据最贴近真实场景但涉及隐私合规、采集周期长、成本高交付节奏快的项目扛不住。第二条是实验室模拟采集找不同人在工位或实车里模拟抽烟、打电话、喝水、吃东西动作。这是目前大多数DMS算法团队采用的主流方式动作真实度可控制样本积累速度快还能批量录制多角度。第三条是复用公开数据集。比如Kaggle上的State Farm Distracted Driver Detection还有3MDAD等驾驶员行为数据集都可以拿来做预训练或验收补充。但要注意公开数据的摄像头角度、车型、光照分布跟你的项目很可能不一致直接拿来训练效果会打折。我建议的组合是先用公开数据集做预训练再采集5000到10000张自有场景数据做微调。如果条件受限至少保证每类行为有1500到2000张图像背景覆盖白天、夜晚、阴天、逆光、戴墨镜、戴口罩等组合。数据量不是越多越好场景覆盖够广才重要。2.2 标注规范与格式转换标注规范直接决定模型上限这个环节不能图省事。DMS四类行为检测有两种标注策略。第一种是只标目标物比如烟、手机、水杯、食物不标行为。模型输出的是“手上有东西”后端还得靠规则判断行为是否成立要写大量后处理逻辑比如判断物体是否贴近嘴部、是否停留超过N秒。流程繁琐但模型本身更简单。第二种是直接标行为框把“正在抽烟”“正在打电话”“正在喝水”“正在吃东西”作为四个类别框选手部加动作区域。这个方案更贴合最终交付形态模型输出直接就是四类行为省去大量中间规则。我建议直接用第二种。另外强烈建议增加一个“正常驾驶”作为背景类别这样模型在推理时天然输出五类方便直接统计误报率。标注精度上框要贴合动作区域不要框整个上半身不然模型学到的语义会变成“手在附近”而不是“正在发生动作”。标注工具推荐LabelImg或者X-AnyLabeling。后者支持自动标注辅助先用YOLOv8预标注再人工修正能省一半时间。输出统一转成YOLO txt格式每行记录 class_id, x_center, y_center, width, height坐标归一化到0到1。这里有几个容易踩的坑不要漏标远处的小目标标注框不要过大同一视频连续帧不要全量标注间隔3到5帧抽一帧即可。否则相邻帧高度相似会让模型严重过拟合验证集指标虚高。2.3 数据增强策略YOLOv8内置了Mosaic、MixUp、HSV扰动、随机翻转等策略但DMS场景需要特别谨慎地选择和调整。Mosaic会拼接四张图可能导致手机、烟这类小目标被割裂变形。我建议训练初期开启让模型见识更多背景组合训练后期关闭或降低概率让模型在真实分布上精调。直接全程关闭Mosaic也不是不行但对小目标的泛化性有影响。HSV扰动在DMS里非常有用。车载环境光照变化极大提高饱和度和亮度扰动能增强模型对逆光、暗光的鲁棒性。我常用的配置是 hsv_h0.015hsv_s0.7hsv_v0.5这是相对激进但实测有效的组合。额外推荐自己实现“随机遮挡模拟”在预处理时把面部、手部区域随机用黑色块遮挡模拟驾驶员用手遮挡摄像头、方向盘遮挡、阴影遮挡的情况。这个增强YOLOv8原生没有但DMS场景特别需要因为遮挡实在太常见了。还有一个容易被忽略的细节DMS摄像头的安装角度会引入透视畸变训练时对图像做正负10度的小角度旋转和轻微透视变换模型对不同安装位的容忍度会明显提升。3. 基于YOLOv8的训练实操3.1 环境配置训练环境我长期用的是Ubuntu 20.04、Python 3.8、PyTorch 2.0.1、CUDA 11.8显卡是GTX 1660 Ti 6G。很多朋友会问GTX 1660 Ti能不能跑YOLOv8。答案是完全可以。6G显存训练YOLOv8n和YOLOv8s都够用batch size设16、输入分辨率640显存占用大概4.5G左右。如果显存不够batch size降到8或者把输入分辨率降到512。但注意分辨率下降对小目标的影响非常明显不建议轻易动。环境安装直接用Ultralytics官方pip包pip install ultralytics装完用下面命令验证环境yolo predict modelyolov8n.pt sourcehttps://ultralytics.com/images/bus.jpg能正常输出检测框说明环境没问题。接下来把数据集按YOLO标准目录结构组织dataset/ ├── images/ │ ├── train/ │ └── val/ └── labels/ ├── train/ └── val/再写一个data.yaml指定路径和类别名称。这里要提醒路径尽量填绝对路径相对路径在某些训练环境下会报找不到文件的错排查起来很烦。3.2 模型配置与训练参数模型尺寸我建议在YOLOv8n和YOLOv8s之间选择。DMS部署端大多是Jetson Orin Nano、RK3588这类边缘设备YOLOv8n推理快但小目标精度比YOLOv8s差。折中方案是用YOLOv8s训练之后做剪枝或蒸馏再部署。如果设备算力实在紧张直接用YOLOv8n微调也能跑出不错的效果。训练命令yolo detect train datadata.yaml modelyolov8s.pt epochs100 imgsz640 batch16 device0几个关键参数的经验值epochs100到150轮足够DMS数据量不会很大更久反而容易过拟合。我习惯配早停连续20轮mAP不涨就停。patience早停耐心值设20防止前期loss震荡误停。lr0默认0.01如果loss发散就降到0.001重试。optimizer用AdamW在自定义小数据集上收敛比SGD稳定。workers数据加载线程设8太高容易卡死。需要补充一个针对DMS的优化点如果手机、烟这类小目标漏检明显可以考虑给模型添加小目标检测头P2层160x160特征图。这能提升小目标召回率但推理耗时也会增加。我建议先用默认配置跑通全流程确认瓶颈后再定向优化不要一上来就加复杂度。训练过程中YOLOv8会自动保存best.pt和last.pt同时输出混淆矩阵、PR曲线、损失函数曲线图。这些图表是判断训练是否正常的关键依据建议每个epoch都留意一下。3.3 训练过程与评估训练中我重点关注三个指标mAP50、mAP50-95、混淆矩阵。mAP50是首要指标。DMS四类行为在图像中的视觉差异其实不算大都是“手部动作小目标”mAP50至少要达到0.90才算及格mAP50-95尽量超过0.70。如果mAP50很高但mAP50-95偏低说明定位框不够精细需要提高输入分辨率或调整box loss权重。混淆矩阵是容易被低估的工具。四类行为里抽烟和吃东西容易混淆因为都是“手靠近嘴部”打电话和喝水也容易混淆因为都是“手持物体贴近头部”。如果混淆矩阵里这两个错的占比高大概率是标注语义没定清楚——比如“喝水”是“手持水杯且水杯靠近嘴巴”“打电话”是“手机贴近耳朵”这些边界条件必须在标注文档里写成明确规则否则标注人员标出来的数据本身就乱模型学出来的自然也是错的。我以最终的验证结果举个例子输入640分辨率YOLOv8s在GTX 1660 Ti上单帧推理约28msmAP50约0.93mAP50-95约0.75。这个水平基本可以进入部署环节了。4. 部署落地与性能优化4.1 模型轻量化处理训练好的PyTorch模型不能直接跑车载设备需要经过“转ONNX再转目标平台推理格式最后量化”的标准链路。第一步转ONNXyolo export modelbest.pt formatonnx opset12 simplifyTrue第二步根据硬件选推理引擎。NVIDIA平台就转TensorRT并做FP16量化速度通常能提升两到三倍。瑞芯微RK3588平台则转RKNN格式支持INT8量化速度更快但精度损失需要实测。这里必须提醒一个实战经验DMS最怕FP16或INT8量化后精度崩掉。烟、手机这类小目标在量化过程中特征损失特别明显。建议先做FP16量化如果mAP50下降不超过两个点就优先用FP16。INT8作为备选在RK3588这类NPU平台上可以尝试但一定要在真实车载光照下重新评估精度不能只看量化前后的验证集指标。4.2 边缘设备部署实测我实际部署过Jetson Orin Nano 8G版和RK3588两个平台说说对比。Jetson Orin Nano跑YOLOv8s FP16版输入640分辨率单帧推理约15ms加上前后处理整体能达到45到50FPS满足DMS实时性要求完全没有问题。RK3588跑RKNN INT8量化版YOLOv8s单帧推理约20ms如果换成YOLOv8n还能更快但小目标精度会有明显下降需要根据项目验收标准来权衡。部署时还有一个容易被忽视的点DMS不需要每帧都跑检测。我习惯做成“检测加时序滤波”的两级结构——检测模型按10到15FPS运行后端接滑动窗口逻辑对连续N帧检测结果做投票或状态机判断。比如“打电话”要求连续5帧以上检测到“手机贴近耳朵”才触发上报这样能把单帧误报率压到很低。这个架构思路很重要检测模型只是基础时序决策才是产品体验的核心。5. 常见问题与避坑指南5.1 训练不收敛或Loss爆炸这是问得最多的问题我遇到的其实就三种原因学习率太大、标注文件格式错、类别号越界。先看标注文件。打开labels目录下的txt如果发现坐标值有大于1的说明归一化没做对YOLO训练必然出问题。再看class_id是否超过类别总数。这些排除完把lr0降到0.001并用AdamW重训基本都能解决。另一个典型情况是loss正常下降但mAP始终上不去。这时候大概率是正负样本不平衡比如“正常驾驶”类别占了80%的标注框而“抽烟”只有5%。缓解方法可以是调整类别损失权重YOLOv8支持对类别不平衡做针对性处理但最有效的还是补齐各类别的数据量让分布更均衡。5.2 误检与漏检问题误检高发在“喝水vs打电话”“抽烟vs吃东西”这两组本质是语义边界没有定义清楚。我的解决办法是收紧标注框尽量只框“手加物体加嘴部”的最小区域不框整个头部同时在行为判定后处理中增加“手部与嘴部、耳部距离”约束比如“手机贴近耳朵”才算打电话“水杯靠近嘴巴”才算喝水。这个方法能滤掉大量“手里拿着物体但没有相应动作”的误报。漏检主要集中在夜间和强逆光。DMS标配的红外补光会产生红外图像而红外图的灰度分布和白天RGB差异很大。如果训练数据只有白天RGB夜间场景必然掉点。我的经验是单独用红外数据微调模型或者把红外图转成灰度再做亮度抖动增强让模型对亮度分布不敏感两种方案都实测有效。5.3 数据与场景适配问题这是从开发到量产最容易翻车的一步。实验室模拟数据和实车真实数据存在域差距最直观的表现是实验室模型上实车误报率飙升。我踩过最深的坑是摄像头安装角度差异。同一个模型在A柱安装位表现很好换到内后视镜安装位后mAP直接掉了8个百分点。原因是透视角度变了手机、烟等目标的外观特征变化太大。如果你要覆盖多个车型和多个安装位训练数据里就要包含多角度样本或者干脆按安装位单独训练模型。连续帧闪烁也是DMS特有的问题。模型对单帧图像噪声敏感同一动作在连续帧里有时检测得到有时没有。这不能完全靠训练解决必须在后处理链路里加时序平滑比如对检测框做EMA或卡尔曼滤波让输出状态稳定下来。6. 最后分享一点自己的体会用YOLOv8做DMS分神检测最大的难点从来不是模型本身而是数据和工程化。训练一套模型一周就能跑起来但要达到“实车不误报、不漏报”的交付标准大部分精力都花在标注规范、场景覆盖和后处理策略上。如果你准备从零开始做这个方向我的建议是先别追求大模型用YOLOv8n加一份质量尚可的数据集把“标注-训练-评估-TensorRT/RKNN部署”这套完整链路先跑通。全流程的经验比单点精度提升宝贵得多。等链条成熟了再逐步加数据、优化模型结构每一步改进都能看到明确收益。最后再分享一个小细节DMS这种安全相关产品模型指标只是门槛真正决定客户是否满意的是误报频率。宁可漏报一点也不要频繁误报。把时序滤波加上、把行为判定规则调稳比硬怼模型精度更管用。本文还有配套的精品资源点击获取
基于YOLOv8的DMS分神检测实战：从数据集构建到部署优化
简介面向驾驶员监控系统DMS开发与目标检测研究者这份资源围绕YOLOv8算法提供抽烟、打电话、喝水、吃东西四类分神行为的检测方案与配套数据集。包内共2000个文件其中1984个txt标签文件是可直接用于YOLO系列训练的标注格式另有13个md说明文档、2个pdf参考手册和1个data.yaml配置文件整体压缩包大小约300.7MB。数据集已按train、val、test划分完毕目录结构开箱即用无需额外整理即可接入YOLOv5、YOLOv7、YOLOv8、YOLOv9等常见框架训练data.yaml中定义了drinking、eating、mobile use、smoking四个类别标签清晰方便快速启动模型训练与验证。同时附带的说明文档与参考材料有助于理解数据组织方式和检测结果便于复现与二次开发。目前已有923人学习下载适合需要快速构建DMS分神检测模型的算法工程师和学生参考使用。开始认识DMS分神检测以及为什么是YOLOv8先说DMSDriver Monitoring System驾驶员监控系统。乘用车和商用车上法规强制要求装DMS它不只是做疲劳检测打哈欠、闭眼更核心的一项任务是分神检测——抽烟、打电话、喝水、吃东西。这些行为在交规里都是明确禁止的高危驾驶动作靠人眼盯不住靠传感器又做不了语义判断唯一靠谱的方案就是视觉AI。YOLOv8是当前目标检测领域里工程化最成熟的算法之一。相比YOLOv5YOLOv8在Anchor-Free机制、C2f主干模块、解耦头三个关键设计上做了改动精度和推理速度都有明显提升。用YOLOv8做DMS分神检测几乎成了车载视觉方案公司的标配路径。这篇内容我会从项目定位、数据集构建、模型训练、部署优化、问题排查五个角度完整拆解“抽烟-打电话-喝水-吃东西”四类分神行为检测的实操过程。既讲模型参数也讲踩坑记录希望能帮你把这条链路一次走通。1. 项目定位与整体思路1.1 DMS分神检测到底在解决什么问题先把这个项目放到真实场景里看。DMS面向的是驾驶员舱内视觉摄像头一般装在三个位置方向盘管柱上方、A柱、内后视镜附近。不论装在哪个位置拍到的都是驾驶员面部、手部、部分躯干和方向盘区域。我们要检测的四类行为——抽烟、打电话、喝水、吃东西共同点是“手离开方向盘、注意力从路面上转移”这正是分神事故的主要成因。为什么只做这四类因为它们的法规关联度和事故统计占比最高。抽烟还牵扯火灾隐患打电话直接干扰操控喝水、吃东西在长途货运场景非常常见。一套DMS算法能稳定识别这四类行为基本就覆盖了分神检测的核心需求。技术实现上这四类行为可以建模成“目标检测 行为属性判定”检测目标是烟、手机、水杯、食物再结合目标与手部、嘴部、耳部的空间关系判断是否发生对应行为。YOLOv8在这里承担的是视觉检测底座输出目标的类别和位置信息后端再接时序逻辑做最终判定。一开始就把这个架构想清楚后面做数据标注和模型设计才不会跑偏。1.2 为什么选YOLOv8而不是YOLOv5或其他模型我最早做DMS用的是YOLOv5s后来逐步迁移到YOLOv8s对比下来有几个明确优势。第一Anchor-Free机制。YOLOv5是Anchor-Based训练前需要用K-Means对数据集做锚框聚类换一次数据集就要重新聚类DMS这种小目标密集的场景尤其麻烦。YOLOv8直接去掉了锚框训练流程大幅简化自定义数据集的适配成本低很多。第二C2f模块。YOLOv8把CSPDarknet里的C3模块换成C2f让梯度在跨层连接中流动更充分同等计算量下特征表达能力更强。实测YOLOv8s在GTX 1660 Ti这种入门级显卡上640分辨率训练速度比YOLOv5s还快一点这对预算有限的小团队很关键。第三解耦头设计。YOLOv8把分类和回归分支分开处理。DMS场景里烟、手机这类小目标经常紧挨着脸和手分类和定位任务互相干扰严重解耦头能减少这种干扰收敛过程稳定很多。如果你更看重极致延迟也可以考虑YOLO系列更新的版本但从工程成熟度、社区资源、部署工具链来看YOLOv8依然是DMS项目里性价比最高的选择。它能导出ONNX、TensorRT、RKNN等格式对接车载芯片非常顺滑。2. 数据集构建从采集到标注2.1 数据来源与场景设计DMS数据集和通用目标检测数据集最大的不同是拍摄场景高度固定但人的差异、光照差异、遮挡差异特别大。算法要面对的是不同身高、体型、肤色、戴眼镜/口罩的驾驶员还要适应白天逆光、夜晚红外补光、隧道明暗切换等复杂光照。数据来源通常有三条路。第一条是真实车辆环境采集用DMS摄像头录制不同驾驶员在驾驶过程中的视频再抽帧标注。这类数据最贴近真实场景但涉及隐私合规、采集周期长、成本高交付节奏快的项目扛不住。第二条是实验室模拟采集找不同人在工位或实车里模拟抽烟、打电话、喝水、吃东西动作。这是目前大多数DMS算法团队采用的主流方式动作真实度可控制样本积累速度快还能批量录制多角度。第三条是复用公开数据集。比如Kaggle上的State Farm Distracted Driver Detection还有3MDAD等驾驶员行为数据集都可以拿来做预训练或验收补充。但要注意公开数据的摄像头角度、车型、光照分布跟你的项目很可能不一致直接拿来训练效果会打折。我建议的组合是先用公开数据集做预训练再采集5000到10000张自有场景数据做微调。如果条件受限至少保证每类行为有1500到2000张图像背景覆盖白天、夜晚、阴天、逆光、戴墨镜、戴口罩等组合。数据量不是越多越好场景覆盖够广才重要。2.2 标注规范与格式转换标注规范直接决定模型上限这个环节不能图省事。DMS四类行为检测有两种标注策略。第一种是只标目标物比如烟、手机、水杯、食物不标行为。模型输出的是“手上有东西”后端还得靠规则判断行为是否成立要写大量后处理逻辑比如判断物体是否贴近嘴部、是否停留超过N秒。流程繁琐但模型本身更简单。第二种是直接标行为框把“正在抽烟”“正在打电话”“正在喝水”“正在吃东西”作为四个类别框选手部加动作区域。这个方案更贴合最终交付形态模型输出直接就是四类行为省去大量中间规则。我建议直接用第二种。另外强烈建议增加一个“正常驾驶”作为背景类别这样模型在推理时天然输出五类方便直接统计误报率。标注精度上框要贴合动作区域不要框整个上半身不然模型学到的语义会变成“手在附近”而不是“正在发生动作”。标注工具推荐LabelImg或者X-AnyLabeling。后者支持自动标注辅助先用YOLOv8预标注再人工修正能省一半时间。输出统一转成YOLO txt格式每行记录 class_id, x_center, y_center, width, height坐标归一化到0到1。这里有几个容易踩的坑不要漏标远处的小目标标注框不要过大同一视频连续帧不要全量标注间隔3到5帧抽一帧即可。否则相邻帧高度相似会让模型严重过拟合验证集指标虚高。2.3 数据增强策略YOLOv8内置了Mosaic、MixUp、HSV扰动、随机翻转等策略但DMS场景需要特别谨慎地选择和调整。Mosaic会拼接四张图可能导致手机、烟这类小目标被割裂变形。我建议训练初期开启让模型见识更多背景组合训练后期关闭或降低概率让模型在真实分布上精调。直接全程关闭Mosaic也不是不行但对小目标的泛化性有影响。HSV扰动在DMS里非常有用。车载环境光照变化极大提高饱和度和亮度扰动能增强模型对逆光、暗光的鲁棒性。我常用的配置是 hsv_h0.015hsv_s0.7hsv_v0.5这是相对激进但实测有效的组合。额外推荐自己实现“随机遮挡模拟”在预处理时把面部、手部区域随机用黑色块遮挡模拟驾驶员用手遮挡摄像头、方向盘遮挡、阴影遮挡的情况。这个增强YOLOv8原生没有但DMS场景特别需要因为遮挡实在太常见了。还有一个容易被忽略的细节DMS摄像头的安装角度会引入透视畸变训练时对图像做正负10度的小角度旋转和轻微透视变换模型对不同安装位的容忍度会明显提升。3. 基于YOLOv8的训练实操3.1 环境配置训练环境我长期用的是Ubuntu 20.04、Python 3.8、PyTorch 2.0.1、CUDA 11.8显卡是GTX 1660 Ti 6G。很多朋友会问GTX 1660 Ti能不能跑YOLOv8。答案是完全可以。6G显存训练YOLOv8n和YOLOv8s都够用batch size设16、输入分辨率640显存占用大概4.5G左右。如果显存不够batch size降到8或者把输入分辨率降到512。但注意分辨率下降对小目标的影响非常明显不建议轻易动。环境安装直接用Ultralytics官方pip包pip install ultralytics装完用下面命令验证环境yolo predict modelyolov8n.pt sourcehttps://ultralytics.com/images/bus.jpg能正常输出检测框说明环境没问题。接下来把数据集按YOLO标准目录结构组织dataset/ ├── images/ │ ├── train/ │ └── val/ └── labels/ ├── train/ └── val/再写一个data.yaml指定路径和类别名称。这里要提醒路径尽量填绝对路径相对路径在某些训练环境下会报找不到文件的错排查起来很烦。3.2 模型配置与训练参数模型尺寸我建议在YOLOv8n和YOLOv8s之间选择。DMS部署端大多是Jetson Orin Nano、RK3588这类边缘设备YOLOv8n推理快但小目标精度比YOLOv8s差。折中方案是用YOLOv8s训练之后做剪枝或蒸馏再部署。如果设备算力实在紧张直接用YOLOv8n微调也能跑出不错的效果。训练命令yolo detect train datadata.yaml modelyolov8s.pt epochs100 imgsz640 batch16 device0几个关键参数的经验值epochs100到150轮足够DMS数据量不会很大更久反而容易过拟合。我习惯配早停连续20轮mAP不涨就停。patience早停耐心值设20防止前期loss震荡误停。lr0默认0.01如果loss发散就降到0.001重试。optimizer用AdamW在自定义小数据集上收敛比SGD稳定。workers数据加载线程设8太高容易卡死。需要补充一个针对DMS的优化点如果手机、烟这类小目标漏检明显可以考虑给模型添加小目标检测头P2层160x160特征图。这能提升小目标召回率但推理耗时也会增加。我建议先用默认配置跑通全流程确认瓶颈后再定向优化不要一上来就加复杂度。训练过程中YOLOv8会自动保存best.pt和last.pt同时输出混淆矩阵、PR曲线、损失函数曲线图。这些图表是判断训练是否正常的关键依据建议每个epoch都留意一下。3.3 训练过程与评估训练中我重点关注三个指标mAP50、mAP50-95、混淆矩阵。mAP50是首要指标。DMS四类行为在图像中的视觉差异其实不算大都是“手部动作小目标”mAP50至少要达到0.90才算及格mAP50-95尽量超过0.70。如果mAP50很高但mAP50-95偏低说明定位框不够精细需要提高输入分辨率或调整box loss权重。混淆矩阵是容易被低估的工具。四类行为里抽烟和吃东西容易混淆因为都是“手靠近嘴部”打电话和喝水也容易混淆因为都是“手持物体贴近头部”。如果混淆矩阵里这两个错的占比高大概率是标注语义没定清楚——比如“喝水”是“手持水杯且水杯靠近嘴巴”“打电话”是“手机贴近耳朵”这些边界条件必须在标注文档里写成明确规则否则标注人员标出来的数据本身就乱模型学出来的自然也是错的。我以最终的验证结果举个例子输入640分辨率YOLOv8s在GTX 1660 Ti上单帧推理约28msmAP50约0.93mAP50-95约0.75。这个水平基本可以进入部署环节了。4. 部署落地与性能优化4.1 模型轻量化处理训练好的PyTorch模型不能直接跑车载设备需要经过“转ONNX再转目标平台推理格式最后量化”的标准链路。第一步转ONNXyolo export modelbest.pt formatonnx opset12 simplifyTrue第二步根据硬件选推理引擎。NVIDIA平台就转TensorRT并做FP16量化速度通常能提升两到三倍。瑞芯微RK3588平台则转RKNN格式支持INT8量化速度更快但精度损失需要实测。这里必须提醒一个实战经验DMS最怕FP16或INT8量化后精度崩掉。烟、手机这类小目标在量化过程中特征损失特别明显。建议先做FP16量化如果mAP50下降不超过两个点就优先用FP16。INT8作为备选在RK3588这类NPU平台上可以尝试但一定要在真实车载光照下重新评估精度不能只看量化前后的验证集指标。4.2 边缘设备部署实测我实际部署过Jetson Orin Nano 8G版和RK3588两个平台说说对比。Jetson Orin Nano跑YOLOv8s FP16版输入640分辨率单帧推理约15ms加上前后处理整体能达到45到50FPS满足DMS实时性要求完全没有问题。RK3588跑RKNN INT8量化版YOLOv8s单帧推理约20ms如果换成YOLOv8n还能更快但小目标精度会有明显下降需要根据项目验收标准来权衡。部署时还有一个容易被忽视的点DMS不需要每帧都跑检测。我习惯做成“检测加时序滤波”的两级结构——检测模型按10到15FPS运行后端接滑动窗口逻辑对连续N帧检测结果做投票或状态机判断。比如“打电话”要求连续5帧以上检测到“手机贴近耳朵”才触发上报这样能把单帧误报率压到很低。这个架构思路很重要检测模型只是基础时序决策才是产品体验的核心。5. 常见问题与避坑指南5.1 训练不收敛或Loss爆炸这是问得最多的问题我遇到的其实就三种原因学习率太大、标注文件格式错、类别号越界。先看标注文件。打开labels目录下的txt如果发现坐标值有大于1的说明归一化没做对YOLO训练必然出问题。再看class_id是否超过类别总数。这些排除完把lr0降到0.001并用AdamW重训基本都能解决。另一个典型情况是loss正常下降但mAP始终上不去。这时候大概率是正负样本不平衡比如“正常驾驶”类别占了80%的标注框而“抽烟”只有5%。缓解方法可以是调整类别损失权重YOLOv8支持对类别不平衡做针对性处理但最有效的还是补齐各类别的数据量让分布更均衡。5.2 误检与漏检问题误检高发在“喝水vs打电话”“抽烟vs吃东西”这两组本质是语义边界没有定义清楚。我的解决办法是收紧标注框尽量只框“手加物体加嘴部”的最小区域不框整个头部同时在行为判定后处理中增加“手部与嘴部、耳部距离”约束比如“手机贴近耳朵”才算打电话“水杯靠近嘴巴”才算喝水。这个方法能滤掉大量“手里拿着物体但没有相应动作”的误报。漏检主要集中在夜间和强逆光。DMS标配的红外补光会产生红外图像而红外图的灰度分布和白天RGB差异很大。如果训练数据只有白天RGB夜间场景必然掉点。我的经验是单独用红外数据微调模型或者把红外图转成灰度再做亮度抖动增强让模型对亮度分布不敏感两种方案都实测有效。5.3 数据与场景适配问题这是从开发到量产最容易翻车的一步。实验室模拟数据和实车真实数据存在域差距最直观的表现是实验室模型上实车误报率飙升。我踩过最深的坑是摄像头安装角度差异。同一个模型在A柱安装位表现很好换到内后视镜安装位后mAP直接掉了8个百分点。原因是透视角度变了手机、烟等目标的外观特征变化太大。如果你要覆盖多个车型和多个安装位训练数据里就要包含多角度样本或者干脆按安装位单独训练模型。连续帧闪烁也是DMS特有的问题。模型对单帧图像噪声敏感同一动作在连续帧里有时检测得到有时没有。这不能完全靠训练解决必须在后处理链路里加时序平滑比如对检测框做EMA或卡尔曼滤波让输出状态稳定下来。6. 最后分享一点自己的体会用YOLOv8做DMS分神检测最大的难点从来不是模型本身而是数据和工程化。训练一套模型一周就能跑起来但要达到“实车不误报、不漏报”的交付标准大部分精力都花在标注规范、场景覆盖和后处理策略上。如果你准备从零开始做这个方向我的建议是先别追求大模型用YOLOv8n加一份质量尚可的数据集把“标注-训练-评估-TensorRT/RKNN部署”这套完整链路先跑通。全流程的经验比单点精度提升宝贵得多。等链条成熟了再逐步加数据、优化模型结构每一步改进都能看到明确收益。最后再分享一个小细节DMS这种安全相关产品模型指标只是门槛真正决定客户是否满意的是误报频率。宁可漏报一点也不要频繁误报。把时序滤波加上、把行为判定规则调稳比硬怼模型精度更管用。本文还有配套的精品资源点击获取