简介:面向计算机、通信、人工智能、自动化等相关专业学生与从业者的YOLOv5跌倒检测项目,包含模型训练、数据集整理与可运行源码,个人毕设答辩评分为98分,可作课程设计、大作业或毕设参考。资源共122个文件,压缩包约1.04MB,主要包括Python训练脚本、YAML配置文件、模型说明文档、Docker环境文件及结果截图等,覆盖数据标注、模型调参与推理输出环节。目前已有221人学习,内容均经过调试测试,可直接运行;另附带Jupyter教程文档与说明文件,帮助理解工程结构。基于现有代码调整数据集或参数,可进一步实现不同场景下的人体姿态与异常行为识别,具备较强学习借鉴与二次开发价值。

1. 跌倒检测为什么绕不开 yolov5,以及这个项目到底在做什么

跌倒检测在安防监控、养老院看护、施工安全等场景里一直都是刚需,但它和普通的目标检测有个明显区别:跌倒是一个短促且姿态变化剧烈的动作,往往只有十几帧,如果模型推理速度不够快或者检测精度不够稳,事件已经结束模型还没给出结果。yolov5 在当前这个时间点仍然是性价比最高的选择,它不像 transformer 系检测器那样吃显存和训练时间,却能在边缘设备和服务器上都跑出接近实时的帧率。所谓“基于yolov5训练跌倒检测模型+数据集+源码”这个标题,拆开来看就是要完成三件事:准备一份标注好的跌倒/正常姿态数据集,基于 yolov5 的网络结构训练出能识别跌倒的权重,再把权重接到视频流或摄像头里做实际告警。适合的人群很明确:正在做毕设、接安防项目或者在工厂里做安全巡检的工程师,你需要的是一个能复现、能改参数、能交付的结果,而不是一个只存在于论文里的框架。下面从数据集开始,按我实际做过的路径逐步展开。数据集的优先度其实高于模型,很多人拿着 yolov5 直接去训练,效果不好十有八九是数据没做好,而不是网络结构有问题。

2. 跌倒检测数据集的构建与标注,决定了模型精度的上限

2.1 公开数据集与自建数据如何取舍

跌倒检测没有像 COCO 那样统一的权威数据集,常见的公开资源有 UR Fall Detection、Le2i Fall Detection 和 NTU RGB+D 中的跌倒子集,但它们的标注格式、拍摄视角和场景差异很大。UR Fall 用深度摄像头拍摄,Le2i 是俯视角监控画面,直接拿来训练 yolov5 会遇到两个问题:一是标注框的风格不统一,有的是框整个人,有的是只框跌倒后的身体区域;二是视角太单一,模型在真实场景里容易误检。我一般建议的做法是,公开数据集当做预训练和验证用,拍一部分自己场景的视频来微调。比如做养老院看护,就用监控视角拍走廊和房间;做施工安全,就用手持或固定机位拍工人作业区域。自建数据不需要很多,两三百张标注好的关键帧加上一些负样本就能明显改善效果,重点是要覆盖跌倒的几种典型姿态:侧卧、仰卧、俯卧、坐姿滑落,以及弯腰捡东西这类容易混淆的动作。

2.2 用 LabelImg 完成 yolov5 格式的标注流程

yolov5 需要的标注格式是 YOLO txt,每行对应一个目标,格式为 class_id x_center y_center width height ,坐标全部归一化到 0 到 1。常见的标注工具有 LabelImg、Labelme、CVAT,其中 LabelImg 最轻量,适合个人和小组用。安装方式很简单: pip install labelimg ,启动后打开图片目录,在界面上用 W 键画框, A 和 D 切换上一张下一张, Ctrl+S 保存。类别建议设置两个: fall 和 person ,因为只标一个 fall 类会让模型在跌倒前的姿态阶段无法输出结果,后续做时序判断时会缺少依据。标注规范上有一个容易被忽略的点:跌倒瞬间的框应该标成“身体主轴接近水平”的矩形,不要强行贴合四肢轮廓,yolov5 的 anchor 机制对宽高比极端的框本身就不敏感,标得太细反而增加回归难度。标注完成后,每张 jpg 图片会对应一个同名的 txt 文件,图片放在 images/ 下,txt 放在 labels/ 下,目录结构如下:

dataset/
├── images/
│   ├── train/
│   │   ├── fall_001.jpg
│   │   └── normal_001.jpg
│   └── val/
│       ├── fall_002.jpg
│       └── normal_002.jpg
└── labels/
    ├── train/
    │   ├── fall_001.txt
    │   └── normal_001.txt
    └── val/
        ├── fall_002.txt
        └── normal_002.txt

2.3 数据划分与类别平衡的实操命令

划分数据时不要随机打乱了事,要按视频片段来分,避免同一个视频的连续帧同时出现在训练集和验证集里,否则验证精度会虚高。我自己会写一个简单的脚本,先列出所有视频片段,再按 8:1:1 切分成 train、val、test。为了提升模型对光照和摄像头位置的鲁棒性,在训练前还可以做一步简单的增强:把每张图做左右翻转,把亮度随机调低 15%,这样相当于数据量翻了四倍,且几乎不增加训练时间。数据准备完成后,在 yolov5/data/fall.yaml 里写数据集配置,内容如下:

train: dataset/images/train
val: dataset/images/val
nc: 2
names: ['person', 'fall']

注意 train 和 val 要写绝对路径或者相对 yolov5 项目根目录的路径,否则训练时会在第一步就报找不到图片的错误。检查标注是否正确的快速办法是跑一行命令:

python detect.py --source dataset/images/val/fall_001.jpg --weights yolov5s.pt

如果输出结果里的框没有出现在人体上,说明 txt 里的坐标写错了,常见原因是 labelimg 保存成了 VOC XML 但没有转换,或者图片被 resize 过而标签没有同步更新。这类问题多花十分钟检查,后面训练阶段能省一天。

3. yolov5 训练跌倒模型的超参数配置与完整命令流程

3.1 从预训练权重出发还是从头训练

yolov5 网络结构本身是一个 CSPDarknet 做骨干的检测器,它的 backbone 在 COCO 上已经学到了丰富的通用视觉特征。跌倒检测的输入是普通 RGB 图像,目标也是人体这一类结构化的物体,所以直接使用 yolov5s.pt 作为预训练权重是合理的。从头训练( --weights '' )只适合数据集非常特殊、域差异极大的情况,比如红外图像或者深度图。这里有一个关键点: transfer learning 时会把最后一层检测头的类别数从 80 改成 2,所以迁移参数文件会被加载到 backbone 和 neck 部分,head 部分重新初始化,这在 yolov5 中是自动处理的,不需要手动改代码。训练命令的完整形态如下:

python train.py \
  --data fall.yaml \
  --weights yolov5s.pt \
  --img 640 \
  --batch 16 \
  --epochs 100 \
  --workers 8 \
  --device 0 \
  --project runs/train \
  --name fall_exp1

参数说明: --img 640 是输入分辨率,跌倒检测中不建议再往下调,因为小目标(远距离的倒地人员)对分辨率敏感; --batch 16 在 12GB 显存上比较稳妥,如果显存不够就调成 8,同时把 --workers 降低到 4; --epochs 100 对跌倒检测这种中等复杂度的任务来说已经够用,更大的轮次容易过拟合到背景。训练过程中日志里会打印 P (精确率)、 R (召回率)、 mAP@0.5 和 mAP@0.5:0.95 ,这四个指标里,跌倒检测应该优先看 R ,因为漏报一个跌倒事件比多报一次误报严重得多,误报可以靠后面的告警逻辑过滤。

3.2 三个必须调整的超参数

yolov5 默认的 hyp.scratch-low.yaml 是针对 COCO 通用目标调出来的,用在跌倒检测上,有三项基本必调。第一是 hsv_h 和 hsv_s ,这两个控制色调和饱和度的增强强度,监控画面里色彩往往偏灰暗,如果把饱和度增强太高,会让模型太依赖于颜色特征,建议把 hsv_s 从默认的 0.7 降到 0.3 左右;第二是 fliplr ,水平翻转概率,跌倒检测里这个默认 0.5 可以保持不变,因为跌倒方向本身左右都有;第三是 scale ,也就是随机缩放的范围,这个参数决定了模型对目标大小变化的适应能力,跌倒检测中人体大小差异很大(近处的人和远处的人),建议从默认 0.5 提高到 0.8。修改的方式是在训练命令里直接指定:

python train.py --hyp hyp.fall.yaml

hyp.fall.yaml 是在 data/ 目录下新建的,只覆盖需要改的项。另外还有一个值得关注的参数是 --multi-scale ,开启后训练时会在 0.5 到 1.5 倍之间随机缩放输入图片,这相当于免费的尺度增强,代价是训练时间增加约两成。如果一个场景里既有近距离的照护画面,又有远距离的走廊监控,建议把 --multi-scale 加上。

3.3 训练过程的监控与模型收敛判断

训练启动后不要只盯着 loss 曲线,yolov5 训练日志里有几个信号需要关注。如果 val/box_loss 在 50 轮之后还在明显下降,说明模型还在正常拟合,可以继续跑;如果 val/cls_loss 已经降到 0.01 以下但 val/dfl_loss 还在波动,说明定位不够稳,这不是 bug,可以提前早停或加大 --patience 值。yolov5 会在每个 epoch 结束后把验证集上的最佳权重存为 best.pt ,训练结束后的断点续训命令是这个场景下最容易被忽略的:

python train.py --resume runs/train/fall_exp1/weights/last.pt

resume 会读取上次训练的 opt.yaml ,不需要重新指定数据和权重参数。做过一次训练后你会发现,100 轮的模型和 60 轮的模型差距很小,这是因为跌倒检测的数据量通常只有几千张,模型很快就能收敛到接近上限。真正拉开差距的是后处理的那一层,这一步直接决定了交付时误报率和漏报率的表现。

4. 跌倒检测模型的推理部署与普适场景应用改进

4.1 用训练好的权重跑通视频和摄像头

best.pt 拿到之后,先不要在业务代码里直接调,先用 yolov5 自带的 detect.py 验证在完整视频上的表现,命令如下:

python detect.py \
  --weights runs/train/fall_exp1/weights/best.pt \
  --source test_video.mp4 \
  --conf-thres 0.35 \
  --iou-thres 0.45 \
  --save-txt \
  --save-conf

--conf-thres 是置信度阈值,跌倒检测里我一般设到 0.35,比通用检测低一些,漏报一个跌倒事件远比多几个误报框严重; --save-txt 会把每个检测结果写到 txt 文件里,方便事后统计误报时逐帧复盘, --save-conf 会把置信度一并写进去。如果你细心观察输出,会发现摔倒那一帧的置信度往往没有你想象中高,通常在 0.4 到 0.7 之间,原因在于跌倒姿态的标注框内部包含了大面积的背景——比如地面和身体侧面——这导致分类分支的置信度天然偏低。所以后处理阶段一定不要在单帧上做阈值过滤,而要做多帧融合判断。

4.2 判定跌倒动作的逻辑与代码实现

单帧模型只能告诉我们“这一帧里有人倒了”,但在真实监控里,频繁弯腰系鞋带、蹲下整理物品也会触发类似的结果。要降低误报,常见做法是引入时间维度:截取连续 15 帧到 30 帧,统计跌倒类检测框的置信度曲线和人体中心点的高度变化趋势,如果检测框的宽高比在短时间内从小于 1 变成大于 1,且连续多帧保持在大于 1 的状态,就判定为一次有效跌倒事件。基于这个思路,我给你一段可直接套用的 Python 后处理逻辑:

import numpy as np

fall_buffer = []
FRAME_WINDOW = 15
FALL_RATIO_THRESHOLD = 1.2
MIN_FALL_FRAMES = 8

def is_fall_event(detections, frame_width, frame_height):
    fall_hits = []
    for det in detections:
        if int(det[5]) == 1:  # class_id 1 对应 fall
            x1, y1, x2, y2 = det[0], det[1], det[2], det[3]
            width, height = x2 - x1, y2 - y1
            if height > 0:
                ratio = width / height
                fall_hits.append(ratio)

    fall_buffer.append(1 if np.mean(fall_hits) > FALL_RATIO_THRESHOLD else 0)
    if len(fall_buffer) > FRAME_WINDOW:
        fall_buffer.pop(0)

    if len(fall_buffer) >= FRAME_WINDOW and sum(fall_buffer) >= MIN_FALL_FRAMES:
        fall_buffer.clear()
        return True
    return False

逻辑说明:检测框宽高比 ratio 大于 1.2 表示人躺下了,代码维护一个 15 帧的滑动窗口,窗口内至少有 8 帧符合躺下条件才确认为跌倒事件。 MIN_FALL_FRAMES 设得太低会把快速蹲起误判为跌倒,设得太高会让缓慢倒地的老人被漏报,实际使用中打个 8 到 10 比较合适。这个思路在安防行业里叫时空上下文判断,比单纯做姿态估计要稳定,尤其在摄像头安装高度不统一的时候。

4.3 摄像头和 RTSP 流的接入,以及不同业务场景的适配

视频接入的方式有本地摄像头和 RTSP 流两种,前者用 --source 0 即可,后者需要指定 rtsp 地址。常见的一个坑是 RTSP 流会断线,yolov5 的 detect.py 内置的 parse_opt 不会自动重连,推荐的做法是写一个循环重连包裹逻辑,让拉流脚本每 10 秒检查一次帧率,低于阈值就重新初始化 VideoCapture。另外,跌倒检测实际落地的场景差异很大,简单梳理一下三种典型场景的关键变化。养老院看护场景里摄像头通常是俯视角,人体在画面里偏小,分辨率建议用 640 输入但裁切到 1280 的宽幅视野;施工安全场景里光照变化剧烈,阴天和逆光下容易漏检,可以在推理前加一层简单的直方图均衡;室内单人房间场景里可以进一步缩小检测区域,用监控区域的 ROI 掩码过滤掉窗户外行人路过造成的误报。gml 模型官网上的模型再先进,没有针对这些场景做过域适配,实际效果也不如一个调好超参数的 yolov5。模型的 best.pt 只是落地的第一步,围绕视频流做的去重、降噪和业务判定,才是把“模型能识别跌倒”变成“系统能告诉你有老人摔倒了”的关键一环。

5. 一次高质量跌倒检测交付的验收指标与模型进阶优化

5.1 离线测试与指标验证的整体流程

模型好不好不能只看训练时的 mAP,需要准备一段没进过训练和验证的独立视频来验收。流程是:把视频切成若干段,标注出每一段中跌倒事件的实际时间点,跑一遍模型加后处理逻辑,记录每段视频的输出事件。然后统计两个核心指标:召回率等于检测到的事件数除以实际事件数,误报率等于误报事件数除以视频总时长(按每小时计算)。用一段 30 分钟包含 20 次跌倒动作的测试视频来验收,如果召回率在 95% 以上、误报率低于每小时 2 次,对绝大多数安防交付来说就算合格了。很多人在这里会发现训练时的 mAP 有 0.95,但视频级召回率只有 80%,这是因为测试集数据分布和真实视频差异造成的,这也是为什么必须做视频级验收、而不是拿图片测试集打分了事。另外,推理耗时是一个显性指标,使用 detect.py 的 --benchmark 参数可以统计平均推理延迟,在 640 分辨率、batch 为 1 的情况下,yolov5s 在英伟达 T4 上应该在 5 毫秒以内,在 Jeston Nano 上在 30 毫秒左右,如果差距过大,先查有没有开 fp16 精度的 --half 参数。

5.2 用难例挖掘提升跌倒检测模型的上限

训练集里那些“困难样本”才是影响模型召回率的最大因素,所以工程落地时有一个重要步骤叫难例挖掘,英文里叫 hard example mining,具体做法是:跑一遍训练好的模型,把所有假阳性和假阴性的图片收集起来,挑出有代表性的几十张,和原训练集合并后重新训练。从部署角度来说,这部分工作量大,但实际效果非常显著。跌倒检测里最常见的难例是:人蹲下捡东西被误判为跌倒、老人倚靠墙壁或桌椅滑坐的画面里目标框只框到了上半身、穿宽大外套时检测框宽度大于高度导致 1.2 的宽高比阈值被过早触发。针对这些难例,除了补充数据,还可以做两个参数层面上的调整:一个是把 fall.yaml 中 person 类的置信度阈值调低到 0.2,从源头保证人体检测分支不丢;另一个是在后处理里把“跌倒前 5 帧人体框的高度变化趋势”纳入判断,如果高度在跌倒前持续下降且下降速度超过一定斜率,则维持判断为跌倒,这个逻辑能解决大部分缓慢倒地的漏报。

5.3 基于 TensorRT 加速的推理优化思路

如果你最终要部署到边缘设备(比如 Jetson 系列),建议把 best.pt 导出为 ONNX 再转为 TensorRT engine。先说导出命令,用 yolov5 自带的 export.py 即可:

python export.py --weights runs/train/fall_exp1/weights/best.pt --include onnx --opset 12

这一步把 PyTorch 模型转成 ONNX,ONNX 本身在 CPU 上就能跑,转换完成后可用 onnxruntime 检查一下推理结果和 PyTorch 是否一致,精度差异通常在千分之一以下。TensorRT engine 的生成方式在不同版本上略有不同,核心思路是把 ONNX 加载进 TensorRT 后做层融合和精度校准,精度的动态范围会自动调整。做完这一步,推理速度通常会有 1.5 到 3 倍的提升。这里有一个调试小经验:TensorRT 第一次跑的时候会把各层执行时间打印出来,重点看 fall_ 开头的几个卷积层,如果有一层耗时异常偏高,往往是输入的 channel 数没有被融合,检查一下导出的 ONNX 是否带了 --dynamic 参数。如果不用 TensorRT,用 float16 的 --half 参数也可以得到相近的性能提升,只是量化掉的精度需要自己权衡一下。部署环节还有一个容易被忽略的点:不要把 best.pt 直接传给现场,要连同训练时的 fall.yaml 和 hyp.fall.yaml 一起归档。这几份文件决定了模型推理时 class 名称怎么映射、后处理的阈值从哪里来,缺了一份,别人接手你的项目就要重新摸索一遍模型在白盒和黑盒之间来回往返才能复现你的全部行为。

本文还有配套的精品资源,点击获取 menu-r.4af5f7ec.gif

Logo

聚焦RDK与具身智能,汇集机器人开发教程、开源案例和技术交流

更多推荐