基于深度学习的运动动作识别系统

基于深度学习的运动动作识别系统

目录

1. 项目概述
2. 数据集说明
3. 算法设计
4. 模型架构
5. 训练过程
6. 模型评估
7. 数据库设计
8. 系统架构
9. 界面功能详解
10. 技术原理与实现
11. 项目总结

项目概述

1.1 项目背景

随着计算机视觉和深度学习技术的快速发展，人体动作识别在智能监控、人机交互、体育分析、健康管理等领域具有重要的应用价值。传统的基于手工特征的方法（如HOG、SIFT等）在复杂场景下鲁棒性差，难以适应多变的背景和光照条件。

本项目采用深度学习方法，结合人体检测（YOLO）、姿态估计（PoseResNet）和时序建模（LSTM），设计并实现了一个端到端的运动动作识别系统，能够自动从视频中识别人体动作类型。

1.2 技术路线

系统整体采用"视频输入 → 人体检测 → 姿态估计 → 动作识别 → 结果可视化"的技术路线：

输入视频 ↓ YOLO人体检测（定位人体区域） ↓ PoseResNet姿态估计（提取17个关键点） ↓ 关键点序列构建（时序数据） ↓ LSTM动作分类（时序建模） ↓ 动作识别结果（类别+置信度）

1.3 系统特点

• 端到端学习：无需手工特征工程，自动学习动作特征
• 模块化设计：各模块解耦，易于维护和扩展
• 用户友好：提供Web交互界面，无需编程知识即可使用
• 完整流程：从数据处理到模型部署的完整实现

数据集说明

2.1 数据集介绍

数据集名称：KTH Human Action Dataset
来源：瑞典皇家理工学院（KTH Royal Institute of Technology）
发布时间：2004年
应用场景：动作识别研究的标准数据集

2.2 数据集特点

• 动作类别：包含4类人体动作

  • boxing（拳击）：100个视频
  • handclapping（鼓掌）：99个视频
  • handwaving（挥手）：100个视频
  • jogging（慢跑）：100个视频

• 数据格式：AVI视频文件

• 场景特点：

  • 单人动作
  • 简单背景（便于研究算法有效性）
  • 分辨率：160×120像素
  • 帧率：25fps
  • 平均时长：2-5秒

• 视频属性统计：

  • 平均帧数：约100-150帧
  • 平均时长：4-6秒
  • 格式：灰度或彩色视频

2.3 数据分布可视化

图说明：数据分布图展示了各类别视频的数量统计。左侧柱状图显示各类别视频数量，可以看出4个类别的样本数量基本均衡（每个类别约99-100个视频）。右侧饼图展示了各类别在总数据集中的占比，每个类别约占25%，数据分布均匀，有利于模型训练和评估。

算法设计

3.1 整体算法流程

本系统采用多阶段深度学习管道，将复杂的动作识别任务分解为三个子任务：

1. 人体检测：定位视频帧中的人体区域
2. 姿态估计：提取人体关键点坐标
3. 动作分类：基于关键点序列进行动作识别

3.2 人体检测算法（YOLO）

3.2.1 YOLO原理

YOLO (You Only Look Once)是一种单阶段目标检测算法，其核心思想是：

• 将图像划分为网格（如7×7或13×13）
• 每个网格负责检测中心落在该网格内的目标
• 直接预测边界框坐标和类别概率
• 单次前向传播完成检测，速度快

YOLO的优势：

• 实时性好：单次前向传播，速度可达30-45 FPS
• 全局理解：一次看到整张图像，避免重复检测
• 端到端训练：直接优化检测性能

3.2.2 本系统中的应用

本系统使用YOLOv11n（YOLO最新版本）进行人体检测：

# YOLO检测流程1.输入：视频帧（RGB图像）2.前向传播：YOLO网络3.输出：人体边界框[x1,y1,x2,y2]+置信度4.筛选：选择置信度最高的检测框

技术细节：

• 输入尺寸：640×640（YOLO自动调整）
• 置信度阈值：0.25
• 输出格式：边界框坐标（归一化后转换为像素坐标）

检测结果示例：

图说明：该图展示了YOLO模型在训练集上的检测结果。图中绿色边界框标注了检测到的人体区域，每个边界框都包含置信度分数。可以看到模型能够准确检测出视频帧中的多个人体目标。

3.3 姿态估计算法（PoseResNet）

3.3.1 PoseResNet原理

PoseResNet是基于ResNet架构的人体姿态估计网络，用于从人体图像中提取关键点坐标。

关键点定义（COCO格式，17个关键点）：

• 头部：鼻子(nose)、左眼(left_eye)、右眼(right_eye)、左耳(left_ear)、右耳(right_ear)
• 上肢：左肩(left_shoulder)、右肩(right_shoulder)、左肘(left_elbow)、右肘(right_elbow)、左腕(left_wrist)、右腕(right_wrist)
• 躯干：左髋(left_hip)、右髋(right_hip)
• 下肢：左膝(left_knee)、右膝(right_knee)、左踝(left_ankle)、右踝(right_ankle)

PoseResNet架构：

• Backbone：ResNet-50（特征提取）
• Head：反卷积层（热图生成）
• 输出：17个热图（每个关键点一个热图）
• 后处理：从热图中提取最大响应位置作为关键点坐标

3.3.2 热图到坐标转换

# 热图提取关键点流程1.输入：256×192的人体图像2.网络输出：17个热图(H×W=64×48)3.对每个热图找最大值位置：argmax(heatmap)4.映射回原图坐标： x_original=x1+(x_heatmap/48.0)*box_width y_original=y1+(y_heatmap/64.0)*box_height

技术细节：

• 输入预处理：归一化（ImageNet均值和方差）
• 输入尺寸：256×192（宽×高）
• 输出尺寸：64×48（热图分辨率）
• 坐标映射：从热图坐标映射回原始图像坐标

骨架连接关系：

骨架连接（19条边）： 头部：左眼-右眼, 左眼-鼻子, 右眼-鼻子, 左耳-左眼, 右耳-右眼 躯干：左肩-右肩, 左肩-左髋, 右肩-右髋, 左髋-右髋 左上肢：左肩-左肘-左腕 右上肢：右肩-右肘-右腕 左下肢：左髋-左膝-左踝 右下肢：右髋-右膝-右踝

3.4 动作识别算法（LSTM）

3.4.1 时序建模原理

动作识别的核心在于捕捉时序模式。不同动作在时间维度上展现出不同的关键点运动轨迹：

• 拳击：手臂快速前后运动，周期性明显
• 鼓掌：双手合拢分开，节奏规律
• 挥手：单臂左右摆动
• 慢跑：双腿交替运动，周期性循环

LSTM（Long Short-Term Memory）是专门设计用于处理时序数据的循环神经网络：

LSTM核心机制：

• 遗忘门（Forget Gate）：决定丢弃哪些信息
• 输入门（Input Gate）：决定存储哪些新信息
• 输出门（Output Gate）：决定输出哪些信息

LSTM公式：

遗忘门：f_t = σ(W_f · [h_{t-1}, x_t] + b_f) 输入门：i_t = σ(W_i · [h_{t-1}, x_t] + b_i) 候选值：C̃_t = tanh(W_C · [h_{t-1}, x_t] + b_C) 细胞状态：C_t = f_t * C_{t-1} + i_t * C̃_t 输出门：o_t = σ(W_o · [h_{t-1}, x_t] + b_o) 隐藏状态：h_t = o_t * tanh(C_t)

3.4.2 本系统中的LSTM实现

输入数据处理：

1. 关键点序列：每个视频提取50帧关键点
2. 每帧特征：17个关键点 × 2坐标 = 34维特征向量
3. 归一化处理：
   • 中心化：以鼻子为参考点，减去鼻子坐标
   • 缩放：除以最大距离，归一化到[-1, 1]范围

序列处理流程：

原始关键点序列：(T,17,2)# T为帧数，不固定↓ 归一化 归一化序列：(T,17,2)↓ 填充/截断 固定长度序列：(50,17,2)↓ Flatten 输入向量：(50,34)

LSTM模型结构：

• 输入层：(batch_size, 50, 34)
  • 50：序列长度（固定）
  • 34：特征维度（17个关键点×2坐标）
• LSTM层：
  • 层数：2层
  • 隐藏单元：128
  • Dropout：0.3（仅在层间使用）
• 全连接层：
  • FC1：128 → 64（ReLU激活 + Dropout 0.3）
  • FC2：64 → 4（输出类别数）
• 输出层：Softmax概率分布

序列长度分析：

图说明：该图展示了从视频中提取的关键点序列的长度分布。横轴表示序列长度（帧数），纵轴表示频数。可以看出大部分视频提取的序列长度集中在30-60帧之间，平均约40-50帧。为了统一输入，系统将所有序列填充或截断到固定长度50帧。

模型架构

4.1 整体架构图

系统采用模块化设计，每个模块独立运行，通过标准接口连接：

┌─────────────┐ │ 输入视频 │ └──────┬──────┘ │ ▼ ┌─────────────────┐ │ YOLO人体检测 │ ← 预训练模型（YOLOv11n） └──────┬──────────┘ │ 输出：边界框 ▼ ┌─────────────────┐ │ PoseResNet │ ← 预训练模型（ONNX格式） │ 姿态估计 │ └──────┬──────────┘ │ 输出：17个关键点坐标 ▼ ┌─────────────────┐ │ 数据预处理 │ │ - 归一化 │ │ - 序列填充 │ └──────┬──────────┘ │ 输出：(50, 34)特征序列 ▼ ┌─────────────────┐ │ LSTM动作分类 │ ← 自定义训练模型 └──────┬──────────┘ │ 输出：动作类别+置信度 ▼ ┌─────────────┐ │ 结果展示 │ └─────────────┘

4.2 模型参数统计

LSTM模型参数量：

• 总参数：约224,580个
• 第一层LSTM：34 × 128 × 4 + 128 × 128 × 4 = 约83,000
• 第二层LSTM：128 × 128 × 4 = 约65,500
• 全连接层FC1：128 × 64 = 8,192
• 全连接层FC2：64 × 4 = 256

模型大小：约900 KB（.pth文件）

4.3 模型配置文件

{"input_size":34,// 输入特征维度"hidden_si