[C#][winform]基于yolov11的打架行为检测系统C#源码+onnx模型+评估指标曲线+精美GUI界面

【算法介绍】

在社会治安管理朝着智能化、精细化方向加速推进的重要阶段，及时且精准地监测公共场所中的打架行为，已然成为维护社会秩序稳定、保障公民人身安全以及提升城市治理水平的核心任务之一。公共场所作为人员密集且流动频繁的区域，其环境复杂多变，人员行为难以预测。不同场所的人员密度、人员构成差异巨大，活动类型也丰富多样，而且现场还可能存在光线明暗变化、人群遮挡、背景嘈杂等因素。这些状况不仅直接反映了当前社会治安的状况和管理的有效性，更与公众的安全感、社会的和谐稳定以及城市的文明形象等紧密相连。一旦公共场所中出现打架行为，如商场内因纠纷引发的肢体冲突、街头因口角升级的暴力斗殴，或者因群体性事件导致的混乱打斗等情况，若未能及时察觉并迅速制止，极易引发人员受伤、财产损失甚至引发更大规模的群体性事件，给社会带来极大的负面影响和危害。

传统公共场所打架行为监测方式主要依赖安保人员现场巡查和监控室人员人工查看监控画面。然而，受公共场所面积不断扩大、人员流动速度加快以及监控画面数量众多等因素限制，人工巡查很难全面覆盖公共场所的各个角落，尤其是那些处于偏僻位置、光线昏暗或者人员密集区域的突发打架情况，往往难以被及时观察到。而且，早期基于简单人工判断的监测方法，由于人员行为复杂多样、监控画面清晰度有限以及各种环境因素干扰，误判率高达 40%以上，根本无法满足社会治安管理“精准化、全方位”的需求。因此，开发一套具备高精度、强适应性且能实时监测的公共场所打架行为智能检测系统，成为提升社会治安管理水平和治理效能的关键技术突破点。

目前现有技术存在诸多明显瓶颈：人工巡查不仅效率极其低下（安保人员难以在短时间内巡查完大面积的公共场所），而且巡查人员还面临着被暴力行为伤害等风险；基于简单动作特征提取的传统算法，难以准确区分正常行为与打架行为（例如，一些激烈的体育活动、嬉戏打闹等行为与打架行为在动作上可能有相似之处），在光线昏暗、人员密集等复杂环境下，算法性能会急剧下降；传统目标检测模型对人员行为的多变性（如不同年龄段、性别人员的打架动作差异）和尺度变化（从轻微的推搡到激烈的拳打脚踢）适应性较差，对于小范围、隐蔽性的打架行为（如两人悄悄扭打）的漏检率超过 50%，难以满足实际社会治安管理的复杂需求。

基于 YOLOv11 的打架行为检测系统为社会治安管理带来了革命性的变革。YOLOv11 作为先进的目标检测算法，具备强大的特征提取和实时检测能力。该系统充分发挥 YOLOv11 的端到端实时检测优势，并针对公共场所复杂环境进行了深度优化。

此系统能够精准识别“normal”（正常行为）和“fight”（打架行为）这两个关键类别。它可以准确捕捉打架行为的各种动作特征，无论是轻微的推搡、拉扯，还是激烈的拳打、脚踢、抱摔；无论是两人之间的单打独斗，还是多人参与的群殴，系统都能敏锐识别。同时，对于正常行为，如行走、站立、交谈、购物等，系统也能准确区分。通过对大量公共场所打架行为视频数据的学习和训练，系统能够保持较高的检测准确率，即便在光线变化大、人员流动速度快、存在各种遮挡和干扰等复杂场景下，也能稳定发挥检测性能。

同时，系统具备强大的抗干扰能力，能够有效应对公共场所的广告牌、车辆、树木等干扰因素，不会因这些干扰而出现误判或漏判的情况。这为新型智能化社会治安建设提供了坚实的技术支撑，助力相关部门实现高效、精准、科学的治安管理，及时发现并制止打架行为，维护社会秩序的正常进行和公民人身安全的稳定可靠，提升城市的核心竞争力和文明形象。

【效果展示】

【测试环境】

windows10 x64系统
VS2019
netframework4.7.2
opencvsharp4.9.0
onnxruntime1.22.0

【模型可以检测出类别】

normal

fight

【训练数据集介绍】

数据集中有部分增强图片，主要是旋转增强，此外数据集有很多段视频截取而成。注意normal是负样本，因此有些人没标注也是可以的都是为了过滤不是打架情况。不标注就当作背景训练

数据集格式：Pascal VOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件)

图片数量(jpg文件个数)：9168

标注数量(xml文件个数)：9168

标注数量(txt文件个数)：9168

标注类别数：2

所在仓库：firc-dataset

标注类别名称(注意yolo格式类别顺序不和这个对应，而以labels文件夹classes.txt为准):["fight","normal"]

每个类别标注的框数：

fight 框数 = 6967

normal 框数 = 9725

总框数：16692

使用标注工具：labelImg

标注规则：对类别进行画矩形框

重要说明：该数据集介绍和实际训练数据集由于存在校验审核张数可能不一致，整体是一致的

特别声明：本数据集不对训练的模型或者权重文件精度作任何保证

图片预览：

标注例子：

【训练信息】

验证集精度统计：

【界面设计】

using DeploySharp.Data; using OpenCvSharp; using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; using System.Diagnostics; using System.Drawing; using System.IO; using System.Linq; using System.Text; using System.Threading; using System.Threading.Tasks; using System.Windows.Forms; namespace FIRC { public partial class Form1 : Form { public bool videoStart = false;//视频停止标志 string weightsPath = Application.StartupPath + "\\weights";//模型目录 YoloDetector detetor = new YoloDetector();//推理引擎 public Form1() { InitializeComponent(); CheckForIllegalCrossThreadCalls = false;//线程更新控件不报错 } private void LoadWeightsFromDir() { var di = new DirectoryInfo(weightsPath); foreach(var fi in di.GetFiles("*.onnx")) { comboBox1.Items.Add(fi.Name); } if(comboBox1.Items.Count>0) { comboBox1.SelectedIndex = 0; } else { tssl_show.Text = "未找到模型,请关闭程序，放入模型到weights文件夹!"; tsb_pic.Enabled = false; tsb_video.Enabled = false; tsb_camera.Enabled = false; } } private void Form1_Load(object sender, EventArgs e) { LoadWeightsFromDir();//从目录加载模型 } public string GetResultString(DetResult[] result) { Dictionary<string, int> resultDict = new Dictionary<string, int>(); for (int i = 0; i < result.Length; i++) { if(resultDict.ContainsKey( result[i].Category) ) { resultDict[result[i].Category]++; } else { resultDict[result[i].Category] =1; } } var resultStr = ""; foreach(var item in resultDict) { resultStr += string.Format("{0}:{1}\r\n",item.Key,item.Value); } return resultStr; } private void tsb_pic_Click(object sender, EventArgs e) { OpenFileDialog ofd = new OpenFileDialog(); ofd.Filter = "*.*|*.bmp;*.jpg;*.jpeg;*.tiff;*.tiff;*.png"; if (ofd.ShowDialog() != DialogResult.OK) return; tssl_show.Text = "正在检测中..."; Task.Run(() => { var sw = new Stopwatch(); sw.Start(); Mat image = Cv2.ImRead(ofd.FileName); detetor.SetParams(Convert.ToSingle(numericUpDown1.Value), Convert.ToSingle(numericUpDown2.Value)); var results=detetor.Inference(image); var resultImage = detetor.DrawImage(image, results); sw.Stop(); pb_show.Image = OpenCvSharp.Extensions.BitmapConverter.ToBitmap(resultImage); tb_res.Text = GetResultString(results); tssl_show.Text = "检测已完成!总计耗时"+sw.Elapsed.TotalSeconds+"秒"; }); } public void VideoProcess(string videoPath) { Task.Run(() => { detetor.SetParams(Convert.ToSingle(numericUpDown1.Value), Convert.ToSingle(numericUpDown2.Value)); VideoCapture capture = new VideoCapture(videoPath); if (!capture.IsOpened()) { tssl_show.Text="视频打开失败!"; return; } Mat frame = new Mat(); var sw = new Stopwatch(); int fps = 0; while (videoStart) { capture.Read(frame); if (frame.Empty()) { Console.WriteLine("data is empty!"); break; } sw.Start(); var results = detetor.Inference(frame); var resultImg = detetor.DrawImage(frame,results); sw.Stop(); fps = Convert.ToInt32(1 / sw.Elapsed.TotalSeconds); sw.Reset(); Cv2.PutText(resultImg, "FPS=" + fps, new OpenCvSharp.Point(30, 30), HersheyFonts.HersheyComplex, 1.0, new Scalar(255, 0, 0), 3); //显示结果 pb_show.Image = OpenCvSharp.Extensions.BitmapConverter.ToBitmap(resultImg); tb_res.Text = GetResultString(results); Thread.Sleep(5); } capture.Release(); pb_show.Image = null; tssl_show.Text = "视频已停止!"; tsb_video.Text = "选择视频"; }); } public void CameraProcess(int cameraIndex=0) { Task.Run(() => { detetor.SetParams(Convert.ToSingle(numericUpDown1.Value), Convert.ToSingle(numericUpDown2.Value)); VideoCapture capture = new VideoCapture(cameraIndex); if (!capture.IsOpened()) { tssl_show.Text = "摄像头打开失败!"; return; } Mat frame = new Mat(); var sw = new Stopwatch(); int fps = 0; while (videoStart) { capture.Read(frame); if (frame.Empty()) { Console.WriteLine("data is empty!"); break; } sw.Start(); var results = detetor.Inference(frame); var resultImg = detetor.DrawImage(frame, results); sw.Stop(); fps = Convert.ToInt32(1 / sw.Elapsed.TotalSeconds); sw.Reset(); Cv2.PutText(resultImg, "FPS=" + fps, new OpenCvSharp.Point(30, 30), HersheyFonts.HersheyComplex, 1.0, new Scalar(255, 0, 0), 3); //显示结果 pb_show.Image = OpenCvSharp.Extensions.BitmapConverter.ToBitmap(resultImg); tb_res.Text = GetResultString(results); Thread.Sleep(5); } capture.Release(); pb_show.Image = null; tssl_show.Text = "摄像头已停止!"; tsb_camera.Text = "打开摄像头"; }); } private void tsb_video_Click(object sender, EventArgs e) { if(tsb_video.Text=="选择视频") { OpenFileDialog ofd = new OpenFileDialog(); ofd.Filter = "视频文件(*.*)|*.mp4;*.avi"; if (ofd.ShowDialog() != DialogResult.OK) return; videoStart = true; VideoProcess(ofd.FileName); tsb_video.Text = "停止"; tssl_show.Text = "视频正在检测中..."; } else { videoStart = false; } } private void tsb_camera_Click(object sender, EventArgs e) { if (tsb_camera.Text == "打开摄像头") { videoStart = true; CameraProcess(0); tsb_camera.Text = "停止"; tssl_show.Text = "摄像头正在检测中..."; } else { videoStart = false; } } private void tsb_exit_Click(object sender, EventArgs e) { videoStart = false; this.Close(); } private void trackBar1_Scroll(object sender, EventArgs e) { numericUpDown1.Value = Convert.ToDecimal(trackBar1.Value / 100.0f); } private void trackBar2_Scroll(object sender, EventArgs e) { numericUpDown2.Value = Convert.ToDecimal(trackBar2.Value / 100.0f); } private void numericUpDown1_ValueChanged(object sender, EventArgs e) { trackBar1.Value = (int)(Convert.ToSingle(numericUpDown1.Value) * 100); } private void numericUpDown2_ValueChanged(object sender, EventArgs e) { trackBar2.Value = (int)(Convert.ToSingle(numericUpDown2.Value) * 100); } private void comboBox1_SelectedIndexChanged(object sender, EventArgs e) { tssl_show.Text="加载模型:"+comboBox1.Text; detetor.LoadWeights(weightsPath+"\\"+comboBox1.Text); tssl_show.Text = "模型加载已完成!"; } } }

【常用评估参数介绍】

在目标检测任务中，评估模型的性能是至关重要的。你提到的几个术语是评估模型性能的常用指标。下面是对这些术语的详细解释：

Class：
这通常指的是模型被设计用来检测的目标类别。例如，一个模型可能被训练来检测车辆、行人或动物等不同类别的对象。
Images：
表示验证集中的图片数量。验证集是用来评估模型性能的数据集，与训练集分开，以确保评估结果的公正性。
Instances：
在所有图片中目标对象的总数。这包括了所有类别对象的总和，例如，如果验证集包含100张图片，每张图片平均有5个目标对象，则Instances为500。
P（精确度Precision）：
精确度是模型预测为正样本的实例中，真正为正样本的比例。计算公式为：Precision = TP / (TP + FP)，其中TP表示真正例（True Positives），FP表示假正例（False Positives）。
R（召回率Recall）：
召回率是所有真正的正样本中被模型正确预测为正样本的比例。计算公式为：Recall = TP / (TP + FN)，其中FN表示假负例（False Negatives）。
mAP50：
表示在IoU（交并比）阈值为0.5时的平均精度（mean Average Precision）。IoU是衡量预测框和真实框重叠程度的指标。mAP是一个综合指标，考虑了精确度和召回率，用于评估模型在不同召回率水平上的性能。在IoU=0.5时，如果预测框与真实框的重叠程度达到或超过50%，则认为该预测是正确的。
mAP50-95：
表示在IoU从0.5到0.95（间隔0.05）的范围内，模型的平均精度。这是一个更严格的评估标准，要求预测框与真实框的重叠程度更高。在目标检测任务中，更高的IoU阈值意味着模型需要更准确地定位目标对象。mAP50-95的计算考虑了从宽松到严格的多个IoU阈值，因此能够更全面地评估模型的性能。
这些指标共同构成了评估目标检测模型性能的重要框架。通过比较不同模型在这些指标上的表现，可以判断哪个模型在实际应用中可能更有效。

【使用步骤】

使用步骤：
（1）首先根据官方框架ultralytics安装教程安装好yolov11环境，并根据官方export命令将自己pt模型转成onnx模型,然后去github仓库futureflsl/firc-csharp-projects找到源码
（2）使用vs2019打开sln项目，选择x64 release并且修改一些必要的参数，比如输入shape等，点击运行即可查看最后效果

特别注意如果运行报错了，请参考我的博文进行重新引用我源码的DLL：[C#]opencvsharp报错System.Memory，Version=4.0.1.2，Culture=neutral，PublicKeyToken=cc7b13fcd2ddd51“版本高于所引_未能加载文件或程序集“system.memory, version=4.0.1.2, culture-CSDN博客

【提供文件】

C#源码
yolo11n.onnx模型（提供pytorch模型）
训练的map,P,R曲线图(在weights\results.png)
测试图片（在test_img文件夹下面）

特别注意这里提供训练数据集