(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202011637705.6
(22)申请日 2020.12.31
(71)申请人 西南石油大学
地址 610500 四川省成都市新都区新都大
道8号
(72)发明人 胡启军 敖琪 何乐平
(51)Int.Cl.
G06K 9/00(2006.01)
G06K 9/62(2006.01)
G06N 3/04(2006.01)
G06N 3/08(2006.01)
(54)发明名称一种基于机器视觉自动检测工人不安全行为的方法(57)摘要本发明公开了一种基于机器视觉自动检测工人不安全行为的方法，该方法包括：步骤S10、获取工人不安全行为的原始图像；步骤S20、制作不安全行为标签图像；步骤S30、构建目标检测模型，然后对模型进行训练和验证；步骤S40 、获取实时监控视频，将所得图像帧后输入目标检测模型进行检测，自动识别工人不安全行为并通过监控软件接收识别结果。本发明所提供的自动识别工人不安全行为的方法，其原理在于建立工人不安全行为数据库，通过深度学习算法自动识别工人的不安全动作并显示结果，从而降低工人不安全行为的发生率。相比于传统的监测方法，本发明具有自动化、监测效果好、
操作简单等优点。权利要求书1页 说明书3页 附图2页CN 112613476 A 2021.04.06
C N 112613476
A
1.一种基于机器视觉自动检测工人不安全行为的方法，其特征在于：包括如下步骤：步骤S10：获取工人不安全动作的原始图像；步骤S20：在每张图像上标出所述不安全行为的类
别及位置，
建立不安全行为标签图像；步骤S30：构建目标检测模型，将所述标签图像分为训练集和验证集，然后对该模型进行训练和验证；步骤S40：获取实时监控视频，将所得图像帧后输入目标检测模型进行检测，自动识别工人不安全行为并通过监控软件接收识别结果。
2.如权利要求1所述的一种基于机器视觉自动检测工人不安全行为的方法，其特征在于：所述步骤S10中，所述工人不安全行为原始图像包括平躺、倚靠、跳跃、抛掷和佩戴安全装备这5项，因为平躺容易造成物体打击，抛掷容易造成高处坠落，倚靠容易造成坍塌，跳跃容易造成机械伤害，安全装备可以保护工人的身体健康。
3.如权利要求1所述的一种基于机器视觉自动检测工人不安全行为的方法，其特征在于：所述步骤S20具体为：将所述原始图像打乱顺序依次编号并且以000001.jpg格式保存，使用裁剪工具将原始图像裁剪为大小500*375或375*500得到新样本；利用样本标注工具LabelImg对所述新样本进行标注，在每张图像上标出所述不安全行为的具体位置和类别，建立不安全行为标签图像。
4.如权利要求1所述的一种基于机器视觉自动检测工人不安全行为的方法，其特征在于：所述步骤S30具体包括：步骤S31：所述目标检测模型为Zeiler and Fergus(ZF)卷积神经网络模型，深度学习算法为Faster R ‑CNN；步骤S32：将所述标签图像分为训练集和验证集，将所述训练集输入目标检测模型进行训练，判别损失函数是否满足限定，若是，则进入步骤S33；若否，则重新训练；所述训练集与验证集的拆分比例优选为1:1；步骤S33：将所述验证集输入目标检测模型进行验证，判断是否到达训练次数或小于限定误差，判断不安全行为的类别及位置是否检测准确，若是，则完成训练，保存模型；若否，则进入步骤S32。
5.如权利要求1所述的一种基于机器视觉自动检测工人不安全行为的方法，其特征在于：所述步骤S40具体为：利用多媒体处理工具FFmpeg从符合要求的监控摄像头获取工人的实时监控视频，并输入Nginx服务器，利用Nginx服务器对获取的实时监控视频进行解码后，将监控视频图像输入模型中进行检测，自动识别存在不安全行为的跟踪目标，可通过监控软件接收识别结果并判断不安全行为类别。
权 利 要 求 书1/1页CN 112613476 A
一种基于机器视觉自动检测工人不安全行为的方法
技术领域
[0001]本发明涉及安全监控、安全检测技术领域，具体是一种基于机器视觉自动检测工人不安全行为的方法。
背景技术
[0002]近年来我国建筑行业的发展突飞猛进，由于工程项目恶劣的地质环境与复杂的施工工艺，高处坠落、物体打击、车辆伤害、坍塌、碰撞以及触电等事故导致工人伤亡的现象在施工过程中频频发生。通过对近年来建筑工程安全生产事故及原因统计，发现工人的不安全行为是导致事故发生的重要因素，因此加强对工人不安全行为的监测管理迫在眉睫。[0003]然而，传统的监测方法是通过观察法、访谈法以
及调查法等方式以记录工人活动并对他们的行为作出分析，这种传统形式上的工人行为测量方法在实际应用中存在一定程度上的局限性，一方面，用于观察不安全行为的数据样本需求量巨大，数据获取工作量将消耗大量人力资源；另一方面，观察与报告不安全行为需要工人的积极配合，由于对于不安全行为的感受程度可能因人而异，过分依赖于工人的观察容易造成主观方面的影响。因此，需要一种能够轻松测量工人不安全行为的自动化的、可靠的客观技术以支持工人行为的观察。为解决传统工人活动观察方式的局限性，引入计算机视觉的手段检测工人不安全动作，或将在一定程度上提高对工人不安全行为的观察能力与效果。
发明内容
[0004]本发明要解决的技术问题是：自动检测工人不安全行为并接收识别结果，进而减少工人生产事故的发生。
[0005]为了实现上述目的，本发明所提供的基于机器视觉自动识别工人不安全行为的检测方法，包括以下步骤：
[0006]步骤S10：获取工人不安全动作的原始图像。
[0007]步骤S20：在每张图像上标出所述不安全行为的类别及位置，建立不安全行为标签图像。
[0008]步骤S30：构建目标检测模型，将所述标签图像分为训练集和验证集，然后对该模型进行训练和验证。
[0009]步骤S40：获取实时监控视频，将所得图像帧后输入目标检测模型进行检测，自动识别工人不安全行为并通过监控软件接收识别结果。
[0010]进一步地，所述步骤S10中的工人不安全行为原始图像包括平躺、倚靠、跳跃、抛掷和佩戴安全装备这5项，因为平躺容易造成物体打击，抛掷容易造成高处坠落，倚靠容易造成坍塌，跳跃容易造成机械伤害，安全装备可以保护工人的身体健康。
[0011]进一步地，所述步骤S20具体为：
[0012]步骤S21：将所述原始图像打乱顺序依次编号并且以000001.jpg格式保存，使用裁剪工具将原始图像裁剪为大小500*375或375*500得到新样本。
[0013]步骤S22：利用样本标注工具LabelImg对所述新样本进行标注，在每张图像上标出所述不安全行为的具体位置和类别，建立不安全行为标签图像。
[0014]进一步地，所述步骤S30具体包括：
[0015]步骤S31：所述目标检测模型为Zeiler and Fergus(ZF)卷积神经网络模型，深度学习算法为Faster R‑CNN。
[0016]步骤S32：将所述标签图像分为训练集和验证集，将所述训练集输入目标检测模型进行训练，判别损失函数是否满足限定，若是，则进入步骤S33；若否，则重新训练；所述训练集与验证集的拆分比例优选为1:1。
[0017]步骤S33：将所述验证集输入目标检测模型进行验证，判断是否到达训练次数或小于限定误差，判断不安全行为的类别及位置是否检测准确，若是，则完成训练，保存模型；若否，则进入步骤S32。
[0018]进一步地，所述步骤S40具体为：
[0019]利用多媒体处理工具FFmpeg从符合要求的监控摄像头获取工人的实时监控视频，并输入Nginx服务器，利用Nginx服务器对获取的实时监控视频进行解码后，将监控视频图像输入模型中进行检测，自动识别存在不安全行为的跟踪目标，可通过监控软件接收识别结果并判断不安全行为类别。
[0020]本发明的优点在于：
[0021]1、通过获取工人不安全行为原始图像，然后对原始图像进行标注后输入模型进行训练，利用训练后的模型对工人不安全行为进行自动化识别，监测效果好、时延少、操作简单，极大地减少了监控人员
的工作量。
[0022]2、通过Faster R‑CNN算法对工人不安全行为进行自动识别，极大地提高了识别的准确度。
[0023]3、通过多媒体处理工具FFmpeg和Nginx服务器获取实时监控视频，几乎囊括了现存的视音频编码标准，解决了传统上实时监控视频获取延时高以及网段限制的问题。
附图说明
[0024]图1是本发明一种基于机器视觉自动检测工人不安全行为的方法的流程图；[0025]图2是模型训练过程图；
[0026]图3是工人不安全行为检测系统流程图。
具体实施方式
[0027]为了使本发明的目的、技术方案及特点更加清楚明白，以下结合附图，对本发明进一步详细说明。
[0028]请参照图1、图2所示，本发明一种基于机器视觉自动检测工人不安全行为的方法，包括如下步骤：
[0029]步骤S10：获取大量工人不安全行为的原始图像。
[0030]步骤S20：在每张图像上标出所述不安全行为的类别及位置，建立不安全行为标签图像。
[0031]步骤S30：构建目标检测模型，将所述标签图像分为训练集和验证集，利用所述标
签图像对目标检测模型进行训练和验证，对比预测标签和实际标签来判断模型的分类能力，以检验模型的分类能力是否能够满足要求。
[0032]步骤S40：获取实时监控视频，将所得图像帧后输入训练并验证后的目标检测模型进行检测，自动识别工人不安全行为并通过监控软件接收识别结果。
[0033]所述步骤S10中，所述原始图像的类别包括跳跃、平躺、抛掷、依靠和佩戴安全装备。原始图像的规模和质量是深度学习模型精度的基石，数据量越大，数据质量越高，可以带来更高的检测准确度。
[0034]所述步骤S20具体为：将所述原始图像集打乱顺序依次编号并且以000001.jpg格式保存，使用裁剪工具将原始图像裁剪为大小500*375或375*500得到新样本，利用样本标注工具LabelImg对所述新样本进行标注，在每张图象上标出所述不安全行为的具体位置和类别，建立不安全行为标签图像。
[0035]所述步骤S30具体包括：
[0036]步骤S31：所述目标检测模型为Zeiler and Fergus(ZF)卷积神经网络模型，深度学习算法为Faster R‑CNN
[0037]步骤S32：如图2所示，将所述标签图像分为训练集和验证集，将所述训练集输入目标检测模型进行训练，判别损失函数是否满足限定，若是，则进入步骤S33；若否，则重新训练；所述训练集与验证集的拆分比例优选为1:1；常用的损失函数公式如下：
[0038]交叉熵损失函数
[0039]
[0040]对比损失函数
[0041]
[0042]步骤S33：如图2所示，将所述验证集输入目标检测模型进行验证，判断是否到达训练次数或小于限定误差，判断不安全行为的类别及位置是否检测准确，若是，则完成训练，保存模型；若否，则进入步骤S32。
[0043]步骤S40具体为：
[0044]如图3所示，利用多媒体处理工具FFmpeg从符合要求的监控摄像头获取工人的实时监控视频，并输入Nginx服务器，利用Nginx服务器对获取的实时监控视频进行解码后，将监控视频图像输入模型中进行检测，自动识别存在不安全行为的跟踪目标，可通过监控软件接收识别结果并判断不安全行为类别。Nginx服务器解决了传统上实时监控视频获取延时高以及网段限制的问题。
[0045]当然，本发明还可有其他多种实施方式，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可以根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明专利所附的权利要求的保护范围。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议