设备远程监控及作业全过程行为智能评价方法与流程

1.本发明涉及一种设备远程监控及作业全过程行为智能评价方法。

背景技术：

2.铁路作业中，安全是第一位的。如何确保安装在无人值守探测站的铁路设备能够安全可靠运行，如何发现并制止作业人员作业过程中的不规范行为，一直是安全生产的重中之重。
3.目前，国内外主要通过独立的两类设备进行一定的安全防范。一种是通过在探测站安装电源重启装置，当值班人员发现设备长时间未接车，由人工远程对探测站设备电源断电再上电，试图恢复设备。这种方式无法对故障原因进行排查，同时无法在设备发生电源故障的第一时间通知用户处理。
4.另一种是利用高清网络摄像机采集设备及作业视频。近年来铁路行业投入大量的图像视频采集硬件设备，大量施工作业监控视频接入集团公司、站段两级安全管控中心，目前国内外铁路行业广泛利用网络高清网络摄像机采集探测站机房室内外现场视频和检修库内的作业视频，安排人员在监控室查看，一旦发现设备状态异常或作业现场出现违规、不规范行为，通过人工纠正的方式来制止和警告。这种人工监督作业规范的方式不仅效率低，并且通过肉眼查看的方式很容易漏看违规行为，无法高效地保障铁路检修库内人员作业的规范性和安全性。从技术层面来说目前国内尚没有一个能整合设备远程监测、远程控制维护、对众多违规行为自动识别评估、集中管理的铁路车辆运行安全监测设备远程监控的方法。

技术实现要素：

5.本发明的目的在于克服现有技术的不足，提供一种能够智能化地甄别铁路线路占用情况、设备运行状态、作业行为，自动识别并预警的设备远程监控及作业全过程行为智能评价方法。有效地提升了铁路线路安全、现场设备及作业安全隐患在空间维度上的识别覆盖范围和时间维度上的识别连续性。
6.本发明的目的是通过以下技术方案来实现的：设备远程监控及作业全过程行为智能评价方法，包括以下步骤：
7.s1、进行设备远程监控，包括门状态监测、配电检测、温湿度检测、烟雾检测、水浸检测、设备用电量电能检测、ups监控、空调控制；
8.s2、利用高清网络摄像机采集室内外环境、设备状态及作业全过程行为的视频，并将采集到的视频通过tcp协议传输至远程监控服务器的图像处理模块；
9.s3、图像处理模块对接收到的视频进行图像处理与分析，根据当前作业情况，分别开启相应的识别功能：在非作业时间内，需要进行室内人员侵入、室外人员侵限、设备状态异常识别与报警；在作业时间内，需要进行作业全过程作业行为识别与评价。
10.进一步地，所述门状态监测的具体方法为：远程监控服务器通过网络与5t探测站
机房的门禁系统通信，获取探测站门的打开或关闭状态；若在非作业时间内，门处于打开状态，监控平台立即发出报警并显示门的状态，提示值班人员确认。
11.所述配电检测具体方法为：远程监控服务器通过网络与5t探测站机房内的远程控制终端机进行通信，获取机房内主电源、辅电源、双路切换开关、pdu的6～8路输出端口的配电电压值，并分别与预设的正常电压范围进行比较，当超出预设电压范围时，发出报警。
12.远程监控服务器通过网络连接5t探测站机房内的远程控制终端机，远程控制终端机采集温湿度传感器数据，并通过网络上传至远程监控服务器；
13.所述空调控制具体方法为：远程监控服务器将接收到的温湿度数据与预设的温湿度范围进行比较，若超出预设的温湿度范围，则发出报警；同时远程监控服务器能够选择人工模式或自动模式，通过网络控制远程控制终端机启闭空调；在自动模式下，若机房内温度高于设定温度范围上限，开启空调并选择制冷；若机房内温度低于设定温度范围下限，开启空调并选择制热；若机房内湿度高于设定湿度值，开启空调并选择除湿；当温湿度满足预设的温湿度范围后关闭空调。
14.所述水浸检测的具体方法为：在机房内安装水浸传感器，用于检测探测站是否水淹，远程监控服务器通过网络连接5t探测站机房内的远程控制终端机；远程控制终端机周期性的采集水浸传感器数据，并与预设值进行比较，若超过预设值则判断为水浸，发出报警，报警信息通过网络上传至远程监控服务器。
15.所述设备用电量电能检测的具体方法为：对输出端口的设备所用电量电能进行检测，并将检测数据上传至远程监控服务器，远程监控服务器将检测值与预设正常值进行对比，若超过预设正常值则提示报警。
16.所述ups监控具体实现方法为：远程监控终端机通过rs-485/232或网口与5t探测站中ups的rs-485/232或网口接口对接，通过串口通信协议或网口协议读取ups的相关信息及远程控制ups的开关，并将ups当前状态信息通过网络传输至远程监控服务器；ups当前状态信息有：开/关机状态、运行模式、ups自检状态、电池剩余电量。
17.所述烟雾检测具体实现方法为：5t探测站机房内安装有烟雾浓度传感器，远程控制终端机采集烟雾浓度传感器的数据，并与预设的阈值比较，若超过预设阈值则发出报警；同时将烟雾浓度传感器的数据和报警信息通过有线网络上传至远程监控服务器，若未超过预设阈值则只将烟雾浓度传感器的数据上传至远程监控服务器。
18.进一步地，所述室内人员侵入以及室外人员侵限识别的具体方法为：
19.s3-1-1、通过基于深度学习的目标检测算法对室内视频画面内所有人员及指定类别的工作服进行检测与识别，再利用人员属性识别算法判定该画面中每个人员检测框内人员是否是作业人员，若没有作业人员或者该作业人员有穿戴指定类型的反光工作服或防护服，则不处理；若该作业人员未穿戴任何指定类型的工作服或防护服，即为非法入侵人员；
20.s3-1-2、根据当前站点的天窗作业时间表，判定当前时刻该站点是否是处于作业时间内；
21.s3-1-3、若该站点正处于作业时间内，室内视频画面内出现的所有人员必须穿指定类别的工作服，若检测到某些现场人员未穿戴指定类别的工作服或防护服，则通过具有双向音频沟通功能的室内摄像机或扬声器向现场发送语音提示音“请穿戴工作服”，提示现场人员正确穿戴反光工作服；
22.s3-1-4、若该站点正处于非作业时间，室内视频画面内出现的所有人员均未穿戴指定类别的工作服或防护服，则等待30秒，再次进行人员属性识别判定；
23.如果所有人员仍未穿戴指定类别的工作服或防护服，立即保存该段时间的视频数据及图片，并通过具有双向音频沟通功能的室内摄像机或扬声器向现场发送语音提示音“违规作业，请立即下道”，警示现场人员；
24.若检测到至少一个现场人员有穿戴指定类别的工作服或防护服，则不进行处理；
25.所述设备状态异常识别与报警包括：检测室内室外设备是否处于指定位置，若是则不处理；否则判定为设备丢失，发出警报；检测室内设备指示灯状态是否显示正常，若是则不处理，否则判定为设备异常，发出警报；检测室外设备在非作业时间内非接车时，保护门或者箱门处于打开状态，若是则发出警报，否则不处理；检测室内外设备形态是否正常，若形态改变则发出报警。
26.进一步地，所述作业全过程行为识别与评价的具体方法为：
27.s3-2-1、通过基于深度学习的图像分割算法对室外视频画面内的轨道区域进行分割并提取；
28.s3-2-2、通过基于深度学习的目标检测算法对室外和室内视频画面内的行人、指定类型的工作服及防护服，指定类别的设备进行检测与识别，其中包含反光警戒绳、磁钢、探头箱、环温箱、空调；
29.s3-2-3、若检测到行人，根据当前时刻是否处于作业时间内，做以下处理：
30.非作业时间：判定该行人是否处于轨道roi区域内，若是，则立即保存当前图片，并向管理平台上传报警消息及报警图片，报警类型为“室外人员侵限”；若否，则不做任何操作及处理；
31.作业时间：判定该行人是否处于轨道roi区域内；若是，则进一步分析其人员属性特征，是否具备穿戴指定类型的工作服。若穿戴指定类型的工作服，则为“上道作业人员”；若未穿戴指定类型的工作服，图像处理模块通过具有双向音频沟通功能的室内外摄像机或扬声器发送语音提示音“请穿戴工作服”，提示现场人员正确佩戴反光工作服，直到该人员正确穿戴工作服；若行人未处于轨道roi区域内，则进一步分析其人员属性特征，判断其是否具备穿戴指定类型的工作服；若穿戴指定类型的防护服，则判定为“防护人员”，判定该站点具备“防护作业”行为；若未穿戴指定类型的工作服，则不做任何操作及处理；
32.s3-2-4、若检测到磁钢，根据当前时刻是否处于作业时间内，做以下处理：
33.非作业时间：判定磁钢是否在轨道roi区域内，若在轨道区域外侧，则立即保存当前图片，并向管理平台上传报警消息及报警图片，报警类型为“设备异常”，否则不处理；
34.作业时间：判定磁钢位置检测框处是否有上道作业人员，若没有则不处理；否则判断人员的姿态类别是蹲下状态还是站立状态，若处于蹲下状态，则计算两者检测框的交并比，以及停留时长，若交并比大于预设阈值0.8且停留时长大于预设阈值且手部姿态处于磁钢周围，则判定该作业人员正在进行“磁钢作业”；若处于站立状态，不做任何处理；并保存当前时刻图片及上传数据库，作为该类型作业的判定依据；
35.s3-2-5、若检测到探头箱，判定探头箱处于开盖或关闭状态，做以下处理：
36.非作业时间：若探头箱处于关闭状态，不做任何操作及处理；若探头箱处于开盖状态，图像处理模块立即保存当前时刻图片，并向管理平台上传报警消息及报警图片，报警类
型为“设备异常”；
37.作业时间：若探头箱处于关闭状态，不做任何操作及处理；若探头箱处于开盖状态，判定探头箱检测框周围是否有上道作业人员，若有，则判断人员的姿态类别是蹲下状态还是站立状态，若处于蹲下状态，则计算两者检测框的交并比，以及停留时长，若交并比大于预设阈值0.8且停留时长大于预设阈值且手部姿态在开启的探头箱内，则判定为探头箱作业行为，并保存当前时刻图片及上传数据库，作业该类型作业的判定依据，若没有上道作业人员则不做任何处理；
38.s3-2-6、若检测到环温箱，判定环温箱处于开盖或关闭状态，做以下处理：
39.非作业时间：若环温箱处于关闭状态，不做任何操作及处理；若环温箱处于开盖状态，图像处理模块立即保存当前时刻图片，并向管理平台上传报警消息及报警图片，报警类型为“设备异常”；
40.作业时间：若环温箱处于关闭状态，不做任何操作及处理；若环温箱处于开盖状态，判定环温箱检测框周围是否有上道作业人员，若有，则判断人员的姿态类别是蹲下状态还是站立状态，若处于蹲下状态，则计算两者检测框的交并比，以及停留时长，若交并比大于预设阈值0.8且停留时长大于预设阈值且手部姿态在开启的环温箱内，则判定为环温箱作业行为，并保存当前时刻图片及上传数据库，作业该类型作业的判定依据，若没有上道作业人员则不做任何处理；
41.s3-2-7、若检测到反光警戒绳，根据警戒绳的位置，做以下处理：
42.非作业时间：若警戒绳处于轨道roi区域内，图像处理模块立即保存当前时刻图片，并向管理平台上传报警消息及报警图片，报警类型为“异物侵限”若警戒绳处于轨道roi区域外，不做任何处理；
43.作业时间：若当前作业站点属于多线路轨道，且警戒绳处于两轨道线路之间，则判定为“安全警戒绳”行为；若当前作业站点属于单轨道线路，则不做任何处理；
44.s3-2-8：天窗作业结束后，对识别到的作业行为进行评价，判断在天窗作业时间内是否具有“防护作业”、“安全警戒绳”、“探头箱作业”、“磁钢作业”和“环温箱作业”行为，并将相应的判定依据图片上传管理平台进行展示。
45.本发明的有益效果是：本发明在传统的数字图像处理技术基础上，通过机器学习以达到很好的自动行为模式识别效果。能够智能化地甄别铁路线路占用情况、设备运行状态、作业行为，自动识别预警，有效的提升了现场设备及作业安全隐患在空间维度上的识别覆盖范围和时间维度上的识别连续性。本系统适用于车辆轴温智能探测系统(thds)、货车故障轨旁图像检测系统(tfds)、铁道车辆滚动轴承故障轨旁声学诊断系统(tads)、铁道车辆运行品质轨旁动态监测系统(tpds)、客车运行安全监控系统(tcds)、铁路客车故障轨旁图像检测系统(tvds)、动车组运行故障图像检测系统(teds)等铁路车辆运行安全监测设备或站、段、库内的远程监控及作业行为识别评价。
附图说明
46.图1为本发明的设备远程监控及作业全过程行为智能评价方法的流程图。
具体实施方式
47.下面进一步说明本发明的技术方案。
48.如图1所示，本发明的一种设备远程监控及作业全过程行为智能评价方法，包括以下步骤：
49.s1、进行设备远程监控，包括门状态监测、配电检测、温湿度检测、烟雾检测、水浸检测、设备用电量电能检测、ups监控、空调控制；
50.门状态监测的具体方法为：远程监控服务器通过网络与5t探测站机房的门禁系统通信，获取探测站门的打开或关闭状态；若在非作业时间内，门处于打开状态，监控平台立即发出报警并显示门的状态，提示值班人员确认。
51.所述配电检测具体方法为：远程监控服务器通过网络与5t探测站机房内的远程控制终端机进行通信，获取机房内主电源、辅电源、双路切换开关、pdu的6～8路输出端口的配电电压值，并分别与预设的正常电压范围进行比较，当超出预设电压范围时，发出报警。
52.远程监控服务器通过网络连接5t探测站机房内的远程控制终端机，远程控制终端机采集温湿度传感器数据，并通过网络上传至远程监控服务器；
53.所述空调控制具体方法为：远程监控服务器将接收到的温湿度数据与预设的温湿度范围进行比较，若超出预设的温湿度范围，则发出报警；同时远程监控服务器能够选择人工模式或自动模式，通过网络控制远程控制终端机启闭空调；在自动模式下，若机房内温度高于设定温度范围上限，开启空调并选择制冷；若机房内温度低于设定温度范围下限，开启空调并选择制热；若机房内湿度高于设定湿度值，开启空调并选择除湿；当温湿度满足预设的温湿度范围后关闭空调。
54.所述水浸检测的具体方法为：在机房内安装水浸传感器，用于检测探测站是否水淹，远程监控服务器通过网络连接5t探测站机房内的远程控制终端机；远程控制终端机周期性的采集水浸传感器数据，并与预设值进行比较，若超过预设值则判断为水浸，发出报警，报警信息通过网络上传至远程监控服务器。
55.所述设备用电量电能检测的具体方法为：对输出端口的设备所用电量电能进行检测，并将检测数据上传至远程监控服务器，远程监控服务器将检测值与预设正常值进行对比，若超过预设正常值则提示报警。
56.所述ups监控具体实现方法为：远程监控终端机通过rs-485/232或网口与5t探测站中ups的rs-485/232或网口接口对接，通过串口通信协议或网口协议读取ups的相关信息及远程控制ups的开关，并将ups当前状态信息通过网络传输至远程监控服务器；ups当前状态信息有：开/关机状态、运行模式(市电、旁路、电池)、ups自检状态、电池剩余电量。
57.所述烟雾检测具体实现方法为：5t探测站机房内安装有烟雾浓度传感器，远程控制终端机采集烟雾浓度传感器的数据，并与预设的阈值比较，若超过预设阈值则发出报警；同时将烟雾浓度传感器的数据和报警信息通过有线网络上传至远程监控服务器，若未超过预设阈值则只将烟雾浓度传感器的数据上传至远程监控服务器。
58.s2、利用高清网络摄像机采集室内外环境、设备状态及作业全过程行为的视频，并将采集到的视频通过tcp协议传输至远程监控服务器的图像处理模块；
59.s3、图像处理模块对接收到的视频进行图像处理与分析，如图1所示，首先加载模型集、加载摄像机，然后预览视频，进行目标检测，判断该帧图像中是否存在目标物，若否则
继续浏览下一帧图像，若是则根据当前作业情况，分别开启相应的识别功能：在非作业时间内，需要进行室内人员侵入、室外人员侵限、设备状态异常识别与报警；在作业时间内，需要进行作业全过程作业行为识别与评价。
60.所述室内人员侵入以及室外人员侵限识别的具体方法为：
61.s3-1-1、通过基于深度学习的目标检测算法(yolox)对室内视频画面内所有人员及指定类别的工作服进行检测与识别，再利用人员属性识别算法(par)判定该画面中每个人员检测框内人员是否是作业人员，若没有作业人员或者该作业人员有穿戴指定类型的反光工作服或防护服，则不处理；若该作业人员未穿戴任何指定类型的工作服或防护服，即为非法入侵人员；
62.s3-1-2、图像处理模块根据当前站点的天窗作业时间表，判定当前时刻该站点是否是处于作业时间内；
63.s3-1-3、若该站点正处于作业时间内，室内视频画面内出现的所有人员必须穿指定类别的工作服，若检测到某些现场人员未穿戴指定类别的工作服或防护服，则通过具有双向音频沟通功能的室内摄像机或扬声器向现场发送语音提示音“请穿戴工作服”，提示现场人员正确穿戴反光工作服；
64.s3-1-4、若该站点正处于非作业时间，室内视频画面内出现的所有人员均未穿戴指定类别的工作服或防护服，则等待30秒，再次进行人员属性识别判定；
65.如果所有人员仍未穿戴指定类别的工作服或防护服，立即保存该段时间的视频数据及图片，并通过具有双向音频沟通功能的室内摄像机或扬声器向现场发送语音提示音“违规作业，请立即下道”，警示现场人员；
66.若检测到至少一个现场人员有穿戴指定类别的工作服或防护服，则不进行处理；
67.所述设备状态异常识别与报警包括：检测室内室外设备是否处于指定位置，若是则不处理；否则判定为设备丢失，发出警报；检测室内设备指示灯状态是否显示正常，若是则不处理，否则判定为设备异常，发出警报；检测室外设备在非作业时间内非接车时，保护门或者箱门处于打开状态，若是则发出警报，否则不处理；检测室内外设备形态是否正常，若形态改变则发出报警。
68.所述作业全过程行为识别与评价的具体方法为：
69.s3-2-1、通过基于深度学习的图像分割算法(unet)对室外视频画面内的轨道区域进行分割并提取；
70.s3-2-2、通过基于深度学习的目标检测算法(yolox)对室外和室内视频画面内的行人、指定类型的工作服及防护服，指定类别的设备进行检测与识别，其中包含反光警戒绳、磁钢、探头箱、环温箱、空调；
71.s3-2-3、若检测到行人，根据当前时刻是否处于作业时间内，做以下处理：
72.非作业时间：判定该行人是否处于轨道roi区域内，若是，则立即保存当前图片，并向管理平台上传报警消息及报警图片，报警类型为“室外人员侵限”；若否，则不做任何操作及处理；
73.作业时间：判定该行人是否处于轨道roi区域内；若是，则进一步分析其人员属性特征，是否具备穿戴指定类型的工作服。若穿戴指定类型的工作服，则为“上道作业人员”；若未穿戴指定类型的工作服，图像处理模块通过具有双向音频沟通功能的室内外摄像机或
扬声器发送语音提示音“请穿戴工作服”，提示现场人员正确佩戴反光工作服，直到该人员正确穿戴工作服；若行人未处于轨道roi区域内，则进一步分析其人员属性特征，判断其是否具备穿戴指定类型的工作服；若穿戴指定类型的防护服，则判定为“防护人员”，判定该站点具备“防护作业”行为；若未穿戴指定类型的工作服，则不做任何操作及处理；
74.s3-2-4、若检测到磁钢，根据当前时刻是否处于作业时间内，做以下处理：
75.非作业时间：判定磁钢是否在轨道roi区域内，若在轨道区域外侧，则立即保存当前图片，并向管理平台上传报警消息及报警图片，报警类型为“设备异常”，否则不处理；
76.作业时间：判定磁钢位置检测框处是否有上道作业人员，若没有则不处理；否则判断人员的姿态类别是蹲下状态还是站立状态，若处于蹲下状态，则计算两者检测框的交并比，以及停留时长，若交并比大于预设阈值0.8且停留时长大于预设阈值且手部姿态处于磁钢周围，则判定该作业人员正在进行“磁钢作业”；若处于站立状态，不做任何处理；并保存当前时刻图片及上传数据库，作为该类型作业的判定依据；
77.检测框交并比计算方式如下：
[0078][0079]
其中，iou表示检测位置与预测位置的交并比，sa是目标检测框的位置信息，sb是目标预测框的位置信息；
[0080]
s3-2-5、若检测到探头箱，判定探头箱处于开盖或关闭状态，做以下处理：
[0081]
非作业时间：若探头箱处于关闭状态，不做任何操作及处理；若探头箱处于开盖状态，图像处理模块立即保存当前时刻图片，并向管理平台上传报警消息及报警图片，报警类型为“设备异常”；
[0082]
作业时间：若探头箱处于关闭状态，不做任何操作及处理；若探头箱处于开盖状态，判定探头箱检测框周围是否有上道作业人员，若有，则判断人员的姿态类别是蹲下状态还是站立状态，若处于蹲下状态，则计算两者检测框的交并比，以及停留时长，若交并比大于预设阈值0.8且停留时长大于预设阈值且手部姿态在开启的探头箱内，则判定为探头箱作业行为，并保存当前时刻图片及上传数据库，作业该类型作业的判定依据，若没有上道作业人员则不做任何处理；
[0083]
s3-2-6、若检测到环温箱，判定环温箱处于开盖或关闭状态，做以下处理：
[0084]
非作业时间：若环温箱处于关闭状态，不做任何操作及处理；若环温箱处于开盖状态，图像处理模块立即保存当前时刻图片，并向管理平台上传报警消息及报警图片，报警类型为“设备异常”；
[0085]
作业时间：若环温箱处于关闭状态，不做任何操作及处理；若环温箱处于开盖状态，判定环温箱检测框周围是否有上道作业人员，若有，则判断人员的姿态类别是蹲下状态还是站立状态，若处于蹲下状态，则计算两者检测框的交并比，以及停留时长，若交并比大于预设阈值0.8且停留时长大于预设阈值且手部姿态在开启的环温箱内，则判定为环温箱作业行为，并保存当前时刻图片及上传数据库，作业该类型作业的判定依据，若没有上道作业人员则不做任何处理；
[0086]
s3-2-7、若检测到反光警戒绳，根据警戒绳的位置，做以下处理：
[0087]
非作业时间：若警戒绳处于轨道roi区域内，图像处理模块立即保存当前时刻图
片，并向管理平台上传报警消息及报警图片，报警类型为“异物侵限”若警戒绳处于轨道roi区域外，不做任何处理；
[0088]
作业时间：若当前作业站点属于多线路轨道，且警戒绳处于两轨道线路之间，则判定为“安全警戒绳”行为；若当前作业站点属于单轨道线路，则不做任何处理；
[0089]
s3-2-8：天窗作业结束后，对识别到的作业行为进行评价，判断在天窗作业时间内是否具有“防护作业”、“安全警戒绳”、“探头箱作业”、“磁钢作业”和“环温箱作业”行为，并将相应的判定依据图片上传管理平台进行展示。
[0090]
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

技术特征：

1.设备远程监控及作业全过程行为智能评价方法，其特征在于，包括以下步骤：s1、进行设备远程监控，包括门状态监测、配电检测、温湿度检测、烟雾检测、水浸检测、设备用电量电能检测、ups监控、空调控制；s2、利用高清网络摄像机采集室内外环境、设备状态及作业全过程行为的视频，并将采集到的视频通过tcp协议传输至远程监控服务器的图像处理模块；s3、图像处理模块对接收到的视频进行图像处理与分析，根据当前作业情况，分别开启相应的识别功能：在非作业时间内，需要进行室内人员侵入、室外人员侵限、设备状态异常识别与报警；在作业时间内，需要进行作业全过程作业行为识别与评价。2.根据权利要求1所述的设备远程监控及作业全过程行为智能评价方法，其特征在于，所述门状态监测的具体方法为：远程监控服务器通过网络与5t探测站机房的门禁系统通信，获取探测站门的打开或关闭状态；若在非作业时间内，门处于打开状态，监控平台立即发出报警并显示门的状态，提示值班人员确认。3.根据权利要求1所述的设备远程监控及作业全过程行为智能评价方法，其特征在于，所述配电检测具体方法为：远程监控服务器通过网络与5t探测站机房内的远程控制终端机进行通信，获取机房内主电源、辅电源、双路切换开关、pdu的6～8路输出端口的配电电压值，并分别与预设的正常电压范围进行比较，当超出预设电压范围时，发出报警。4.根据权利要求1所述的设备远程监控及作业全过程行为智能评价方法，其特征在于，所述温湿度监测具体方法为：远程监控服务器通过网络连接5t探测站机房内的远程控制终端机，远程控制终端机采集温湿度传感器数据，并通过网络上传至远程监控服务器；所述空调控制具体方法为：远程监控服务器将接收到的温湿度数据与预设的温湿度范围进行比较，若超出预设的温湿度范围，则发出报警；同时远程监控服务器能够选择人工模式或自动模式，通过网络控制远程控制终端机启闭空调；在自动模式下，若机房内温度高于设定温度范围上限，开启空调并选择制冷；若机房内温度低于设定温度范围下限，开启空调并选择制热；若机房内湿度高于设定湿度值，开启空调并选择除湿；当温湿度满足预设的温湿度范围后关闭空调。5.根据权利要求1所述的设备远程监控及作业全过程行为智能评价方法，其特征在于，所述水浸检测的具体方法为：在机房内安装水浸传感器，用于检测探测站是否水淹，远程监控服务器通过网络连接5t探测站机房内的远程控制终端机；远程控制终端机周期性的采集水浸传感器数据，并与预设值进行比较，若超过预设值则判断为水浸，发出报警，报警信息通过网络上传至远程监控服务器。6.根据权利要求1所述的设备远程监控及作业全过程行为智能评价方法，其特征在于，所述设备用电量电能检测的具体方法为：对输出端口的设备所用电量电能进行检测，并将检测数据上传至远程监控服务器，远程监控服务器将检测值与预设正常值进行对比，若超过预设正常值则提示报警。7.根据权利要求1所述的设备远程监控及作业全过程行为智能评价方法，其特征在于，所述ups监控具体实现方法为：远程监控终端机通过rs-485/232或网口与5t探测站中ups的rs-485/232或网口接口对接，通过串口通信协议或网口协议读取ups的相关信息及远程控制ups的开关，并将ups当前状态信息通过网络传输至远程监控服务器；ups当前状态信息有：开/关机状态、运行模式、ups自检状态、电池剩余电量。
8.根据权利要求1所述的设备远程监控及作业全过程行为智能评价方法，其特征在于，所述烟雾检测具体实现方法为：5t探测站机房内安装有烟雾浓度传感器，远程控制终端机采集烟雾浓度传感器的数据，并与预设的阈值比较，若超过预设阈值则发出报警；同时将烟雾浓度传感器的数据和报警信息通过有线网络上传至远程监控服务器，若未超过预设阈值则只将烟雾浓度传感器的数据上传至远程监控服务器。9.根据权利要求1所述的设备远程监控及作业全过程行为智能评价方法，其特征在于，所述室内人员侵入以及室外人员侵限识别的具体方法为：s3-1-1、通过基于深度学习的目标检测算法对室内视频画面内所有人员及指定类别的工作服进行检测与识别，再利用人员属性识别算法判定该画面中每个人员检测框内人员是否是作业人员，若没有作业人员或者该作业人员有穿戴指定类型的反光工作服或防护服，则不处理；若该作业人员未穿戴任何指定类型的工作服或防护服，即为非法入侵人员；s3-1-2、根据当前站点的天窗作业时间表，判定当前时刻该站点是否是处于作业时间内；s3-1-3、若该站点正处于作业时间内，室内视频画面内出现的所有人员必须穿指定类别的工作服，若检测到某些现场人员未穿戴指定类别的工作服或防护服，则通过具有双向音频沟通功能的室内摄像机或扬声器向现场发送语音提示音“请穿戴工作服”，提示现场人员正确穿戴反光工作服；s3-1-4、若该站点正处于非作业时间，室内视频画面内出现的所有人员均未穿戴指定类别的工作服或防护服，则等待30秒，再次进行人员属性识别判定；如果所有人员仍未穿戴指定类别的工作服或防护服，立即保存该段时间的视频数据及图片，并通过具有双向音频沟通功能的室内摄像机或扬声器向现场发送语音提示音“违规作业，请立即下道”，警示现场人员；若检测到至少一个现场人员有穿戴指定类别的工作服或防护服，则不进行处理；所述设备状态异常识别与报警包括：检测室内室外设备是否处于指定位置，若是则不处理；否则判定为设备丢失，发出警报；检测室内设备指示灯状态是否显示正常，若是则不处理，否则判定为设备异常，发出警报；检测室外设备在非作业时间内非接车时，保护门或者箱门处于打开状态，若是则发出警报，否则不处理；检测室内外设备形态是否正常，若形态改变则发出报警。10.根据权利要求1所述的设备远程监控及作业全过程行为智能评价方法，其特征在于，所述作业全过程行为识别与评价的具体方法为：s3-2-1、通过基于深度学习的图像分割算法对室外视频画面内的轨道区域进行分割并提取；s3-2-2、通过基于深度学习的目标检测算法对室外和室内视频画面内的行人、指定类型的工作服及防护服，指定类别的设备进行检测与识别，其中包含反光警戒绳、磁钢、探头箱、环温箱、空调；s3-2-3、若检测到行人，根据当前时刻是否处于作业时间内，做以下处理：非作业时间：判定该行人是否处于轨道roi区域内，若是，则立即保存当前图片，并向管理平台上传报警消息及报警图片，报警类型为“室外人员侵限”；若否，则不做任何操作及处理；
作业时间：判定该行人是否处于轨道roi区域内；若是，则进一步分析其人员属性特征，是否具备穿戴指定类型的工作服。若穿戴指定类型的工作服，则为“上道作业人员”；若未穿戴指定类型的工作服，图像处理模块通过具有双向音频沟通功能的室内外摄像机或扬声器发送语音提示音“请穿戴工作服”，提示现场人员正确佩戴反光工作服，直到该人员正确穿戴工作服；若行人未处于轨道roi区域内，则进一步分析其人员属性特征，判断其是否具备穿戴指定类型的工作服；若穿戴指定类型的防护服，则判定为“防护人员”，判定该站点具备“防护作业”行为；若未穿戴指定类型的工作服，则不做任何操作及处理；s3-2-4、若检测到磁钢，根据当前时刻是否处于作业时间内，做以下处理：非作业时间：判定磁钢是否在轨道roi区域内，若在轨道区域外侧，则立即保存当前图片，并向管理平台上传报警消息及报警图片，报警类型为“设备异常”，否则不处理；作业时间：判定磁钢位置检测框处是否有上道作业人员，若没有则不处理；否则判断人员的姿态类别是蹲下状态还是站立状态，若处于蹲下状态，则计算两者检测框的交并比，以及停留时长，若交并比大于预设阈值0.8且停留时长大于预设阈值且手部姿态处于磁钢周围，则判定该作业人员正在进行“磁钢作业”；若处于站立状态，不做任何处理；并保存当前时刻图片及上传数据库，作为该类型作业的判定依据；s3-2-5、若检测到探头箱，判定探头箱处于开盖或关闭状态，做以下处理：非作业时间：若探头箱处于关闭状态，不做任何操作及处理；若探头箱处于开盖状态，图像处理模块立即保存当前时刻图片，并向管理平台上传报警消息及报警图片，报警类型为“设备异常”；作业时间：若探头箱处于关闭状态，不做任何操作及处理；若探头箱处于开盖状态，判定探头箱检测框周围是否有上道作业人员，若有，则判断人员的姿态类别是蹲下状态还是站立状态，若处于蹲下状态，则计算两者检测框的交并比，以及停留时长，若交并比大于预设阈值0.8且停留时长大于预设阈值且手部姿态在开启的探头箱内，则判定为探头箱作业行为，并保存当前时刻图片及上传数据库，作业该类型作业的判定依据，若没有上道作业人员则不做任何处理；s3-2-6、若检测到环温箱，判定环温箱处于开盖或关闭状态，做以下处理：非作业时间：若环温箱处于关闭状态，不做任何操作及处理；若环温箱处于开盖状态，图像处理模块立即保存当前时刻图片，并向管理平台上传报警消息及报警图片，报警类型为“设备异常”；作业时间：若环温箱处于关闭状态，不做任何操作及处理；若环温箱处于开盖状态，判定环温箱检测框周围是否有上道作业人员，若有，则判断人员的姿态类别是蹲下状态还是站立状态，若处于蹲下状态，则计算两者检测框的交并比，以及停留时长，若交并比大于预设阈值0.8且停留时长大于预设阈值且手部姿态在开启的环温箱内，则判定为环温箱作业行为，并保存当前时刻图片及上传数据库，作业该类型作业的判定依据，若没有上道作业人员则不做任何处理；s3-2-7、若检测到反光警戒绳，根据警戒绳的位置，做以下处理：非作业时间：若警戒绳处于轨道roi区域内，图像处理模块立即保存当前时刻图片，并向管理平台上传报警消息及报警图片，报警类型为“异物侵限”若警戒绳处于轨道roi区域外，不做任何处理；
作业时间：若当前作业站点属于多线路轨道，且警戒绳处于两轨道线路之间，则判定为“安全警戒绳”行为；若当前作业站点属于单轨道线路，则不做任何处理；s3-2-8：天窗作业结束后，对识别到的作业行为进行评价，判断在天窗作业时间内是否具有“防护作业”、“安全警戒绳”、“探头箱作业”、“磁钢作业”和“环温箱作业”行为，并将相应的判定依据图片上传管理平台进行展示。

技术总结

本发明公开了一种设备远程监控及作业全过程行为智能评价方法，包括以下步骤：S1、进行设备远程监控；S2、利用高清网络摄像机采集室内外环境、设备状态及作业全过程行为的视频，并通过TCP协议传输至远程监控服务器；S3、对接收到的视频进行图像处理与分析，根据当前作业情况，分别开启相应的识别功能：在非作业时间内，进行室内人员侵入、室外人员侵限、设备状态异常识别与报警；在作业时间内，进行作业全过程作业行为识别与评价。本发明采用智能视频结构化分析技术，自动识别并上报设备运行状态、人员侵限及作业行为等，提升了现场设备及作业安全隐患在空间维度上的识别覆盖范围和时间维度上的识别连续性。维度上的识别连续性。维度上的识别连续性。