(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201911176783.8
(22)申请日 2019.11.26
(71)申请人 北京工业大学
地址 100124 北京市朝阳区平乐园100号
(72)发明人 孙光民 李煜 林朋飞
(74)专利代理机构 北京思海天达知识产权代理
有限公司 11203
代理人 沈波
(51)Int.Cl.
G06T 7/00(2017.01)
G06K 9/62(2006.01)
G06K 9/46(2006.01)
G06N 3/04(2006.01)
G06N 3/08(2006.01)
G06Q 50/26(2012.01)
(54)发明名称
测报警系统及方法
(57)摘要
本发明公开了一种基于深度学习的智能安
前端发送HTTP请求，根据HTTP请求的不同执行不
深度学习算法YOLO V3；使用尺度不变特征变换
SIFT得到检测图像和模板图像的特征点，将检测
图像的开窗坐标映射到模板图像，根据两相近坐
标欧式距离最小的判别准则得到开窗编号，推送
到前端进行实时告警。本发明通过将深度学习算
法YOLO V3和图像匹配方法结合，提升开窗检测
速度，降低光照影响；同时使用Django主流WEB应
用框架，将开窗检测算法封装为接口形式。本发
明实现对建筑物外立面开窗行为的实时检测与
报警定位，实现对居民楼高空抛物以及重点区域
周围建筑物的有效监控和危险预警。权利要求书2页 说明书5页 附图4页CN 110969604 A 2020.04.07
C N 110969604
A
1.一种基于深度学习的智能安防实时开窗检测报警系统，其特征在于：该系统包括任务管理单元、待检测视频流采集单元、开窗检测单元、图像匹配单元和检测结果推送单元； 任务管理单元，用于接收WEB前端通过HTTP方式发送过来的请求，包含资源查询请求、任务添加请求、任务删除请求、状态查询请求；
待检测视频流采集单元，使用多线程的方式，一路线程捕获视频帧，视频帧包含窗口，另一线程获取第一路线程的最新一帧图像用于开窗检测，考虑到由于每个摄像头的分辨率不同且较高，统一将待检测图像降采样到1920x1080大小；
开窗检测单元，将降采样之后的待检测图像输入到提前训练好的YOLO V3检测算法进行检测，检测之后图片的开窗位置使用红框标记，同时得到每个红框的中心点坐标信息；
图像匹配单元，将输入检测算法的原图像和模板图像进行匹配，将原图像的中心点坐标映射到原图像，得到开窗编号；
检测结果推送单元，将开窗检测得到的编号信息、建筑名称、检测时间结果封装为JSON 格式，推送到WEB前端，进行实时告警。
2.根据权利要求1所述的一种基于深度学习的智能安防实时开窗检测报警系统，其特征在于：所述的任务管理单元包括：
资源查询请求：用户使用GET请求方式调用资源查询接口，返回用户开窗检测报警系统还能添加的开窗检测任务数量；
任务添加请求：用户使用POST请求方式调用任务添加接口，开窗检测报警系统接收到用户发送的开窗检测请求和待检测视频流地址RTSP_URL，并开始执行检测任务，不同的开窗检测任务添加到不同的线程中，实现对于多个建筑物同时执行开窗检测；
任务删除请求：用户使用GET请求方式调用任务删除接口目的是接收终止检测任务请求，并删除需要关闭的检测任务；
状态查询请求：用户使用GET请求方式调用状态查询接口目的是返回用户当前查询的开窗检测任务是否正在运行。
3.根据权利要求1所述的一种基于深度学习的智能安防实时开窗检测报警系统，其特征在于：所述的开窗
检测单元包括：
图像分块子单元，将降采样之后的大小为1920x1080的待检测图像进行分块处理，按照从上到下、从左到右的原则，切割成6张子图，子图的大小为640x540；
图像检测子单元，将一张图像的6张子图依次送入YOLO V3检测算法，得到子图上每个已开窗户的左上角坐标(x1,y1)和右下角坐标(x2,y2)；将第二幅子图的横坐标加上640，第三幅子图的横坐标加上1280，第三幅子图的纵坐标加上540，第四幅子图的横坐标加上640、纵坐标加上540，第六幅子图的横坐标加上1280、纵坐标加上540，完成所有开窗坐标映射到原图位置；使用如下坐标变换公式得到整个图像上每个开窗中心点坐标(x,y)；
4.根据权利要求1所述的一种基于深度学习的智能安防实时开窗检测报警系统，其特征在于：所述的图像匹配单元包括：
图像匹配子单元，为了减少图像匹配的时间，在图像匹配之前对两幅图片进行1/4降采样，保证了既好又快的进行两幅图像匹配；将输入检测算法的原图像和模板图像使用尺度不变特征变换SIFT分别检测出两张图像的关键点，根据两张图像的特征点进行匹配，得到原图像到模板图像匹配的3X3的单应矩阵H以及模板图像到原图像匹配的3X3单应矩阵H1；
开窗中心坐标转换子单元，将开窗检测单元中图像检测子单元所获得的所有开窗中心位置坐标转换为中心齐次坐标(x,y,1)，并和单应矩阵H1进行乘积，计算公式如下，得到转换后的坐标(x1,y1,z1)；
开窗中心坐标匹配子单元，将开窗中心坐标转换子单元得到的窗户中心坐标(x1,y1, z1)和模板图像上使用标注软件提前标记好的所有窗户中心坐标(x2,y2,z2)逐个进行欧式距离判定，计算公式如下，所得最小
值所对应的窗户编号即为检测到的开窗编号，为了防止误检，将欧式距离的阈值设定为10以下；最后将所有开窗编号信息汇总，得到此次检测原图像的开窗编号信息；
一种基于深度学习的智能安防实时开窗检测报警系统及方法
技术领域
[0001]本发明属于目标检测和图像处理领域，尤其涉及一种基于深度学习的智能安防开窗检测报警系统及方法。
背景技术
[0002]随着人工智能行业的兴起以及深度学习算法应用领域的日益广泛，同时，使用GPU 加速服务可将深度学习算法迅速训练并应用于实际。而将应用于到实际的算法部署到WEB 端，使得大量用户可以同时调用此算法接口，降低算法在实体环境中的繁琐部署，单台GPU 服务器可同时实现多任务检测处理。目前，对于重大活动的安保现场的视频监控呈现监控点多、分布广的特点，尤其是能够同时实现对周围存在大量建筑物的室外活动现场的建筑物外立面的监测显得非常重要，对于涉及到的开窗抛物、坠物行
为等危险行为的监测和及时处理，已经成为安保以及小区治安工作急需解决的问题。因此，开发一种能够实时对多栋大楼外立面的开窗行为以及开窗位置进行检测的系统和方法的重要性不言而喻。
发明内容
[0003]本发明要解决的技术问题在于，针对现有的使用传统图像处理进行开窗检测的技术上的缺陷，提供一种基于深度学习的智能安防实时开窗检测报警系统及方法。通过该方法解决了现有技术中建筑物外立面开窗检测精度和速度低，且算法适应性不强，检测效果易受到环境影响，算法部署繁琐，资源浪费，摄像头抖动的问题。
[0004]为了解决上述技术问题，本发明提供了一种基于深度学习的智能安防实时开窗检测报警系统，该系统包括任务管理单元、待检测视频流采集单元、开窗检测单元、图像匹配单元和检测结果推送单元。
[0005]任务管理单元，用于接收WEB前端通过HTTP方式发送过来的请求，包含资源查询请求、任务添加请求、任务删除请求、状态查询请求；
[0006]待检测视频流采集单元，使用多线程的方式，一路线程捕获视频帧(视频帧包含窗口)，另一线程获取第一路线程的最新一帧图像用于开窗检测，考虑到由于每个摄像头的分辨率不同且较高，为了提高检测的效率，统一将待检测图像降采样到1920x1080大小；[0007]开窗检测单元，将降采样之后的待检测
图像输入到提前训练好的YOLO V3检测算法进行检测，检测之后图片的开窗位置使用红框标记，同时得到每个红框的中心点坐标信息；
[0008]图像匹配单元，将输入检测算法的原图像和模板图像进行匹配，将原图像的中心点坐标映射到原图像，得到开窗编号。
[0009]检测结果推送单元，将开窗检测得到的编号信息、建筑名称、检测时间结果封装为JSON格式，推送到WEB前端，进行实时告警。
[0010]在根据本发明所述的基于深度学习的智能安防实时开窗检测报警系统中，所述的任务管理单元包括：
[0011]资源查询请求：用户使用GET请求方式调用资源查询接口，返回用户开窗检测报警系统还能添加的开窗检测任务数量；
[0012]任务添加请求：用户使用POST请求方式调用任务添加接口，开窗检测报警系统接收到用户发送的开窗检测请求和待检测视频流地址RTSP_URL，并开始执行检测任务，不同的开窗检测任务添加到不同的线程中，实现对于多个建筑物同时执行开窗检测；
[0013]任务删除请求：用户使用GET请求方式调用任务删除接口目的是接收终止检测任务请求，并删除
需要关闭的检测任务；
[0014]状态查询请求：用户使用GET请求方式调用状态查询接口目的是返回用户当前查询的开窗检测任务是否正在运行；
[0015]在根据本发明所述的基于深度学习的智能安防实时开窗检测报警系统中，所述的开窗检测单元包括：
[0016]图像分块子单元，将降采样之后的大小为1920x1080的待检测图像进行分块处理，按照从上到下、从左到右的原则，切割成6张子图，子图的大小为640x540；
[0017]图像检测子单元，将一张图像的6张子图依次送入YOLO V3检测算法，得到子图上每个已开窗户的左上角坐标(x1,y1)和右下角坐标(x2,y2)。将第二幅子图的横坐标加上640，第三幅子图的横坐标加上1280，第三幅子图的纵坐标加上540，第四幅子图的横坐标加上640、纵坐标加上540，第六幅子图的横坐标加上1280、纵坐标加上540，完成所有开窗坐标映射到原图位置。使用如下坐标变换公式得到整个图像上每个开窗中心点坐标(x,y)。；
[0018]
[0019]
[0020]在根据本发明所述的基于深度学习的智能安防实时开窗报警检测系统中，所述的图像匹配单元包括：
[0021]图像匹配子单元，为了减少图像匹配的时间，在图像匹配之前对两幅图片进行1/4降采样，保证了既好又快的进行两幅图像匹配。将输入检测算法的原图像和模板图像使用尺度不变特征变换SIFT分别检测出两张图像的关键点，根据两张图像的特征点进行匹配，得到原图像到模板图像匹配的3X3的单应矩阵H以及模板图像到原图像匹配的3X3单应矩阵H1；
[0022]
[0023]开窗中心坐标转换子单元，将开窗检测单元中图像检测子单元所获得的所有开窗中心位置坐标转换为中心齐次坐标(x,y,1)，并和单应矩阵H1进行乘积，计算公式如下，得到转换后的坐标(x1,y1,z1)；
[0024]
[0025]开窗中心坐标匹配子单元，将开窗中心坐标转换子单元得到的窗户中心坐标(x1,
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议