(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201910991598.8
(22)申请日 2019.10.18
(71)申请人 宁波大学
地址 315000 浙江省宁波市江北区风华路
818号
(72)发明人 唐金亮 陈特欢 蔡振宇
(74)专利代理机构 杭州天昊专利代理事务所
(特殊普通合伙) 33283
代理人 黄芳
(51)Int.Cl.
G06T 7/00(2017.01)
G06T 7/11(2017.01)
G06T 7/13(2017.01)
G06T 7/136(2017.01)
G06K 9/32(2006.01)
(54)发明名称
测方法
(57)摘要
基于计算机视觉的传送带物料状态检测方
法，包括设置对准传送带拍照、获取视频流的相
特征在于：图像识别模块执行以下操作：获取视
频流，将图像灰度化，通过Gunnar_Farneback法
计算稠密光流获取运动区域范围，分割运动区
域，获得传送带的工作范围；本发明的目的在于
提供一种能够实现对传送带运行、传送带上的物
料情况进行自动化监测的基于计算机视觉的传
送带物料状态检测系统。权利要求书3页 说明书7页 附图6页CN 110782436 A 2020.02.11
C N 110782436
A
1.基于计算机视觉的传送带物料状态检测方法，包括设置对准传送带拍照、获取视频流的相机和对视频流图像进行处理的图像识别模块，其特征在于：图像识别模块执行以下操作：获取视频流，将图像灰度化，通过Gunnar_Farneback法计算稠密光流获取运动区域范围，分割运动区域，获得传送带的工作范围；对运动区域用霍夫变换进行直线特征提取，获得传送带两条边缘线段的四个端点坐标；利用的四个端点坐标计算线段长度区分出长线段和短线段，以短线段的任一端点y1坐标为基准，取y1作为长线段与短线段对应的y坐标值，
计算获得长线段与y1对应的x3坐标值，计算公式为以短线段
的另一个端点y2坐标为基准，取y2作为长线段与短线段对应的y坐标值，计算获得长线段与y2对应的x坐标值，获得四个端点坐标P1(x1,y1),P2(x2,y2)和P3(x3,y1),P4(x4,y2)；以四个端点之内的区域作为ROI区域，计算ROI区域内的灰度平均值，对ROI区域向外扩充，得到坐标P1＇(x1＇,y1),P2＇(x2＇,y2),P3＇(x3＇,y1),P4＇(x4＇,y2)；
部分为按经验设置的offset值；
对ROI区域向内偏移，坐标P1"(x1",y1),P2"(x2",y2),P3"(x3",y1),P4"(x4",y2)；
划分了ROI区域为：传送带区域：{P1＇P2＇P2P1∪P3P4P4＇P3＇}和物料区域：{P1"P2"P2P1∪P3P4P4"P3"}。
2.如权利要求书1所述的基于计算机视觉的传送带物料状态检测方法，其特征在于：获取一帧图像作为当前图像，采用cv2.split()函数将当前帧图像做拆分通道处理，分别获得B、G、R三个单通道图像；计算单通道数值平均值，ave ij＝sum ij/length ij；其中，i表示物料区域或者传送带区域，j表示R通道图像、或者G通道图像、或者B通道图像，sum为所选区域的单个通道数值累加值，length为所选区域的像素数量，计算Diff j＝|ave roi1-ave roi2|，roi1表示传送带区域,roi2表示物料区域；将Diff R，Diff G，Diff B按
从大到小排序，将R通道图像、G通道图像和B通道图像加权后融合形成加权灰度图，加权计算公式为：ave＝λmax ave max+λave mid+λmin ave min，其中λmax＝0.6，λmid＝0.3，λmin＝0.1；max表示Diff值最大的通道图mid
像，mid表示Diff值第二的通道图像，min表示Diff值最小的通道图像。
3.如权利要求书2所述的基于计算机视觉的传送带物料状态检测方法，其特征在于：每帧图像中传送带区域和物料区域的加权灰度分别计算其各自区域内的均值，设定为对每输入20帧的均值灰度再次求解均值，并计算均值灰度g随时间t变化的导数；对于传送带区域设定为2秒时间范围内导数的值小于所设导数下限阈值或加权灰度值小于灰度下限阈值时发送物料过多的警报；对于物料区域设定为2秒的时间内导数的值大于所设导数上限阈值或加权灰度值高于灰度上限阈值时发送物料过少的警报，阈值根据观测曲线变化情况给
定。最终实现物料状态的检测。导数下限阈值为负数，导数上限阈值为正数。
4.如权利要求书3所述的基于计算机视觉的传送带物料状态检测方法，其特征在于：获取运动区域的方法为：待视频流稳定输入后获取初始的相邻两帧图像信息，处理图像的BGR 三通道值，将原始图像转化为8bit单通道灰度图；
Gray＝R*0.299+G*0.587+B*0.114；其中，Gray表示8bit单通道灰度图的灰度值，R表示原始图像的R通道灰度值，G表示原始图像的G通道灰度值，B表示原始图像的B通道灰度值；
输出一个尺寸与原始图像相同的2D光流矩阵。将光流向量(u,v)的2通道数组映射至极坐标系下；到光流向量的等级和方向，给映射至极坐标系下的光流向量(u,v)的2通道数组矩阵上，光流向量方向对应图像的调值，将光流场通过HSV彩空间表示再将HSV彩空间转化至BGR，然后BGR转化为灰度图，由于非传送带工作区域灰度趋于0，因此设置本发明设置灰度阈值为30，通过阈值分割的方式获得图像掩膜，表示为一个0-1二值数组，长宽尺寸同输入帧图；将掩膜和输入帧的灰度图点乘，分割运动区域，将运动区域作为传输带工作范围。
5.如权利要求书4所述的基于计算机视觉的传送带物料状态检测方法，其特征在于：对分割得到的传输带工作范围提取直线特征的操作为：首先将分割图像与高斯内核进行卷积处理，大小为(2k+1)*(2k+1)的高斯内核的生成方程式由下式给出：
设定k＝1，即采用尺寸为3*3的高斯内核对图像进行滤波处理；σ表示为高斯分布的标准差，ij表示内核参数所处的位置；通过边缘检测的Sobel算子返回水平方向G x的一阶导数值和垂直方向G y的一阶导数
值，计算图像中每个像素点的梯度强度G，和方
向θ，
6.如权利要求书5所述的基于计算机视觉的传送带物料状态检测方法，其特征在于：对梯度图像中每个像素进行非极大值抑制处理，将局部最大值之外的所有梯度值抑制为0；在施加非极大值抑制之后，剩余的像素可以更准确地表示图像中的实际边缘；设置低阈值和高阈值，将梯度值高于高阈值的边缘像素标记为强边缘像素；将梯度值小于高阈值并且大于低阈值的边缘像素标记为弱边缘像素，抑制梯度值小于低阈值的边缘像素；高阈值用于检测图像中明显的边缘，低阈值实现间断的边缘连接；对高阈值设定为255，低阈值设定为180，以实现过量冗余信息的过滤；最终返回一个二值图像，完成图像的边缘提取。
7.如权利要求书6所述的基于计算机视觉的传送带物料状态检测方法，其特征在于：在直角坐标和极坐标中存在对应转化关系为：在参数空间ρ，θ里建立一个
累加数组H(ρ，θ)；对二值垂直图像中每个以1表示的点(x，y)，让θ取遍θ轴上所有可能的值，并根据直线的极坐标公式计算对应的ρ，ρ＝x*cosθ+y*sinθ.再假设ρ和θ取整，对数组H(ρ，θ)进行累加，最后对H(ρ，θ)进行局部峰值检测，最终以统计的方法获取检测直线的ρ和θ值；如果检测出的某些线段属于图像中的一条真实直线，属于同一条直线的所有线段都将会有
相似的ρ和θ值，满足：其中，Tρ，Tθ代表阈值；计算得出真实直线的ρ和θ
值，计算公式为：通过对线段长度的高阈值设定，过滤过量的冗余信息。最终检测出两条传送区域的边缘线段。
一种基于计算机视觉的传送带物料状态检测方法技术领域
[0001]本发明涉及智能监控、计算机视觉领域。具体涉及通过一系列图像处理方法实现传送带上物料的盈余与过少状态的检测。
背景技术
[0002]随着时代的发展，工业对自动化要求越来越高。物料生产工厂将处理后的物料通过传送带运输，需要专门的监管人员判断传送带是否运动，传送带上是否有物料，传送带上的物料类型以及物料的量。这个过程需要消耗额外的人力成本，并且，依赖于人的经验以及其他主观因素，对物料的检测结果标准差异较大。传统的对工业传送带物料的检测通常是依靠压力传感器进行，压力传感器直接或者间接与物料接触，寿命较低。并且，压力传感器是接触式检测，只能稀疏式分布，无法实现密集型的全面监测。
发明内容
[0003]本发明的目的在于提供一种能够实现对传送带运行、传送带上的物料情况进行自动化监测的基于计算机视觉的传送带物料状态检测系统。
[0004]基于计算机视觉的传送带物料状态检测方法，包括对准传送带拍照、获取视频流的相机和对视频流图像进行处理的图像识别模块，图像识别模块执行以下操作：获取视频流，将图像灰度化，通过Gunnar_Farneback法计算稠密光流获取运动区域范围，分割运动区域，获得传送带的工作范围；对运动区域用霍夫变换进行直线特征提取，获得传送带两条边缘线段的四个端点坐标；利用的四个端点坐标计算线段长度区分出长线段和短线段，以短线段的任一端点y 1坐标为基准，取y1作为长线段与短线段对应的y坐标值，计算获得长线段与y 1对应的x 3坐标值，计算公式为以短线段的另一个端点y 2坐标为基
准，取y 2作为长线段与短线段对应的y坐标值，计算获得长线段与y 2对应的x坐标值，获得四个端点坐标P 1(x 1,y 1),P 2(x 2,y 2)和P 3(x 3,y 1),P 4(x 4,y 2)；以四个端点之内的区域作为ROI区域，计算ROI区域内的灰度平均值，对ROI区域向外扩充，得到坐标P 1＇(x 1＇,y 1),P 2＇(x 2＇,y 2),P 3＇(x 3＇,y 1),P 4＇(x 4＇,y 2)；
[0005]
[0006]
部分为按经验设置的offset值；[0007]对ROI区域向内偏移，坐标P 1"(x 1",y 1),P 2"(x 2",y2),P 3"(x 3",y 1),P 4"(x 4",y 2)；
说 明 书
1/7页CN 110782436 A
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议