一种基于多维机器视觉的医废垃圾桶残留物检测方法

1.本发明涉及医疗废物处理领域和机器视觉技术领域，具体涉及一种基于多维机器视觉的医废垃圾桶残留物检测方法。

背景技术：

2.医疗废弃物具有急性传染、潜伏性和空间污染传染的特点，其中所残留携带的病菌危害巨大，会直接危害人类健康，也可以通过污染土壤、水域和大气等，造成更严重的后果，目前，医疗废弃物处理步骤包括：垃圾桶搬运、废弃物倾倒、废弃物焚烧、桶内残留物检测、垃圾桶清洗等工作。现有的残留物检测方法有人工目视检测和基于特定信号的比对检测方法。人工目视检测的缺点是：长时间暴露在医废垃圾环境中容易对工人健康造成危害、容易产生视觉疲劳、人力成本高、容易忽略和垃圾桶颜近似的微小残留物；基于特定信号的比对检测方法通过向垃圾桶内部发射红外光或者声波信号，采集反射回来的光信号和声波信号并与预先设定好的残留物信号模板进行对比，从而判断同桶内是否有残留物，但垃圾桶存在老化、污损问题，并且桶内残留物大小种类各异，导致这种方法的检测精度和效率较低、鲁棒性较差，垃圾桶摆放位置存在偏移时，这种检测方法可能失效。机器视觉已经应用在很多检测领域，将机器视觉技术与医疗废弃物的无人化处理相结合，可以更加智能、安全、准确地判断垃圾桶内残留存在情况，为医废垃圾桶安全处理提供保障。

技术实现要素：

3.本发明的目的在于通过获取、处理、分析tof(timeofflight)深度相机与彩相机采集的垃圾桶内的深度图像、光强图像与彩图像数据，使用图像处理算法，提取垃圾桶特征并在数据库中进行特征信息匹配，结合匹配结果精确分割垃圾桶底部，根据桶底深度图像、彩图像和光强图像判断桶内残留物存在情况。
4.为实现上述目的，本发明的一种基于多维机器视觉的医废垃圾桶残留物检测方法如下：
5.该基于机器视觉的医废垃圾桶残留物检测方法，其主要特点是，包括垃圾桶的整体三维特征信息匹配、桶底精确分割、残留物存在性判断三个主要步骤，具体包括以下步骤：
6.s1：建立垃圾桶的整体三维特征信息数据库，将不同规格的垃圾桶的整体三维特征信息加入数据库；
7.s2：垃圾桶内的图像获取，tof深度相机和彩相机固定于垃圾桶正上方，采集垃圾桶内部的深度图像、光强图像和彩图像，根据深度图像计算垃圾桶三维点云数据；
8.s3：提取垃圾桶桶口平面的三维特征信息，并与数据库中保存的整体三维特征信息对比，得到该垃圾桶的整体三维特征信息，依据该信息分割出垃圾桶底部；
9.s4：根据垃圾桶底部的深度图像、光强图像和彩图像数据，判断垃圾桶底部残留物存在情况。
10.较佳地，所述步骤s1中，垃圾桶的整体三维特征信息包括：垃圾桶桶口平面的特征间距、垃圾桶颜信息、桶底相对于桶口平面边沿直线的三维偏移信息和桶底区域长宽信息；所述垃圾桶桶口平面的特征间距、垃圾桶颜信息用于匹配待检测垃圾桶，所述三维偏移信息和桶底区域长宽信息用于分割待检测垃圾桶底部；
11.较佳地，所述步骤s2垃圾桶内的图像获取，tof深度相机和彩相机固定于垃圾桶正上方，tof相机和彩相机安装在同一水平高度，且高度满足tof和彩相机的视场完全覆盖待检测垃圾桶，两相机光轴与地平面垂直；
12.较佳地，根据发射与反射光波的相位差计算场景深度信息和光强数据，采用多积分时间动态融合方法去除场景光强过曝和深度无效，采用基于场景光强数据的查表深度数据误差矫正，使用以彩图像作为导引图像的引导滤波法恢复深度数据缺失；
13.较佳地，根据深度相机镜头参数，将场景深度数据从极坐标系转换到以相机镜头中心点为原点的相机点云坐标系，进行点云滤波去除离散点：提取场景三维点云的带边界的平面集合，对于不在平面集合内的三维点，保留向集合内平面投影点落入平面边界内且与平面距离满足要求的点，对于其余点进行基于半径的聚类方法保留类内点；
14.较佳地，所述步骤s3提取垃圾桶桶口平面的三维特征信息，并与数据库中保存的整体三维特征信息对比，得到该垃圾桶的整体三维特征信息，依据该信息分割出垃圾桶底部，具体包括以下步骤：
15.s31：在指定roi(regionofinterest)范围和距离范围内检测场景点云平面，获取点云平面序列[plane1,plane2,
…
,planen]，一般地，子平面planen＝[a,b,c,d,{(x1,y1),(x2,y2),
…
},count]，其中a,b,c,d为该点云平面方程ax+by+cz+d＝0的系数，{(x1,y1),(x2,y2),
…
}代表该点云平面内的全部点对应的像素坐标，count代表该点云平面内的全部点的个数；
[0016]
s32：若步骤s31获取的点云平面序列中点云平面个数为0，即未检测到满足要求的平面，那么结束检测流程，否则进行平面筛选，若筛选后点云平面序列中子平面个数为0，那么结束检测流程；
[0017]
s33：对于经过步骤s32平面筛选后的平面序列，计算每个子平面的外侧左右边沿宽度和内外侧下边沿间距，提取该点云平面内所有像素点的颜均值，得到平面特征信息序列[param1，param2，...，paramn]，n＝1...p，p表示筛选后保留的p个子平面，其中，parami为子特征信息，将每个子特征信息与所述垃圾桶的整体三维特征信息数据库中的整体三维特征信息进行对比，计算匹配度，匹配度得分最高的子平面和整体三维特征信息即为待检测垃圾桶桶口点云平面和整体三维特征信息；
[0018]
s34：根据步骤s33所述的待检测垃圾桶桶口点云平面和整体三维特征信息，计算出待检测垃圾桶底部四边形区域的三维顶点坐标[{x
lt
，y
lt
，z
lt
}；{x
ld
，y
ld
，z
ld
}；{x
rt
，y
rt
，z
rt
}；{x
rd
，y
rd
，z
rd
}]，将三维坐标转换到相机像素平面，得到垃圾桶底部四边形区域的顶点二维像素坐标[{px
lt
，py
lt
}；{px
ld
，py
ld
}；{px
rt
，py
rt
}；{px
rd
，py
rd
}]。
[0019]
较佳地，步骤s4根据垃圾桶底部的深度图像、光强图像和彩图像数据，判断垃圾桶底部残留物存在情况，包括以下步骤：
[0020]
s41：根据步骤s34所述垃圾桶底部四边形区域二维像素坐标，生成二值化掩膜图像maskimg，该掩膜图中位于底部四边形区域内的像素点值为255，否则为0；
[0021]
s42：计算垃圾桶底部四边形区域内所有三维点与步骤s33所述的待检测垃圾桶桶口点云平面的距离，公式如下：
[0022][0023]
式中，i，j分别代表掩膜图的横坐标和纵坐标，a，b，c，d为待检测垃圾桶桶口点云平面方程系数，{x
ij
，y
ij
，z
ij
}为像素点(i，j)对应的三维点坐标；
[0024]
s43：将步骤s42所述距离d
ij
与垃圾桶真实高度进行对比得到对比结果图compareimg，该图的像素值按如下公式确定：
[0025][0026]
其中，height为待检测垃圾桶的真实高度，σ为允许的高度偏差，从所述对比结果图中提取外部轮廓，进行轮廓筛选，保留面积、周长、面积周长比符合要求的所有轮廓，得到深度图像结果轮廓序列；
[0027]
s44：将待检测场景彩图像colorimg进行图像增强，得到增强结果图enhanceimg，有效避免外部光照环境变化带来的影响，增强公式如下：
[0028][0029]
式中，avg为彩图像中对应垃圾桶底部区域灰度化均值，对enhanceimg进行对比度增强得到对比度增强图contrastimg，公式如下：
[0030][0031][0032]
其中，b为亮度系数，取值范围为[-1，1]，k为对比度增强系数，c为对比度，取值范围为[-1，1]；
[0033]
s45：对步骤s44所述对比度增强图contrastimg对应垃圾桶底部区域进行颜聚类，首先进行2分类聚类，将每一类的颜与步骤s33所述的待检测垃圾桶整体三维特征信息中的颜进行比较，对于颜差异较大的类别区域进行颜多分类聚类，将每一子类的颜与待检测垃圾桶颜进行对比，提取颜差异较大的类别区域外轮廓，进行轮廓筛选，保留面积、周长、面积周长比符合要求的所有轮廓，得到彩图结果轮廓序列，颜对比公式如下：
[0034]
max(|r
n-r|，|g
n-g|，|b
n-b|)＞threshold
[0035]
上式中，rn，gn，bn为聚类后子类的颜值，r，g，b为待检测垃圾桶颜值，threshold为颜对比度阈值。
[0036]
s46：根据步骤s43和s45所述的深度和彩图结果轮廓序列，若轮廓序列中轮廓个数都为零，则待检测垃圾桶底部无残留物，否则结合光强图像进二次判断：对于所述深度图和彩图结果轮廓序列，计算两个轮廓序列之间的子轮廓重合度，对重合度满足要求的深度图结果轮廓序列子轮廓和彩图结果轮廓序列子轮廓取交集，将轮廓交集加入残留物检
测结果轮廓序列，对于重合度不满足要求的子轮廓，计算该轮廓区域内光强均值，计算公式如下：
[0037][0038]
其中i，j为该轮廓内的像素点坐标，k为权重因子，u0，v0为镜头参数，提取该轮廓区域重心坐标，以该重心到u0，v0的像素距离d为半径提取圆，计算所述圆上的所有像素点光强均值avg
threshold
，若或则将该轮廓加入残留物检测结果轮廓序列，其中β为偏移因子；将所有轮廓标记于场景彩图上并通过检测软件界面显示检测结果。
[0039]
本发明提出了一种基于多维机器视觉的医废垃圾桶残留物检测方法，其优点在于：设计了可扩充的垃圾桶规格数据库，有利于后续功能扩展，针对于不同姿态的垃圾桶可以快速定位并且准确分割出垃圾桶底部待检测区域，融合深度图像、彩图像和光强图像检测桶内残留物，检测精准度高、速度快、适应性强，具备可视化界面，可实时显示检测结果。本发明是医疗废弃物无人化处理的重要一环，可以自动、高效地检测垃圾桶内残留物，有效避免人工目检带来的不良影响和现有方法的不足。
附图说明
[0040]
图1是本发明的基于多维机器视觉的医废垃圾桶残留物检测方法流程图。
[0041]
图2是本发明实施例的待检测垃圾桶的结构信息图。
[0042]
图3是本发明的深度相机和彩相机安装示意图。
具体实施方式
[0043]
为了更清楚地描述本发明的技术内容，下面结合实施例进行进一步详细说明。
[0044]
本发明的一种基于多维机器视觉的医废垃圾桶残留物检测方法，如图1所示，具体步骤如下：
[0045]
s1：建立垃圾桶的整体三维特征信息数据库，将不同规格的垃圾桶的整体三维特征信息加入数据库，所述整体三维特征信息包括垃圾桶桶口平面特征间距、垃圾桶颜信息、桶底相对于桶口平面边沿直线的三维偏移信息和桶底区域长宽信息。垃圾桶桶口特征间距包括：桶口平面外侧左右边沿直线间距即图2中直线1和直线2间距、桶口平面内外侧下边沿直线间距即图2中直线3和4间距；垃圾桶颜信息为桶口平面的平均颜值；桶底相对于桶口平面边沿直线的三维偏移信息包括：桶口平面外侧左边沿直线与桶底平面左边沿直线之间的相对偏移即图2中的直线1和直线5之间的偏移、桶口平面外侧右边沿直线与桶底平面右边沿直线之间的相对偏移即图2中的直线2和直线6之间的偏移、桶口平面外侧下边沿直线与桶底平面下边沿直线之间的相对偏移即图2中的直线3和直线7之间的偏移；桶底区域长宽信息为桶底四边行区域的长度和宽度。所述三维偏移信息和桶底区域长宽信息用于分割待检测垃圾桶底部，所述整体三维特征信息描述如下：
[0046]
templatek＝[fwk，fhk，rk，gk，bk，leftoffsetk，rightoffsetk，downoffsetk，lk，wk]
[0047]
k＝1...m
[0048]
其中k表示数据库中的第k个三维规格信息，数据库中共m个三维规格信息；fwk，fhk为桶口平面特征间距，rk，gk，bk为垃圾桶颜信息，leftoffsetk，rightoffsetk，downoffsetk为桶底相对于桶口平面边沿直线的三维偏移信息，lk，wk为桶底区域长宽信息。
[0049]
s2：垃圾桶内的图像获取，tof深度相机和彩相机固定于垃圾桶正上方，如图3所示，tof相机和彩相机安装在同一水平高度，且高度满足tof和彩相机的视场完全覆盖待检测垃圾桶，相机光轴与地平面垂直，根据发射与反射光波的相位差计算场景深度信息和反射光强度，公式如下：
[0050][0051][0052]
其中，dcs0、dcs1、dcs2、dcs3为深度相机传感器依次间隔90
°
相位延迟采集的信号值，c为光速常量，f为发射光波的调制频率，采用多积分时间动态融合方法去除场景反射光强过曝和深度无效，基于场景光强数据的查表深度数据误差矫正，公式如下：
[0053][0054][0055]
式中，depth
ij
为矫正后的深度值，dlut为改变光强和实际距离形成的二维深度矫正表，为表中点(p，amp
ij
)处的深度值，dreal
p
为该点对应的实际深度值，使用以彩图导向的双边滤波法恢复深度数据缺失，根据深度相机镜头参数，将场景深度数据从极坐标系转换到以相机镜头中心点为原点的相机点云坐标系如图3中坐标系所示，且坐标系符合右手定则，公式如下：
[0056][0057][0058][0059]
式中，u0，v0，f
x
，fy为tof深度相机镜头内参，{x
ij
，y
ij
，z
ij
}为点云坐标系中的坐标值，进行点云滤波去除离散点：提取场景三维点云带边界平面集合，对于不在平面集合内的三维点，保留向集合内平面投影点落入平面边界内且与平面距离满足要求的点，对于其余点进行基于半径的聚类方法保留类内点。
[0060]
s3：提取垃圾桶桶口平面的三维特征信息，并与数据库中保存的整体三维特征信息对比，得到该垃圾桶的整体三维特征信息，依据该信息分割出垃圾桶底部，具体包括以下步骤：
[0061]
s31：在指定roi范围和距离范围内检测场景点云平面，获取点云平面序列
[plane1，plane2，...，planen]，一般地，子平面planen＝[a，b，c，d，{(x1，y1)，(x2，y2)，...}，count]，其中a，b，c，d为该点云平面方程ax+by+cz+d＝0的系数，{(x1，y1)，(x2，y2)，...}代表该点云平面内的全部点对应的像素坐标，count代表该点云平面内的全部点的个数；
[0062]
s32：若步骤s31获取的点云平面序列中点云平面个数为0，即未检测到满足要求的平面，那么结束检测流程，否则进行平面筛选：对于所述平面序列中的每个子平面planen，其点云平面参数满足如下要求则保留该平面：
[0063][0064]
其中θ
th
为子平面法向量与相机点云坐标系z轴夹角阈值，count
th
代表点云平面内点个数阈值，若筛选后点云平面序列中子平面个数为0，那么结束检测流程；
[0065]
s33：对于经过步骤s32平面筛选后的平面序列，计算每个子平面的外侧左右边沿宽度、内外侧下边沿间距和该点云平面内所有像素点的颜均值，得到平面特征信息序列[param1，param2，...，paramn，...]n＝1...p，p表示筛选后保留的p个子平面，其中，子特征信息paramn＝[fwn，fhn，rn，gn，bn]，将每个子特征信息与所述垃圾桶的整体三维特征信息数据库中的整体三维特征信息进行对比，计算匹配度，匹配度度量公式如下：
[0066][0067]
式中，s
nk
为匹配度得分，匹配度得分最高的子平面和整体三维特征信息即为待检测垃圾桶桶口点云平面和整体三维特征信息；
[0068]
s34：根据步骤s33所述的待检测垃圾桶桶口点云平面和整体三维特征信息，计算出待检测垃圾桶底部四边形区域三维顶点坐标[{x
lt
，y
lt
，z
lt
}；{x
ld
，y
ld
，z
ld
}；{x
rt
，y
rt
，z
rt
}；
[0069]
{x
rd
，y
rd
，z
rd
}]，将三维坐标转换到相机像素平面，得到垃圾桶底部四边形区域二维像素坐标[{px
lt
，py
lt
}；{px
ld
，py
ld
}；{px
rt
，py
rt
}；{px
rd
，py
rd
}]，转换公式如下：
[0070][0071]
式中，u，v，f
x
，fy为tof深度相机镜头内参，{x，y，z}为点云坐标系中一点，{px，py}为该点对应的像素坐标系中的像素点坐标。
[0072]
s4：根据垃圾桶底部的深度图像、光强图像和彩图像数据，判断垃圾桶底部残留物存在情况，包括以下步骤：
[0073]
s41：根据步骤s34所述垃圾桶底部四边形区域二维像素坐标，生成二值化掩膜图像maskimg，该掩膜图中位于底部四边形区域内的像素点值为255，否则为0；
[0074]
s42：计算垃圾桶底部四边形区域内所有三维点与步骤s33所述的待检测垃圾桶桶口点云平面的距离，公式如下：
[0075]
[0076]
式中，i，j分别代表掩膜图的横坐标和纵坐标，a，b，c，d为待检测垃圾桶桶口点云平面方程系数，{x
ij
，y
ij
，z
ij
}为像素点(i，j)对应的三维点坐标；
[0077]
s43：将步骤s42所述距离d
ij
与垃圾桶真实高度进行对比得到对比结果图compareimg，该图的像素值按如下公式确定：
[0078][0079]
其中，height为待检测的垃圾桶的真实高度，如图2中的桶口平面和桶底平面垂直距离8，σ为允许的高度偏差，从所述对比结果图中提取外部轮廓，进行轮廓筛选，保留面积、周长、面积周长比符合要求的所有轮廓，得到深度图结果轮廓序列；
[0080]
s44：将待检测场景彩图像colorimg进行图像增强，得到增强结果图enhanceimg，有效避免外部光照环境变化带来的影响，增强公式如下：
[0081][0082]
式中，avg为彩图像中对应垃圾桶底部区域灰度化均值，对enhanceimg进行对比度增强得到对比度增强图contrastimg，公式如下：
[0083][0084][0085]
其中，b为亮度系数，取值范围为[-1，1]，k为对比度增强系数，c为对比度取值范围为[-1，1]；
[0086]
s45：对步骤s44所述对比度增强图contrastimg对应垃圾桶底部区域进行颜聚类，首先进行2分类聚类，将每一类的颜与步骤s33所述的待检测垃圾桶规格信息中的颜进行比较，对于颜差异较大的类别区域进行颜多分类聚类，将每一子类的颜与待检测垃圾桶颜进行对比，提取颜差异较大的类别区域外轮廓，进行轮廓筛选，保留面积、周长、面积周长比符合要求的所有轮廓，得到彩图结果轮廓序列，颜对比公式如下：
[0087]
max(|r
n-r|，|g
n-g|，|b
n-b|)＞threshold
[0088]
上式中，rn，gn，bn为聚类后子类的颜值，r，g，b为待检测垃圾桶颜值，threshold为颜对比度阈值；
[0089]
s46：根据步骤s43和s45所述的深度和彩图结果轮廓序列，若轮廓序列中轮廓个数都为零，则待检测垃圾桶底部无残留物，否则结合光强图像进二次判断：对于所述深度图和彩图结果轮廓序列，计算两个轮廓序列之间的子轮廓重合度，对重合度满足要求的深度图结果轮廓序列子轮廓和彩图结果轮廓序列子轮廓取交集，将轮廓交集加入残留物检测结果轮廓序列，对于重合度不满足要求的子轮廓，计算该轮廓区域内光强均值，计算公式如下：
[0090][0091]
其中i，j为该轮廓内的像素点坐标，k为权重因子，u0，v0为镜头参数，提取该轮廓区域重心坐标，以该重心到u0，v0的像素距离d为半径提取圆，计算所述圆上的所有像素点光强
均值avg
threskold
，若或则将该轮廓加入残留物检测结果轮廓序列，其中β为偏移因子；将所有轮廓标记于场景彩图上并通过检测软件界面显示检测结果。
[0092]
以上所述的实施例仅是对本发明优选方式的描述，并非对本发明的范围进行限定。应当指出，在不脱离本发明设计精神的前提下，熟悉本领域的技术人员对本发明的技术方案做出的各种变形和改进，均应涵盖在本发明的保护范围之内。

技术特征：

1.一种基于多维机器视觉的医废垃圾桶残留物检测方法，其特征在于，包含以下步骤：s1：建立垃圾桶的整体三维特征信息数据库，将不同规格的垃圾桶的整体三维特征信息加入数据库；s2：垃圾桶内图像数据获取，tof深度相机和彩相机固定于垃圾桶正上方，采集垃圾桶内部的深度图像、光强图像和彩图像，根据深度图像计算垃圾桶三维点云数据；s3：提取垃圾桶桶口平面三维特征信息，并与数据库中保存的垃圾桶整体三维特征信息对比，得到该垃圾桶的整体三维特征信息，依据该信息分割出垃圾桶底部；s4：根据垃圾桶底部的深度图像、光强图像和彩图像数据，判断垃圾桶底部残留物存在情况。2.根据权利要求1所述的一种基于多维机器视觉的医废垃圾桶残留物检测方法，其特征在于，所述步骤s1中，垃圾桶的整体三维特征信息数据库包括垃圾桶桶口平面的特征间距、垃圾桶颜信息、桶底相对于桶口平面边沿直线的三维偏移信息和桶底区域长宽信息，数据库内存储不同规格类型的垃圾桶的整体三维特征信息。3.根据权利要求1所述的一种基于多维机器视觉的医废垃圾桶残留物检测方法，其特征在于，所述步骤s2中，tof深度相机和彩相机固定安装于垃圾桶正上方同一水平高度，两相机光轴与地面垂直，且满足相机视野覆盖待检测垃圾桶。4.根据权利要求1所述的一种基于多维机器视觉的医废垃圾桶残留物检测方法，其特征在于，所述步骤s2中，根据发射与反射光波相位差计算检测场景深度信息，采用多积分时间动态融合方法去除场景反射光强过曝和深度无效，基于场景光强数据的查表深度数据误差矫正，使用以彩图作为导引图像的引导滤波法恢复深度数据缺失。5.根据权利要求1所述的一种基于多维机器视觉的医废垃圾桶残留物检测方法，其特征在于，所述步骤s2中，将场景深度数据从极坐标系转换到以相机镜头中心点为原点的相机点云坐标系，进行点云滤波去除离散点：提取场景三维点云的带边界的平面集合，对于不在平面集合内的三维点，保留向集合内平面投影点落入平面边界内且与平面距离满足要求的点，对于其余点进行基于半径的聚类方法保留类内点。6.根据权利要求1所述的一种基于多维机器视觉的医废垃圾桶残留物检测方法，其特征在于，所述步骤s3具体包括以下步骤：s31：在指定roi范围和距离范围内检测场景点云平面，获取点云平面序列[plane1，plane2，...，plane
n
]，一般地，子平面planen＝[a，b，c，d，{(x1，y1)，(x2，y2)，...}，count]，其中a，b，c，d为该点云平面方程ax+by+cz+d＝0的系数，{(x1，y1)，(x2，y2)，...}代表该点云平面内的全部点对应的像素坐标，count代表该点云平面内的全部点的个数；s32：若步骤s31获取的点云平面序列中点云平面个数为0，即未检测到满足要求的平面，那么结束检测流程，否则进行平面筛选，若筛选后点云平面序列中子平面个数为0，那么结束检测流程；s33：对于经过步骤s32平面筛选后的平面序列，计算每个子平面的外侧左右边沿宽度和内外侧下边沿间距，提取该点云平面内所有像素点的颜均值，得到平面特征信息序列[param1，param2，...，param
n
]，n＝1...p，p表示筛选后保留的p个子平面，其中，param
i
为子特征信息，将每个子特征信息与所述垃圾桶的整体三维特征信息数据库中的整体三维特征信息进行对比，计算匹配度，匹配度得分最高的子平面和整体三维特征信息即为待检测垃
圾桶桶口点云平面和整体三维特征信息；s34：根据步骤s33所述的待检测垃圾桶桶口点云平面和整体三维特征信息，计算出待检测垃圾桶底部四边形区域的三维顶点坐标[{x
lt
，y
lt
，z
lt
}；{x
ld
，y
ld
，z
ld
}；{x
rt
，y
rt
，z
rt
}；{x
rd
，y
rd
，z
rd
}]，将三维坐标转换到相机像素平面，得到垃圾桶底部四边形区域的顶点二维像素坐标[{px
lt
，py
lt
}；{px
ld
，py
ld
}；{px
rt
，py
rt
}；{px
rd
，py
rd
}]。7.根据权利要求1所述的一种基于多维机器视觉的医废垃圾桶残留物检测方法，其特征在于，所述步骤s4具体包括以下步骤：s41：根据步骤s34所述垃圾桶底部四边形区域二维像素坐标，生成二值化掩膜图像maskimg，该掩膜图中位于底部四边形区域内的像素点值为255，否则为0；s42：计算垃圾桶底部四边形区域内所有三维点与步骤s33所述的待检测垃圾桶桶口点云平面的距离，公式如下：式中，i，j分别代表掩膜图的横坐标和纵坐标，a，b，c，d为待检测垃圾桶桶口点云平面方程系数，{x
ij
，y
ij
，z
ij
}为像素点(i，j)对应的三维点云坐标；s43：将步骤s42所述距离d
ij
与垃圾桶真实高度进行对比得到对比结果图compareimg，该图的像素值按如下公式确定：其中，height为待检测垃圾桶的真实高度，σ为允许的高度偏差，从所述对比结果图中提取外部轮廓，进行轮廓筛选，保留面积、周长、面积周长比符合要求的所有轮廓，得到深度图结果轮廓序列；s44：将待检测场景彩图像colorimg进行图像增强，得到增强结果图enhanceimg，有效避免外部光照环境变化带来的影响，增强公式如下：式中，avg为彩图像中对应垃圾桶底部区域灰度化均值，对enhanceimg进行对比度增强得到对比度增强图contrastimg，公式如下：k＝tan((45+44*c)/180
×
π)其中，b为亮度系数，取值范围为[-1，1]，k为对比度增强系数，c为对比度，取值范围为[-1，1]；s45：对步骤s44所述对比度增强图contrastimg对应垃圾桶底部区域进行颜聚类，首先进行2分类聚类，将每一类的颜与步骤s33所述的待检测垃圾桶规格信息中的颜进行比较，对于颜差异较大的类别区域进行颜多分类聚类，将每一子类的颜与待检测垃圾桶颜进行对比，提取颜差异较大的类别区域外轮廓，进行轮廓筛选，保留面积、周长、面积周长比符合要求的所有轮廓，得到彩图结果轮廓序列，颜对比公式如下：
max(|r
n-r|，|g
n-g|，|b
n-b|)＞threshold上式中，r
n
，g
n
，b
n
为聚类后子类的颜值，r，g，b为待检测垃圾桶颜值，threshold为颜对比度阈值；s46：根据步骤s43和s45所述的深度和彩图结果轮廓序列，若轮廓序列中轮廓个数都为零，则待检测垃圾桶底部无残留物，否则结合光强图像进二次判断：对于所述深度图和彩图结果轮廓序列，计算两个轮廓序列之间的子轮廓重合度，对重合度满足要求的深度图结果轮廓序列子轮廓和彩图结果轮廓序列子轮廓取交集，将轮廓交集加入残留物检测结果轮廓序列，对于重合度不满足要求的子轮廓，计算该轮廓区域内光强均值，计算公式如下：其中i，j为该轮廓内的像素点坐标，k为权重因子，u0，v0为镜头参数，提取该轮廓区域重心坐标，以该重心到u0，v0的像素距离d为半径提取圆，计算所述圆上的所有像素点光强均值avg
threshold
，若或则将该轮廓加入残留物检测结果轮廓序列，其中β为偏移因子；将所有轮廓标记于场景彩图上并通过检测软件界面显示检测结果。

技术总结

本发明公开了一种基于多维机器视觉的医废垃圾桶残留物检测方法，首先建立垃圾桶的整体三维特征信息数据库；采集并计算检测场景的深度图像、光强图像和彩图像，经预处理后计算点云图；提取垃圾桶桶口点云平面三维特征，从数据库匹配出整体三维特征信息，从而分割出垃圾桶底部待检测区域；根据桶底部检测区域的深度图像、彩图像，提取初始残留物结果轮廓序列，结合场景光强图像对轮廓序列进行二次筛选得到最终检测结果。本发明融合深度、光强和彩图像，检测精准度高、速度快、适应性强，有效避免人工检测造成的不良影响，为医废垃圾桶安全处理提供了保障。安全处理提供了保障。安全处理提供了保障。