基于图像处理的沃柑质检方法、装置、装备及存储介质

1.本技术涉及果品检测方法，具体而言，涉及一种基于图像处理的沃柑质检方法、装置、装备及存储介质。

背景技术：

2.畸形沃柑影响商品沃柑品质，需要检出畸形沃柑并予以剔除。
3.目前的水果形状描述方法主要有基于几何图形形状特征的描述方法、基于频率域的形状描述方法和基于矩的形状描述方法。
4.静态下的水果形状检测可以根据特定视角下的图像进行描述，可以根据具体情况选用上述的形状描述指标，haruka maeda（2018）在横向视图和纵向视图下提取柿子的椭圆傅里叶描述子系数进行主成分分析，再通过聚类方法进行形状分级（maeda h , akagi t , tao r . quantitative characterization of fruit shape and its differentiation pattern in diverse persimmon ( diospyros kaki ) cultivars[j]. scientia horticulturae, 2018, 228:41-48.）。
[0005]
而动态的水果形状检测主要关注于为高速分级过程中的水果构建相应的形状描述子，使其适用于水果姿态多变情况下的果型描述。应义斌等（2016）（应义斌，王福杰，饶秀勤. 一种水果形状检测方法及装置[p] 103514452 b2016.09.28.）公开了一种水果形状检测方法，以形状端正的水果对称指数离散度设定阈值比较判断水果形状是否端正。
[0006]
但是沃柑的规整形状多呈“冰壶形”，在不同视角下具有不同的形状特征，使用单一的检测指标难以进行有效可靠的描述。且目前的形状检测指标多关注于水果的整体形状描述，缺少对具体畸形的细分方法。
[0007]
另外，对沃柑表皮粗细程度并进行分类，有利于提高商品沃柑的品质。
[0008]
在相关技术中，沃柑表面粗糙度测量方法主要分为接触式和非接触式两种。接触式测量方法是利用一种特殊触针以一定的速度沿着被测工件表面移动，触针会因为表面的微观不平而上下运动，将触针移动的变量通过机械、光学、电学转换，再经放大、运算，由指示表显示被测表面粗糙度的评定参数数值。接触式测量精度高，使用范围广，但该方法具有测量速度低、易划伤被测表面和由于探针直径的原因可能滤掉一些表面高频信息等缺点，大大限制了其应用范围。非接触式测量主要利用光学原理进行测量，主要有干涉测量法、散射测量法、光切法。干涉测量法对环境要求高，实现过程复杂，光学系统调整时间长，难以得到广泛的应用。散射测量法易实现自动化高速测量，但两者只能用作比较测量，难用定量参数评定工件的表面形貌。光切法只适用于测量精度较低的场合，分辨率与检测精度不高且数值计算费时。除了以上的较为成熟的基于光学技术的测量方法，人们也探索了通过其它途径实现表面粗糙度检测的方法，其中有原子力显微镜（atm）法、光学传感器法等。atm法可较准确获得被测物表面形貌，但测量代价昂贵。光学传感器法由于采用技术较为成熟的光学三角法，易实现，但测量精度不高。
[0009]
综上，在产线对沃柑进行质检时，现有技术并不能同时且高效的对沃柑的畸形和
粗皮的质量问题进行检测。

技术实现要素：

[0010]
本技术的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本技术的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
[0011]
本技术的一些实施例提出了一种基于图像处理的沃柑质检方法、装置、装备及存储介质，来解决以上背景技术部分提到的技术问题。
[0012]
作为本技术的第一方面，本技术的一些实施例提供了一种基于图像处理的沃柑质检方法，包括：从采集的一个沃柑的多张沃柑图像中识别出沃柑处于预设姿态的预设姿态图像；根据预设姿态图像的预设姿态的类型对进行粗糙度检测、俯卧畸形检测和侧卧畸形检测；根据粗糙度检测、俯卧畸形检测和侧卧畸形检测的检测结果输出该沃柑的质检结果；其中，根据预设姿态图像的预设姿态的类型对进行粗糙度检测、俯卧畸形检测和侧卧畸形检测，包括：当预设姿态图像的预设姿态为仰卧姿态时，对预设姿态图像进行粗糙度检测和俯卧畸形检测；当预设姿态图像的预设姿态为俯卧姿态时，对预设姿态图像进行侧卧畸形检测；其中，粗糙度检测包括：将预设姿态图像进行处理以获得除去了果柄的无柄图像；根据无柄图像进行特征提取以获取特征值；将特征值输入至一个决策树模型以使决策树模型以使决策树模型输出代表沃柑表面粗糙度分类的分类值；其中，俯卧畸形检测包括：对预设姿态图像进行图像分割处理以获得具有沃柑在预设姿态图像中的轮廓线的轮廓图片；根据沃柑轮廓图片提取特征值输入至针对该预设姿态的一个畸形检测模型以使畸形检测模型输出畸形检测的检测结果；其中，侧卧畸形检测包括：对预设姿态图像进行图像分割处理以获得具有沃柑在预设姿态图像中的轮廓线的轮廓图片；根据沃柑轮廓图片中沃柑的轮廓线的直线拟合的结果输出畸形检测的检测结果。
[0013]
进一步的，决策树模型被构造为一个xgboost决策树模型，训练xgboost决策树模型，包括：采集沃柑的原始图像并按照沃柑粗糙度分类规则进行人工分类；对原始图像进行图像分割以获取分割图像；对分割图像进行处理以除去分割图像中的果柄从而获得无柄图像；根据无柄图像进行特征提取以获取无柄图像的特征值；将无柄图像的特征值作为输入数据，将无柄图像所对应的原始图像的分类值作为输出数据对xgboost决策树模型进行训练。
[0014]
进一步的，沃柑粗糙度分类规则将沃柑表面粗糙度分类分为粗皮和细皮。
[0015]
进一步的，其中，从采集的一个沃柑的多张沃柑图像中识别出沃柑处于预设姿态的预设姿态图像，包括：将沃柑图像输入至一个姿态识别模型以使姿态识别模型输出姿态识别结果；姿态识别模型被构造为mobilenetv3_small网络模型。
[0016]
进一步的，其中，对预设姿态图像进行图像分割处理以获得具有沃柑在预设姿态图像中的轮廓线的轮廓图片，包括：对预设姿态图像进行彩空间选择；对预设姿态图像进行彩空间选择后的图像进行边缘检测以获得果品轮廓图像；对果品轮廓图像进行轮廓提取已获得果品轮廓掩膜图像；对果品掩膜图像进行二次边缘检测已获得轮廓图片。
[0017]
进一步的，其中，畸形检测模型被构造为一个lightgbm网络模型。
[0018]
进一步的，其中，根据沃柑轮廓图片中沃柑的轮廓线的直线拟合的结果输出畸形检测的检测结果，包括：对沃柑轮廓图片中沃柑的轮廓线进行直线拟合以获得若干拟合直线；计算各个拟合直线在一个坐标系的斜率；计算各个斜率之间差值的绝对值，如果绝对值的最小值大于等于预设值则输出侧卧检测为畸形的结果。
[0019]
作为本技术的第二方面，本技术的一些实施例提供了一种基于图像处理的沃柑质检装置，包括：识别模块，用于从采集的一个沃柑的多张沃柑图像中识别出沃柑处于预设姿态的预设姿态图像；检测模块，用于根据预设姿态图像的预设姿态的类型对进行粗糙度检测、俯卧畸形检测和侧卧畸形检测；输出模块，用于根据粗糙度检测、俯卧畸形检测和侧卧畸形检测的检测结果输出该沃柑的质检结果；其中，根据预设姿态图像的预设姿态的类型对进行粗糙度检测、俯卧畸形检测和侧卧畸形检测，包括：当预设姿态图像的预设姿态为仰卧姿态时，对预设姿态图像进行粗糙度检测和俯卧畸形检测；当预设姿态图像的预设姿态为俯卧姿态时，对预设姿态图像进行侧卧畸形检测；其中，粗糙度检测包括：将预设姿态图像进行处理以获得除去了果柄的无柄图像；根据无柄图像进行特征提取以获取特征值；将特征值输入至一个决策树模型以使决策树模型以使决策树模型输出代表沃柑表面粗糙度分类的分类值；其中，俯卧畸形检测包括：对预设姿态图像进行图像分割处理以获得具有沃柑在预设姿态图像中的轮廓线的轮廓图片；根据沃柑轮廓图片提取特征值输入至针对该预设姿态的一个畸形检测模型以使畸形检测模型输出畸形检测的检测结果；其中，侧卧畸形检测包括：对预设姿态图像进行图像分割处理以获得具有沃柑在预设姿态图像中的轮廓线的轮廓图片；根据沃柑轮廓图片中沃柑的轮廓线的直线拟合的结果输出畸形检测的检测结果。
[0020]
作为本技术的第三方面，本技术的一些实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述第一方面任一实现方式所描述的方法。
[0021]
作为本技术的第四方面，本技术的一些实施例提供了一种计算机存储介质，其上存储有计算机程序，其中，程序被处理器执行时实现上述第一方面任一实现方式所描述的方法。
[0022]
本技术的有益效果在于：提供了一种能同时对沃柑的畸形和粗皮缺陷进行有效检测的基于图像处理的沃柑质检方法、装置、装备及存储介质。
附图说明
[0023]
构成本技术的一部分的附图用来提供对本技术的进一步理解，使得本技术的其它特征、目的和优点变得更明显。本技术的示意性实施例附图及其说明用于解释本技术，并不构成对本技术的不当限定。
[0024]
另外，贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，元件和元素不一定按照比例绘制。
[0025]
在附图中：图1是根据本技术一种实施例的基于图像处理的沃柑质检方法的主要步骤示意图；
图2是根据本技术一种实施例的沃柑畸形检测方法的主要流程示意图；图3是根据本技术一种实施例的沃柑畸形检测方法的实例流程示意图；图4是根据本技术一种实施例的仰卧姿态的果品的轮廓图片的示意图；图5是根据本技术一种实施例的侧卧姿态的果品的轮廓图片的示意图；图6是根据本技术一种实施例的对预设姿态图像进行处理获得轮廓图片的流程示意图；图7是根据本技术一种实施例的轮廓图片中轮廓线的最大内切圆的示意图；图8是根据本技术一种实施例的轮廓图片中轮廓线的最小外接矩形的示意图；图9是根据本技术一种实施例的轮廓图片中轮廓线的斜率的示意图；图10是根据本技术一种实施例的轮廓图片中轮廓线直接直线拟合结果的示意图；图11是根据本技术一种实施例的轮廓图片中轮廓线进行算法约束后的直线拟合结果的示意图；图12是根据本技术一种实施例的沃柑粗糙度检测的主要流程示意图；图13是根据本技术一种实施例的分类方法中所采集的沃柑的原始图像；图14是根据本技术一种实施例的分类方法中所获取的分割图像；图15是根据本技术一种实施例的分类方法中所获取的无柄图像；图16是根据本技术一种实施例的分类方法中所获取的灰度压缩图像；图17是根据本技术一种实施例的基于图像处理的沃柑质检装置的结构示意图；图18是根据本技术一种实施例的电子设备的结构示意图。
具体实施方式
[0026]
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0027]
另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
[0028]
需要注意，本公开中提及的
“ꢀ
第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0029]
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0030]
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
[0031]
下面将参考附图并结合实施例来详细说明本公开。
[0032]
参照图1所示，本技术的基于图像处理的沃柑质检方法包括：s100：从采集的一个沃柑的多张沃柑图像中识别出沃柑处于预设姿态的预设姿态图像。
[0033]
s200：根据预设姿态图像的预设姿态的类型对进行粗糙度检测、俯卧畸形检测和
侧卧畸形检测。
[0034]
s300：根据粗糙度检测、俯卧畸形检测和侧卧畸形检测的检测结果输出该沃柑的质检结果。
[0035]
具体而言，步骤s200包括：s201：当预设姿态图像的预设姿态为仰卧姿态时，对预设姿态图像进行粗糙度检测和俯卧畸形检测。
[0036]
s202：当预设姿态图像的预设姿态为俯卧姿态时，对预设姿态图像进行侧卧畸形检测。
[0037]
这里所指的果品仰卧姿态是指果品的果梗、花萼或其他果品表面上的标志物正对图像采集设备（比如，摄像头）的姿态，由于大部分果品产线的图像采集设备是设置在产线上方的，所以将果品图片中这样姿态定义为仰卧姿态。
[0038]
这里所指的果品侧卧姿态是指果品的果梗、花萼或其他果品表面上的标志物朝向图像采集设备（比如，摄像头）相对侧面的姿态，由于大部分果品产线的图像采集设备是设置在产线上方的，这样姿态相当于指果品的果梗、花萼或其他果品表面上的标志物朝向水平方向，所以将果品图片中这样姿态定义为仰卧姿态。
[0039]
而实际上，在产线上，摄像头的位置是多方位的，这样沃柑被果托带动运行时是可以获得多个方位的图像的，只是沃柑在果托上姿态是不确定的，因此上方摄像头未必采集的就是俯卧姿态的图形，因此设置多个角度的摄像头然后再从多个摄像头中图片中进行姿态识别，这样降低了对沃柑在果托上姿态的要求。
[0040]
更具体而言，粗糙度检测包括：将预设姿态图像进行处理以获得除去了果柄的无柄图像；根据无柄图像进行特征提取以获取特征值；将特征值输入至一个决策树模型以使决策树模型以使决策树模型输出代表沃柑表面粗糙度分类的分类值；更具体而言，俯卧畸形检测包括：对预设姿态图像进行图像分割处理以获得具有沃柑在预设姿态图像中的轮廓线的轮廓图片；根据沃柑轮廓图片提取特征值输入至针对该预设姿态的一个畸形检测模型以使畸形检测模型输出畸形检测的检测结果；更具体而言，侧卧畸形检测包括：对预设姿态图像进行图像分割处理以获得具有沃柑在预设姿态图像中的轮廓线的轮廓图片；根据沃柑轮廓图片中沃柑的轮廓线的直线拟合的结果输出畸形检测的检测结果。
[0041]
作为可选方案，决策树模型被构造为一个xgboost决策树模型，训练xgboost决策树模型，包括：采集沃柑的原始图像并按照沃柑粗糙度分类规则进行人工分类；对原始图像进行图像分割以获取分割图像；对分割图像进行处理以除去分割图像中的果柄从而获得无柄图像；根据无柄图像进行特征提取以获取无柄图像的特征值；将无柄图像的特征值作为输入数据，将无柄图像所对应的原始图像的分类值作为输出数据对xgboost决策树模型进行训练。沃柑粗糙度分类规则将沃柑表面粗糙度分类分为粗皮和细皮。
[0042]
作为可选方案，步骤s100包括：将沃柑图像输入至一个姿态识别模型以使姿态识别模型输出姿态识别结果；姿态识别模型被构造为mobilenetv3_small网络模型。
[0043]
作为可选方案，对预设姿态图像进行图像分割处理以获得具有沃柑在预设姿态图像中的轮廓线的轮廓图片，包括：对预设姿态图像进行彩空间选择；对预设姿态图像进行彩空间选择后的图像进行边缘检测以获得果品轮廓图像；对果品轮廓图像进行轮廓提取
已获得果品轮廓掩膜图像；对果品掩膜图像进行二次边缘检测已获得轮廓图片。其中，畸形检测模型被构造为一个lightgbm网络模型。
[0044]
作为可选方案，对根据沃柑轮廓图片中沃柑的轮廓线的直线拟合的结果输出畸形检测的检测结果，包括：对沃柑轮廓图片中沃柑的轮廓线进行直线拟合以获得若干拟合直线；计算各个拟合直线在一个坐标系的斜率；计算各个斜率之间差值的绝对值，如果绝对值的最小值大于等于预设值则输出侧卧检测为畸形的结果。
[0045]
以下结合图2至图11所示，以下通过一个实例对本技术的质检方法中关于姿态识别和畸形检测进行更详细的介绍。
[0046]
该实施例使用的集成开发环境为pycharm2021.6，编程语言为python3.6，gpu为nvidia geforce rtx 3060，具体实施环境包括但不限于上述环境。
[0047]
如图2和图3所示，该实施例具体包括如下部分：（一）检测模型建立1) 原始图像采集：沃柑采集沃柑4张不同姿态的图像：2) 沃柑姿态检测模型建立：2.1）在事先采集的沃柑图像中人工挑选出不同位姿的沃柑构建姿态检测数据集，将果梗/花萼竖直向上的图像赋予标签“仰卧”，将果梗/花萼水平的图像赋予标签“侧卧”，其它的赋予标签“斜卧”；2.2）根据7:2:1的比例将数据集划分为训练集、验证集和测试集；2.3）使用mobilenetv3_small网络进行训练，图像统一缩放到相同大小，图像增强策略采用随机亮度、随机对比度、随机水平翻转、随机垂直翻转、随机饱和度、随机调，并且采用imagnet预训练模型加速模型收敛，学习率优化方法采取线性下降法；2.4）保存训练过程中的最优模型，预测时直接加载该最优模型的参数；3) 沃柑图像分割：分别对步骤3）中姿态为仰卧和侧卧的图像和依次进行彩空间变换、边缘检测、轮廓提取、阈值化、二次边缘检测，分别得到沃柑轮廓线（图4）和（图5），用于后续的形状检测；步骤4）流程如图6所示，具体为：3.1）彩空间选择：计算原始图像转换到hsv彩空间下的v分量，更好地突出感兴趣区域的特征，r、g、b分别为原始图像在红、绿、蓝三个通道下的值，v分量计算公式如下；
ꢀꢀꢀꢀꢀ
（1）3.2）边缘检测：使用canny算子进行沃柑图像v分量的边缘检测，得到含有噪声信息的沃柑轮廓图像；3.3）轮廓提取：使用findcontours函数寻到图像中包含的所有轮廓，利用contourarea函数寻到面积最大的轮廓即为沃柑的外形轮廓。使用fillpoly函数将沃柑内部填充为白[255,255,255]，得到沃柑的掩膜图像；3.4）二次边缘检测：对掩膜图像再次执行canny边缘检测，得到最后的边缘分割清晰，无误分割的沃柑轮廓和；
4) 仰卧沃柑畸形检测模型建立：从仰卧的沃柑轮廓提取面积交并比、离心率、占有率、圆度、轮廓波动c以及宽高比等6个特征作为输入训练lightgbm模型；步骤4）具体为：4.1）对正视图下的沃柑轮廓进行面积交并比、离心率、占有率、圆度、轮廓波动、宽高比的特征提取，并根据其外观分为正面畸形果和正常果，特征值的计算方法如下：面积交并比：通过在正视图下的沃柑轮廓得到最大内切圆（图7），通过沃柑原轮廓包围面积与最大内切圆面积得到差值，再除以沃柑轮廓面积以消除尺度的影响，为沃柑轮廓包围的面积，表示沃柑内切圆的面积，为交并比。通过公式（2）计算：
ꢀꢀꢀꢀꢀꢀꢀ
（2）离心率：而设轮廓上点个数为，轮廓点到形心距离为，距离平均值为，离心率为。通过下述公式计算：
ꢀꢀꢀ
（3）占有率：目标面积与最小外接矩形的面积比,分别为最小外接矩形的高、宽。通过下述公式计算：
ꢀꢀꢀꢀꢀꢀꢀ
（4）圆度：设目标对象面积为，周长为，与目标具有相同面积的等面积圆的周长为，圆度通过下述公式计算：
ꢀꢀ
（5）轮廓波动，各点到形心距的距离波动率，即定义为沃柑边缘轮廓各点到形心距离的标准差，对归一化后的值进行平方运算以提高算法对于接近于1或0的极值点的敏感性，为轮廓上某点与形心间的距离，是标准化后的距离值，为轮廓点的个数，轮廓波动通过下述公式计算：
ꢀꢀꢀꢀꢀ
（6）（7）宽高比：最小外接矩形宽高比，分别为最小外接矩形的高、宽（图8），宽高比通过下述公式计算：
ꢀꢀꢀꢀ
（8）4.2）按照7:3的比例划分训练集和测试集；4.3）基于lightgbm的沃柑正面形状检测模型训练：选择的超参数如下：学习率（learning_rate）取值为[0.1, 0.3, 0.6]，较小的学习率可以获得稳定性较好的模型性能，树模型的最大深度（max_depth）取3~5，是需要调整的核心参数，对模型的性能影响较大，单棵树的叶子结点数（num_leaves）默认设为31，一般设置为（0，）中的数值，boosting的迭代次数（n_estimators）默认设为100，一般取100~1000，根据具体情况调整。保存模型的最优参数。
[0048]
5) 侧卧沃柑畸形检测方法建立：从侧卧的沃柑轮廓提取两侧的拟合直线并进行约束，建立侧卧沃柑畸形检测方法。
[0049]
步骤5）具体为：5.1）沃柑侧面拟合线斜率：在图像坐标系中，向右为x轴正方向，向下为y轴的正方向，沃柑侧面拟合线的斜率定义为：（9）其中，、分别为直线上两点的坐标，示意图如图9所示；5.2）沃柑侧面直线拟合方法：如图10所示，直接使用直线检测的方法得到的直线为，会检测到不需要的上下两端和斜边的直线如，且可能在一侧检测到多条直线，需要进行条件约束：以左端直线为例，左端拟合直线以沃柑轮廓的最小外接矩形的左端点横坐标值为中心，可左右波动最小外接矩形宽度的1/5，右侧直线同理，约束后侧面直线拟合效果如图11所示；5.3）对左右两侧计算出的拟合线的分别保存在集合和中，对两集合间各元素求差值的绝对值保存于集合中，中的最小值大于0.15的为侧面畸形果，否则为正常果。
[0050]
（二）畸形沃柑识别综合检测在以上模型和算法建立之后，采用以下步骤对一个沃柑进行畸形检测。
[0051]
6) 图像采集：沃柑采集一个沃柑4张不同姿态的图像。
[0052]
7) 沃柑姿态识别。利用沃柑姿态检测模型，从沃柑的图像识别出仰卧和侧卧图像。
[0053]
8) 沃柑图像分割：分别姿态为仰卧和侧卧的图像依次进行彩空间变换、边缘检测、轮廓提取、阈值化、二次边缘检测，分别得到仰卧和侧卧图像上沃柑轮廓线和；9) 仰卧沃柑畸形识别：加载仰卧沃柑畸形检测模型进行仰卧沃柑畸形识别。
[0054]
10)侧卧沃柑畸形识别：加载侧卧沃柑畸形检测方法进行侧卧沃柑畸形识别。
[0055]
如果仰卧沃柑畸形识别和侧卧沃柑畸形识别均通过了，则认为沃柑通过畸形检测。当然也可以仅仅对仰卧或侧卧其中一个畸形检测。
[0056]
采用以上实施例检测方法对三组已经人工分拣的沃柑进行了畸形检测，检测结果如表1所示。
[0057]
由上表可见，比如第一行，人工标记为正面畸形的84个沃柑，采用本技术的畸形检测方法的预测结果中，82个被正确的预测为正面畸形，仅有2个被错误识别。类似的，还对侧面畸形和正常轮廓的两组沃柑进行识别，可见采用上述方法的畸形沃柑检测模型可以对测试集样本进行准确分类，准确率较高。
[0058]
以上技术方案通过对果品图像进行位姿的检测，使得后续的形状检测算法更具有针对性，提高算法对于畸形果品的检测能力。提出的正面果品性状检测算法通过对提取的六个特征量进行学习，使用决策树分类，提高正面形状检测的可靠性，对于侧面果品形状检测提出了基于拟合线斜率差异的检测算法，具有较快的速度和较好的鲁棒性。本技术的技术方案可以实现实际生产线上的畸形果品实时检测，并能实现具体畸形的检测。
[0059]
通过以上姿态识别后获得的俯卧姿态图像可以作为粗糙度检测的原始图片。
[0060]
结合图12至图16，结合一个实例对本技术的粗糙度检测方案进行详细介绍。
[0061]
参照图12所示，本技术的分类方法具体包括如下部分1）图像采集：通过上述姿态识别后，将俯卧的沃柑图像作为沃柑原始图像，采集沃柑原始图像，如图13所示，建立粗皮沃柑和细皮沃柑的数据集；2）沃柑图像分割：对沃柑原始图像进行颜空间转换、大津法阈值分割、轮廓提取、图像位与运算，得到图像分割后的沃柑图像，如图14所示；所述步骤2）中沃柑图像分割具体为：2.1）颜空间变换：为了更显著突出感兴趣区域的特征，提取了沃柑原始图像的rgb空间r通道，得到沃柑原始图像r通道的图像；
2.2）图像二值化：利用threshold函数，对沃柑原始图像r通道的图像进行大津法阈值分割，阈值设置为127，得到二值化后的沃柑图像；2.3）最大轮廓提取：利用findcontours函数寻二值化后的沃柑图像中包括的所有轮廓点cnts，利用grab_contours函数返回cnts中的轮廓contours，再利用max函数获取最大轮廓c，即为沃柑的外形轮廓，使用fillpoly函数将沃柑内部填充为白[255,255,255]，得到沃柑的掩膜图像mask；2.4）图像位与计算：通过bitwise_and函数, 沃柑的掩膜图像mask与沃柑原始图像进行位与运算，最后得到图像分割后的沃柑图像。
[0062]
3）沃柑图像果柄去除：取图像分割后的沃柑图像的r通道，得到图像分割后的r通道的沃柑图像，对图像分割后的r通道的沃柑图像进行大津法阈值分割，得到图像分割后的r通道的沃柑二值化的图像，利用指定的一个椭圆形1111的结构核元素对图像分割后的r通道的沃柑二值化的图像进行腐蚀，得到沃柑去除果柄的掩膜，图像分割后的r通道的沃柑图像再与图像分割后的沃柑图像进行位与运算，获得无果柄沃柑图像，如图15所示；所述步骤3)具体为：3.1）图像二值化：取图像分割后的r通道的沃柑图像，对其进行大津法阈值分割，阈值设置为50，得到图像分割后的r通道的沃柑二值化的图像；3.2）图像形态学操作：利用getstructuringelement函数定义一个椭圆形1111的结构核元素，通过erode函数，利用指定的核元素对图像分割后的r通道的沃柑二值化的图像进行腐蚀，得到沃柑去除果柄的掩膜；3.3）图像位与运算：通过bitwise_and函数，沃柑去除果柄的掩膜与图像分割后的沃柑图像进行位与运算，获得去除果柄的沃柑图像。
[0063]
4）变异系数c.v计算：通过boundingrect函数，获得图像分割后的沃柑图像的外接矩，得到外接矩的25%的条带的灰度值，获得变异系数c.v。
[0064]
所述步骤4）中具体为：4.1）灰度变换：对图像分割后的沃柑图像通过cvtcolor函数进行灰度转换，得到图像分割后的沃柑灰度图像；4.2）图像二值化：对图像分割后的r通道的沃柑图像进行大津法阈值分割，阈值设置为127，得到二值化后的沃柑图像；4.3）最大轮廓提取：利用findcontours函数寻二值化后的沃柑图像中包
括的所有轮廓点cnts，利用grab_contours函数返回cnts中的轮廓contours，再利用max函数获取最大轮廓c，c为沃柑的外形轮廓；4.4）外接矩的25%的条带的灰度值选取：通过boundingrect函数对获得的最大轮廓c提取外接矩的左上角坐标，以及宽w和高h，以其竖直方向为x轴、水平方向为y轴，得到外接矩的25%的条带的位置的坐标，得到外接矩的25%的条带的灰度值，通过average函数计算灰度值均值：通过std函数计算灰度值的标准差sd：将标准差除以均值sd/mn，获得变异系数c.v。通过下述公式计算：式中，是标准偏差，是沃柑外接矩的25%的条带的像素个数，是沃柑外接矩的25%的条带的灰度值，是外接矩的25%的条带的灰度值的平均值。
[0065]
5) hsv中的v分量20%-80%灰度值的平均值计算：获取去除果柄的沃柑图像三通道的值，将三通道的值分别除以255，得到，取三个中最大的一个值作为灰度值，对灰度值按从大到小的排序，对20%-80%的灰度值求平均值，记为hsv中的v分量20%-80%灰度值的平均值；所述步骤5)中具体为：5.1）颜空间变换：获取去除果柄的沃柑图像三通道的值，将三通道的值分别除以255，得到，取三个中最大的一个值作为灰度值。
[0066]
5.2）灰度值排序：将计算得到去除果柄的沃柑图像的二维的灰度值通过flatten函数转换成一维灰度值list，再根据sorted函数，将灰度值list从大到小的排序；5.3）获取灰度值均值特征量：对排序好的灰度值list，取前20%-80%的灰度值，通过mean函数求其平均值，为了去除最亮和最暗的区域，减小噪声的干扰，作为特征量。
[0067]
6）求取灰度共生矩阵特征量：计算去除果柄的沃柑灰度压缩图的8级灰度共生矩阵，并提取出沃柑粗细皮的灰度共生矩阵的均值、灰度共生矩阵的标准差、灰度共生矩阵的对比度、灰度共生矩阵的相异性。
[0068]
所述步骤6)中具体为：6.1）灰度转换：首先对去除果柄的沃柑图像通过cvtcolor函数进行灰度转换，得到去除果柄的沃柑灰度图像。
[0069]
6.2）获取特征量：创建灰度共生矩阵，设置灰度共生矩阵的参数，灰度映射范围为[0,255]，图像缩放的灰度级数目为8，感兴趣像素与其相邻像素之间的距离为1，角度为0
°
，从而得到灰度共生矩阵及其图像，即图16。
[0070]
其中，灰度共生矩阵，由如下公式求得：通过灰度共生矩阵可以得到选择的四个特征量：1.灰度共生矩阵的均值，通过如下公示求得：2.灰度共生矩阵的标准差，通过如下公示求得：3.灰度共生矩阵的对比度，通过如下公示求得：4.灰度共生矩阵的非相似性，通过如下公示求得：式中，d用像素数量表示的相对距离；；为图像中的像素坐标，为图像缩放的灰度级数目。
[0071]
7）粗皮沃柑和细皮沃柑分类：将rgb中的g分量外接矩的25%纵截线的变异系数c.v、hsv中的v分量20%-80%灰度值的平均值、灰度共生矩阵的均值、灰度共生矩阵的标准差、灰度共生矩阵的对比度和灰度共生矩阵的相异性作为xgboost模型输入量，将对应的粗皮沃柑和细皮沃柑分别标记为1和0，并作为输出量，进行模型训练。
[0072]
所述步骤7)具体为：7.1）数据集特征量提取：对沃柑原始图像进行 hsv中的v分量20%-80%灰度值的平均值、rgb中的g分量外接矩的25%纵截线的变异系数特征变量c.v、灰度共生矩阵的均值、灰度共生矩阵的标准差、灰度共生矩阵的对比度、灰度共生矩阵的相异性特征的提取；7.2）打分类标签：人工挑选出粗皮沃柑和细皮沃柑构建粗细皮检测的数据集，分别赋予标签“粗皮”和“细皮”；7.3）数据集划分：使用8：2的比例将数据集划分为训练集、测试集；7.4）xgboost模型训练：对基于xgboost决策树模型的沃柑粗细皮分类模型进行训练：选择的超参数如下：选择提升器（booster）为gbtree，损失函数为二分类概率binary: logistic，评估指标为binary classification error rate（error），每颗树的最大深度为5，l2 正则化参数设置为10，样本采样比率设置为0.75，列采样比率为0.75，每个叶子里面的最小权重和设置为2，学习率设置为0.2，随机种子，默认为 0，线程数为8，控制叶子个数的参数为0.15。通过save_model保存模型的最优参数。
[0073]
7.5）xgboost模型检测：检测时通过load_model函数来调用沃柑粗细皮分类模型，进行粗皮沃柑和细皮沃柑分类。分类精度0.9728，算法推理时间为50ms。
[0074]
完成了模型训练后，将俯卧的原始沃柑图片经过上述步骤处理获得特征值后再输入至该xgboost模型（即决策树模型）以输出粗皮或细皮的分类。
[0075]
表2示出了沃柑粗细皮灰度共生矩阵的四个特征量的一个具体实施例。表2表示是对一组沃柑进行上述处理后，得到的特征量的情况，按照人工分类的粗皮和细皮将数据分组后，对比可知这四个特征量在粗皮和细皮的值具有明显的差异，这样的特征值作为训练数据容易使模型收敛。
[0076]
表3示出了本技术分类方法针对一组沃柑进行分类的结果与真实情况比对情况。通过表2可知，在对一组沃柑进行识别后，对比人工分类结果时，可知人工分类中239个真实是细皮，机器识别错1个为粗皮，而人工分类中92个粗皮的，机器识别错8个为细皮，其他均识别正确。并且识别是在较高分拣速度下完成的。
[0077]
基于以上结果可知，本技术的技术方案可以针对实际果品分类生产线上的沃柑图像，构建沃柑图像数据集，提取沃柑的表面特征（hsv中的v分量20%-80%灰度值的平均值i_v、rgb中的g分量外接矩的25%纵截线的变异系数c.v、灰度共生矩阵的均值mean、灰度共生矩阵的标准差std、灰度共生矩阵的对比度contrast、灰度共生矩阵的相异性dissmilarity)，利用xgboost模型将沃柑分为粗皮沃柑和细皮沃柑，检测精度高，并具有较快的检测速度。
[0078]
最后，根据畸形检测和粗糙度检测结果输出质检结果，如果畸形检测结果为俯卧姿态和侧卧姿态均正常，且粗糙度检测为细皮，则输出质检合格的结果，如果畸形检测和粗糙度检测其中一个不合格，即出现畸形或粗皮则输出质检不合格的结果。
[0079]
参照图17所示，本技术的基于图像处理的沃柑质检装置，包括：识别模块，用于从采集的一个沃柑的多张沃柑图像中识别出沃柑处于预设姿态的预设姿态图像；检测模块，用于根据预设姿态图像的预设姿态的类型对进行粗糙度检测、俯卧畸形检测和侧卧畸形检测；输出模块，用于根据粗糙度检测、俯卧畸形检测和侧卧畸形检测的检测结果输出该沃柑的质检结果；其中，根据预设姿态图像的预设姿态的类型对进行粗糙度检测、俯卧畸形检测和侧卧畸形检测，包括：当预设姿态图像的预设姿态为仰卧姿态时，对预设姿态图像进行粗糙度检测和俯卧畸形检测；当预设姿态图像的预设姿态为俯卧姿态时，对预设姿态图像进行侧卧畸形检测；其中，粗糙度检测包括：将预设姿态图像进行处理以获得除去了果柄的无柄图像；根据无柄图像进行特征提取以获取特征值；将特征值输入至一个决策树模型以使决策树模型以使决策树模型输出代表沃柑表面粗糙度分类的分类值；其中，俯卧畸形检测包括：对预设姿态图像进行图像分割处理以获得具有沃柑在预设姿态图像中的轮廓线的轮廓图片；根据沃柑轮廓图片提取特征值输入至针对该预设姿态的一个畸形检测模型以使畸形检测模型输出畸形检测的检测结果；其中，侧卧畸形检测包括：对预设姿态图像进行图像分割处理以获得具有沃柑在预设姿态图像中的轮廓线的轮廓图片；根据沃柑轮廓图片中沃柑的轮廓线的直线拟合的结果输出畸形检测的检测结果。
[0080]
如图18所示，电子设备800可以包括处理装置(例如中央处理器、图形处理器等)801，其可以根据存储在只读存储器(rom)802中的程序或者从存储装置808加载到随机访问存储器(ram)803中的程序而执行各种适当的动作和处理。在ram803中，还存储有电子设备800操作所需的各种程序和数据。处理装置801、rom802以及ram803通过总线804彼此相连。
输入/输出(i/o)接口805也连接至总线804。
[0081]
通常，以下装置可以连接至i/o接口805：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置806：包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置807；包括例如磁带、硬盘等的存储装置808：以及通信装置809。通信装置809可以允许电子设备800与其他设备进行无线或有线通信以交换数据。虽然图18示出了具有各种装置的电子设备800，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图18中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。
[0082]
特别地，根据本公开的一些实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的一些实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的一些实施例中，该计算机程序可以通过通信装置809从网络上被下载和安装，或者从存储装置808被安装，或者从rom802被安装。在该计算机程序被处理装置801执行时，执行本公开的一些实施例的方法中限定的上述功能。
[0083]
需要说明的是，本公开的一些实施例上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是（但不限于）电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0084]
在本公开的一些实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的一些实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
[0085]
在一些实施方式中，客户端、服务器可以利用诸如http之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“lan”)，广域网(“wan”)，网际网(例如，互联网)以及端对端网络(例如，adhoc端对端网络)，以及任何当前已知或未来研发的网络。
[0086]
上述计算机可读介质可以是上述电子设备中所包含的：也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：（接方法步骤）。
[0087]
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的一些实施例的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言―诸如java、
smalltalk、c++，还包括常规的过程式程序设计语言：诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0088]
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。
[0089]
也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。
[0090]
例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0091]
描述于本公开的一些实施例中的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括取货信息查询单元、代取货码生成单元和取货单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，代取货码生成单元还可以被描述为“用于生成对应取货信息的代码的单元”。
[0092]
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、片上系统(soc)、复杂可编程逻辑设备(cpld)等等。
[0093]
以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。

技术特征：

1.一种基于图像处理的沃柑质检方法，包括：从采集的一个沃柑的多张沃柑图像中识别出沃柑处于预设姿态的预设姿态图像；根据所述预设姿态图像的预设姿态的类型对进行粗糙度检测、俯卧畸形检测和侧卧畸形检测；根据所述粗糙度检测、俯卧畸形检测和侧卧畸形检测的检测结果输出该沃柑的质检结果；其中，所述根据所述预设姿态图像的预设姿态的类型对进行粗糙度检测、俯卧畸形检测和侧卧畸形检测，包括：当所述预设姿态图像的预设姿态为仰卧姿态时，对所述预设姿态图像进行粗糙度检测和俯卧畸形检测；当所述预设姿态图像的预设姿态为俯卧姿态时，对所述预设姿态图像进行侧卧畸形检测；其中，所述粗糙度检测包括：将所述预设姿态图像进行处理以获得除去了果柄的无柄图像；根据所述无柄图像进行特征提取以获取特征值；将所述特征值输入至一个决策树模型以使所述决策树模型以使所述决策树模型输出代表沃柑表面粗糙度分类的分类值；其中，所述俯卧畸形检测包括：对所述预设姿态图像进行图像分割处理以获得具有沃柑在所述预设姿态图像中的轮廓线的轮廓图片；根据所述沃柑轮廓图片提取特征值输入至针对该预设姿态的一个畸形检测模型以使所述畸形检测模型输出畸形检测的检测结果；其中，所述侧卧畸形检测包括：对所述预设姿态图像进行图像分割处理以获得具有沃柑在所述预设姿态图像中的轮廓线的轮廓图片；根据所述沃柑轮廓图片中沃柑的轮廓线的直线拟合的结果输出畸形检测的检测结果。2.根据权利要求1所述的基于图像处理的沃柑质检方法，其特征在于：所述决策树模型被构造为一个xgboost决策树模型，训练所述xgboost决策树模型，包括：采集沃柑的原始图像并按照沃柑粗糙度分类规则进行人工分类；对所述原始图像进行图像分割以获取分割图像；对所述分割图像进行处理以除去所述分割图像中的果柄从而获得所述无柄图像；根据所述无柄图像进行特征提取以获取所述无柄图像的特征值；将所述无柄图像的特征值作为输入数据，将所述无柄图像所对应的原始图像的分类值作为输出数据对所述xgboost决策树模型进行训练。3.根据权利要求1所述的基于图像处理的沃柑质检方法，其特征在于：所述沃柑粗糙度分类规则将沃柑表面粗糙度分类分为粗皮和细皮。4.根据权利要求1所述的基于图像处理的沃柑质检方法，其特征在于：其中，所述从采集的一个沃柑的多张沃柑图像中识别出沃柑处于预设姿态的预设姿态
图像，包括：将所述沃柑图像输入至一个姿态识别模型以使所述姿态识别模型输出姿态识别结果；所述姿态识别模型被构造为mobilenetv3_small网络模型。5.根据权利要求1所述的基于图像处理的沃柑质检方法，其特征在于：其中，所述对所述预设姿态图像进行图像分割处理以获得具有沃柑在所述预设姿态图像中的轮廓线的轮廓图片，包括：对所述预设姿态图像进行彩空间选择；对所述预设姿态图像进行彩空间选择后的图像进行边缘检测以获得果品轮廓图像；对所述果品轮廓图像进行轮廓提取已获得果品轮廓掩膜图像；对所述果品掩膜图像进行二次边缘检测已获得所述轮廓图片。6.根据权利要求1所述的基于图像处理的沃柑质检方法，其特征在于：其中，所述畸形检测模型被构造为一个lightgbm网络模型。7.根据权利要求1所述的基于图像处理的沃柑质检方法，其特征在于：其中，所述根据所述沃柑轮廓图片中沃柑的轮廓线的直线拟合的结果输出畸形检测的检测结果，包括：对所述沃柑轮廓图片中沃柑的轮廓线进行直线拟合以获得若干拟合直线；计算各个拟合直线在一个坐标系的斜率；计算各个斜率之间差值的绝对值，如果绝对值的最小值大于等于预设值则输出侧卧检测为畸形的结果。8.一种基于图像处理的沃柑质检装置，包括：识别模块，用于从采集的一个沃柑的多张沃柑图像中识别出沃柑处于预设姿态的预设姿态图像；检测模块，用于根据所述预设姿态图像的预设姿态的类型对进行粗糙度检测、俯卧畸形检测和侧卧畸形检测；输出模块，用于根据所述粗糙度检测、俯卧畸形检测和侧卧畸形检测的检测结果输出该沃柑的质检结果；其中，所述根据所述预设姿态图像的预设姿态的类型对进行粗糙度检测、俯卧畸形检测和侧卧畸形检测，包括：当所述预设姿态图像的预设姿态为仰卧姿态时，对所述预设姿态图像进行粗糙度检测和俯卧畸形检测；当所述预设姿态图像的预设姿态为俯卧姿态时，对所述预设姿态图像进行侧卧畸形检测；其中，所述粗糙度检测包括：将所述预设姿态图像进行处理以获得除去了果柄的无柄图像；根据所述无柄图像进行特征提取以获取特征值；将所述特征值输入至一个决策树模型以使所述决策树模型以使所述决策树模型输出代表沃柑表面粗糙度分类的分类值；其中，所述俯卧畸形检测包括：对所述预设姿态图像进行图像分割处理以获得具有沃柑在所述预设姿态图像中的轮
廓线的轮廓图片；根据所述沃柑轮廓图片提取特征值输入至针对该预设姿态的一个畸形检测模型以使所述畸形检测模型输出畸形检测的检测结果；其中，所述侧卧畸形检测包括：对所述预设姿态图像进行图像分割处理以获得具有沃柑在所述预设姿态图像中的轮廓线的轮廓图片；根据所述沃柑轮廓图片中沃柑的轮廓线的直线拟合的结果输出畸形检测的检测结果。9.一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述处理器实现如权利要求1至7任意一项所述的方法。10.一种计算机存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述的方法。

技术总结

本申请公开了一种基于图像处理的沃柑质检方法、装置、装备及存储介质，其中，方法包括：从采集的一个沃柑的多张沃柑图像中识别出沃柑处于预设姿态的预设姿态图像；根据预设姿态图像的预设姿态的类型对进行粗糙度检测、俯卧畸形检测和侧卧畸形检测；根据粗糙度检测、俯卧畸形检测和侧卧畸形检测的检测结果输出该沃柑的质检结果；所述装置、装备用于实现该方法，所述存储介质存储执行该方法的程序。本申请的有益之处在于提供了一种能同时对沃柑的畸形和粗皮缺陷进行有效检测的基于图像处理的沃柑质检方法、装置、装备及存储介质。装备及存储介质。装备及存储介质。