基于卷积神经网络的孟德尔果蝇遗传性状批量鉴别方法

1.本发明属于遗传学与图像智能处理技术领域，具体涉及一种基于深度卷积神经网络的孟德尔果蝇遗传性状批量鉴别方法。

背景技术：

2.果蝇是经典遗传学研究中被广泛使用的模式生物，在孟德尔果蝇遗传学实验中，为了达到统计效果，实验人员需要人工培养大量果蝇，并逐个观察记录果蝇的遗传性状。传统实验中，这一环节暴露出人工判断性状准确率低、耗时长等问题。而通过机器学习中的深度卷积神经网络技术，就可以让计算机设备直接取代这部分工作。
3.过去十年间，基于深度学习的计算机视觉问题被广泛研究，并衍生出大量应用。其中，图像分类作为经典的计算机视觉问题，已经具有大量成熟的研究成果，在多数任务下的准确率也已远超人类。在移动端运行轻量级的深度学习模型也是研究热点之一。在上述背景下，本发明提供一种可以在移动端快速运行的果蝇性状批量分类模型，能够以极低的学习成本帮助实验人员快速解决这一原本费力的工作。

技术实现要素：

4.本发明的目的在于提供一种兼具准确性、效率以及易用性的孟德尔果蝇遗传性状批量鉴别方法。
5.本发明提供的孟德尔果蝇遗传性状批量鉴别方法，是基于深度卷积神经网络的，其具体步骤如下。
6.步骤一：采集果蝇图片，进行人工标注；划分训练集、验证集、测试集；
7.将果蝇使用二氧化碳麻醉后，使用任意移动设备相机，在光学显微镜或解剖镜下采取包含多个果蝇(可以为1至100个，优选20—50个)的多张图片；在经过人工标注后，按照3:1划分训练集与验证集，训练集与验证集由总共28位实验人员培养果蝇并采集果蝇图片，共包含110张原始图片与约3206个果蝇个体。测试集由互相隔离的6位实验人员培养果蝇并采集果蝇图片，以保证隔离测试的效果。测试集共包含9张原始图片与约405个果蝇个体。以保证隔离测试的效果。训练集用于训练模型，验证集用于监控训练效果，测试集用于验证训练好的模型的性能。标注的内容包括果蝇定位框、果蝇关键点、以及果蝇性状。
8.步骤二：对果蝇图像进行预处理，确定果蝇定位框坐标；
9.采用efficientdet lite模型
1.作为基础来实现目标检测，具体采取不同规模的efficientdet lite模型以应对移动端不同设备的硬件条件。输入图像通过efficientdet lite模型以及适合移动端运算的全局非极大值抑制方法，输出置信度大于50％的果蝇定位框坐标，置信度阈值也可以由实验人员根据实际情况调整。根据目标检测模型输出的定位框坐标，对原图像进行裁切，产生多个包含单个果蝇的子图像，作为下一步骤中深度卷积神经网络的输入。
10.步骤三：构建深度卷积神经网络(dcnn)，并进行训练；
11.所述深度卷积神经网络，是在mobilenetv3模型
2.的基础上构建而成，包括，去除最后的全连接层，并在全局平局池化层后并行地追加两个全连接的sigmoid层，分别对应果蝇的红白眼、长小翅性状；对于长小翅的分类，模型还使用专门设计的“关键点辅助分类模块”。在训练过程中采用随机增强与渐进式学习方法，以提高稳定性并防止过拟合。
12.所述关键点辅助分类模块，指的是在深度神经网络中，利用关键点数据来辅助模型训练图像分类任务。在本发明中，关键点共有四个，分别为果蝇的头部末端、尾部末端以及两翅末端，头部末端、尾部末端的关键点通过二维坐标编码以减小模型规模。同时为了避免模型区分左右翅，两翅末端的关键点编码方式改为按照以下规则，其中(x1,y1),(x2,y2)为原始坐标，(a,b,c,d,e)为编码后的结果：
13.c＝|x
1-x2|，d＝|y
1-y2|，
14.如果(x1–
x2)*(y1–
y2)》0，则e＝1，否则，e＝0。
15.在深度卷积网络的全局平均池化层上：使用带leakyrelu激活函数的全连接层对头部末端、尾部末端关键点坐标以及上述(a,b,c,d)进行回归，平均平方误差作为损失函数，记为loss
keypoints mse
；并行地使用带sigmoid激活函数的全连接层对上述e进行二元分类，二元交叉熵作为损失函数，记为loss
keypoints bce
。最后，合并所有九个关键点神经元，再添加一个全连接层，并使用sigmoid函数对果蝇长小翅进行分类，二元交叉熵作为损失函数，记为loss
classification bce
。在训练的早期阶段，按照以下公式进行加权计算损失：
16.loss
total
＝loss
keypoints mse
+ε
×
loss
keypoints bce
+ε
×
loss
classification bce
，
17.其中，ε是一个极小值，在本例中设为1
×
10-6
。当关键点对应的损失函数在验证集上收敛后，不再计算关键点对应的损失函数，并使用一个较小的学习率只对长小翅分类器进行训练。
18.本发明中，所述随机增强方法为本发明专门设计，是一种用于深度学习的图像增强方法。本方法包含两个重要指标，n与m。n是指采用的增强方法的数量，m是指采用的增强方法的强度。具体步骤为：在(n/2,n)的范围内随机取一个数值作为选取的方法数k；在设定好的增强方法集合中随机选取k种方法，方法集合包括jpeg压缩、卷积操作、边缘检测、模糊化、叠加式噪声、像素覆盖式噪声、区域覆盖式噪声、通道反转、对比度、亮度、饱和度、调、几何变换、直方图变换以及超像素变换；按照随机选出的方法集合，根据m值给定的强度，依次采用对应的增强方法对图像进行操作，最终输出增强后的图像，用于神经网络训练。
19.本发明中，所述的分类网络模型训练过程，利用渐进式学习方法与所述的随机增强方法。训练采用一种适应性的正则化策略，具体包括：训练分为80个阶段，每5次迭代进入下一个阶段；在80个阶段中，线性地增加所述的随机增强方法中的n值与m值，其中n值由6增加至8，m值由60增加至100；在80个阶段中，线性地调整输入图像的分辨率，从64*64增加至224*224；在每个分类器前添加dropout层，其中dropout比例为0.5。
20.步骤四：重复步骤三，直到验证集上的指标达到最小后停止训练。
21.步骤五：为了增加模型推理速度并减小模型体积，采用神经网络量化技术，对于目标检测模型使用动态量化，对于分类模型采用浮点数优化，并通过tflite接口在移动端实现快速推理。
22.本发明具有如下特点：
23.(1)高效率：模型为移动端设备特别优化，节省硬盘空间且运行速度快；整个应用程序安装包仅有64mb，使用移动设备只需要约20秒即可区分约1500个果蝇性状，大幅减少人力成本；
24.(2)易用性：样本采集与模型推理可以同时在移动端完成，避免了多余的操作，无需额外学习成本，对于实验人员非常友好；
25.(3)可解释性：采用了专门设计的关键点辅助分类方法，因此模型在长小翅任务上具有较好的可解释性；
26.(4)高精度：在隔离的测试集上进行测试，目标检测模型具有约100％的召回率与精确率，分类模型在红白眼和雌雄分类的任务上具有约98.8％的准确率，在长小翅分类任务上具有约93.9％的准确率，均高于人工分类的准确率，可以起到标准化的作用。
附图说明
27.图1为本发明采集的果蝇样本图示。
28.图2为本发明采用两个efficientdetlite(0，4)模型在目标检测精度指标的区别图示。
29.图3为在利用关键点辅助分类的训练过程中训练指标曲线。
30.图4为本发明深度卷积神经网络(dcnn)长小翅分类任务中关键点辅助分类模块的架构。
31.图5为本发明深度卷积神经网络(dcnn)的整体架构。
32.图6为利用grad-cam方法显示出关键点辅助分类具有更好的模型可解释性图示。其中，对于同一组图片，每列的左侧为关键点辅助分类，右侧为普通分类。
33.图7为本发明采用专门设计的随机增强方法与适应性的正则化策略后，训练指标曲线图示。
具体实施方式
34.下面结合实施例和附图，对本发明技术方案作进一步描述。显然，所描述的实施例仅是一部分，而不是全部的实施例。
35.步骤一：将果蝇使用二氧化碳麻醉后，使用移动设备相机，在解剖镜下采取包含多个果蝇的多张图片。本实例中，共采集了150张原始图片，其中我们对80张图片进行人工标注，包含共计1733个定位框，即1733只果蝇。人工标注的性状分类数据集包括三个子集，分别对应三个果蝇性状。每个子集都有400+400个样本。典型样本如图1所示。在对应长小翅性状的子集中，对每个果蝇都标注了四个关键点。
36.步骤二：采取efficientdet lite 0模型与efficientdet lite4模型以应对移动端不同设备的硬件条件。输入图像通过efficientdet lite模型以及适合移动端运算的全局非极大值抑制方法，输出大于一定置信度的果蝇定位框坐标。其中，efficientdetlite4模型大小为efficientdetlite0的约5倍，推理速度相比慢约7倍，但具有更好的精度。两个模型在目标检测精度指标上的区别见图2。
37.步骤三：根据目标检测模型输出的定位框坐标，对原图像进行裁切，产生多个包含单个果蝇的子图像。在mobilenetv3模型的基础上，去除最后的全连接层，并在全局平局池
化层后并行地追加两个全连接的sigmoid层，分别对应果蝇的红白眼、长小翅性状。对于长小翅的分类，模型使用专门设计的“关键点辅助分类模块”。在训练过程中采用专门设计的随机增强与渐进式学习方法提高稳定性并防止过拟合。
38.在利用关键点辅助分类的训练过程中，实例中的训练指标曲线如图3所示，可以看到关键点斜率分类器的准确率快速提升至约80％后不再有明显变化，而关键点坐标的平均绝对误差随迭代次数稳定下降，长小翅分类的准确率也随之逐步提高，并在一定迭代次数后收敛。关键点辅助分类模块的具体网络架构如图4所示，整体的网络架构如图5所示。利用grad-cam方法可以显示出关键点辅助分类可以具有更好的模型可解释性，因为与判断长小翅有关的区域激活程度更高，如图6所示。在采用了专门设计的随机增强方法与适应性的正则化策略后，训练过程得到稳定，实例中的训练指标曲线如图7所示，从图中可以看到，在使用了随机增强方法与适应性的正则化策略后，训练集与验证集的指标变化都较为平滑。
39.步骤四：使用神经网络量化技术，对于目标检测模型使用动态量化，对于分类模型采用浮点数优化。量化后的目标检测模型大小为3.84mb，分类模型大小为1.13mb。写入metadata后生成tflite模型，在安卓端测速。其中，目标检测模型efficientdetlite0可以在37毫秒内处理一张图片，分类模型可以在7毫秒内处理一张图片。最后，在测试集上评估模型的性能，目标检测模型efficientdetlite4的召回率与精确率均为100％，分类模型在长小翅上的分类准确率为93.9％，在红白眼与性别上的分类准确率均为98.8％。
40.参考文献
41.[1]tan,m.,pang,r.,&le,q.v.(2020).efficientdet:scalable and efficient object detection.in proceedings of the ieee/cvf conference on computer vision and pattern recognition(pp.10781-10790).
[0042]
[2]howard,a.,sandler,m.,chu,g.,chen,l.c.,chen,b.,tan,m.,...&adam,h.(2019).searching for mobilenetv3.in proceedings of the ieee/cvf international conference on computer vision(pp.1314-1324)。

技术特征：

1.一种基于卷积神经网络的果蝇性状批量识别方法，其特征在于，具体步骤为：步骤一：采集果蝇图片，进行人工标注；划分训练集、验证集、测试集；将果蝇使用二氧化碳麻醉后，使用移动设备相机，在光学显微镜或解剖镜下采取包含多个果蝇的多张图片；经过人工标注后，按照3:1划分训练集与验证集，训练集与验证集由总共28位实验人员培养果蝇并采集果蝇图片，共包含110张原始图片与约3206个果蝇个体；测试集由互相隔离的6位实验人员培养果蝇并采集果蝇图片，以保证隔离测试的效果；测试集共包含9张原始图片与约405个果蝇个体；训练集用于训练模型，验证集用于监控训练效果，测试集用于验证训练好的模型的性能；标注的内容包括果蝇定位框、果蝇关键点、以及果蝇性状；步骤二：对果蝇图像进行预处理，确定果蝇定位框坐标；采用efficientdet lite模型作为基础来实现目标检测，具体采取不同规模的efficientdet lite模型以应对移动端不同设备的硬件条件；输入图像通过efficientdet lite模型以及适合移动端运算的全局非极大值抑制方法，输出置信度大于50％的果蝇定位框坐标；根据输出的定位框坐标，对原图像进行裁切，产生多个包含单个果蝇的子图像，作为下一步骤中深度卷积神经网络的输入；步骤三：构建深度卷积神经网络，并进行训练；所述深度卷积神经网络，是在mobilenetv3模型基础上构建而成，包括去除最后的全连接层，并在全局平局池化层后并行地追加两个全连接的sigmoid层，分别对应果蝇的红白眼、长小翅性状；对于长小翅的分类，模型还使用只针对果蝇的专门设计的关键点辅助分类模块；在训练过程中采用随机增强与渐进式学习方法，以提高稳定性并防止过拟合；所述关键点辅助分类模块，指的是在深度神经网络中，利用关键点数据来辅助模型训练图像分类任务；所述关键点共有四个，分别为果蝇的头部末端、尾部末端以及两翅末端，头部末端、尾部末端的关键点通过二维坐标编码以减小模型规模；同时为了避免模型区分左右翅，并减少数据中的冗余信息，两翅末端的关键点编码方式按照以下规则，其中(x1,y1),(x2,y2)为原始坐标，(a,b,c,d,e)为编码后的结果：c＝|x
1-x2|，d＝|y
1-y2|，如果(x1–
x2)*(y1–
y2)>0则e＝1；否则，e＝0；在深度卷积网络的全局平均池化层上：使用带leakyrelu激活函数的全连接层对头部末端、尾部末端关键点坐标以及上述(a,b,c,d)进行回归，平均平方误差作为损失函数，记为loss
keypoints mse
；并行地使用带sigmoid激活函数的全连接层对上述e进行二元分类，二元交叉熵作为损失函数，记为loss
keypoints bce
；最后，合并所有九个关键点神经元，再添加一个全连接层，并使用sigmoid函数对果蝇长小翅进行分类，二元交叉熵作为损失函数，记为loss
classification bce
；在训练的早期阶段，按照以下公式进行加权计算损失：loss
total
＝loss
keypoints mse
+ε
×
loss
keypoints bce
+ε
×
loss
classification bce
，其中，ε是一个极小值，当关键点对应的损失函数在验证集上收敛后，不再计算关键点对应的损失函数，并使用一个较小的学习率只对长小翅分类器进行训练；步骤四：重复步骤三，直到验证集上的指标达到最优后停止训练；步骤五：为了增加模型推理速度并减小模型体积，采用神经网络量化技术，对于目标检
测模型使用动态量化，对于分类模型采用浮点数优化，并通过tflite接口在移动端实现快速推理。2.根据权利要求1所述的基于卷积神经网络的果蝇性状批量识别方法，其特征在于，步骤三中，所述的随机增强方法，是一种用于深度学习的图像增强方法；包含两个重要指标：n与m；n是指采用的增强方法的数量，m是指采用的增强方法的强度；具体步骤为：在(n/2,n)的范围内随机取一个数值作为选取的方法数k；在设定好的增强方法集合中随机选取k种方法，方法集合包括jpeg压缩、卷积操作、边缘检测、模糊化、叠加式噪声、像素覆盖式噪声、区域覆盖式噪声、通道反转、对比度、亮度、饱和度、调、几何变换、直方图变换以及超像素变换；按照随机选出的方法集合，根据m值给定的强度，依次采用对应的增强方法对图像进行操作，最终输出增强后的图像，用于神经网络训练。3.根据权利要求2所述的基于卷积神经网络的果蝇性状批量识别方法，其特征在于，步骤三中，所述分类网络模型训练过程，采用渐进式学习方法与所述的随机增强方法；训练采用一种适应性的正则化策略，具体包括：训练分为80个阶段，每5次迭代进入下一个阶段；在80个阶段中，线性地增加所述的随机增强方法中的n值与m值，其中n值由6增加至8，m值由60增加至100；在80个阶段中，线性地调整输入图像的分辨率，从64*64增加至224*224；在每个分类器前添加dropout层，其中dropout比例为0.5。

技术总结

本发明属于遗传学与图像智能处理技术领域，具体为一种基于卷积神经网络的孟德尔果蝇遗传性状批量鉴别方法。本发明方法包括使用移动端设备采集果蝇图像，人工标注采集的果蝇定位框、果蝇多性状、果蝇结构关键点数据集；使用随机增强与渐进式增强方法训练模型，使用神经网络量化技术使模型更适合移动端快速运行；利用关键点辅助分类方法，提高长小翅任务的模型可解释性；将多张图像在移动端通过目标检测模型定位图像中每个果蝇的位置，再通过多分类模型区分每个果蝇的长小翅、红白眼与雌雄性状。本发明可以极大地方便实验人员的工作，减少人工重复劳动，节约大量时间并在各个性状分类任务上超过人工分类的准确率，起到标准化的作用。用。用。