(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202010774077.X
(22)申请日 2020.08.04
(71)申请人 南京文采工业智能研究院有限公司
地址 210000 江苏省南京市建邺区嘉陵江
东街18号3幢16层
(72)发明人 蔡小五 池敏
(51)Int.Cl.
G06T 7/00(2017.01)
G06T 7/11(2017.01)
G06K 9/62(2006.01)
G06N 3/04(2006.01)
G06N 3/08(2006.01)
G06F 21/60(2013.01)
G06F 21/64(2013.01)
G01N 21/88(2006.01)
(54)发明名称一种基于人工智能的烟叶霉变检测系统(57)摘要本发明公开了一种基于人工智能的烟叶霉 变检测系统，涉及烟草生产技术领域。该系统包括：语义分割模块、霉变位置图像形成模块、霉变分析模块、霉变位置获取模块、霉变检测情况可视化模块，云端服务器集中的所有节点载入霉变检测系统检测所得到的所需参数、权重，生成霉变检测网络推理区块私链；针对每一次神经网络推理请求，从云端服务器集中随机挑选可用节点，得到与霉变检测网络推理区块私链相匹配的节点链序，并行执行霉变检测网络推理，从而实现烟叶霉变检测。本发明所述基于人工智能的烟叶霉变检测系统，不需要传统的人工检测，而是通过人工智能进行烟叶霉变的检测，提高检测效率和精度， 提高数据处理过程中的安全性能。权利要求书1页 说明书6页 附图1页CN 111986167 A 2020.11.24
C N 111986167
A
1.一种基于人工智能的烟叶霉变检测系统，其特征在于，该系统包括：语义分割模块，用于将从图像采集模块得到的烟叶图像输入语义分割网络，得到语义分割热力图，语义分割网络包括霉变语义分割编码器、霉变语义分割解码器；霉变位置图像形成模块，用于对语义分割热力图进行二值化处理得到霉变区域遮罩，将霉变区域遮罩与烟叶图像点对点相乘，得到霉变位置图像；霉变分析模块，用于将霉变位置图像输入霉变分析网络，得到是否霉变的分析结果，霉变分析网络包括霉变分类编码器、全连接网络；霉变位置获取模块，用于将霉变位置图像输入霉变关键点回归网络，得到霉变斑点热图，霉变关键点回
归网络包括霉变关键点编码器、霉变关键点解码器；霉变检测情况可视化模块，用于将霉变分析结果与霉变斑点热图叠加在烟叶图像上显示；霉变语义分割编码器、霉变语义分割解码器、霉变分类编码器、全连接网络、霉变关键点编码器、霉变关键点解码器构成霉变检测网络的主要组成；系统还包括云端服务器集，云端服务器集中的所有节点载入霉变检测网络所需参数、权重；根据区块链思想，将霉变语义分割编码器、霉变语义分割解码器、霉变分类编码器、全连接网络、霉变关键点编码器、霉变关键点解码器作为区块，生成霉变检测网络推理区块私链，根据该区块私链执行神经网络推理请求。
2.如权利要求1所述的基于人工智能的烟叶霉变检测系统，其特征在于，所述根据该区块私链执行神经网络推理请求包括：针对神经网络推理请求，从云端服务器集中随机挑选与区块数相同个数的可用节点，分配给霉变检测网络推理区块私链的区块，得到与霉变检测网络推理区块私链相匹配的节点链序，并行执行霉变检测网络推理。
3.如权利要求1所述的基于人工智能的烟叶霉变检测系统，其特征在于，所述区块对其要传输至下一区块的数据进行加密，对其从上一区块接收到的数据进行解密。
4.如权利要求1所述的基于人工智能的烟叶霉变检测系统，其特征在于，对霉变语义分割编码器、霉变语义分割解码器、霉变分类编码器、全连接网络、霉变关键点编码器、霉变关键点解码器分别进行适当细分，细分后的每一模块作为区块，形成霉变检测网络推理区块私链。
5.如权利要求3所述的基于人工智能的烟叶霉变检测系统，其特征在于，所述区块采用字节遮罩加密机制进行加密、解密操作。
6.如权利要求1所述的基于人工智能的烟叶霉变检测系统，其特征在于，所述图像采集模块还包括预处理模块，用于对获取的烟叶图像进行预处理。
权 利 要 求 书1/1页CN 111986167 A
一种基于人工智能的烟叶霉变检测系统
技术领域
[0001]本发明涉及人工智能、区块链技术领域，具体涉及一种基于人工智能的烟叶霉变检测系统。
背景技术
[0002]我国是烟叶生产及消耗大国。在卷烟生产中，首先要对烟叶原材料进行挑选分类。挑选的烟叶的质量直接关系生产出来的卷烟的纯度与质量。因此，对烟叶原材料进行挑选分类，至关重要。烟叶是否霉变是对烟叶进行分类的关键指标。目前有基于图像处理技术进行霉变检测的研究，但是其检测精度和检测效率往往不高。而且，在霉变检测过程中，未考虑安全性等因素，其处理数据容易被攻击、截获。因此，现有烟叶霉变检测技术存在检测精度和检测效率不高，数据处理过程中安全性不高的问题。
发明内容
[0003]为了解决上述存在的问题，本发明提出一种基于人工智能的烟叶霉变检测系统，提高烟叶霉变检测精度和效率，同时提高数据处理过程中的安全性能。
[0004]为了实现上述目的，本发明采用以下方案，一种基于人工智能的烟叶霉变检测系统，该系统包括：
[0005]语义分割模块，用于将从图像采集模块得到的烟叶图像输入语义分割网络，得到语义分割热力图，语义分割网络包括霉变语义分割编码器、霉变语义分割解码器；[0006]霉变位置图像形成模块，用于对语义分割热力图进行二值化处理得到霉变区域遮罩，将霉变区域遮罩与烟叶图像点对点相乘，得到霉变位置图像；
[0007]霉变分析模块，用于将霉变位置图像输入霉变分析网络，得到是否霉变的分析结果，霉变分析网络包括霉变分类编码器、全连接网络；
[0008]霉变位置获取模块，用于将霉变位置图像输入霉变关键点回归网络，得到霉变斑点热图，霉变关键点回归网络包括霉变关键点编码器、霉变关键点解码器；
[0009]霉变检测情况可视化模块，用于将霉变分析结果与霉变斑点热图叠加在烟叶图像上显示；
[0010]霉变语义分割编码器、霉变语义分割解码器、霉变分类编码器、全连接网络、霉变关键点编码器、霉变关键点解码器构成霉变检测网络的主要组成；
[0011]系统还包括云端服务器集，云端服务器集中的所有节点载入霉变检测网络所需参数、权重；根据区块链思想，将霉变语义分割编码器、霉变语义分割解码器、霉变分类编码器、全连接网络、霉变关键点编码器、霉变关键点解码器作为区块，生成霉变检测网络推理区块私链，根据该区块私链执行神经网络推理请求。
[0012]进一步地，根据该区块私链执行神经网络推理请求包括：针对神经网络推理请求，从云端服务器集中随机挑选与区块数相同个数的可用节点，分配给霉变检测网络推理区块私链的区块，得到与霉变检测网络推理区块私链相匹配的节点链序，并行执行霉变检测
网络推理。
[0013]进一步地，区块对其要传输至下一区块的数据进行加密，对其从上一区块接收到的数据进行解密。
[0014]进一步地，对霉变语义分割编码器、霉变语义分割解码器、霉变分类编码器、全连接网络、霉变关键点编码器、霉变关键点解码器分别进行适当细分，细分后的每一模块作为区块，形成霉变检测网络推理区块私链。
[0015]进一步地，区块采用字节遮罩加密机制进行加密、解密操作。
[0016]进一步地，图像采集模块还包括预处理模块，用于对获取的烟叶图像进行预处理。[0017]本发明的有益效果在于：
[0018]1、本发明基于烟叶图像采用深度神经网络对烟叶是否霉变以及霉变类型进行分析，相比于传统的基于计算机视觉的霉变检测方法，其基于大量样本及标注通过深度学习得到相应分析结果，检测效率更高，且具有更准确的结果响应。
[0019]2、本发明基于区块链技术，对霉变检测网络进行合理划分，将一次网络推理请求的不同模块置于不同的节点上进行计算，形成与网络推理区块私链匹配的节点链序，相比于传统的单机执行，不仅提高了系统的并行性能，而且具有更好的容错性能。
[0020]3、本发明的节点链序根据云端服务器集中可用节点实时生成，不易被篡改和攻击，具有更高的保密性能。
[0021]4、本发明对网络推理区块私链之间的数据进行加密，提高了网络区块私链之间数据传输的保密性能，而且字节遮罩加密操作计算方便，计算量小，在提高保密性能的同时不会增加系统负担。
附图说明
[0022]图1为本发明所述基于人工智能的烟叶霉变检测系统的架构图。
[0023]图2为霉变检测网络推理区块私链示意图。
具体实施方式
[0024]下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。
[0025]需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
[0026]如图1-2，为实现烟叶中霉变烟的自动在线精选，本发明设计了基于深度神经网络的霉变烟叶在线检测系统，实现霉变烟的在线检测识别。由于与正常烟叶物理性质的相似性，对该类异物图像综合特征信息提取与识别分类算法的设计，是实现深度神经网络方法检测的关键。近年来，在采后烟叶精选方面，计算机视觉方法也逐渐得到关注和研究开发，但对于霉变烟叶的深度神经网络检测识别，并加以区块链技术加密技术尚未有相关应用。基于此，本发明提供一种基于人工智能的烟叶霉变检测系统，提高霉变烟叶的检测精度和检测效率，同时提高数据处理过程中的安全性能。下面通过具体实施例来进行说明。[0027]实施例一：
[0028]本发明主要针对烟叶霉变区域、霉变位置以及霉变类型或烟叶其他异常信息的检测。系统输入为彩烟叶图像信息，输出烟叶是否有明显霉变，霉变区域或霉斑的大小及其位置等信息。为了实现本发明所述内容，本发明设计了针对上述任务的混合深度神经网络来实现相关的功能，图1为本发明系统架构图。
[0029]基于人工智能的烟叶霉变检测系统包括：
[0030]图像采集模块，用于获取烟叶图像。
[0031]首先，高速CCD在LED汇聚光源照射下连续动态获取烟叶图像IMG1，采集的烟叶图像信号实时传送至图像处理机构进行处理，需要注意的是图像大小需一致。
[0032]获取的图像为一张三通道彩图。为了提高后续网络的性能，可以对采集的彩烟叶图像进行预处理。因此，图像采集模块还包括预处理模块。预处理包括通过滤波处理来消除噪声。预处理需要按需求进行操作，如需霉变分散的细节信息，则不可选用中值滤波，如需霉变的区域信息，则不可选用均值滤波。具体预处理操作，实施者可以根据实施情况调整。
[0033]预处理后的烟叶图像在本地端进行加密操作后，发送至云端服务器集。后面详述加密操作的原因以及如何进行加密操作。
[0034]语义分割模块，用于将从图像采集模块得到的烟叶图像输入语义分割网络，得到语义分割热力图，语义分割网络包括霉变语义分割编码器、霉变语义分割解码器。[0035]具体地，将从图像采集模块得到的烟叶图像输入至语义分割网络CNN_Seg。语义分割网络CNN_Seg是深度神经网络，用于端到端的语义分割，其特征在于深度神经网络CNN_ Seg的输入是三通道的彩图像，输出是单通道的语义分割热力图。
[0036]语义分割网络CNN_Seg包括霉变语义分割编码器EncA、霉变语义分割解码器DecA。编码器和解码器的特点在于，编码器对特征图的通道扩增，而图像大小减少，即降低了空域的精度而提升了特征强度的类型数，反之，解码器降低通道数并提高特征图的空域精度。霉变语义分割编码器任务是提取烟叶图像的特征，其提取的特征应能够经过解码器还原为具有相应语义的遮罩图像。霉变语义分割编码器后接霉变语义分割解码器网络。霉变语义分割解码器的任务是将编码器学习到的识别特征(低分辨率)语义投影到像素空间(高分辨率)上，得到密集的分类。编码器、解码器可以包括多个卷积模块(即CNNBlock)或ResBlock。在卷积模块或ResBlock之间，实施者可以根据需求设置池化、采样层。实施者应结合硬件的计算能力和精度做出权衡，从而采用合适的网络内部结构。
[0037]语义分割网络需要经过训练才能投入使用，获得较好的语义分割效果。在训练之前，实施者准备各种烟叶的彩图像作为样本集，对其进行模糊标注，大概标注霉变区域，后续会精细化处理。使用交叉熵损失函数进行训练，语义分割网络虽然结构稍复杂，但训练形式与普通的图像分割训练方法一致，
细节不再赘述。
[0038]霉变位置图像形成模块，用于对语义分割热力图进行二值化处理得到霉变区域遮罩，将霉变区域遮罩与烟叶图像点对点相乘，得到霉变位置图像。
[0039]单通道的分割图IMG_S内表达的是霉变部分的置信度，对IMG_S进行阈值化操作，可以得到霉变部分的遮罩。将遮罩与原始烟叶图像IMG1融合得到霉变位置图像IMG2，为了方便后续网络流程其大小与图像IMG1保持一致。
[0040]接下来，以霉变位置图像作为输入，继续训练后面的关键点检测网络和分类器网
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议