基于遗传算法的机器学习模型自动生成方法

基于遗传算法的机器学习模型自动生成方法

技术领域

本发明涉及机器学习问题，设计了机器学习模型的自动调参，自动改良算法结构的方法，实现了在多领域，多需求的情况下端到端自动生成机器学习模型。机器学习专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，具有重要的理论意义和广泛的应用价值。传统的机器学习方法，当对模型的需求或模型的应用领域发生变化时，都需要开发者频繁地调整超参数、改造算法的结构，从而耗费大量人力物力。随着深度学习的发展，出现了大量能够有效提取图像数据特征的深层卷积神经网络。如何将这些预训练网络应用在不同领域的迁移学习成为了一个热点问题。遗传算法具有跨领域全局搜索能力，能够自动生成复杂问题的最优解，可以用来自动筛选合适的预训练网络，自动调整机器学习模型的超参数。本发明主要研究基于遗传算法的机器学习模型自动生成方法，提出了用于自动生成机器学习模型的算法，可以生成多领域的，符合不同现实需求的机器学习模型。本发明拟通过遗传算法，自动调参，自动筛选预训练网络，实现机器学习模型的自动生成。这些都将为机器学习的自动化提供理论和方法上的支持，从而提高开发者开发机器学习模型的效率，具有重要的推广应用价值。本发明的研究成果将应用于小样本下的多领域，多需求的机器学习模型自动生成，从而提高开发机器学习模型的效率，具有明显的经济效益和社会效益。

背景技术

对机器学习的研究主要分为回归与分类两个方向。本发明主要研究了图像分类问题：即希望机器学习模型通过一部分图像数据的学习，可以正确地对测试集中新的图像进行分类，判断出测试集中的图像分别归属于哪个类别。

传统机器学习方法，当对模型的需求或模型的应用领域发生变化时，都需要开发者重新进行超参数的调整，或是改造算法的结构，从而耗费大量人力物力。如果可以提出一种算法，对模型参数进行自动调整，或者对模型结构进行自动改良，从而实现模型的自动生成，无疑可以给机器学习领域创造极大的价值。机器学习模型中，主要包括两类参数。一类是模型的参数：它通过学习由机器自动产生。一类是算法的参数：“超参数”，它通常通过人工来调节。随着机器学习的发展，出现了越来越多的由多种算法组合的机器学习模型，所提供的超参数组合也呈指数型增长。这给人工调参带来了很大的难度。如何实现超参数的自动调整，是机器学习领域一个亟待解决的困难问题。

随着深度学习的发展，出现了大量能够有效提取图像数据特征的深层卷积神经网络。如何将这些神经网络应用在不同领域的迁移学习成为了一个热点问题。但迁移学习算法中，通过深层卷积神经网络提取的特征可能会造成部分信息缺失。同时，卷积神经网络因为其的黑盒属性，人们很难通过一些先验知识判断什么样的卷积神经网络适用于什么样的数据集，传统机器学习应该设置怎样的参数与卷积神经网络配合。人们越来越需要一种可以适用于全局的优化算法，探索神经网络与传统机器学习算法的最佳组合。

遗传算法作为一种通用的智能优化算法，可以突破领域搜索的限制，在整个解空间上实现分布式信息的处理与寻优，非常适用于小样本机器学习类问题的调参。如何将遗传算法与机器学习结合起来，生成能够自动化调参的机器学习模型，成为目前机器学习领域研究的热点问题。在传统的遗传算法模型中，我们想要到解空间里的全局最优解，由此，产生了很多关于遗传算法的变种：模拟退火算法，粒子算法，多种遗传算法，免疫优化算法等。此类算法都为了解决传统遗传算法的早熟收敛问题，希望种能够尽快跳出局部最优解，到全局的最优解。在机器学习的调参模型里，我们同样希望种能够尽快跳出局部收敛，但目的并非寻到测试集上的全局最优解，而是希望模型能够提供尽可能多的局部最优解，因为在小样本的机器学习模型中，刻意的追求测试集上的全局最优解是没有意义的。我们的目的是生成面对未知数据有良好结果的机器学习模型，一味的追求测试集上的全局最优解并不会对未知数据的测试结果产生很大的提升，反而可能会造成模型的过拟合，影响机器模型的效果。在小样本的机器模型中，提供尽可能多的，在测试集上有良好结果的参数组合是很有必要的，在机器学习的黑盒测试下，我们并不能很好的通过测试集上彼此间相差不大的结果来判断模型的好坏。而提供尽可能多的参数组合，有利于我们在面临更大的数据集时进行必要的筛选，得到效果最好的机器学习模型。鉴于此，针对机器学习特征，改进传统遗传算法是很有必要的。

发明内容

本发明针对机器学习模型在多领域，多需求条件下的自动生成问题。提出了基于遗传算法的机器学习模型自动生成方法。

本发明将每一种预训练网络与超参数组合映射为遗传算法种内的一个个体，并使用该参数组合在训练集上进行PCA降维，LDA降维，SVM分类，生成机器学习模型。利用机器学习模型对测试集进行预测，根据不同的现实需求，改变遗传算法的适应度函数，并将得到的模型在测试集上的表现，映射为个体的适应度。通过适应度，进行种的选择，进化。通过遗传算法，种将不断探索最优的参数组合，端到端的生成各领域上的，符合各种现实需求的机器学习模型。

本发明所要解决的技术问题：根据不同的现实需求，存在多种指标对机器学习模型进行评价：准确率，查准率，查全率等。同时，模型所需训练样本的大小，模型预测需要的特征数目也会影响对模型的评价。当现实需求发生变化时，往往需要开发者频繁的改变超参数的值或算法的结构，以适应新的要求，从而耗费大量的人力物力。不同领域的机器学习问题具有不同的特点，人们很难到一种通用的方法，自动生成不同领域的机器学习模型。卷积神经网络因为其强大的特征学习能力，可以对图像进行更抽象的表述，探索图像的本质特征，为深度学习在迁移学习上的应用提供了可能。但卷积神经网络因为其的黑盒属性，人们很难通过一些先验知识判断什么样的卷积神经网络适用于什么样的数据集，传统机器学习应该设置怎样的参数与卷积神经网络配合。同时，利用卷积神经网络降维后的数据很有可能有丢失掉一部分原图像的特征。

本发明的技术解决方案：一种基于遗传算法的机器学习模型自动生成方法，其特征包含以下步骤：

步骤1：利用预训练网络对数据进行降维。

用于图像分类的卷积神经网络包含两部分：首先是一系列池化层和卷积层，最后是一个密集连接分类器。本发明冻结预训练网络前几层的权重，并选择最后某几层的输出。用于数据的降维。

步骤2：设置机器学习方法。

为实现图像的分类，需要选择用于数据降维与分类的机器学习方法。通过训练集的训练生成机器学习模型，通过测试集评测机器学习模型的效果。

步骤3：为遗传算法的个体设置合适的基因。

首先，本发明根据机器学习的特点，设置了实数型，类别型两种基因型。将机器学习的超参数映射为个体的基因。同时，为实现预训练网络的自动筛选，添加预训练网络基因。为弥补预训练网络降维后会丢失一部分原图像特征的缺点，添加深层特征降维数，全局特征降维数两种基因。

步骤4：根据不同的现实需求设置合适的适应度函数。

根据不同的现实需求，存在多种指标对机器学习模型进行评价：准确率，查准率，查全率等。同时，模型所需训练样本的大小，模型预测需要的特征数目也会影响对模型的评价。为实现不同需求的机器学习模型的自动化生成，需要为遗传算法设置不同的适应度函数。

步骤5：利用遗传算法进行种的优化求解。

本发明利用遗传算法对参数组合进行了寻优，设置遗传算法中不同的选择算子，交叉算子，并根据传统遗传算法与机器学习的特点，添加俄狄浦斯算子，使遗传算法能提供尽可能多的局部最优解。以实现机器学习模型的自动化生产。

具体实施方式

下面对本发明的实施方式进行详细说明。

步骤1. 利用预训练网络对数据进行降维。

为实现机器学习模型在不同领域上的自动化生成，本发明采用了迁移学习的思想，迁移学习的目的是将以前学习的知识迁移到新的任务中。迁移学习是运用已存有的知识对不同但相关领域问题进行求解的一种新的机器学习方法。对于卷积神经网络而言，迁移学习就是要把在特定数据集上训练得到的“知识”成功运用到新的领域之中。对于小样本的机器学习工作，一种常用且非常高效的方法是使用预训练网络,预训练网络是一个保存好的网络，之前已在大型数据集（通常是大规模图像分类工作）上训练好。如果这个原始数据集足够大而且足够通用，那么预训练网络学到的特征的空间层次结构可以有效地作为视觉世界的通用模型，因此这些特征可用于各种不同的计算机视觉问题，即使这些新问题涉及的类别和原始任务完全不同。

本发明建议的预训练网络有以下几种：VGG16，Xception，Inception V3，ResNet50。本发明冻结预训练网络的权重，并选择最后某几层的输出。用于数据的降维。

步骤2：设置机器学习方法。

机器学习的基本流程包括数据的采集，数据的预处理，数据的特征提取，数据的回归或分类。为实现多领域，多需求的机器学习模型的自动生成，本发明建议选择PCA+LDA作为数据降维方法，SVM作为数据分类方法的机器学习方法。PCA即主成分分析法。降维后的特征在维数还原后，构成的图像仍旧保持为图像的形式。所以，PCA方法能够保留尽可能多的全局信息。LDA：即线性判别分析技术。LDA算法在获取样本的类别信息后，目的是通过降维使降维后的数据类间方差最大，类内方差最小。SVM：即支持向量机。其基本思想为寻到一个最优划分超平面，将不同类的样本区分开。

步骤3：为遗传算法的个体设置合适的基因。

不同机器学习的参数中存在着一部分连续型的变量：PCA降维的特征数，SVM中的C值等，也存在着一部分非连续变量：SVM的核函数等。由此，我们选择了混合染体编码方式。将体中的染体划分为实数型和类别型两种。进行机器学习参数的优化。

我们设实数型基因的下限为，上限为，类别型基因下限为，上限为，则机器学习调参的实数解空间与类别解空间如下所示：

其中，实数解空间相互之间具有相关性，即大小相近的基因之间我们认为在解空间中能起到相似的作用，类别解空间之间相互独立，大小不同的类别解彼此之间没有任何关系。

本发明主要选择了PCA+LDA进行降维，SVM进行分类的机器学习方法，所以，本发明建议设置三个实数型基因，，C。代表PCA算法的降维特征数，代表LDA算法的降维特征数，C代表SVM算法的惩罚系数。一个类别型基因，代表SVM算法的核函数。

随着科技的不断进步，以后必然会出现越来越多的，效果越来越好的“预训练网络”。而深度学习由于其特有的黑盒测试属性，我们很难通过一些先验知识去判断什么样的“预训练网络”在什么样的“数据集”上表现更好。同时，我们也很难判断降维后的数据更适合用什么样的分类器进行后续的分类工作。由此，本发明提出了利用遗传算法对迁移学习进行优化的算法。通过遗传算法，选择最适合的“预训练网络”与机器学习“超参数”的组合，完成机器学习工作。所以，本发明添加新的基因：。

我们利用预训练网络对数据进行了降维处理，但降维后的数据存在问题：可能丢失掉一部分原图像特征。原图像特征，深层卷积神经网络降维后的深层特征，在交给传统机器学习方法处理时都需要经过PCA等方法进行数据的降维，而降维的特征数是任意的，我们可以通过改变PCA降维或LDA降维的特征量，来改变三种特征的权重。由此，我们提出了一种基于遗传算法的特征融合算法。算法通过增加实数型基因...，根据测试集上的反馈结果，调节各种特征的降维数量以及对应的传统机器学习方法的超参数，来达到最好的分类效果。

步骤4：根据不同的现实需求设置合适的适应度函数。

根据不同的现实需求，存在多种指标对机器学习模型进行评价：准确率，查准率，查全率等。同时，模型所需训练样本的大小，模型预测需要的特征数目也会影响对模型的评价。当现实需求发生变化时，往往需要开发者频繁的改变超参数的值或算法的结构，以适应新的要求，从而耗费大量的人力物力。对于遗传算法而言，不同的现实需求，所对应的即为不同的适应度函数。由此，本发明提出了利用改变适应度函数来自动生成符合不同现实需求的机器学习模型的方法。

利用本发明自动生成符合不同现实需求的机器学习模型的例子如下：

对于追求高准确率的模型可以设置适应度函数为：

其中acc代表模型在测试集上的准确率。

对于追求降维后的特征量最少的模型，可以设置适应度函数为：

对于想要平衡查准率，查全率关系的模型，可以设置适应度函数为：降维后的特征量最少的模型，可以设置适应度函数为：

其中P代表模型在测试集上的查准率，R代表模型在测试集上的查全率。

步骤5：利用遗传算法进行种的优化求解。

5.1传统遗传算法结构

首先，设置选择算子，变异算子，交叉算子：

在选择算子上，我们采用了经典的赌算法，每个体被选择的概率仅和它的适应度函数的值相关（假设体的个体数为M）：

在交叉算子上，与传统遗传算法一样，我们通过交叉概率随机的选择两个进行交叉的个体与它们要进行交叉的基因位，当要进行交叉的基因位为实数基因时，我们按下式交叉（其中，p为0到1的随机数）：

当进行交叉的基因位为类别基因时，我们按下式交叉；

在变异算子上，当满足变异概率时，我们随机的选择一个个体的一个基因位进行变异，对于实数基因，我们采用下式其中，为0到1的随机数）：

当进行变异的基因位为类别基因时，我们进行以下方式的变异；

5.2 添加俄狄浦斯算子

由于传统遗传算法在机器学习领域存在缺陷，我们提出了一种新的算子——俄狄浦斯算子，应用在机器学习的调参中，并取得了很好的效果。

种每发生三代进化，计算一次俄狄浦斯算子，它发生在上一代进化的选择算子选择完成，下一代进化的开始阶段。首先，它通过以下公式判断基因与基因间的相似性，对于实数型基因，当满足公式下式（是事先给定的阀值）时，我们认为两个基因是相似的：

对于类别型基因，当满足公式下式时，我们认为两个基因是相似的：

俄狄浦斯算子通过基因间是否相似，判断个体间是否相似，设个体间相似的基因个数为C，个体的总基因数为N，当满足下式时，我们认为两个个体是相似的（为个体间相似的概率系数）：

我们按顺序依次选择一个个体，计算该个体与种内其他个体的相似性，当与之相似的个体总数满足式下时，我们停止搜索，并选择该个体为种的新的俄狄浦斯王（为种内相似的概率系数）：

如果搜索完毕，并没有产生新的俄狄浦斯王，我们认为种内的差异性是足够的，种并没有进入早熟收敛阶段，我们将和传统遗传算法一样，进入下面的选择，交叉，变异阶段。

如果产生了新的俄狄浦斯王，首先，我们将它与上一代俄狄浦斯王进行相似性比较（第一代俄狄浦斯王设置为初始种的随机一个个体）。如果新的俄狄浦斯王与老俄狄浦斯王并不相似，我们认为种一定程度上摆脱了上一次的局部收敛。在这种情况下，我们并不应该像免疫算法那样抑制新俄狄浦斯王以及与之相似的个体的遗传进化，因为此时距离上一次摆脱局部最优解，种仅进行了几代的进化，种进化的次数还不足以帮助它收敛到最优。与免疫算法相反，我们应该鼓励种的变异，加快种的收敛速度，帮助种尽快到局部最优解。在俄狄浦斯算子中，我们将这种情况称为“警告”模式，如果种触发了警告，将会连续进行三次“变异算子”，在保持种原有大结构不变的前提下，进行多个基因的变异，帮助种尽快推翻俄狄浦斯王，收敛到局部最优。

如果新的俄狄浦斯王与上一代俄狄浦斯王进行比较，满足相似的要求。我们认为，在触发警告之后，种依旧没有摆脱局部最优解的限制，收敛在了局部最优解。这种情况下，我们称为种触发了“瘟疫”模式。在瘟疫模式里，首先，种依旧会连续进行三次“变异算子”，来提高种的差异性，随后，在每次种计算完适应度函数后，我们将种中的个体依次与新的俄狄浦斯王进行相似性比较，当个体与俄狄浦斯王相似时，我们会按照下式降低个体的适应度值，以此来抑制与俄狄浦斯王相似的个体的遗传进化（为大于0小于1的系数）：

瘟疫模式直到下一次进行俄狄浦斯算子时终止。在经历了三代的自然选择之后，种往往可以顺利的摆脱局部最优解，去探索其它的局部最优解，丰富自己最后的进化结果。