(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201910942203.5
(22)申请日 2019.09.30
(71)申请人 温州大学
地址 325000 浙江省温州市瓯海区东方南
路38号温州市国家大学科技园孵化器
(72)发明人 陈慧灵 李世民 乔雪婷 汪鹏君
刘国民 罗云纲 赵学华
(74)专利代理机构 温州名创知识产权代理有限
公司 33258
代理人 陈加利
(51)Int.Cl.
G06K 9/62(2006.01)
G06N 3/00(2006.01)
(54)发明名称
(57)摘要
本发明提供一种基于黏菌算法构建预测模
型的方法，包括获取样本数据并对所获取到的样
本数据进行归一化处理；利用基于黏菌算法优化
支持向量机的惩罚因子C和核宽γ；基于所获得
的惩罚因子C和核宽γ，利用所归一化处理后的
数据来构建预测模型，并基于所构建的预测模型
对待分类样本进行分类和预测。实施本发明，通
过基于黏菌算法来优化SVM的惩罚因子和核宽，
可充分利用算法的收敛速度和收敛精度以及算
法逃脱局部最优解的能力，到更优的全局近似
最优解以获得分类精度更高的SVM模型。权利要求书2页 说明书6页 附图1页CN 110705640 A 2020.01.17
C N 110705640
A
1.一种基于黏菌算法构建预测模型的方法，其特征在于，所述方法包括以下步骤：
步骤S1：获取样本数据并对所获取到的样本数据进行归一化处理；
步骤S2、利用基于黏菌算法优化支持向量机的惩罚因子C和核宽γ，具体为：
步骤S2.1、参数初始化；其中，初始化的参数包括：最大迭代次数T、黏菌种的个数N、C 的搜索空间[Cmin，Cmax]和γ的搜索空间[γmin，γmax]； 步骤S2.2、黏菌种位置初始化：随机产生N个黏菌的位置，其中第i个黏菌的位置为X i ＝(x i1，x i2),i＝1,2,……，N；其中，x i1表示黏菌i在当前位置时的C值，x i2表示黏菌i在当前位置时的γ值；
步骤S2.3、对N个黏菌计算其适应度f i，该适应度值是基于黏菌个体i当前位置的C和γ值；首先，根据公式(1)以内部K折交叉验证策略计算支持向量机的准确度ACC，并将该值作为黏菌i的适应度f i的值；然后，将适应度f i的值由大到小降序排序，取适应度值中最优的黏菌的适应度保存为bF，最差的黏菌的适应度保存为wF，并根据公式(2)计算自适应权重；最后，若bF优于全局最优适应度值DF，则将DF更新为bF，并将该个体位置保存至黏菌个体最佳位置bestPosition中；
其中，SmellIndex表示排序后种个体对应的位置，r表示介于0-1的随机数；acck表示每一折数据上计算获得的准确度；
步骤S2.4、采取和步骤2.3中相同的C和γ编码方式后以内部K折交叉验证策略计算每一个黏菌的适应度；
步骤S2.5、根据公式(3)-(8)更新黏菌i的位置；
p＝tanh|S(i)-DF| (4)；
其中，X A和X B表示种中的随机选择的两个个体，UB和LB根据j的不同取值分别为步骤2.1中C和γ的最大、最小值；
步骤S2.6、判断是否达到了最大迭代次数T；若否，则跳转至步骤S2.3；若是，则执行下一步骤S2.7；
步骤S2.7、输出黏菌个体最佳位置bestPosition及其对应的适应度，即最优的惩罚因子C和核宽γ值；
步骤S3、基于所获得的惩罚因子C和核宽γ，利用所归一化处理后的数据来构建下述公式(9)所示的预测模型，并基于所构建的预测模型对待分类样本进行分类和预测；其中，K (●)采用公式(10)所示；x j表示第j个归一化处理后的样本数据；x i(i＝1...l)表示训练样本；y i(i＝1...l)表示训练样本对应的标签，y i＝1代表正类样本，y i＝-1代表负类样本；b为阈值；αi是拉格朗日系数；
K(x i,x j)＝exp(-r||x i-x j||2) (10)。
一种基于黏菌算法构建预测模型的方法
技术领域
[0001]本发明涉及计算机技术领域，尤其涉及一种基于黏菌算法构建预测模型的方法。
背景技术
[0002]支持向量机(SVM)常用于构建预测模型来对数据进行分析，该支持向量机(SVM)最常用的两种参数优化方法包括网格搜索和梯度下降。在第一种参数优化方法中，网格搜索是一种穷举搜索方法，它一般是通过设置合理的区间上下限和间隔步长对指定参数空间进行划分，然后对每个网格节点代表的参数组合进行训练和预测，将这些预测结果中取值最高的一组参数作为最终SVM模型的最佳参数。该方法虽然在一定程度上能保证得到给定参数空间内最优的参数组合，然而随着参数空间增大，其搜索效率会大大降低，特别是设置合理的区间和间隔步长值往往非常困难，从而大大降低了其可行性，而且模型也非常容易陷入局部最优值；在第二种参数优化方法中，梯度下降方法虽然能克服网格搜索方法的缺陷，但是它对初始值非常敏感，特别是初始参数设置离最优解非常远的时候，模型很容易收敛到局部最优解。
[0003]近年来，由于元启发式的搜索算法凭借其独特的全局寻优能力而受到了学术和工业界的广泛关注，它们被普遍认为比传统寻优方法具有更大的机会到全局最优解，因此提出多种基于元启发式算法的SVM训练算法来处理参数优化问题。
[0004]SVM在具体应用时，其性能主要受包括线性核函数、多项式核函数、径向基(RBF)核函数和sigmoid核函数等核函数影响，一般情况下选择基于RBF核函数的SVM。RBF核SVM主要涉及两个重要的参数C和γ。C是惩罚因子，它用于控制对错分样本惩罚的程度，起到控制训练误差和模型复杂度之间平衡的作用；C值越小，则对数据中误判样本的惩罚也越小，使得训练误差变大，因此结构风险也变大。相反，C值越大，对错分样本的约束程度就越大，这样会导致模型虽然对训练数据的误判率很低，但整体的泛化能力却很差，容易出现“过拟合”现象。参数γ代表RBF核函数中的核宽，它决定了核函数的宽度，直接影响SVM的性能。如果γ取得不恰当，SVM很难获得预期的学习效果。γ值太小会导致过拟合，γ值太大会使SVM的判别函数过于平缓。所以惩罚因子C和核宽γ从不同的角度影响着SVM的分类超平面。在实际应用中，它们取值过大或过小都会使SVM的泛化性能变差。
[0005]但是，采用现有的元启发式的搜索算法来处理SVM参数优化问题，还有待进一步提升算法的收敛速度和收敛精度，提升算法逃脱局部最优解的能力，从而到更优的全局近似最优解。
发明内容
[0006]本发明实施例所要解决的技术问题在于，提供一种基于黏菌算法构建预测模型的方法，通过基于黏菌算法(SMA)来优化SVM的惩罚因子和核宽，可充分利用算法优异的的收敛速度和收敛精度以及算法逃脱局部最优解的能力，到更优的全局近似最优解以获得分类精度更高的SVM。
[0007]为了解决上述技术问题，本发明实施例提供了一种基于黏菌算法构建预测模型的方法，所述方法包括以下步骤：
[0008]步骤S1：获取样本数据并对所获取到的样本数据进行归一化处理；
[0009]步骤S2、利用基于黏菌算法优化支持向量机的惩罚因子C和核宽γ，具体为：[0010]步骤S2.1、参数初始化；其中，初始化的参数包括：最大迭代次数T、黏菌种的个数N、C的搜索空间[Cmin，Cmax]和γ的搜索空间[γmin，γmax]；
[0011]步骤S2.2、黏菌种位置初始化：随机产生N个黏菌的位置，其中第i个黏菌的位置为X i＝(x i1，x i2),i＝1,2,……，N；其中，x i1表示黏菌i在当前位置时的C值，x i2表示黏菌i在当前位置时的γ值；
[0012]步骤S2.3、对N个黏菌计算其适应度f i，该适应度值是基于黏菌个体i当前位置的C 和γ值；首先，根据公式(1)以内部K折交叉验证策略计算支持向量机的准确度ACC，并将该值作为黏菌i的适应度f i的值；然后，将适应度f i由大到小降序排序，取适应度值中最优的黏菌的适应度保存为bF，最差的黏菌的适应度保存为wF，并根据公式(2)计算自适应权重；最后，若bF优于全局最优适应度值DF，则将DF更新为bF，并将该个体位置保存至黏菌个体最佳位置bestPosition中；
[0013]
[0014]
[0015]其中，SmellIndex表示排序后种个体对应的位置，r表示介于0-1的随机；acck表示每一折数据上计算获得的准确度；
[0016]步骤S2.4、采取和步骤2.3中相同的C和γ编码方式后以内部K折交叉验证策略计算每一个黏菌的适应度；
[0017]步骤S2.5、根据公式(3)-(8)更新黏菌i的位置；
[0018]
[0019]p＝tanh|S(i)-DF| (4)；
[0020]
[0021]
[0022]
[0023]
[0024]其中，X A和X B表示种中的随机选择的两个个体，UB和LB根据j的不同取值分别为步骤2.1中C和γ的最大、最小值；
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议