一种面向定标模型评价的短波红外检测水果腐烂的方法与流程

1.本发明属于水果品质无损检测技术领域，具体涉及一种面向交互验证均方根误差和预测均方根误差等定标模型评价指标并通过主成分分析来进行短波红外检测水果腐烂的方法。

背景技术：

2.近红外光谱是指波长区间位于中红外区与可见光区之间的电磁波，光谱波长区间为780nm～2500nm，主要是含氢基团等在中红外区吸收基频的倍频和合频吸收区，不同基团形成的光谱吸收峰的位置和强度是不同的，所以可以根据近红外光谱吸收峰的位置和形状来推断检测物的结构，根据特征吸收峰的强度来确定混合物中不同组分的含量。
3.近红外光谱分析之所以当前得到越来越多的关注是因为其具有以下优点：(1)操作简单且方便，可直接对液体、胶状体、半固体和固体等样品进行检测，且检测成本很低；(2)由于样品处理简单或根本不需要预处理，因此对样品无破坏性；(3)分析速度极快，对于一般样品的检测，通常可以在1分钟内完成，运用光纤技术可以实现在线检测和分析；(4)在检测过程中，由于不需要使用有机溶剂，因此不会产生污染，近红外光子的能量低于可见光，不会对人体造成伤害，进而被称为“绿”分析方法；(5)近红外光谱图可以提供大量的信息，并可同时对多种成分进行分析；(6)对测试人员没有过高的要求，培训简单、容易推广。尽管近红外光谱技术有如此多的优点，但其也有不足之处：(1)由于测量的是倍频和合频的吸收，因此灵敏度相对较低；(2)它不适于分析微量成分；(3)由于近红外光谱的复杂性和重叠性。因此，近红外光谱分析技术必须依靠复杂的校准系统，标准的测量方法和大量的标定样本集。
4.在近红外检测分析中，定标模型的好坏需要用具体的指标来评判，常用的定标模型评价主要有交互验证均方根误差和预测均方根误差等指标，交互验证均方根误差和预测均方根误差值越小，且交互验证均方根误差值与预测均方根误差值越接近，模型的预测能力和稳健性越强。在检测水果腐烂的实际工作中遇到的光谱构成因素很多，如样品的成分、成分之间的相互作用、光谱仪的影响和样品的前处理等。尽管有许多因素对光谱都有贡献，但是总会有一定数目的独立变量存在于光谱中。理想情况下，校正集光谱中的最大变化最好是被测样品的组成或性质的变化所引起的。模型的建立是根据光谱的这种变化，而不是根据光谱的绝对强度。实际工作中可将光谱看作是这些因素各自产生的各种光谱的加权和。主成分分析作为一种降维技术，可通过把多个变量转化为少数几个主成分的统计方法，这些主成分能够反映原始变量的大部分信息，通常表示为原始变量的线性组合，为使得这些主成分所包含的信息互不重叠，要求各主成分之间互不相关。主成分分析可以使用原始全谱或部分谱数据从而充分利用数据信息，使用更多的数据则能利用数据的平均效应，增加模型抗干扰的能力，同时通过主成分选择，可有效地滤除噪音以及解决共线问题，可适用于复杂分析体系且不需要知道干扰组分的存在就可以预测被测组分。定标方程的建立可通过主成分分析来建立多个自变量的最优组合下的回归方程来预测因变量。

技术实现要素：

5.本发明的目的在于可从主成分分析角度调整波段吸光度的回归系数等模型参数以使交互验证均方根误差和预测均方根误差等定标模型评价指标达到优化从而实现短波红外检测水果腐烂。
6.为了达到上述目的，本发明包括图1中所示的以下步骤：
7.步骤1：设在近红外光谱分析的建模过程中，交互验证均方根误差可表示为其中和ym分别是校正集s＝{m|1≤m≤m}所建模型对应第m个样本的预测值和实测值，预测均方根误差可表示为其中和yn分别是预测集t＝{n|1≤n≤n}所建模型对应第n个样本的预测值和实测值，通过主成分分析可设定在近红外光谱分析的定标模型中水果样本t关于腐烂状况的化学值其中x
l,t
为第l个近红外光谱波段的吸光度，τ
l
为第l个近红外光谱波段吸光度的回归系数，τ0为残差，则为实现短波红外检测水果腐烂可通过模型参数τ
l
和τ0建立该批水果检测腐烂时交互验证均方根误差和预测均方根误差的平方和极小化的目标函数：
[0008][0009]
考虑到主成分分析中降维保留的主成分数通常为3个可满足检测要求，在本发明中采用l＝3,则及可将交互验证均方根误差和预测均方根误差的平方和目标函数g(τ
l
,τ0)转化为交互验证均方根误差和预测均方根误差的平方和近似目标函数f(τ3,τ2,τ1,τ0)：
[0010][0011]
步骤2：将交互验证均方根误差和预测均方根误差的平方和极小化的近似目标函数中f(τ3,τ2,τ1,τ0)对τ3,τ2,τ1,τ0求一阶导数和二阶导数，可得到对应的一阶导数和二阶导数表达式来判断f(τ3,τ2,τ1,τ0)的极小化情况：
[0012][0013][0014][0015][0016]
当一阶导数和
置为0时，明显二阶导数置为0时，明显二阶导数和大于0，由此可通过优化τ3,τ2,τ1,τ0可使f(τ3,τ2,τ1,τ0)满足极小值条件，此时存在min{f(τ3,τ2,τ1,τ0)}。
[0017]
步骤3：由一阶导数和的表达式设为0，则可得以下方程组：
[0018][0019]
设和则方程组可改写为下面矩阵形式：
[0020][0021]
设由a中元素可判断其满足a∈rn×n非奇异的情况，可得f(τ3,τ2,τ1,τ0)满足极小值条件时τ3,τ2,τ1,τ0的理论值表达式：
[0022][0023]
步骤4：可将f(τ3,τ2,τ1,τ0)满足极小值条件时τ3,τ2,τ1,τ0的理论值代入以下步骤4.1至步骤4.4的迭代过程来产生τ3,τ2,τ1,τ0的实际值：
[0024]
步骤4.1：初始化过程中校正集s和预测集t对应的预测值和实测值代入f(τ3,τ2,τ1,τ0)满足极小值条件时τ3,τ2,τ1,τ0的理论值表达式中生成τ3(k)、τ2(k)、τ1(k)和τ0(k)，此时迭代次数设为0；
[0025]
步骤4.2：分别扩充ρm和ρn个样本加入校正集s和预测集t，其中ρ为扩充比例，通过τ3,τ2,τ1,τ0的理论值表达式中更新τ3(k)、τ2(k)、τ1(k)和τ0(k)，此时迭代次数设为k+1；
[0026]
步骤4.3：若满足|[τ
l
(k)-τ
l
(k-1)]/τ
l
(k-1)|≤δ
l
，其中δ
l
为第l个主成分的回归系数变动门限，1≤l≤3，则将τ3(k)、τ2(k)、τ1(k)和τ0(k)作为近红外光谱波段吸光度的回归系数以及残差的实际值τ
′3,τ
′2,τ
′1,τ
′0进行输出并结束迭代过程，否则进入步骤4.2；
[0027]
步骤5：可将步骤4中迭代过程产生的近红外光谱波段吸光度的回归系数以及残差的实际值τ
′3,τ
′2,τ
′1,τ
′0用于短波红外检测水果腐烂，通过检测设备测出3个近红外光谱主成分波段的吸光度x
3,r
,x
2,r
,x
1,r
，则待检水果r关于腐烂状况的化学值可表示为τ
′3x
3,r
+τ
′2x
2,r
+τ
′1x
1,r
+τ
′0，从而可判断待检水果的腐烂状况。
附图说明
[0028]
图1：面向定标模型评价的短波红外检测水果腐烂流程图。
具体实施方式
[0029]
考虑到水分子oh基伸缩振动的一级倍频约在1440nm处，且一级倍频与二级倍频的合频位于1931nm处，由于丰水梨中水分含量高，因此在这两处有较大的吸收峰。对丰水梨的原始光谱数据进行主成分分析可以发现前两个主成分的累积贡献率已超过96％，因此短波红外检测丰水梨腐烂过程中保留3个主成分已满足检测要求。以下将以短波红外检测丰水梨腐烂状况的具体实施例对本发明提供的技术方案进行详细说明，具体包括图1中所示的以下步骤：
[0030]
步骤1：设在近红外光谱分析的建模过程中，丰水梨校正集s中样本个数m＝150，和ym分别是丰水梨校正集s＝{m|1≤m≤m}所建模型对应第m个样本的预测值和实测值，丰水梨校正集t中样本个数n＝50，和yn分别是丰水梨预测集t＝{n|1≤n≤n}所建模型对应第n个样本的预测值和实测值，通过主成分分析可设定在近红外光谱分析的定标模型中丰水梨t关于腐烂状况的化学值其中x
l,t
为第l个近红外光谱波段的吸光度，τ
l
为第l个近红外光谱波段吸光度的回归系数，τ0为残差，则为实现短波红外检测丰水梨腐烂状况可通过模型参数τ
l
和τ0建立该批丰水梨检测腐烂时交互验证均方根误差和预测均方根误差的平方和极小化的目标函数，并使之极小化：
[0031][0032]
考虑到主成分分析中降维保留的主成分数通常为3个可满足检测要求，在本发明中采用l＝3,则及可将交互验证均方根误差和预测均方根误差的平方和目标函数g(τ
l
,τ0)转化为交互验证均方根误差和预测均方根误差的平方和极小化的近似目标函数f(τ3,τ2,τ1,τ0)：
[0033][0034]
步骤2：将交互验证均方根误差和预测均方根误差的平方和近似目标函数f(τ3,τ2,τ1,τ0)对τ3,τ2,τ1,τ0求一阶导数和二阶导数，可得到对应的一阶导数和二阶导数表达式来判断f(τ3,τ2,τ1,τ0)的极小化情况：
[0035][0036][0037][0038][0039][0040][0041][0042]
[0043]
当一阶导数和置为0时，明显二阶导数置为0时，明显二阶导数和大于0，由此可通过优化τ3,τ2,τ1,τ0可使f(τ3,τ2,τ1,τ0)满足极小值条件，此时存在min{f(τ3,τ2,τ1,τ0)}。
[0044]
步骤3：由一阶导数和的表达式设为0，则可得以下方程组：
[0045][0046]
设和则方程组可改写为下面矩阵形式：
[0047]
[0048]
设由a中元素可判断其满足a∈rn×n非奇异的情况，可得f(τ3,τ2,τ1,τ0)满足极小值条件时τ3,τ2,τ1,τ0的理论值表达式：
[0049][0050]
步骤4：可将f(τ3,τ2,τ1,τ0)满足极小值条件时τ3,τ2,τ1,τ0的理论值代入以下步骤4.1至步骤4.4的迭代过程来产生τ3,τ2,τ1,τ0的实际值：
[0051]
步骤4.1：初始化过程中丰水梨样本个数m＝150的校正集s和丰水梨样本个数n＝50的预测集t对应的预测值和实测值代入f(τ3,τ2,τ1,τ0)满足极小值条件时τ3,τ2,τ1,τ0的理论值表达式中生成τ3(k)、τ2(k)、τ1(k)和τ0(k)，此时迭代次数设为0；
[0052]
步骤4.2：分别扩充ρm和ρn个样本加入丰水梨校正集s和丰水梨预测集t，其中扩充比例ρ可设为10％，通过τ3,τ2,τ1,τ0的理论值表达式中更新τ3(k)、τ2(k)、τ1(k)和τ0(k)，此时迭代次数设为k+1；
[0053]
步骤4.3：若满足[τ
l
(k)-τ
l
(k-1)]/τ
l
(k-1)≤δ
l
，其中，1≤l≤3，回归系数变动门限δ
l
皆设为2％，则将τ3(k)、τ2(k)、τ1(k)和τ0(k)作为近红外光谱波段吸光度的回归系数以及残差的实际值τ
′3,τ
′2,τ
′1,τ
′0进行输出并结束迭代过程，否则进入步骤4.2；
[0054]
步骤5：可将步骤4中迭代过程产生的近红外光谱波段吸光度的回归系数以及残差的实际值τ
′3,τ
′2,τ
′1,τ
′0用于短波红外检测100个丰水梨样本的腐烂状况，通过检测设备测出3个近红外光谱主成分波段的吸光度x
3,r
,x
2,r
,x
1,r
，则待检丰水梨r关于腐烂状况的化学值可表示为τ
′3x
3,r
+τ
′2x
2,r
+τ
′1x
1,r
+τ
′0，从而可判断待检丰水梨的腐烂状况。实验数据表明可用于评价所建模型的可行性及其预测能力的交互验证均方根误差和预测均方根误差皆可在0.6以内，平均方差在2以内，可见面向定标模型评价的短波红外检测水果腐烂的方法可满足对丰水梨腐烂状况的检测需求。

技术特征：

1.一种面向定标模型评价的短波红外检测水果腐烂的方法，其特征在于，包括以下步骤：步骤1：设在近红外光谱分析的建模过程中，和y
m
分别是校正集s＝{m|1≤m≤m}所建模型对应第m个样本的预测值和实测值，和y
n
分别是预测集t＝{n|1≤n≤n}所建模型对应第n个样本的预测值和实测值，x
l,t
为第l个近红外光谱波段的吸光度，τ
l
为第l个近红外光谱波段吸光度的回归系数，τ0为残差，水果样本t关于腐烂状况的化学值则为实现短波红外检测水果腐烂可通过模型参数τ
l
和τ0建立该批水果检测腐烂时交互验证均方根误差和预测均方根误差的平方和极小化的目标函数，当主成分数的个数l＝3时可转化为交互验证均方根误差和预测均方根误差的平方和极小化的近似目标函数：步骤2：将交互验证均方根误差和预测均方根误差的平方和近似目标函数min{f(τ3,τ2,τ1,τ0)}对τ3,τ2,τ1,τ0求一阶导数和二阶导数，可得到对应的一阶导数和二阶导数表达式来判断f(τ3,τ2,τ1,τ0)的极小化情况；当一阶导数和置为0时，若二阶导数和大于0，则可通过优化τ3,τ2,τ1,τ0可使f(τ3,τ2,τ1,τ0)满足极小值条件。步骤3：由一阶导数和的表达式设为0，则可得f(τ3,τ2,τ1,τ0)对τ3,τ2,τ1,τ0求一阶导数构建的方程组；设和则f(τ3,τ2,τ1,τ0)对τ3,τ2,τ1,τ0求一阶导数构建的方程组可改写为矩阵形式，可得f(τ3,τ2,τ1,τ0)满足极小值条件时τ3,τ2,τ1,τ0的理论值表达式：
步骤4：可将交互验证均方根误差和预测均方根误差的平方和极小化的近似目标函数中f(τ3,τ2,τ1,τ0)满足极小值条件时τ3,τ2,τ1,τ0的理论值代入以下步骤4.1至步骤4.4的迭代过程来产生τ3,τ2,τ1,τ0的实际值：步骤4.1：初始化过程中校正集s和预测集t对应的预测值和实测值代入f(τ3,τ2,τ1,τ0)满足极小值条件时τ3,τ2,τ1,τ0的理论值表达式中生成τ3(k)、τ2(k)、τ1(k)和τ0(k)，此时迭代次数设为0；步骤4.2：分别扩充ρm和ρn个样本加入校正集s和预测集t，其中ρ为扩充比例，通过τ3,τ2,τ1,τ0的理论值表达式中更新τ3(k)、τ2(k)、τ1(k)和τ0(k)，此时迭代次数设为k+1；步骤4.3：若满足|[τ
l
(k)-τ
l
(k-1)]/τ
l
(k-1)|≤δ
l
，其中δ
l
为第l个主成分的回归系数变动门限，1≤l≤3，则将τ3(k)、τ2(k)、τ1(k)和τ0(k)作为近红外光谱波段吸光度的回归系数以及残差的实际值τ
′3,τ
′2,τ
′1,τ
′0进行输出并结束迭代过程，否则进入步骤4.2；步骤5：可将步骤4中迭代过程产生的近红外光谱波段吸光度的回归系数以及残差的实际值τ
′3,τ
′2,τ
′1,τ
′0用于短波红外检测水果腐烂，通过检测设备测出3个近红外光谱主成分波段的吸光度x
3,r
,x
2,r
,x
1,r
，则待检水果r关于腐烂状况的化学值可表示为τ
′3x
3,r
+τ
′2x
2,r
+τ
′1x
1,r
+τ
′0，从而可判断待检水果的腐烂状况。2.根据权利要求1所述的一种面向定标模型评价的短波红外检测水果腐烂的方法，其特征在于：步骤1中，交互验证均方根误差和预测均方根误差的平方和极小化的目标函数可表示为：。3.根据权利要求1所述的一种面向定标模型评价的短波红外检测水果腐烂的方法，其特征在于：步骤2中，交互验证均方根误差和预测均方根误差的平方和极小化的近似目标函数中f(τ3,τ2,τ1,τ0)对τ3,τ2,τ1,τ0求一阶导数的表达式分别为：求一阶导数的表达式分别为：
。4.根据权利要求1所述的一种面向定标模型评价的短波红外检测水果腐烂的方法，其特征在于：步骤2中，交互验证均方根误差和预测均方根误差的平方和极小化的近似目标函数中f(τ3,τ2,τ1,τ0)对τ3,τ2,τ1,τ0求二阶导数的表达式分别为：二阶导数的表达式分别为：二阶导数的表达式分别为：二阶导数的表达式分别为：。5.根据权利要求1所述的一种面向定标模型评价的短波红外检测水果腐烂的方法，其特征在于：步骤3中，由f(τ3,τ2,τ1,τ0)对τ3,τ2,τ1,τ0求一阶导数构建的方程组及其矩阵形式分别为：
其中，由该矩阵形式中4
×
4矩阵的元素可判断其满足r
n
×
n
非奇异的情况。

技术总结

本发明公开了一种面向定标模型评价的短波红外检测水果腐烂的方法，可从主成分分析角度调整近红外光谱波段吸光度的回归系数和残差等模型参数来使交互验证均方根误差和预测均方根误差等定标模型评价指标达到极小值以提升所建模型的可行性及其预测能力，从而通过少数几个主成分的统计方式给出对应水果腐烂状况的化学值以完成短波红外检测水果腐烂。状况的化学值以完成短波红外检测水果腐烂。