基于跨尺度局部差异深度子空间特征的表情识别方法和系统

1.本发明属于机器视觉技术领域，具体涉及一种基于跨尺度局部差异深度子空间特征的表情识别方法和系统。

背景技术：

2.人脸表情识别是机器视觉、模式识别和人工智能等众多领域的重点研究方向。目前表情识别常用的方法为提取图像中的表情特征，之后采用分类器进行分类识别，得到图像中人脸表情的类别。由于图像中光照变化，个体差异(种族，性别，年龄等)、头部姿态、面部遮挡等加剧了识别的难度，因此在不受控的场景中进一步到表达的合适且具有辨别力的表情特征仍然是一项关键而且具有挑战性的任务。现阶段，表情特征提取方法主要有两种类型：手工设计的方法和基于深度学习的方法。手工设计的方法主要侧重于根据特定标准利用图像的结构和方向信息提取特征，这种方法不仅需要相关领域的知识，并且对不受控场景中的自发表情表现不佳；基于深度学习的方法通过神经网络直接从数据中提取高级特征，这种方法通常具有复杂的网络结构，高硬件要求，并且需要大量的样本来对网络参数进行训练和调整。

技术实现要素：

3.发明目的：本发明提供了一种基于跨尺度局部差异深度子空间特征的表情识别方法，该方法融合图像不同尺度的局部差异来提取特征，且网络结构简单，无需大量训练样本，对硬件要求低。
4.技术方案：本发明一方面公开了一种基于跨尺度局部差异深度子空间特征的表情识别方法，包括步骤：
5.s1、用s-1个不同的高斯滤波器分别对训练样本图像i进行滤波，并与i构成s个尺度空间的图像ps，s＝1,2,3,
…
,s：
[0006][0007]
s2、将每个尺度空间的图像划分为m个大小为(2r+1)
×
(2r+1)的子块，第s个尺度空间的图像ps中第m个子块中的像素为p
s,m
(u,v)，m＝1,2,3,
…
,m，u,v＝1,2,
…
,2r,2r+1；
[0008]
对训练样本图像i的s个尺度空间的图像，计算第m个子块的均值：
[0009][0010]
计算每个尺度下每个子块的局部差异子矩阵d
s,m
＝{d
s,m
(u,v)}，其中d
s,m
(u,v)＝p
s,m
(u,v)-ωm；
[0011]
s个尺度在第m个子块的局部差异拼接为跨尺度局部差异子矩阵：
[0012]dl,m
＝[d
1,m d
2,m
ꢀ…ꢀds,m
]
[0013]
将d
l,m
转换为跨尺度局部差异子向量
[0014]
m个跨尺度局部差异子向量拼接为训练样本图像i的跨尺度局部差异矩阵：
[0015][0016]
s3、训练集中的n个样本图像均按照步骤s2和s3获取跨尺度局部差异矩阵，构成训练集对应的跨尺度局部差异矩阵：
[0017][0018]
其中为第n个样本图像in的跨尺度局部差异矩阵，n＝1,2,3,
…
,n，n为训练集中样本图像的数量；
[0019]
s4、求解第一最大化问题：
[0020][0021]
得到c1个维度为(2r+1)2的向量u
l
，l＝1,2,
…
,c1，c1为第一阶段卷积核的数量，||
·
||1表示l1范数，表示c1×
c1的单位矩阵；
[0022]
将u
l
映射为(2r+1)
×
(2r+1)的矩阵，作为第一阶段第l个卷积核的参数矩阵(2r+1)的矩阵，作为第一阶段第l个卷积核的参数矩阵
[0023]
其中mat
2r+1
(
·
)表示映射函数，上标数字1表示第一阶段的卷积核；
[0024]
s5、训练集中每个图像in分别与c1个第一阶段的卷积核进行卷积，得到第一阶段的n
×
c1个输出图像
[0025]
s6、第一阶段输出的每个图像均按照步骤s2和s3获取跨尺度局部差异矩阵，构成第一阶段对应的跨尺度局部差异矩阵y：
[0026][0027]
其中为第一阶段输出的第i个图像，i＝1,2,
…
,n
×
c1；
[0028]
s7、求解第二最大化问题：
[0029][0030]
得到c2个维度为(2r+1)2的向量v
p
，p＝1,2,
…
,c2，c2为第二阶段卷积核的数量，表示c2×
c2的单位矩阵；
[0031]
将v
p
映射为(2r+1)
×
(2r+1)的矩阵，作为第二阶段第p个卷积核的参数矩阵(2r+1)的矩阵，作为第二阶段第p个卷积核的参数矩阵
[0032]
上标数字2表示第二阶段的卷积核；
[0033]
s8、将第一阶段输出的n
×
c1个图像分别与c2个第二阶段的卷积核进行卷积，得到第二阶段的n
×
c1×
c2个输出图像
[0034]
s9、对于训练样本集中的每个图像in，得到c1组、每组c2个图像，对每组中的c2个图像采用二进制哈希编码进行非线性处理，得到图像f
n,l
：
[0035][0036]
其中h(
·
)为heaviside阶跃函数，其输入为正时值为1，否则为零；为第二阶段输出图像在(x,y)处的像素值；f
n,l
(x,y)为图像f
n,l
在(x,y)处的像素值；
[0037]
s10、使用大小为q1×
q2的窗口，以重叠比λ在图像f
n,l
上滑动，得到b个子图f
n,l,b
，b＝1,2,...,b，计算每个子图的直方图，拼接为直方图向量f
n,l
：
[0038]fn,l
＝[hist(f
n,l,1
),hist(f
n,l,2
),...,hist(f
n,l,b
)]
[0039]
hist(
·
)表示直方图统计；
[0040]
s11、对于训练样本集中的每个图像in，连接c1个直方图向量，得到图像in对应的图像特征fn：
[0041]
s12、采用训练样本集中每个图像的图像特征fn和对应的表情标签lablen训练表情分类器；
[0042]
s13、对待识别图像与c1个第一阶段的卷积核进行卷积，得到第一阶段的c1个输出图像，对c1个输出图像分别与c2个第二阶段的卷积核进行卷积，得到第二阶段的c1×
c2个输出图像，对c1×
c2个输出图像按照步骤s10-s12进行处理，得到待识别图像的图像特征；将待识别图像的图像特征输入训练后的表情分类器，得到表情识别结果。
[0043]
进一步地，所述步骤s4中采用pca-l1算法求解第一最大化问题。
[0044]
进一步地，所述步骤s12中的表情分类器为基于svm的分类器。
[0045]
进一步地，所述步骤s12中的表情分类器为基于决策树的分类器。
[0046]
另一方面，本发明还公开了实现上述基于跨尺度局部差异深度子空间特征的表情识别方法的系统，包括：
[0047]
高斯滤波模块1，用于采用s-1个不同的高斯滤波器分别对训练样本图像i进行滤波，并与i构成s个尺度空间的图像ps，s＝1,2,3,
…
,s：
[0048][0049]
图像跨尺度局部差异矩阵生成模块2，用于生成训练样本图像i的跨尺度局部差异矩阵dv，具体步骤为：；
[0050]
将图像i的每个尺度空间的图像划分为m个大小为(2r+1)
×
(2r+1)的子块，第s个尺度空间的图像ps中第m个子块中的像素为p
s,m
(u,v)，m＝1,2,3,
…
,m，u,v＝1,2,
…
,2r,2r+1；
[0051]
对训练样本图像i的s个尺度空间的图像，计算第m个子块的均值：
[0052][0053]
计算每个尺度下每个子块的局部差异子矩阵d
s,m
＝{d
s,m
(u,v)}，其中d
s,m
(u,v)＝p
s,m
(u,v)-ωm；
[0054]
s个尺度在第m个子块的局部差异拼接为跨尺度局部差异子矩阵：
[0055]dl,m
＝[d
1,m d
2,m
ꢀ…ꢀds,m
]
[0056]
将d
l,m
转换为跨尺度局部差异子向量
[0057]
m个跨尺度局部差异子向量拼接为训练样本图像i的跨尺度局部差异矩阵：
[0058][0059]
训练集跨尺度局部差异矩阵生成模块3，用于对训练集中的n个样本图像获取跨尺度局部差异矩阵，构成训练集对应的跨尺度局部差异矩阵：
[0060][0061]
其中为第n个样本图像in的跨尺度局部差异矩阵，n＝1,2,3,
…
,n，n为训练集中样本图像的数量；
[0062]
第一阶段卷积核生成模块4，用于生成第一阶段的c1个卷积核，包括步骤：
[0063]
求解第一最大化问题：
[0064][0065]
得到c1个维度为(2r+1)2的向量u
l
，l＝1,2,
…
,c1，c1为第一阶段卷积核的数量，||
·
||1表示l1范数，表示c1×
c1的单位矩阵；
[0066]
将u
l
映射为(2r+1)
×
(2r+1)的矩阵，作为第一阶段第l个卷积核的参数矩阵(2r+1)的矩阵，作为第一阶段第l个卷积核的参数矩阵
[0067]
其中mat
2r+1
(
·
)表示映射函数，上标数字1表示第一阶段的卷积核；
[0068]
第一阶段卷积模块5，用于分别采用c1个第一阶段的卷积核对图像进行卷积；
[0069]
第一阶段跨尺度局部差异矩阵生成模块6，用于对第一阶段输出的图像获取跨尺度局部差异矩阵；
[0070]
第二阶段卷积核生成模块7，用于生成第二阶段的c2个卷积核，包括步骤：
[0071]
求解第二最大化问题：
[0072][0073]
得到c2个维度为(2r+1)2的向量v
p
，p＝1,2,
…
,c2，c2为第二阶段卷积核的数量，表示c2×
c2的单位矩阵；
[0074]
将v
p
映射为(2r+1)
×
(2r+1)的矩阵，作为第二阶段第p个卷积核的参数矩阵(2r+1)的矩阵，作为第二阶段第p个卷积核的参数矩阵
[0075]
上标数字2表示第二阶段的卷积核；
[0076]
第二阶段卷积模块8，用于分别采用c2个第二阶段的卷积核对图像进行卷积；
[0077]
非线性处理模块9，用于的第二阶段输出的图像采用二进制哈希编码进行非线性处理，得到图像f
n,l
：
[0078][0079]
其中h(
·
)为heaviside阶跃函数，其输入为正时值为1，否则为零；为第
二阶段输出图像在(x,y)处的像素值；f
n,l
(x,y)为图像f
n,l
在(x,y)处的像素值；
[0080]
直方图向量生成模块10，用于使用大小为q1×
q2的窗口，以重叠比λ在图像f
n,l
上滑动，得到b个子图f
n,l,b
，b＝1,2,...,b，计算每个子图的直方图，拼接为直方图向量f
n,l
：
[0081]fn,l
＝[hist(f
n,l,1
),hist(f
n,l,2
),...,hist(f
n,l,b
)]
[0082]
hist(
·
)表示直方图统计；
[0083]
图像特征生成模块11，用于对第一阶段输出的c1个图像对应的直方图向量进行连接，得到对应的图像特征；
[0084]
表情分类器训练模块12，用于采用训练样本集中每个图像的图像特征fn和对应的表情标签lablen训练表情分类器；
[0085]
识别模块13，用于获取待识别图像的图像特征输入表情分类器后得到的表情识别结果。
[0086]
本发明还公开了一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述基于跨尺度局部差异深度子空间特征的表情识别方法。
[0087]
本发明还公开了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于跨尺度局部差异深度子空间特征的表情识别方法。
[0088]
有益效果：本发明公开基于跨尺度局部差异深度子空间特征的表情识别方法和系统，构建融合不同尺度下的局部差异来构建跨尺度局部差异矩阵，以此训练得到两个阶段的卷积核。待识别图像经过两个阶段的卷积，并经非线性处理和直方图统计构建图像特征，以此来进行分类识别。本发明公开的表情是识别方法和系统提取的图像特征融合了不同尺度的局部差异，且只有两个阶段的卷积，与深度学习方法相比，无需大量训练样本，无需gpu，对硬件要求低。
附图说明
[0089]
图1为本发明公开的基于跨尺度局部差异深度子空间特征的表情识别方法流程图；
[0090]
图2为跨尺度局部差异子向量计算的示意图；
[0091]
图3为本发明公开的基于跨尺度局部差异深度子空间特征的表情识别系统的组成示意图。
具体实施方式
[0092]
下面结合附图和具体实施方式，进一步阐明本发明。
[0093]
本发明公开了一种基于跨尺度局部差异深度子空间特征的表情识别方法，如图1所示，包括步骤：
[0094]
s1、用s-1个不同的高斯滤波器分别对训练样本图像i进行滤波，并与i构成s个尺度空间的图像ps，s＝1,2,3,
…
,s：
[0095]
[0096]
其中*表示卷积运算，gs表示第s个高斯滤波器。s-1个高斯滤波器构成滤波器组，每个滤波器的方差σs取值均不相同；采用滤波器组对训练样本集中的图像进行滤波，得到同一图像具有不同清晰度的滤波图像，即将图像转换到了不同尺度空间。
[0097]
s2、基于多尺度信息对噪声和尺度不敏感，为了在多个尺度捕获局部纹理特征，将每个尺度空间的图像划分为m个大小为(2r+1)
×
(2r+1)的子块，第s个尺度空间的图像ps中第m个子块中的像素为p
s,m
(u,v)，m＝1,2,3,
…
,m，u,v＝1,2,
…
,2r,2r+1；即每个子块的中心为(r+1,r+1)；
[0098]
对训练样本图像i的s个尺度空间的图像，计算第m个子块的均值：
[0099][0100]
计算每个尺度下每个子块的局部差异子矩阵d
s,m
＝{d
s,m
(u,v)}，其中d
s,m
(u,v)＝p
s,m
(u,v)-ωm；即对每个子块做去均值处理，以抑制光照灵敏度。
[0101]
s个尺度在第m个子块的局部差异拼接为跨尺度局部差异子矩阵：
[0102]dl,m
＝[d
1,m d
2,m
ꢀ…ꢀds,m
]
[0103]
将d
l,m
转换为跨尺度局部差异子向量
[0104]
如图2所示，为跨尺度局部差异子向量计算示例，其中s＝3，r＝1，即有3个尺度，每个子块为3
×
3。
[0105]
m个跨尺度局部差异子向量拼接为训练样本图像i的跨尺度局部差异矩阵：
[0106][0107]
s3、训练集中的n个样本图像均按照步骤s2和s3获取跨尺度局部差异矩阵，构成训练集对应的跨尺度局部差异矩阵：
[0108][0109]
其中为第n个样本图像in的跨尺度局部差异矩阵，n＝1,2,3,
…
,n，n为训练集中样本图像的数量；
[0110]
s4、由于l1范数主成分分析(pca)比l2范数pca对异常值和噪声更具鲁棒性，本发明使用l1范数的pca根据训练集对应的跨尺度局部差异矩阵x来学习第一阶段的卷积核参数，这实际上是最大化特征空间中基于l1范数的方差的问题，即求解如下第一最大化问题：
[0111][0112]
本实施例采用pca-l1算法求解第一最大化问题，得到c1个维度为(2r+1)2的向量u
l
，l＝1,2,
…
,c1，c1为第一阶段卷积核的数量，||
·
||1表示l1范数，表示c1×
c1的单位矩阵；
[0113]
将u
l
映射为(2r+1)
×
(2r+1)的矩阵，作为第一阶段第l个卷积核的参数矩阵(2r+1)的矩阵，作为第一阶段第l个卷积核的参数矩阵
[0114]
其中mat
2r+1
(
·
)表示映射函数，上标数字1表示第一阶段的卷积核；
[0115]
s5、训练集中每个图像in分别与c1个第一阶段的卷积核进行卷积，得到第一阶段的n×
c1个输出图像
[0116]
s6、第一阶段输出的每个图像均按照步骤s2和s3获取跨尺度局部差异矩阵，构成第一阶段对应的跨尺度局部差异矩阵y：
[0117][0118]
其中为第一阶段输出的第i个图像，i＝1,2,
…
,n
×
c1；
[0119]
s7、采用pca-l1算法求解如下第二最大化问题：
[0120][0121]
得到c2个维度为(2r+1)2的向量v
p
，p＝1,2,
…
,c2，c2为第二阶段卷积核的数量，表示c2×
c2的单位矩阵；
[0122]
将v
p
映射为(2r+1)
×
(2r+1)的矩阵，作为第二阶段第p个卷积核的参数矩阵(2r+1)的矩阵，作为第二阶段第p个卷积核的参数矩阵
[0123]
上标数字2表示第二阶段的卷积核；
[0124]
s8、将第一阶段输出的n
×
c1个图像分别与c2个第二阶段的卷积核进行卷积，得到第二阶段的n
×
c1×
c2个输出图像
[0125]
s9、对于训练样本集中的每个图像in，得到c1组、每组c2个图像，对每组中的c2个图像采用二进制哈希编码进行非线性处理，得到图像f
n,l
：
[0126][0127]
其中h(
·
)为heaviside阶跃函数，其输入为正时值为1，否则为零；为第二阶段输出图像在(x,y)处的像素值；f
n,l
(x,y)为图像f
n,l
在(x,y)处的像素值；
[0128]
s10、使用大小为q1×
q2的窗口，以重叠比λ在图像f
n,l
上滑动，得到b个子图f
n,l,b
，b＝1,2,...,b，计算每个子图的直方图，拼接为直方图向量f
n,l
：
[0129]fn,l
＝[hist(f
n,l,1
),hist(f
n,l,2
),...,hist(f
n,l,b
)]
[0130]
hist(
·
)表示直方图统计；
[0131]
s11、对于训练样本集中的每个图像in，连接c1个直方图向量，得到图像in对应的图像特征fn：
[0132]
s12、采用训练样本集中每个图像的图像特征fn和对应的表情标签lablen训练表情分类器；
[0133]
表情分类器可以采用基于svm或决策树的分类器。
[0134]
步骤s1-s12是表情分类器的训练阶段，识别阶段为步骤s13：
[0135]
s13、对待识别图像与c1个第一阶段的卷积核进行卷积，得到第一阶段的c1个输出图像，对c1个输出图像分别与c2个第二阶段的卷积核进行卷积，得到第二阶段的c1×
c2个输出图像，对c1×
c2个输出图像按照步骤s10-s12进行处理，得到待识别图像的图像特征；将待识别图像的图像特征输入训练后的表情分类器，得到表情识别结果。
[0136]
实现上述基于跨尺度局部差异深度子空间特征的表情识别方法的系统，如图3，包括：
[0137]
高斯滤波模块1，用于采用s-1个不同的高斯滤波器分别对训练样本图像i进行滤波，并与i构成s个尺度空间的图像ps，s＝1,2,3,
…
,s：
[0138][0139]
图像跨尺度局部差异矩阵生成模块2，用于生成训练样本图像i的跨尺度局部差异矩阵dv，具体步骤为：；
[0140]
将图像i的每个尺度空间的图像划分为m个大小为(2r+1)
×
(2r+1)的子块，第s个尺度空间的图像ps中第m个子块中的像素为p
s,m
(u,v)，m＝1,2,3,
…
,m，u,v＝1,2,
…
,2r,2r+1；
[0141]
对训练样本图像i的s个尺度空间的图像，计算第m个子块的均值：
[0142][0143]
计算每个尺度下每个子块的局部差异子矩阵d
s,m
＝{d
s,m
(u,v)}，其中d
s,m
(u,v)＝p
s,m
(u,v)-ωm；
[0144]
s个尺度在第m个子块的局部差异拼接为跨尺度局部差异子矩阵：
[0145]dl,m
＝[d
1,m d
2,m
ꢀ…ꢀds,m
]
[0146]
将d
l,m
转换为跨尺度局部差异子向量
[0147]
m个跨尺度局部差异子向量拼接为训练样本图像i的跨尺度局部差异矩阵：
[0148][0149]
训练集跨尺度局部差异矩阵生成模块3，用于对训练集中的n个样本图像获取跨尺度局部差异矩阵，构成训练集对应的跨尺度局部差异矩阵：
[0150][0151]
其中为第n个样本图像in的跨尺度局部差异矩阵，n＝1,2,3,
…
,n，n为训练集中样本图像的数量；
[0152]
第一阶段卷积核生成模块4，用于生成第一阶段的c1个卷积核，包括步骤：
[0153]
求解第一最大化问题：
[0154][0155]
得到c1个维度为(2r+1)2的向量u
l
，l＝1,2,
…
,c1，c1为第一阶段卷积核的数量，||
·
||1表示l1范数，表示c1×
c1的单位矩阵；
[0156]
将u
l
映射为(2r+1)
×
(2r+1)的矩阵，作为第一阶段第l个卷积核的参数矩阵(2r+1)的矩阵，作为第一阶段第l个卷积核的参数矩阵
[0157]
其中mat
2r+1
(
·
)表示映射函数，上标数字1表示第一阶段的卷积核；
[0158]
第一阶段卷积模块5，用于分别采用c1个第一阶段的卷积核对图像进行卷积；
[0159]
第一阶段跨尺度局部差异矩阵生成模块6，用于对第一阶段输出的图像获取跨尺度局部差异矩阵；
[0160]
第二阶段卷积核生成模块7，用于生成第二阶段的c2个卷积核，包括步骤：
[0161]
求解第二最大化问题：
[0162][0163]
得到c2个维度为(2r+1)2的向量v
p
，p＝1,2,
…
,c2，c2为第二阶段卷积核的数量，表示c2×
c2的单位矩阵；
[0164]
将v
p
映射为(2r+1)
×
(2r+1)的矩阵，作为第二阶段第p个卷积核的参数矩阵(2r+1)的矩阵，作为第二阶段第p个卷积核的参数矩阵
[0165]
上标数字2表示第二阶段的卷积核；
[0166]
第二阶段卷积模块8，用于分别采用c2个第二阶段的卷积核对图像进行卷积；
[0167]
非线性处理模块9，用于的第二阶段输出的图像采用二进制哈希编码进行非线性处理，得到图像f
n,l
：
[0168][0169]
其中h(
·
)为heaviside阶跃函数，其输入为正时值为1，否则为零；为第二阶段输出图像在(x,y)处的像素值；f
n,l
(x,y)为图像f
n,l
在(x,y)处的像素值；
[0170]
直方图向量生成模块10，用于使用大小为q1×
q2的窗口，以重叠比λ在图像f
n,l
上滑动，得到b个子图f
n,l,b
，b＝1,2,...,b，计算每个子图的直方图，拼接为直方图向量f
n,l
：
[0171]fn,l
＝[hist(f
n,l,1
),hist(f
n,l,2
),...,hist(f
n,l,b
)]
[0172]
hist(
·
)表示直方图统计；
[0173]
图像特征生成模块11，用于对第一阶段输出的c1个图像对应的直方图向量进行连接，得到对应的图像特征；
[0174]
表情分类器训练模块12，用于采用训练样本集中每个图像的图像特征fn和对应的表情标签lablen训练表情分类器；
[0175]
识别模块13，用于获取待识别图像的图像特征输入表情分类器后得到的表情识别结果。
[0176]
本发明还公开了一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述基于跨尺度局部差异深度子空间特征的表情识别方法。
[0177]
本发明还公开了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于跨尺度局部差异深度子空间特征的表情识别方法。
[0178]
本实施例在ck+数据集、jaffe数据库、ised数据库和baum-2i数据库这四个公开的人脸表情数据集上，对本发明公开的表情识别方法和常用的识别方法进行了对比，对比结果如表1-4所示。
[0179]
ck+数据集是受控场景中摆拍(acted)表情图像集，各方法的表情识别准确率如表
1。
[0180]
表1
[0181]
方法特征类型准确率(％)pcanet深度子空间特征78.74k-pcanet深度子空间特征81.89e-pcanet深度子空间特征85.66inception深度学习93.20audn(aurf)深度学习92.22p-pcanet深度子空间特征92.67ilcnn深度学习94.39dae深度学习95.79clgdnp手工特征94.27ldsp手工特征94.49lsdp手工特征94.683dcnn-dap深度学习92.40本发明方法深度子空间特征96.26
[0182]
jaffe数据库同样是受控场景中的摆拍(acted)表情图像集，各方法的表情识别准确率如表2。
[0183]
表2
[0184]
方法特征类型准确率(％)pcanet深度子空间特征58.35lap手工特征68.54k-pcanet深度子空间特征68.80wld手工特征69.01e-pcanet深度子空间特征69.40lpq手工特征69.95stl-cnn深度学习69.35lsdp手工特征70.89p-pcanet深度子空间特征71.38本发明方法深度子空间特征73.15
[0185]
ised数据库是受控场景中的自发(spontaneous)表情图像集，各方法的表情识别准确率如表3。
[0186]
表3
[0187]
方法特征类型准确率(％)pcanet深度子空间特征73.78nedp
ns
手工特征77.39nedps手工特征77.78lsp+lb手工特征77.82
slsp+lb手工特征78.03本发明方法深度子空间特征80.71
[0188]
baum-2i数据库是不受控场景中的自发(spontaneous)表情图像集，各方法的表情识别准确率如表4。
[0189]
表4
[0190][0191]
由以上结果对比可知，在各数据集中，本发明公开的表情识别方法的准确率最高。

技术特征：

1.一种基于跨尺度局部差异深度子空间特征的表情识别方法，其特征在于，包括步骤：s1、用s-1个不同的高斯滤波器分别对训练样本图像i进行滤波，并与i构成s个尺度空间的图像p
s
，s＝1,2,3,
…
,s：s2、将每个尺度空间的图像划分为m个大小为(2r+1)
×
(2r+1)的子块，第s个尺度空间的图像p
s
中第m个子块中的像素为p
s,m
(u,v)，m＝1,2,3,
…
,m，u,v＝1,2,
…
,2r,2r+1；对训练样本图像i的s个尺度空间的图像，计算第m个子块的均值：计算每个尺度下每个子块的局部差异子矩阵d
s,m
＝{d
s,m
(u,v)}，其中d
s,m
(u,v)＝p
s,m
(u,v)-ω
m
；s个尺度在第m个子块的局部差异拼接为跨尺度局部差异子矩阵：d
l,m
＝[d
1,m d
2,m
…
d
s,m
]将d
l,m
转换为跨尺度局部差异子向量m个跨尺度局部差异子向量拼接为训练样本图像i的跨尺度局部差异矩阵：s3、训练集中的n个样本图像均按照步骤s2和s3获取跨尺度局部差异矩阵，构成训练集对应的跨尺度局部差异矩阵：其中为第n个样本图像i
n
的跨尺度局部差异矩阵，n＝1,2,3,
…
,n，n为训练集中样本图像的数量；s4、求解第一最大化问题：得到c1个维度为(2r+1)2的向量u
l
，l＝1,2,
…
,c1，c1为第一阶段卷积核的数量，||
·
||1表示l1范数，表示c1×
c1的单位矩阵；将u
l
映射为(2r+1)
×
(2r+1)的矩阵，作为第一阶段第l个卷积核的参数矩阵(2r+1)的矩阵，作为第一阶段第l个卷积核的参数矩阵其中mat
2r+1
(
·
)表示映射函数，上标数字1表示第一阶段的卷积核；s5、训练集中每个图像i
n
分别与c1个第一阶段的卷积核进行卷积，得到第一阶段的n
×
c1个输出图像s6、第一阶段输出的每个图像均按照步骤s2和s3获取跨尺度局部差异矩阵，构成第一阶段对应的跨尺度局部差异矩阵y：
其中为第一阶段输出的第i个图像，i＝1,2,
…
,n
×
c1；s7、求解第二最大化问题：得到c2个维度为(2r+1)2的向量v
p
，p＝1,2,
…
,c2，c2为第二阶段卷积核的数量，表示c2×
c2的单位矩阵；将v
p
映射为(2r+1)
×
(2r+1)的矩阵，作为第二阶段第p个卷积核的参数矩阵(2r+1)的矩阵，作为第二阶段第p个卷积核的参数矩阵上标数字2表示第二阶段的卷积核；s8、将第一阶段输出的n
×
c1个图像分别与c2个第二阶段的卷积核进行卷积，得到第二阶段的n
×
c1×
c2个输出图像s9、对于训练样本集中的每个图像i
n
，得到c1组、每组c2个图像，对每组中的c2个图像采用二进制哈希编码进行非线性处理，得到图像f
n,l
：其中h(
·
)为heaviside阶跃函数，其输入为正时值为1，否则为零；为第二阶段输出图像在(x,y)处的像素值；f
n,l
(x,y)为图像f
n,l
在(x,y)处的像素值；s10、使用大小为q1×
q2的窗口，以重叠比λ在图像f
n,l
上滑动，得到b个子图f
n,l,b
，b＝1,2,...,b，计算每个子图的直方图，拼接为直方图向量f
n,l
：f
n,l
＝[hist(f
n,l,1
),hist(f
n,l,2
),...,hist(f
n,l,b
)]hist(
·
)表示直方图统计；s11、对于训练样本集中的每个图像i
n
，连接c1个直方图向量，得到图像i
n
对应的图像特征f
n
：s12、采用训练样本集中每个图像的图像特征f
n
和对应的表情标签lable
n
训练表情分类器；s13、对待识别图像与c1个第一阶段的卷积核进行卷积，得到第一阶段的c1个输出图像，对c1个输出图像分别与c2个第二阶段的卷积核进行卷积，得到第二阶段的c1×
c2个输出图像，对c1×
c2个输出图像按照步骤s10-s12进行处理，得到待识别图像的图像特征；将待识别图像的图像特征输入训练后的表情分类器，得到表情识别结果。2.根据权利要求1所述的基于跨尺度局部差异深度子空间特征的表情识别方法，其特征在于，所述步骤s4中采用pca-l1算法求解第一最大化问题。3.根据权利要求1所述的基于跨尺度局部差异深度子空间特征的表情识别方法，其特征在于，所述步骤s12中的表情分类器为基于svm的分类器。4.根据权利要求1所述的基于跨尺度局部差异深度子空间特征的表情识别方法，其特征在于，所述步骤s12中的表情分类器为基于决策树的分类器。5.一种基于跨尺度局部差异深度子空间特征的表情识别系统，其特征在于，包括：高斯滤波模块(1)，用于采用s-1个不同的高斯滤波器分别对训练样本图像i进行滤波，
并与i构成s个尺度空间的图像p
s
，s＝1,2,3,
…
,s：图像跨尺度局部差异矩阵生成模块(2)，用于生成训练样本图像i的跨尺度局部差异矩阵dv，具体步骤为：；将图像i的每个尺度空间的图像划分为m个大小为(2r+1)
×
(2r+1)的子块，第s个尺度空间的图像p
s
中第m个子块中的像素为p
s,m
(u,v)，m＝1,2,3,
…
,m，u,v＝1,2,
…
,2r,2r+1；对训练样本图像i的s个尺度空间的图像，计算第m个子块的均值：计算每个尺度下每个子块的局部差异子矩阵d
s,m
＝{d
s,m
(u,v)}，其中d
s,m
(u,v)＝p
s,m
(u,v)-ω
m
；s个尺度在第m个子块的局部差异拼接为跨尺度局部差异子矩阵：d
l,m
＝[d
1,m d
2,m
…
d
s,m
]将d
l,m
转换为跨尺度局部差异子向量m个跨尺度局部差异子向量拼接为训练样本图像i的跨尺度局部差异矩阵：训练集跨尺度局部差异矩阵生成模块(3)，用于对训练集中的n个样本图像获取跨尺度局部差异矩阵，构成训练集对应的跨尺度局部差异矩阵：其中为第n个样本图像i
n
的跨尺度局部差异矩阵，n＝1,2,3,
…
,n，n为训练集中样本图像的数量；第一阶段卷积核生成模块(4)，用于生成第一阶段的c1个卷积核，包括步骤：求解第一最大化问题：得到c1个维度为(2r+1)2的向量u
l
，l＝1,2,
…
,c1，c1为第一阶段卷积核的数量，||
·
||1表示l1范数，表示c1×
c1的单位矩阵；将u
l
映射为(2r+1)
×
(2r+1)的矩阵，作为第一阶段第l个卷积核的参数矩阵(2r+1)的矩阵，作为第一阶段第l个卷积核的参数矩阵其中mat
2r+1
(
·
)表示映射函数，上标数字1表示第一阶段的卷积核；第一阶段卷积模块(5)，用于分别采用c1个第一阶段的卷积核对图像进行卷积；第一阶段跨尺度局部差异矩阵生成模块(6)，用于对第一阶段输出的图像获取跨尺度局部差异矩阵；第二阶段卷积核生成模块(7)，用于生成第二阶段的c2个卷积核，包括步骤：求解第二最大化问题：
得到c2个维度为(2r+1)2的向量v
p
，p＝1,2,
…
,c2，c2为第二阶段卷积核的数量，表示c2×
c2的单位矩阵；将v
p
映射为(2r+1)
×
(2r+1)的矩阵，作为第二阶段第p个卷积核的参数矩阵(2r+1)的矩阵，作为第二阶段第p个卷积核的参数矩阵上标数字2表示第二阶段的卷积核；第二阶段卷积模块(8)，用于分别采用c2个第二阶段的卷积核对图像进行卷积；非线性处理模块(9)，用于的第二阶段输出的图像采用二进制哈希编码进行非线性处理，得到图像f
n,l
：其中h(
·
)为heaviside阶跃函数，其输入为正时值为1，否则为零；为第二阶段输出图像在(x,y)处的像素值；f
n,l
(x,y)为图像f
n,l
在(x,y)处的像素值；直方图向量生成模块(10)，用于使用大小为q1×
q2的窗口，以重叠比λ在图像f
n,l
上滑动，得到b个子图f
n,l,b
，b＝1,2,...,b，计算每个子图的直方图，拼接为直方图向量f
n,l
：f
n,l
＝[hist(f
n,l,1
),hist(f
n,l,2
),...,hist(f
n,l,b
)]hist(
·
)表示直方图统计；图像特征生成模块(11)，用于对第一阶段输出的c1个图像对应的直方图向量进行连接，得到对应的图像特征；表情分类器训练模块(12)，用于采用训练样本集中每个图像的图像特征f
n
和对应的表情标签lable
n
训练表情分类器；识别模块(13)，用于获取待识别图像的图像特征输入表情分类器后得到的表情识别结果。6.根据权利要求5所述的基于跨尺度局部差异深度子空间特征的表情识别系统，其特征在于，所述第一阶段卷积核生成模块(4)采用pca-l1算法求解第一最大化问题。7.根据权利要求5所述的基于跨尺度局部差异深度子空间特征的表情识别系统，其特征在于，所述表情分类器训练模块(12)中的表情分类器为基于svm的分类器。8.根据权利要求5所述的基于跨尺度局部差异深度子空间特征的表情识别系统，其特征在于，所述表情分类器训练模块(12)中的表情分类器为基于决策树的分类器。9.一种计算机存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-4中任一项所述的基于跨尺度局部差异深度子空间特征的表情识别方法。10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-4中任一项所述的基于跨尺度局部差异深度子空间特征的表情识别方法。

技术总结

本发明公开了一种基于跨尺度局部差异深度子空间特征的表情识别方法和系统，其通过多个高斯滤波器来获取不同尺度空间的图像，然后对不同尺度空间的图像进行分块，提取图像的局部差异，由此得到训练集的跨尺度局部差异矩阵，来训练第一阶段的多个卷积核，并再次提取经第一阶段卷积后的图像的跨尺度局部差异矩阵，来训练第二阶段的多个卷积核，由此学习到两个阶段的卷积核。待识别图像经过两个阶段的卷积后，经非线性处理和直方图统计，得到图像特征，以此来进行分类识别。该方法融合图像不同尺度的局部差异来提取特征，且网络结构简单，无需大量训练样本，对硬件要求低。对硬件要求低。对硬件要求低。