一种面孔表情数据库的构建方法

本发明涉及一种面孔表情数据库的构建方法，属于计算机程序技术领域。

随着全球化的进一步发展，不可避免的在各种场合与不懂其语言的外国人进行沟通和交流，虽然听不懂他们说话的内容，但是从对方的笑容中能体会到友好与善意，这也为接下来的交流打下良好的基础。所以，准确识别各种文化背景下，个体所表达的情绪情感信息是促进跨文化人际交往的重要途径，并且已有大量研究者试图通过实验研究为跨文化面孔表情的识别提供科学依据的数据。

例如，人们通过跨文化研究发现人类有6种基本的面孔表情，但是不同文化背景下的个体对面孔表情的识别存在差异，在一项研究中向美国和日本被试者呈现一系列高加索和日本面孔表情图片，不论这些积极或消极的面孔表情来自哪个国家，日本被试者都会高估这些面孔表情的强度，而美国被试者则正好相反。因为生活在集体主义文化背景下的日本被试者习惯于在公共场所抑制情绪的表达，对细微表情更加敏感，生活在个体主义文化背景下的美国被试者则相反，所以，相对于美国被试者，日本被试者会高估面孔表情的强度。其他研究者通过行为和脑成像同样发现跨文化面孔表情识别的差异性。

为了便于不同研究机构和人员对跨文化面孔表情识别的研究结果进行比较和重复研究，建立一套标准化的面孔表情材料系统具有重要意义。Matsumoto和Ekman(1995)建立数据库简称JACFEE。JACFEE数据库采集 28名西方人和28名日本人的高兴、惊讶、愤怒、厌恶、恐惧和悲伤6种基本面孔表情，首次为跨文化面孔表情的研究提供可靠材料。为进一步丰富跨文化面孔表情识别的研究材料，研究者采集10名日本女人的7种面孔表情(包括6种基本面孔表情和中性面孔)，并请60名日本女性被试者对面孔表情材料进行评定，最终得到213张面孔表情图片；形成的数据库包含68位志愿者的41，368张多姿态，光照和表情的面部图像，并且这些面孔来自不同的文化背景，这些面孔表情图片也被东西方研究者广泛使用。

然而，情绪材料具有文化背景的特殊性，引入其它文化背景下的刺激材料进行中国本土化或中西方跨文化的研究时，其通用性将受到挑战。例如：发现虽然中外被试者对不同的情绪材料进行评定的相关性较高，但是文化、个性及具体的社会生活等差异也是存在的，并且研究者也发现西方人的面孔表情图片系统在中国文化背景下也并不完全适用，所以，中国研究者又相继建立“大规模中国人脸图像数据库简称CAS-PEAL”和“中国面孔表情图片系统”。CAS-PEAL收集了1040名中国汉族被试者的姿态、表情、饰物和光照的图片，共有99450张，CAS-PEAL数据库在人数和图像变化上有一定的综合优势，使中国人和西方人面孔表情之间的对比成为可能，但是其所收集的面孔表情图片只有5种情绪类型(笑、皱眉、惊讶、闭眼、张嘴)，并未涵盖所有6种基本面孔表情。

中国面孔表情图片系统弥补了CAS-PEAL数据库在情绪类型上的不足，采集300名被试者的7种面孔表情(6种基本面孔表情和中性面孔表情)，最终共收集到面孔表情图片870张。

虽然数据库使中西方面孔表情识别的研究成为可能，但是这两个数据库都未采集中国不同民族的面孔表情。众所周知，中国作为一个多民族的国家，各个民族都有自己独特的文化，中国个体不仅对中、西方面孔表情的识别存在差异。例如，同样是中国被试者，维吾尔族和汉族被试者在识别本民族和其它民族面孔时存在我族偏好，即维吾尔族和汉族被试者识别本民族面孔的准确率显著高于其它民族，人们研究也发现个体识别不同民族面孔表情存在异族效应。这些研究结果都说明汉族面孔表情材料与其它民族的面孔表情材料具有显著差异性，但是目前数据库只采集了中国汉族面孔表情材料，并不能代表中国各个民族面孔表情的特点。

一种面孔表情数据库的构建方法，其特征在于，含有以下步骤：

数据采集步骤，采集汉族、回族及藏族的7种面孔表情图片的数据。

数据处理步骤，从3个民族中各选取4名专家，对数据的类型进行初次评定，选取评价一致的图片数据，收集专家评价的数据，从3个民族中各选取80名的被试者，对被试者进行情绪类别和强度的评价，获取情绪类别和强度的评价数据。

建立数据库步骤，将数据采集的数据、数据处理的数据及情绪类别和强度的评价数据建立中国汉族、藏族和回族面孔表情数据库。

数据采集步骤包括：要求被试者依次做出平静、高兴、惊讶、愤怒、厌恶、恐惧、悲伤7种基本面孔表情，由主试者拍摄表情，为保证面孔表情的真实性，在拍每种表情之前都会为被试者呈现代表该情绪的影视和图片材料。

数据处理步骤包括：4名专家对数据的类型进行初次评定，含有以下步骤：选取汉族、回族、藏族各4名专家对收集到的面孔表情材料进行初次评定，各民族的专家只对本民族的面孔表情材料进行评定，初评只判断面孔表情的种类，即从7种面孔表情类型中选择一种，将4名专家分类一致的面孔表情图片作为初评结果。

数据处理步骤中获取情绪类别和强度的评价数据，含有以下步骤：汉族、藏族和回族聚居区被试者各80名，被试者首先完成练习实验，在正式实验中，各民族的被试者只对本民族的面孔表情材料进行评定，被试者者不仅要对面孔表情的类型进行判断，而且也要对每张面孔表情的情绪强度进行判断，每张面孔表情材料先后呈现两次，第一次呈现时，被试者需判断面孔表情的类型1-7对应的情绪类型，按相应的数字键反应；之后图片第二次呈现，被试者需要判断面孔表情的强度1-9对应的数字，强度越强，数字值越接近9，按相应的数字键反应，之后呈现下一张面孔表情图片，56张呈现两次的图片中，将评分者对情绪类型前后判断一致的图片所占的百分比作为其进行认真评价指标。

建立数据库步骤中建立中国汉族、藏族和回族面孔表情数据库，含有以下步骤：将认同率超过60％的图片纳入数据库中。

本发明的优点：完善中国面孔表情材料系统，提高中国现有面孔表情材料的代表性；为中西方面孔表情的跨文化研究和中国本土各个民族面孔表情的跨文化研究提供具有高信度的材料，便于不同国家和地区的研究者对研究结果提供数据支持。

本发明的数据库共有2980张面孔表情图片，其中汉族930张，回族 1088张，藏族962张；中性488张，高兴580张，惊讶466张，厌恶357 张，恐惧328张，愤怒351张，悲伤410张，初步建立起具有高信度和高代表性的中国汉族、回族和藏族面孔表情图片系统。

本发明在采集面孔表情材料的时候，使用多种方法来诱发被试者的情绪，使被试者表达的面孔表情更加真实。首先，在拍摄前主试者为被试者呈现代表该情绪的影视和图片材料，目的是更好的诱发被试者的情绪，例如：使用亲人去世的场景和影视资料来诱发悲伤；呈现朋友相聚的场景和影视资料来诱发高兴；其次，为被试者说明每种面孔表情的肌肉运动规律，例如，愤怒表情：眼睛睁大，嘴角下垂，眉头紧锁，双唇紧闭。采用多种方式来诱发情绪不仅使本数据库图片的准确率较高，而且也会使本数据库具有较高的信度和真实性。

本发明的数据库的高信度不仅表现在情绪类型的认同率上，在情绪强度上也有体现。对符合要求的面孔表情的情绪强度进行分析，发现汉族、藏族和回族面孔表情图片的强度值范围在2-8之间，强度分布比较广，并且超过80％的面孔表情的强度值集中在4-7之间，说明中等强度的情绪更容易被表达和识别。

本发明将用于本土多元文化和中、西方跨文化的情绪研究，为中国本土多元文化和中、西方跨文化的情绪研究提供有用的数据材料。

当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，如图其中：

图1为本发明的流程图。

图2为本发明的每个面部表情的肌肉运动规则图。

下面结合附图和实施例对本发明进一步说明。

显然，本领域技术人员基于本发明的宗旨所做的许多修改和变化属于本发明的保护范围。

术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语包括技术术语和科学术语具有与所属领域中的普通技术人员的一般理解相同的意义。

为便于对实施例的理解，下面将结合做进一步的解释说明，且各个实施例并不构成对实施例的限定。

实施例1：如图1所示，一种面孔表情数据库的构建方法，含有以下步骤：

数据采集步骤，采集汉族、回族及藏族的7种面孔表情图片的数据。

数据处理步骤，从3个民族中各选取4名专家，对数据的类型进行初次评定，选取评价一致的图片数据，收集专家评价的数据。从3个民族中各选取80名的被试者，对被试者进行情绪类别和强度的评价，获取情绪类别和强度的评价数据。

建立数据库步骤，将数据采集的数据、数据处理的数据及情绪类别和强度的评价数据建立中国汉族、藏族和回族面孔表情数据库。

步骤1、步骤中数据采集含有以下步骤：

数据采集步骤的被试者：主要包括汉族、回族和藏族聚居区的630名被试者(汉族200人，年龄为22±2.7岁，男性100人；回族220人， 22.8±2.4岁，男性110人；藏族210人，21.4±2.5岁，男性105人)； 630名被试者主要用来收集面孔表情材料，而4名专家评分者主要对收集到的面孔表情材料进行初评。藏族、汉族和回族各4名专家评分者(男性各两名)，年龄为37.7±2.1岁，身体健康，无精神疾病史。

数据采集设备为：拍照使用的是Canno 600D照相机，1870万像素，与相机配套的三脚架一部。

数据采集程序包括：保证室内光照恒定，所有照片均采用黑背景，将相机固定在与黑背景相距120cm的位置，并采用相同的拍照模式。实验中主试对所有被试者采用统一指导语，首先，请被试者去掉耳环项链等首饰，面对照相机正立坐好；然后要求被试者依次做出(平静、高兴、惊讶、愤怒、厌恶、恐惧、悲伤)7种基本面孔表情，由主试拍摄表情。为保证面孔表情的真实性，在拍每种表情之前都会为被试者呈现代表该情绪的影视和图片材料，更好的诱发被试者的情绪；同时为被试者说明每种面孔表情的肌肉运动规律，从而进一步提高表情真实性。

初步收集到的面孔表情图片为：汉族1400张，回族1540张，藏族1470 张。对图片的尺寸、对比度和明暗度进行统一标准化处理。所有的图像都经过去处理，分辨率为640×480像素，对比度为96.68∶1，亮度值为19.60cd/m2。显示屏放置在65cm远的地方，面孔图片的视角为22.5°×15°。

步骤2、数据处理步骤中4名专家对数据的类型进行初次评定，含有以下步骤：选取汉族、回族、藏族各4名专家对收集到的面孔表情材料进行初次评定，各民族的专家只对本民族的面孔表情材料进行评定，初评只判断面孔表情的种类，即从7种面孔表情类型中选择一种。

在正式评定前，4名评分者要完成练习实验，练习实验图片共56张面孔表情图片，每种类型的面孔表情8张。面孔表情材料通过E-Prime(用于计算机化行为研究的实验生成系统)程序随机呈现，显示器的亮度恒定，与各个被试者的距离保持65cm，面孔图片的视角为22.5°×15°。

如图2所示的每个面部表情有肌肉运动规则，在正式试验中，首先在屏幕的中间呈现一个500ms的注视点“+”，然后随机呈现1张面孔表情图片，图片下方同时呈现7种面孔表情的标签及其相对应的数字(每种类型的情绪对应键盘上1-7的数字)，要求评分者尽可能快的根据自己的即时感受选择相应的情绪种类，并按下相应的数字键，这为1个测试。

接着呈现下一个测试，每100张图为1个版，每完成1个版休息10 分钟。

数据处理步骤结果：

将4名专家分类一致的面孔表情图片作为初评结果：汉族1253张；回族1435张，藏族1319张，其中符合要求的图片所占比例为：汉族 89.50％，回族93.18％，藏族89.73％，详见表1。

表1.汉族、回族、藏族初评一致的而孔表情数目(张)和比例

通过对汉族、回族、藏族初评结果进行比较，4名评分者对回族面孔表情的认同率最高，对藏族面孔表情的认同率最低；对3个民族厌恶和恐惧面孔表情的认同率较低，对高兴面孔表情的认同率最高。

步骤3、数据处理步骤中获取情绪类别和强度的评价数据，含有以下步骤：

汉族、藏族和回族聚居区被试者各80名(男性40名)，平均为23±1.7，身体健康，无精神疾病，

被试者首先完成练习实验，练习实验与步骤2的练习实验一致，在正式实验中，各民族的被试者只对本民族的面孔表情材料进行评定，被试者不仅要对面孔表情的类型进行判断，而且也要对每张面孔表情的情绪强度进行判断。每张面孔表情材料先后呈现两次，第一次呈现时，被试者需判断面孔表情的类型(1-7对应的情绪类型)，按相应的数字键反应；之后该图片第二次呈现，被试者需要判断面孔表情的强度(1-9对应的强度，强度越强，强度值越接近9)，按相应的数字键反应，之后呈现下一张面孔表情图片。为保证评分结果的准确性，本步骤将从每个民族的面孔表情图片中抽取56张随机呈现两次，被试者对这些面孔表情图片判断前后一致的比例，将作为其认真判断的依据。每呈现100张图片休息1次，每次休息10分钟。显示屏放置在65cm远的地方，并设置为恒定亮度，面孔图片的视角为22.5°×15°。

本步骤结果：

56张呈现两次的图片中，将评分者对情绪类型前后判断一致的图片所占的百分比作为其进行认真评价指标，剔除一致性低于60％的被试者数据，最后有效被试者数为：汉族78人，藏族和回族各为76人。对有效被试者的数据进行分析，汉族、回族和藏族面孔表情认同率详见表2、表3和表4。

表2.汉族不同类型面孔表情认同率所占的比率(％)

表3.回族不同类型面孔表情认同率所占的比率(％)

表4.藏族不同类型面孔表情认同率所占的比率(％)

步骤4、建立数据库步骤中建立中国汉族、藏族和回族面孔表情数据库，含有以下步骤：

将认同率超过60％的图片纳入数据库中，其中，汉族930张(74.22％)，回族1088张(75.82％)，藏族962张(72.93％)；各民族被试者对高兴面孔表情的认同率最高，汉族、回族和藏族99％的高兴面孔图片认同率超过 60％，对恐惧、厌恶和愤怒面孔表情图片认同率超过60％的比率则相对较低，不足70％，详见表5。

表5符合要求的汉族、回族、藏族面孔表情的分布情况(张)和比率

汉族、回族和藏族认同率在60％以上的面孔表情图片的强度值具有一致性，强度范围在2-8之间，绝大多数图片的强度值集中在4-7之间。汉族、藏族和回族面孔表情图片认同率大于60％的强度分布见表6，表7，表8。

表6.汉族面孔表情认同率大于60％强度分布百分比(％)

表7.回族面孔表情认同率大于60％强度分布百分比(％)

表7.藏族面孔表情认同率大于60％强度分布百分比(％)

如上，对本发明的实施例进行了详细地说明，但是只要实质上没有脱离本发明的发明点及效果可以有很多的变形，这对本领域的技术人员来说是显而易见的。因此，这样的变形例也全部包含在本发明的保护范围之内。