提名奖种:2018年度国家技术发明奖二等奖
主要完成人:胡斌、徐向民、郑文明、栗觅、马义德、赵庆林
完成单位:兰州大学、华南理工大学、东南大学、北京工业大学
项目简介:
当前,脑科学及新一代人工智能的发展迫切需要有效地量化“感”+“知"人体的心理生理信息。通过有效感知人体心理生理信息并进行深入的量化分析,一方面可以对心理障碍(如抑郁、狂躁)实施客观量化评估,继而实现早期诊断、早期干预;另一方面,对于丰富我国安防和反恐甄别手段、提升军事人员履职能力等具有重要意义.同时,新一代人工智能中的“人机混合智能"特别强调机器的“类人”智能协同能力,而有效感知人体心理生理信息,理解人的情感、注意等认知心理状态是实现人机混合智能的前提。 然而,心理生理信息具有时序性、多变性和复杂性等特征,如何在自然情境中普适地、有效地
获取心理生理信息就成为心理生理信息量化感知所面临的一个首要难题;另外,心理生理信息所具有的非结构化、低价值密度等特点也使其有效量化分析变得异常困难;最大的挑战还在于认知心理状态与心理生理信息之间的映射关系异常复杂,易受个体差异、时间及所处环境的影响,如何出具有可靠性、复现性和普遍性的关联关系就成为能否实现量化感知的关键。
鉴于此,本项目提出了“心理生理计算理论及方法”,旨在创新生物传感及普适化心理生理信息获取技术,探索特征优化、多模数据融合等智能算法,依据心理生理学建立面向认知心理状态与功能的新型计算理论与方法.本项目从普适化生理信号、语音、表情、眼动等多模态感知信号入手,发明了便携式生物传感设备及心理生理数据量化分析方法,对“心理生理计算理论及方法”进行了有效的实践,主要技术发明包括:
一、提出了面向心理生理信息量化感知的便携式脑电信号采集、实时去噪、电极部署及量化分析的一体化解决方案,开发了在功耗、精度、采样率等多项技术指标上均优于国际知名商业产品的便携式脑电传感器,结合优选的极简电极部署方案以及创新的眼电伪迹去除和特征提取算法,解决了脑电信号的普适化高质量采集和有效传输等难题,实现了以脑电信号为
主、前额温度为辅的心理状态有效评估,研制出了第一个便携式三导联抑郁障碍评估系统,在抑郁障碍量化评估及持续性监测等问题上取得了重大突破。
二、提出了针对语音信息有效量化感知的核半监督判别分析方法,实现了基于说话人惩罚图学习算法的特征维数约简,解决了语音信息受个体差异影响较大而导致情感识别率较低的难题,并提出首个基于中文语音的心理状态识别方法,通过量化分析中文语音帧不同特征的时序模式,通过多段语音帧集成学习产生最终的心理状态评估结果。同时,填补了当前基于语音的抑郁状态识别仅限于英语、德语等少数语种,缺乏中文语音分析和评估系统的空白。
三、提出了针对面部表情有效量化感知的图像颜恒温性处理及姿态归一化方法,在提升图像滤波和分块效果的同时,一定程度上解决了人脸姿态变化造成表情类内差异大的问题,并基于面部动作分块单元的组合及顺序关系,结合AAM模型实现了视频序列中的面部表情有效识别。同时整合面部表情和语音,提出了基于核降秩回归的情感识别融合算法,在心理状态的多模融合分析方面取得重要突破。
四、提出了基于瞳孔直径的“情感带宽"新概念,发明了针对个体情感反应异常程度的有效量化分析方法.通过瞳孔直径这一物理指标客观地度量正性、负性情绪体验的大小和范围,解决
了以往个体对于外界情绪体验的主观评分方法所存在的模糊性、不确定性、缺乏整体性和动态性等问题,研制出了第一台情感带宽心理状态测试仪,实现了基于瞳孔直径的抑郁障碍有效量化评估.
本项目核心技术共获授权发明专利20多项,其中核心发明专利10项(包括美国发明专利1项),发表相关SCI论文40余篇,累计被引用次数达到1600多次。专家鉴定认为,本项目成果立题新颖,创新性强,并具有重大的推广应用价值,经济效益和社会效益显著,与国内外同类技术研究相比较,其整体技术指标达到国际先进水平,部分达到国际领先水平。同时,本项目部分核心技术及应用分别获教育部科学研究优秀成果奖2016年度技术发明一等奖和2015年度自然科学二等奖.目前,通过与产业界积极合作,联合攻关,本项目涉及的各项技术发明及创新理论已经在广州汇智通信技术有限公司、德赛信息科技有限公司、瑞士RUI—Tech GmbH、宏智力科技有限公司、广东省中山市读书郎电子有限公司等多家企业的相关产品中得到了应用,产生经济效益约20亿元。相关原型产品还用于包括北京医院、上海精神卫生中心、天水市第三人民医院、军事医学科学院在内的多家医疗或科研机构的临床和前沿研究工作中,涉及抑郁障碍的临床研究及辅助诊断、单兵典型情绪的实时监控等,累计开展临床实验1700多人次。2017年本项目获批军委科技委有关军事人员精神
状态评估的重大项目立项,项目总金额达到3000万元.由此可见,本项目核心技术已经取得了突出的实际应用效果,经济效益和社会效益显著。
客观评价:
1)成果鉴定意见
2016年5月18日由兰州大学组织召开的专家鉴定会认为,本项目成果立题新颖,创新性强,并具有重大的推广应用价值,经济效益和社会效益显著,与国内外同类技术研究相比较,其整体技术指标达到国际先进水平,部分达到国际领先水平。
2) 项目曾获科技奖励情况
“心理生理信息感知关键技术及应用”获得2016年度教育部科学研究优秀成果奖技术发明一等奖。“鲁棒人脸视觉特征的提取、建模与识别的理论和方法研究"获得2015年度教育部科学研究优秀成果奖自然科学二等奖。
推广应用情况:
通过与产业界积极合作,联合攻关,本项目涉及的各项技术发明及创新理论已经深圳宏智力科技有限公司、上海乐相科技有限公司、深圳市德力凯医疗设备股份有限公司、广东省中山市读书郎电子有限公司、惠州德赛信息科技有限公司、广州汇智通信技术有限公司、北京爱生科贸有限公司、瑞士RUI-Tech GmbH公司等企业的产品中得到了的应用,累计经济效益约20亿元人民币。而相关原型产品也已经用于北京医院、上海精神卫生中心、兰州市第三人民医院、天水市第三人民医院等多家国内医疗机构的心理障碍诊断临床实验和军事医学科学院、中国科学院心理研究所计算网络心理实验室等多家科研机构的相关研究,累计开展临床实验1700多人次。2017年本项目获批军委科技委有关军事人员精神状态评估的重大项目立项,项目总金额达到3000万元。
主要知识产权证明目录:
知识 产权 类别 | 知识产权 具体名称 | 国家 (地区) | 授权号 | 授权 日期 | 证书 编号 | 权利人 | 发明人 | 专利 有效 状态 |
发明 专利 | 一种脑电与温度相结合的抑郁人判定方法 | 中国 | ZL201610709400.9 | 20171103 | 2680688 | 兰州大学 | 胡斌; 赵庆林; 彭宏; 周昱; 李志学; 彭茹; 马永昊 | 有效 |
发明 专利 | 一种基于单幅图像的颜恒常性处理方法 | 中国 | ZL201110248011.8 | 20130410 | 1170427 | 华南理工大学 | 徐向民;翁俊武;叶佳木 | 有效 |
发明 专利 | 一种基于核半监督的语言情感识别方法 | 中国 | ZL201310549224.3 | 20160907 | 2231331 | 东南大学 | 郑文明;徐新洲;赵力;魏昕;余华;黄程韦;刘健刚 | 有效 |
发明 专利 | 一种情感带宽测定方法和系统 | 中国 | ZL201410440520。4 | 20150826 | 1771700 | 北京工业大学 | 栗觅;吕胜富;王刚;钟宁 | 有效 |
发明 专利 | 一种便携式脑电采集方法 | 中国 | ZL201510511712。4 | 20160921 | 2246716 | 兰州大学 | 胡斌;赵庆林;彭宏 | 有效 |
发明 专利 | 一种可穿戴的并馈天线 | 中国 | ZL201510398584。7 | 20160824 | 2210462 | 兰州大学 | 胡斌、高国平、彭宏、贺乐乐、赵晋宁、田晓龙 | 有效 |
发明 专利 | 一种基于AAM模型的视频序列人脸识别方法 | 中国 | ZL201310445776.X | 20170208 | 2372744 | 华南理工大学 | 徐向民;陈晓仕;黄卓彬;林旭斌 | 有效 |
发明 专利 | 一种姿态归一化的非正面人类表情识别方法 | 中国 | ZL201310261775。X | 20170524 | 2494604 | 东南大学 | 郑文明;冯天从 | 有效 |
发明 专利 | 一种基于说话人惩罚的独立于说话人语言情感识别方法 | 中国 | ZL201410078383.4 | 20160824 | 2198004 | 东南大学 | 郑文明;徐新洲;赵力;黄程韦;余华;吴尘;查诚 | 有效 |
发明 专利 | Affective Bandwidth Measurement and Affective Disorder Determination | 美国 | 14/731,928 | 20170103 | US009532711B2 | 北京工业大学 | MiLi;Sengfulv;Gang Wang; NingZhong | 有效 |
| | | | | | | | |