项目名称心理生理信息感知关键技术及应用

1、项目名称：心理生理信息感知关键技术及应用提名奖种：2018年度国家技术发明奖二等奖主要完成人：胡斌、徐向民、郑文明、栗觅、马义德、赵庆林完成单位：兰州大学、华南理工大学、东南大学、北京工业大学项目简介：当前，脑科学及新一代人工智能的发展迫切需要有效地量化“感”+“知”人体的心理生理信息。通过有效感知人体心理生理信息并进行深入的量化分析，一方面可以对心理障碍（如抑郁、狂躁）实施客观量化评估，继而实现早期诊断、早期干预；另一方面，对于丰富我国安防和反恐甄别手段、提升军事人员履职能力等具有重要意义。同时，新一代人工智能中的“人机混合智能”特别强调机器的“类人”智能协同能力，而有效感知人体心理生理信息

2、，理解人的情感、注意等认知心理状态是实现人机混合智能的前提。然而，心理生理信息具有时序性、多变性和复杂性等特征，如何在自然情境中普适地、有效地获取心理生理信息就成为心理生理信息量化感知所面临的一个首要难题；另外，心理生理信息所具有的非结构化、低价值密度等特点也使其有效量化分析变得异常困难；最大的挑战还在于认知心理状态与心理生理信息之间的映射关系异常复杂，易受个体差异、时间及所处环境的影响，如何找出具有可靠性、复现性和普遍性的关联关系就成为能否实现量化感知的关键。鉴于此，本项目提出了“心理生理计算理论及方法”，旨在创新生物传感及普适化心理生理信息获取技术，探索特征优化、多模数据融合等智能算法，依

3、据心理生理学建立面向认知心理状态与功能的新型计算理论与方法。本项目从普适化生理信号、语音、表情、眼动等多模态感知信号入手，发明了便携式生物传感设备及心理生理数据量化分析方法，对“心理生理计算理论及方法”进行了有效的实践，主要技术发明包括：一、提出了面向心理生理信息量化感知的便携式脑电信号采集、实时去噪、电极部署及量化分析的一体化解决方案，研制出了在功耗、精度、采样率等多项技术指标上均优于国际知名商业产品的便携式脑电传感器，结合优选的极简电极部署方案以及创新的眼电伪迹去除和特征提取算法，解决了脑电信号的普适化高质量采集和有效传输等难题，实现了以脑电信号为主、前额温度为辅的心理状态有效评估，在基于

4、便携式脑电的抑郁障碍量化评估及持续性监测等问题上取得了重大突破。二、提出了针对语音信息有效量化感知的核半监督判别分析方法，实现了基于说话人惩罚图学习算法的特征维数约简，解决了语音信息受个体差异影响较大而导致情感识别率较低的难题，并提出首个基于中文语音的心理状态识别方法，通过量化分析中文语音帧不同特征的时序模式，通过多段语音帧集成学习产生最终的心理状态评估结果。同时，填补了当前基于语音的抑郁状态识别仅限于英语、德语等少数语种，缺乏中文语音分析和评估系统的空白。三、提出了针对面部表情有效量化感知的图像颜色恒温性处理及姿态归一化方法，在提升图像滤波和分块效果的同时，一定程度上解决了人脸姿态变化造成表

5、情类内差异大的问题，并基于面部动作分块单元的组合及顺序关系，结合AAM模型实现了视频序列中的面部表情有效识别。同时整合面部表情和语音，提出了基于核降秩回归的情感识别融合算法，在心理状态的多模融合分析方面取得重要突破。四、提出了基于瞳孔直径的“情感带宽”新概念，发明了针对个体情感反应异常程度的有效量化分析方法。通过瞳孔直径这一物理指标客观地度量正性、负性情绪体验的大小和范围，解决了以往个体对于外界情绪体验的主观评分方法所存在的模糊性、不确定性、缺乏整体性和动态性等问题，研制出了第一台情感带宽心理状态测试仪，实现了基于瞳孔直径的抑郁障碍有效量化评估。本项目核心技术共获授权发明专利20多项，其中核心

6、发明专利10项（包括美国发明专利1项），发表相关SCI论文40余篇，累计被引用次数达到1600多次。专家鉴定认为，本项目成果立题新颖，创新性强，并具有重大的推广应用价值，经济效益和社会效益显著，与国内外同类技术研究相比较，其整体技术指标达到国际先进水平，部分达到国际领先水平。同时，本项目部分核心技术及应用分获教育部科学研究优秀成果奖2016年度技术发明一等奖和2015年度自然科学二等奖。目前，通过与产业界积极合作，联合攻关，本项目涉及的各项技术发明及创新理论已经在广州汇智通信技术有限公司、德赛信息科技有限公司、瑞士RUI-Tech GmbH、宏智力科技有限公司、广东省中山市读书郎电子有限公司等

7、多家企业的相关产品中得到了应用，产生经济效益约20亿元。相关原型产品还用于包括北京安定医院、上海精神卫生中心、天水市第三人民医院、军事医学科学院在内的多家医疗或科研机构的临床和前沿研究工作中，涉及抑郁障碍的临床研究及辅助诊断、单兵典型情绪的实时监控等，累计开展临床实验1700多人次。2017年本项目获批相关人员精神状态评估、履职能力等重大项目立项，总合同金额超过1亿元。由此可见，本项目核心技术已经取得了突出的实际应用效果，经济效益和社会效益显著。客观评价：1)成果鉴定意见2016年5月18日由兰州大学组织召开的专家鉴定会认为，本项目成果立题新颖，创新性强，并具有重大的推广应用价值，经济效益和社

8、会效益显著，与国内外同类技术研究相比较，其整体技术指标达到国际先进水平，部分达到国际领先水平。2)成果查新结论教育部科技查新工作站科技查新报告认为本项目成果中“便携式脑电传感器及生理与情感量化分析关键技术，除委托人项目组发表的文献外，国内外均未见技术特点完全相符的文献报道”，证明了本项目具有原创性和新颖性。3) 项目曾获科技奖励情况“心理生理信息感知关键技术及应用”获得2016年度教育部科学研究优秀成果奖技术发明一等奖。“鲁棒人脸视觉特征的提取、建模与识别的理论和方法研究”获得2015年度教育部科学研究优秀成果奖自然科学二等奖。胡斌教授获得2014年第五届中国侨界贡献奖。4）学术界评价本项目成

9、果共发表相关SCI论文40余篇，得到了国内外同行专家的认可，累计被引用次数达到1600多次。2007年度图灵奖得主Joseph Sifakis教授曾评价胡斌教授学术论文“EEG-Based Cognitive Interfaces for Ubiquitous Applications: Developments and Challenges”研究工作扎实全面，涉及到传感器设计、信号处理、数据统计及挖掘等方面，且预测结果与实际数据相符，有效提升了现有的EEG分析技术，对进一步分析大脑活动做出了重要贡献。在2014年12月12日出版的Science专刊人物介绍中，对胡斌教授及其信息与医学的交叉性

10、研究工作做了介绍，并充分肯定了其研究成果，称其将为医学诊断提供新的依据。2015年本项目主持了Science特刊Advances in Computational Psychophysiology，“心理生理计算”这一理论得到了美国科学院、医学院两院院士Michael I. Posner教授的高度认可，在其拟文对该理论的评价中指出：“心理生理计算”将引领新的研究热潮。2012年乔治亚理工大学Vinay Bettadapura教授在“Face Expression Recognition and Analysis: The State of the Art”一文中评价本项目相关论文“Facial

11、 Expression Recognition Using Kernel Canonical Correlation Analysis”提出的改进型KCCA算法有效解决了格拉姆矩阵的奇异性问题；而塞萨洛尼基亚里士多德大学的Ioannis Pitas教授在“Salient feature and reliable classifier selection for facial expression classification”一文中提到该改进型KCCA算法实现了对逻辑图向量和语义表达向量之间的相关性的学习，有助于对给定的测试图像的关联语义表达向量的评估，进而用于面部表情分类。5）主流媒体关注和

12、报道2012年12月4日，中国科学报以“心理生理计算：心理治疗翻开新篇章”为题，对本项目相关理论成果进行了报道。2013年8月28日，“中华网”以题为“生理心理计算将为抑郁症早期预测与干预提供新的解决途径”报道了本项目中的部分成果。2017年12月2日，中国国际广播电台采访胡斌教授并报道了本项目主要成果。推广应用情况：通过与产业界积极合作，联合攻关，本项目涉及的各项技术发明及创新理论已经在相关企业的产品中得到了的应用，而相关原型产品也已经用于多家科研机构的相关研究及多家医院的心理障碍诊断临床实验。本项目中便携式脑电传感关键技术已初步应用于宏智力科技有限公司、上海乐相科技有限公司、深圳市凯立德科

13、技股份有限公司推出的相关产品中，累计经济效益达到3500多万元人民币。同时，便携式脑电传感关键技术也被瑞士RUI-Tech GmbH公司用于心理障碍患者干预效果的阶段性评估研究中，评估性能得到了外方公司的好评。融合表情和语音的心理状态评估技术已经应用于广东省中山市读书郎电子有限公司的教育电子产品中，累计经济效益达到8.3亿元人民币。基于语音的情感分析技术已经应用于惠州德赛信息科技有限公司的智能穿戴设备中，累计经济效益达到1.04亿元。便携式脑电传感关键技术和基于面部表情的心理状态异常量化分析技术还被应用到广州汇智通信技术有限公司的公共安全服务应用中，累计经济效益达到11.2亿元人民币。“情感带

14、宽”关键技术及创新理论已经应用于北京爱生科贸有限公司的“视频眼震电图仪(VNG)”中，累计产生经济效益130万元人民币。2017年本项目获批相关人员精神状态评估、履职能力等重大项目立项，总合同金额超过1亿元人民币。在临床应用方面，本项目所研发的多种抑郁障碍评估原型系统已经在包括北京安定医院、上海精神卫生中心、兰州市第三人民医院、天水市第三人民医院等多家国内医疗机构开展临床实验应用，为降低心理障碍漏诊及误诊率，实现心理障碍的大规模有效筛查提供了重要依据，同时也促进了科研院所与临床医院之间的长期稳定合作和发展。在科研院所合作方面，国内多家科研机构也正在使用本项目所研发的便携式脑电传感系统开展相关研

15、究工作。在军事医学科学院，主要用于研究基于脑电的个体情绪状态实时监控关键技术，以实现单兵典型情绪实时监控，为单兵负性情绪预警和及时干预头盔的研究提供技术支撑。在中国科学院心理研究所计算网络心理实验室，主要用于个体心理活动的辅助分析研究。应用单位名称应用技术应用的起止时间应用单位联系人/电话应用情况首都医科大学附属北京安定医院便携式脑电传感系统、中文语音分析和评估方法、情感带宽测量方法2014.01-至今胡昌清对733名患者进行脑电信息、语音数据和眼动轨迹的实时采集与处理，结合应用背景进行实时性的数据分析，实现对抑郁症患者的风险筛查。军事医学科学院便携式脑电传感系统2015.06-2016.12

16、赵永岐对150名被试进行了情绪刺激后的Fp1、Fp2和Fpz脑电信号采集，实现对四种情绪状态的有效识别。中国科学院心理研究所便携式脑电传感系统、中文语音分析和评估方法、情感带宽测量方法、融合微表情和语音的心理状态评估技术2013.11-至今朱廷邵对252名患者进行脑电信息、语音数据、眼动轨迹及微表情信息的实时采集与处理，应用到行为认知心理学的研究中，辅助研究人员对下一阶段的科研方向做出合理的分析。兰州市第三人民医院便携式脑电传感系统、中文语音分析和评估方法、情感带宽测量方法、融合微表情和语音的心理状态评估技术2014.01-至今霍小宁采集并分析401名患者情绪刺激后的脑电信息、眼动轨迹、语音及

17、微表情信息，实现对抑郁症患者的风险筛查。天水市第三人民三院便携式脑电传感系统、中文语音分析和评估方法、情感带宽测量系统2012.3-至今王刚平对416名抑郁及正常被试进行脑电信息、语音、眼动和微表情的实时采集、处理与分析，辅助医生进行临床诊断。上海市精神卫生中心便携式脑电传感系统、中文语音分析和评估系统、情感带宽测量方法、融合微表情和语音的心理状态评估技术2017.01-至今李春波对230名前来就诊的患者进行脑电信息、眼动轨迹、语音数据和微表情信息的采集与分析处理，辅助医生的抑郁诊断。上海乐相科技有限公司便携式脑电传感系统、中文语音分析和评估系统、情感带宽测量方法2017.01-至今黄书立采集

18、受试人群的脑电数据、眼动轨迹及语音数据，辅助虚拟现实场景的开发，使该虚拟现实系统取得更好的刺激效果。瑞士RUI-Tech GmbH公司便携式脑电传感系统2014.07-至今Ruidang Wang使用便携式脑电传感系统，共进行了168例实验，在对多动症、焦虑、失眠、头痛、抑郁、记忆力衰退人群的神经反馈治疗和训练中起到了积极的作用。深圳市宏智力科技有限公司便携式脑电采集方法2014.09-至今吕力超公司产品应用了采用全新的去噪算法、特征优化算法的脑电信号处理技术使脑电信号的分析处理更便捷、准确。北京爱生科贸有限公司便携式脑电传感系统、情感带宽测量系统2011.07-至今初艳杰公司产品使用了便携式

19、脑电传感系统进行脑电信号采集、分析与处理，使用情感带宽测量系统进行眼动轨迹追踪、记录及处理。惠州德赛信息科技有限公司语音情感分析技术、生理参数采集与智能分析算法2010.06-至今王勇在德赛科技有限公司的智能穿戴手环产品中实现了产业化应用。其中“德赛智能穿戴设备Fitband F5”产品通过了威尔克通信实验室检验，并获广东省高新技术产品认证。截止2017年12月底，3年间累计已销售60万台智能手环产品。按照每台200元/台测算，共计实现市场销售1.04亿元。广东省中山市读书郎电子有限公司融合微表情和语音的心理状态评估技术2014.03-至今刘璐在该公司平板学习电脑等系列产品中实现产业化应用，2

20、014年12月2017年12月，3年已累计实现市场销售8.3亿元。广州汇智通信技术有限公司图像复原算法、人脸识别以及面部表情辅助识别等相关技术、便携式脑电传感系统2012.09-至今胡韶峰已在公共安全服务中实现了产业化应用。在2014年11月2017年11月，3年期间实现产业化应用市场产值总计11.2亿元人民币。深圳市凯立德科技股份有限公司便携式脑电传感系统2014.06-至今蔡惠文已在该公司脑电产品中实现了产业化应用。其中“数字化脑电EEG8102”产品，在2014年6月2017年6月，3年期间实现产业化应用市场产值总计460万元人民币。主要知识产权证明目录：知识产权类别知识产权具体名称国家

21、（地区）授权号授权日期证书编号权利人发明人专利有效状态发明专利一种便携式脑电采集方法中国ZL2.4胡斌胡斌；赵庆林；彭宏有效发明专利一种基于单幅图像的颜色恒常性处理方法中国ZL1.8徐向民徐向民；翁俊武；叶佳木有效发明专利一种基于核半监督的语言情感识别方法中国ZL4.3郑文明郑文明；徐新洲；赵力；魏昕；余华；黄程韦；刘健刚有效发明专利一种情感带宽测定方法和系统中国ZL0.4栗觅栗觅；吕胜富；王刚；钟宁有效发明专利一种脑电与温度相结合的抑郁人群判定方法中国ZL0.9胡斌胡斌； 赵庆林； 彭宏； 周昱； 李志学； 彭茹； 马永昊有效发明专利一种可穿戴的并馈天线中国ZL4.7胡斌胡斌、高国平、彭宏、

22、贺乐乐、赵晋宁、田晓龙有效发明专利一种基于AAM模型的视频序列人脸识别方法中国ZL6.X徐向民徐向民；陈晓仕；黄卓彬；林旭斌有效发明专利一种姿态归一化的非正面人类表情识别方法中国ZL5.X郑文明郑文明；冯天从有效发明专利一种基于说话人惩罚的独立于说话人语言情感识别方法中国ZL3.4郑文明郑文明；徐新洲；赵力；黄程韦；余华；吴尘；查诚有效发明专利Affective Bandwidth Measurement and Affective Disorder Determination美国14/731,928USB2栗觅MiLi;Sengfulv;Gang Wang; NingZhong有效主要完成人

23、情况：姓名排名职务/职称工作单位/完成单位对本项目技术创造性贡献胡斌1院长/教授兰州大学/兰州大学项目负责人，负责项目总体思路、技术方法、技术路线的设计，对发明创新一、二、四均有重要贡献，提出了心理生理可计算理论及方法，确立了心理生理学与信息科学相融合的研究方向。发明创新一主要提出面向心理生理信息量化感知的便携式脑电信号采集、实时去噪、电极部署及量化分析的一体化解决方案，研制出了具有国际先进水平的便携式脑电采集系统，实现了以脑电信号为主、前额温度为辅的抑郁障碍有效评估；发明创新二主要提出了基于中文语音的抑郁障碍识别方法，填补了当前国际上基于语音的抑郁障碍识别仅限于英语、德语等少数语种，缺乏中文

24、语音分析和评估系统的空白；发明创新四主要基于“情感带宽”技术，联合提出了面向抑郁患者注意偏向的量化评估方法，实现了抑郁障碍的有效客观评估。以第一作者/通讯作者发表相关SCI论文40余篇，获得相关授权国家发明专利4项。2016年获得教育部科学研究优秀成果奖技术发明一等奖，2014年获得第五届中国侨界贡献奖。徐向民2副院长/教授华南理工大学/华南理工大学项目主要完成人，对发明创新三有重要贡献，主要提出了一种针对面部表情有效量化感知的图像颜色恒温性处理方法，实现了基于AAM模型的视频序列人脸识别。以第一作者/通讯作者发表相关SCI论文11篇，获得相关授权国家发明专利3项。郑文明3主任/教授东南大学/东南大学项目主要完成人，对发明创新一、二、三均有重要贡献。发明创新一主要提出了针对脑电信号的有效通道选择和新型特征选择算法；发明创新二主要提出了针对语音信息有效量化感知的核半监督判别分析方法，实现了基于说话人惩罚图学习算法的特征维数约简，解决了语音信息受个体差异影响较大而导致情感识别率较低的难题。发明创新三主要提出了针对面部表情图像的姿态归一化方法，一定程度上解决了人脸姿态变化造成表情类内差异大的问题。以第一作者/通讯作者发表相关SCI论文20余篇，获得相关授权国家发明专利4项。