项目名称心理生理信息感知关键技术及应用

项目名称：心理生理信息感知关键技术及应用提名奖种：2018年度国家技术发明奖二等奖主要完成人：胡斌、徐向民、郑文明、栗觅、马义德、赵庆林完成单位：项目简介：当前，脑科学及新一代人工智能的发展迫切需要有效地量化“感”+“知”人体的心理生理信息。通过有效感知人体心理生理信息并进行深入的量化分析，一方面可以对心理障碍（如抑郁、狂躁）实施客观量化评估，继而实现早期诊断、早期干预；另一方面，对于丰富我国安防和反恐甄别手段、提升军事人员履职能力等具有重要意义。同时，新一代人工智能中的“人机混合智能”特别强调机器的“类人”智能协同能力，而有效感知人体心理生理信息，理解人的情感、注意等认知心理状态是实现人机混合智能的前提。性和普遍性的关联关系就成为能否实现量化感知的关键。要技术发明包括：一、提出了面向心理生理信息量化感知的便携式脑电信号采集、二、提出了针对语音信息有效量化感知的核半监督判别分析方少数语种，缺乏中文语音分析和评估系统的空白。AAM感识别融合算法，在心理状态的多模融合分析方面取得重要突破。20多项，其中核心发明专利10（1项SCI论文401600多次。专家鉴定认为，本项目成果立题新颖，创20162015科技有限公司、瑞士RUI-Tech、宏智力科技有限公司、广东产生经济效益约20亿元。相关原型产品还用于包括北京安定医院、170020171取得了突出的实际应用效果，经济效益和社会效益显著。客观评价：成果鉴定意见2016年5月18日由兰州大学组织召开的专家鉴定会认为，本项成果查新结论 项目曾获科技奖励情况“心理生理信息感知关键技术及应用”获得2016年度教育部科学2015年度教育部科学研究优秀成果2014年第五届中国侨界贡献奖。学术界评价本项目成果共发表相关SCI论文40余篇，得到了国内外同行专家的认可，累计被引用次数达到1600多次。2007年度图灵奖得主JosephSifakis教授曾评价胡斌教授学术论文“EEG-Based Cognitive Interfaces for Ubiquitous Applications:DevelopmentsandChallenges”研究工作扎实全面，涉及到传感器设计信号处理数据统计及挖掘等方面且预测结果与实际数据相符有效提升了现有EEG分析技术对进一步分析大脑活动做出了重要贡献。在2014年12月12日出版的Science专刊人物介绍中，对胡斌教授及其信息与医学的交叉性研究工作做了介绍，并充分肯定了其研究成果，称其将为医学诊断提供新的依据。2015年本项目主持了Science特刊《AdvancesinComputationalPsychophysiolog学院两院院士MichaelI.Posner教授的高度认可，在其拟文对该理论2012年乔治亚理工大学VinayBettadapuraFaceExpressionRecognitionandAnalysis:TheStateofthe提出的改进型KCCA算法有效解决了格拉姆矩阵的奇异性问题；而塞萨洛尼基亚里士多德大学的IoannisPitas教授在“Salientfeatureandreliableclassifierselectionforfacialexpressionclassification文中提到该改进型KCCA的评估，进而用于面部表情分类。主流媒体关注和报道2012年12月4翻开新篇章”为题，对本项目相关理论成果进行了报道。2013年8月28早期预测与干预提供新的解决途径”报道了本项目中的部分成果。2017年12月2项目主要成果。推广应用情况：也已经用于多家科研机构的相关研究及多家医院的心理障碍诊断临床实验。本项目中便携式脑电传感关键技术已初步应用于宏智力科技有3500多万元人民币。同时，便携式脑电传感关键技术也被瑞士RUI-TechGmbH公司用于心理障碍患者干预效果的阶段性评估研究中，评估性能得到了外方公司的好8.3亿元人1.04到11.2(VNG效益13020171亿元人民币。应用单位名称首都医科大学附属北京安定应用技术应用的应用单位名称首都医科大学附属北京安定应用技术应用的今应用单位联系人/电话应用情况便携式脑电传感系统、中文语音分析和评估方法、情感胡昌清对733的实时采集与处理，结合应用背景进行实时性的医院军事医学科学

带宽测量方法院2016.12院2016.12中国科学院心便携式脑电传感系统、中文语音分析和评估方法、情感2013.11-至理研究所带宽测量方法、融合微表情和语音的心理状态评估技术今兰州市第三人便携式脑电传感系统、中文语音分析和评估方法、情感2014.01-至民医院带宽测量方法、融合微表情和语音的心理状态评估技术今

2015.06-

赵永岐朱廷邵

数据分析，实现对抑郁症患者的风险筛查。150名被试进行了情绪刺激后的Fp1Fp2和Fpz对252采集并分析401名患者情绪刺激后的脑电信息霍小宁 动轨迹、语音及微表情信息，实现对抑郁症患者的风险筛查。天水市第三人民三院

便携式脑电传感系统、中文语音分析和评估方法、情感

对416名抑郁及正常被试进行脑电信息语音2012.3-至今 王刚平 动和微表情的实时采集、处理与分析，辅助医生带宽测量系统上海市精神卫带宽测量系统上海市精神卫便携式脑电传感系统、中文语音分析和评估系统、情感2017.01-至生中心带宽测量方法、融合微表情和语音的心理状态评估技术今对230名前来就诊的患者进行脑电信息、眼动李春波 迹、语音数据和微表情信息的采集与分析处理，辅助医生的抑郁诊断。有限公司瑞士RUI-TechGmbH深圳市宏智力科技有限公司北京爱生科贸有限公司惠州德赛信息科技有限公司广东省中山市读书郎电子有限公司广州汇智通信技术有限公司

便携式脑电传感系统、中文语音分析和评估系统、情感带宽测量方法便携式脑电传感系统便携式脑电采集方法便携式脑电传感系统、情感带宽测量系统语音情感分析技术、生理参数采集与智能分析算法融合微表情和语音的心理状态评估技术图像复原算法、人脸识别以及面部表情辅助识别等相关技术、便携式脑电传感系统

今今今今今今今

采集受试人群的脑电数据、眼动轨迹及语音数据黄书立 辅助虚拟现实场景的开发，使该虚拟现实系统取得更好的刺激效果。使用便携式脑电传感系统，共进行了168例实验，在对多动症、焦虑、失眠、头痛、抑郁、记忆力RuidangWang衰退人群的神经反馈治疗和训练中起到了积极的作用。公司产品应用了采用全新的去噪算法、特征优吕力超 算法的脑电信号处理技术使脑电信号的分析处更便捷、准确。公司产品使用了便携式脑电传感系统进行脑电初艳杰 号采集、分析与处理，使用情感带宽测量系统行眼动轨迹追踪、记录及处理。在德赛科技有限公司的智能穿戴手环产品中实现了产业化应用。其中“德赛智能穿戴设备F5”产品通过了威尔克通信实验室检验，并获广王勇东省高新技术产品认证。截止2017年12月底，3年间累计已销售60万台智能手环产品。按照每台200元/台测算，共计实现市场销售1.04亿元。在该公司平板学习电脑等系列产品中实现产业化刘璐 应用年12月—2017年12月年已累计现市场销售8.3亿元。已在公共安全服务中实现了产业化应用。在胡韶峰 年11月—2017年11月年期间实现产业化应市场产值总计11.2亿元人民币。深圳市凯立德深圳市凯立德科技股份有限公司已在该公司脑电产品中实现了产业化应用。其中便携式脑电传感系统2014.06今蔡惠文EEG81022014620176计460万元人民币。主要知识产权证明目录：知识产权具体名称国家（地区）知识产权具体名称国家（地区）授权号授权日期证书编号权利人发明人专利一种便携式脑电采集方法中国ZL2.4胡斌胡斌；赵庆林；彭宏有效一种基于单幅图像的颜色恒常性处理方法中国ZL2.8徐向民徐向民；翁俊武；叶佳木有效一种基于核半监督郑文明；徐新洲；的语言情感识别方中国ZL2.3郑文明有效法黄程韦；刘健刚发明 一种情感带宽测专利 方法和系统一种脑电与温度相发明结合的抑郁人群判专利定方法发明 一种可穿戴的并专利 天线一种基于AAM模发明型的视频序列人脸专利识别方法一种姿态归一化的发明非正面人类表情识专利别方法一种基于说话人惩发明罚的独立于说话人专利语言情感识别方法AffectiveBandwidth发明 Measurementand专利 AffectiveDisorderDetermination

栗觅；吕胜富；王中国 ZL2.4 栗觅 有刚；钟宁中国ZL2.9中国ZL2.9胡斌中国ZL2.72胡斌中国ZL2.X徐向民中国中国ZL2.XZL2.4郑文明郑文明美国14/731,928US009532711B2栗觅有效志学；彭茹；马永昊胡斌、高国平、彭宏、贺乐乐、赵晋 有宁、田晓龙徐向民；陈晓仕；有效黄卓彬；林旭斌郑文明；冯天从 有郑文明；徐新洲；赵力；黄程韦；余 有华；吴尘；查诚MiLi;Sengfulv;Gang有效Wang;NingZhong主要完成人情况：姓名 排胡斌 1徐向民 2郑文明 3

职务职称院长教授/教授主任教授

完成单位兰州大学华南理工大学/华南理工大学东南大学

对本项目技术创造性贡献项目负责人，负责项目总体思路、技术方法、技术路线的设计，对发明创新一、二、四均有重要贡献，提出了心理生理可计算理论及方法，确立了心理生理学与信息科学相融合的研究方向。发明创新一主要提出面向心理生理信息量化感知的便携式脑电信号采集、实时去噪、电极部署及量化分析的一体化解决方案，研制出了具有国际先进水平的便携式脑电采集系统，实现了以脑电信号为主、前额温度为辅的抑郁障碍有效评估；发明创新二主要提出了基于中文语音的抑郁障碍识别方法，填补了当前国际上基于语音的抑郁障碍识别仅限于英语、德语等少数语种，缺乏中文语音分析和评估系统的空白；发明创新四主要基于“情感带宽”技术，联合提出了面向抑郁患者注意偏向的量化/通讯作者发表相关SCI4042016发明一等奖，2014项目主要完成人，对发明创新三有重要贡献，主要提出了一种针对面部表情有效量化感知的图像颜色恒温性处理方法，实现了基于AAM模型的视频序列人脸识别。以第一作者/通讯作者发表相关SCI论文11篇，获得相关授权国家发明专利3项。项目主要完成人，对发明创新一、二、三均有重要贡献。发明创新一主要提出了针对脑电信号的有效通道选择和新型特征选择算法；发明创新二主要提出了针对语音信息有效量化感知的核半监督判别分析方法，实现了基于说话人惩罚图学习算法的特征维数约简，解决了语音信息受个体差异影响较大而导致情感识别率较低的难题。发明创新三主要提出了针对面部表情图像的姿态归一化方法，一定程度上解决了人脸姿态变化造成表情类内差异大的问题。以通讯作者发表相关SCI2042015成果奖自然科学二等奖。项目主要完成人，对发明创新四有重要贡献，主要提出了“情感带宽”新概念，通过瞳孔直径这一物理指标客观地栗觅 4 副教授 学/北京业大学

/通讯作者发表SCI1041马义德 5 教授赵庆林 6 副教

兰州大学兰州大学

项目主要完成人，对发明创新三有重要贡献，主要对PCNN进行深入研究，将其应用于面部表情图像处理中，并提出多种改进算法及融合算法，对图像处理、图像分割、图像/SCI20项目主要完成人，对发明创新一有重要贡献，用极简电极部署方案以及创新的眼电伪迹去除和特征提取算法，解决了