复旦智能服务机器人关键技术与产业应用

1、复旦智能服务机器人关键技术与产业应用复旦智能服务机器人关键技术与产业应用汇报提纲 背景与意义 成果与创新 产权与评价人员与贡献 应用与效益12354汇报提纲 背景与意义 成果与创新 产权与评价人员与贡献 应第一部分 背景与意义3第一部分5研究背景机器人是“第三次工业革命”的切入点和增长点，体现了国家高技术领域的综合实力。服务机器人是非结构化场景下具有感知、认知和自主行为能力的系统，存在如下技术挑战:环境未知而动态，需要高度的自主性；自然的人机交互，高可靠性和稳定性；需理解人的意图，自适应行为和动作。研究背景机器人是“第三次工业革命”的切入点和增长点，体现了国第二部分： 成果与创新5第二部分：7

2、产学研历程200520072017201020112015复旦I号复娃海宝爱家I号中医机器人 家庭服务创新力积累：国基金、科技部、市科委、211专项等产业化积累：从产业界拿经费：项目、联合实验室、股份时间产学研历程200520072017201020112015复项目资助项目来源项目名称及编号国家科技部863媒体大数据的深度语义分析与结构化描述研究国家自然科学基金基于生物视觉的感知和认知结合的学习模型及其在脑型机器人上的应用上海市科委基础研究重大项目基于脑信息处理的深度神经网络和智能系统上海电气合作项目基于深度信息的机器人三维目标识别与跟踪技术研究横向项目家庭服务机器人项目资助项目来源项目名称

3、及编号国家科技部863媒体大数据的深成果与创新创新点 1基于视觉和听觉感知信息的心智发育理论算法创新点 2基于视觉信息的WWN网络模型，解决了复杂背景下目标检测、识别和跟踪问题创新点 3基于视觉信息的中文语义理解技术，解决了语义鸿沟难题，显著提高了智能问答、用户意图和情感分析能力创新点 4研制了成本低、集成度高的6代服务机器人成果与创新创新点 1基于视觉和听觉感知信息的心智发育理论算法创新点1心智发育理论算法受认知心理学启发，通过与外界环境的交互，实现对外部世界的理解和认知，而不仅仅只是完成特定任务* Autonomous Mental Development by Robots and An

4、imals, Science, vol. 291, no. 5504, pp. 599-600. 特定任务非特定任务外界环境外界环境传感器效应器传感器效应器图片图片符号符号图片图片图片图片Emergent AutomationDP创新点1心智发育理论算法受认知心理学启发，通过与外界环境的创新点1心智发育理论算法 突破性成果：增量式的在线学习发育方法基于视听觉信息的特征不变性发育基于上下文的注意力选择发育； 成功研制复旦I号机器人平台突破了传统机器人的设计思路，成功研制了国内第一台自主心智发育机器人ZL200610027197.3， ZL200730081396.8；2008SR00892 创新

5、点1心智发育理论算法 突破性成果：突破了传统机器人的设创新点2- WWN网络模型实时检测和识别任何时刻的目标(What 信息)和目标所在位置信息(Where 信息)解决了复杂背景下目标检测、识别和跟踪和SLAM（即时定位与地图构建）问题 创新点2- WWN网络模型实时检测和识别任何时刻的目标(Wh运用自组织学习和合理的新、老知识的处理，解决了生物视觉领域复杂背景下物体识别所面临的多物体、多尺度的识别难题。 在2010年上海世博会上面对客流量大、场景复杂多变的挑战，成功展出了半年之久，获得了各界广泛关注 。2022/9/212016吴文俊人工智能科学技术奖12创新点2- WWN网络模型运用自组织

6、学习和合理的新、老知识的处理，解决了生物视觉领域复创新点3- 基于深度学习的中文语义分析通过包含上下文信息的语义分析，采用知识图谱构建背景知识模型，解决了语义鸿沟难题。显著提高了机器人智能问答、用户意图和情感分析能力和反应速度。 * 国际上首次将深度学习用于中文分词和词性等语义分析领域，中译文在线阅读万余次X zheng,. Deep learning for Chinese word Segmentation and POS tagging. EMNLP2013. 647-657创新点3- 基于深度学习的中文语义分析通过包含上下文信息的语创新点4- 研制成功6代服务机器人攻克了低成本系统集成

7、技术，解决了核心部件与系统性能一致性难以匹配的问题。 开发了面向公共服务的“复娃机器人”，面向家庭应用的“爱家一号机器人”和“睿豆机器人”，面向医疗健康的“中医健康服务机器人”等。2016吴文俊人工智能科学技术奖创新点4- 研制成功6代服务机器人攻克了低成本系统集成技术，家庭服务机器人具有远程监控、自主巡逻、自主充电等功能。中医健康服务机器人具有面诊、舌诊、问诊、远程医疗等功能。家庭服务机器人中医健康服务机器人第三部分： 知识产权与第三方评价16第三部分：18知识产权发表SCI、EI论文86篇，其中发表在顶级A区国际会议和期刊论文22篇。IJCAI， CVPR， IEEE AMD等申请发明专利

8、79项，获专利授权36项知识产权发表SCI、EI论文86篇，其中发表在顶级A区国际会第三方评价评审意见2022/9/21“家用智能服务机器人” 鉴定意见： “开发了面向家庭应用的语音视频人机交互、机器人远程监控和通讯等算法及软件系统，实现了家庭环境下智能安保与益智教育两大主要功能”， 鉴定委员会一致认为该成果处于国际先进、国内领先水平”。 “自主心智发育机器人关键技术研究” 验收意见：研究了基于视觉和听觉等多模态信息的在线交互学习算法；研究了心智发育软件系统算法等。 “在机器人心智发育理论算法研究方面有原始创新成果” 第三方评价评审意见2022/9/19“家用智能服务机器人”第三方评价 查新报

9、告 查新结论：“国内外文献未发现具备查新项目全部技术要点的文献报道.” 第三方评价 查新报告 查新结论：“国内外文献未发现具备查第三方评价 国际学者日本索尼，Oudeyer评价项目的自主心智发育方法：“开拓了机器人在自主开放的方式下通过学习达到智力发育的可能”2007年发表在顶级期刊IEEE Transactions on Evolutionary Computation上的论文第三方评价 国际学者日本索尼，Oudeyer评价项目的自主评价该项目的中文自然语言处理方法：“采用了无监督的单词嵌入预训练方法，极大地改进了模型准确率”。 IBM研究院：Santos 2014年发表在机器学习顶级会议I

10、CML中的论文第三方评价 国际学者 IBM研究院：Santos 2014年发表在机器学习顶级第四部分： 应用与效益22第四部分：24经济效益 在多家企业实现了成果转化和市场推广，近3年新增销售收入过2亿元，取得了显著的经济效益。经济效益 在多家企业实现了成果转化和市场推广，近3年新增销售复旦智能服务机器人关键技术与产业应用社会效益社会效益复旦智能服务机器人关键技术与产业应用第五部分： 人员与贡献27第五部分：29合作单位智能服务机器人技术的产业化落地上海贽匠有限公司苏州俐玛机器人有限公司机器视觉在自动化生产线改造及产业化落地上海电气集团中央研究院上海太敬集团合作教育机器人技术的产业化落地合作机

11、器视觉与康复机器人落地重庆锐纳达机器人公司合作家庭服务机器人产业化落地合作单位智能服务机器人技术的产业化落地上海贽匠有限公司苏州俐团队成员张文强研究员总体负责，在4个创新点均有涉足郑骁庆副教授主要负责服务机器人人机交互技术，尤其是语音识别和中文信息处理方面的工作。在发明点3中有突出贡献，研制了国内第一款深度网络应用开发工具。路 红教授主要负责服务机器人视频交互技术研究，对家庭服务机器人视频交互、定位导航等方面贡献突出。 张 睿高级工程师主要负责服务机器人硬件系统的研制，包括5代机器人电子线路、传感器单元和控制单元等设计。白建松讲师负责服务机器人的创意和外观设计，主要是“爱家一号机器人”、“海宝机器人”和“中医健康服务机器人”的创意设计。在发明点4中有突出贡献。牛军钰研究员爱家一号机器人项目负责人,负责该项目的整体协调,与客户的沟通等工作,对家庭服务机器人的产学研合作做出了突出贡献。冯 瑞研究员主要负责复娃和爱家一号机器人的软件系统开发，在发明点4均作出了重要贡献。团队成员张文强总体负责，在