虚拟现实中人机交互技术进展

虚拟现实中人机交互技术进展

潘志庚杭州师范大学数字媒体与人机交互研究中心

电话子邮件:ZGPAN@CAD.ZJU.EDUxQQ:“秀水清山”:443922077 微信:图行天下(443922077)MSN:zhigengpan@gmailx微博:图行天下(2370191992)"教授难当还要当"博客:/u/1250780752

自我介绍关于自己貌不若潘安，而志存高远梦成华罗庚才可比张蔷，且明心静性不似柯以敏关于数字媒体与人机交互研究中心

研究内容：图形图像声音动画几何信号都能处理媒体娱乐光照特征文化信息皆可计算中心定位：研究与应用并重，创新和转化优先2一虚拟现实与人机交互生活虚拟化，谈天说地真假难分酷似现实生活交互人性化，指手划脚声情并茂尽在虚拟环境

注解：真假难分（VR）、指手划脚声情并茂（HCI）城市规划(西游记乐园)培训和教育（ELVIS项目）游戏和娱乐虚拟商店和虚拟产品展示虚拟现实应用系统虚拟体育仿真虚拟旅游和虚拟剧场数字文化遗产电子试衣

虚拟现实的应用5典型案例

1）数字奥运博物馆*数据采集*模型构造*动画生成*交互式漫游*寓教于乐62）航海模拟系统获奖:国家科学技术进步二等奖(2008)

完成人:金一丞,尹勇,潘志庚,任鸿翔等10人3）漫游京杭大运河运河概况：运河的形成和开凿历史，相关科学知识沿线风景：运河沿线的风土人情，历史典故，名胜古迹漫游体验：漕运模拟和体验；船闸系统模拟和体验；运河上的虚拟驾驶；全景图漫游体验。

基于照片的动画演示4）网上上海世博会获奖:上海市科学技术进步一等奖(2011)

完成单位:上海世博局,浙江大学等单位一、立项依据(2)

头交互

腿部交互表情交互手交互任天堂Wii2006年11月2010年6月微软Kinect2013年2月LeapMotion2013年初MYO臂环MITSpaceTop3D2012年10月体感交互(一)虚拟环境中的人机交互（1）交互的手段

身体部件（人体，手[指点]，脚，头，眼球，表情/情感，姿势）耳朵[听觉，一般声音/空间声]，手

交互设备三维鼠标，笔，触觉设备

（2）交互的种类

*二维/三维人机交互*可触摸式/非可触摸式交互*自然/非自然交互

虚拟生物实验室

虚拟生物实验室（我们的例子==》）

基于标记的交互

我们的实例系统

*虚拟保龄球游艺机*虚拟乒乓球球*虚拟网球系统*虚拟网络马拉松实例系统*虚拟网络马拉松[浙江大学+南京大学+国家体科所](二)基于手势的自然交互2.1“点-线-面”交互模式2.2实时多线索手势跟踪

互动清明上河图演示

指尖位置手指方向手掌平面简单手势

[环境配置

]2.1“点-线-面”交互模式

Demo交互图例(1)3DWriting

ARChess

Rotationcontrol

Orientation19Application：游戏

交互图例(2)Application：Control3DPlane20演示demo21(三)智能人机交互

（1）智能人机交互需求*自动识别用户的动作和位置*使用自然的交互方式*推断用户的交互意图

（2）如何实现智能性

*注册问题:无标记注册*识别人的常用动作*深度检测/位置感知(结合3D相机)*意图分析:对交互者的行为和意图进行理解(基于语义的场景建模)

22（3）基于AVATAR的交互*虚拟化身（AVATAR）*AVATAR的个性化*AVATAR的表情和姿势*多个AVATAR的交互（5）智能交互和导航的例子

1）虚拟商场EasyMall智能导购：对以下信息进行分析推理（简单的DATAMINING）：*用户注册信息*以往的购买数据库*购买行为2）数字奥运博物馆/网上世博会*基于语义的场景建模*智能导航：**利用场景的语义**以往的浏览行为**用户的位置/逗留时间

附录:受资助的相关项目国家自然科学基金重点项目，“远程沉浸式虚拟奥运博物馆关键技术”(60533080)，2006-2009国家科技支撑计划子项,《漫游运河》科学体验区建设,2006-2007上海市科委世博项目“虚拟环境中智能交互和导航技术研究”，（08dz0580208），2008-2009欧盟科技合作项目，“基于虚拟人物的电子学习环境”(ASI/B7-301/97/0126-84)，2003-2004INTEL大学合作项目，“基于视觉的3D人机交互和虚拟人技术”，2008-2009

科技部科技支撑计划（世博）“网上世博会的关键技术研究，2009-2010863高科技重点项目，“数字矿山关键技术”，2009-2011国家自然科学基金项目，“虚拟环境中的3D交互技术研究”，2012-2015企事业单位委托科技项目,《窦娥冤》增强现实系统,2007-2009

学术广告：期刊/会议信息期刊：（1）InternationalJournalofVR（）（2）TransactionsonEdutainment(Springer)相关会议：(3)全国第九届数字博物馆与文化遗产数字化会议(杭州,2013年9月6-8日)(4)ACMSIGGRAPHVRCAI2013（2012年11月，香港）(5)数字媒体与动画游戏高级研讨班（2013年9月6-10日，Hangzhou）

招聘广告：人员需求信息*招聘虚拟现实/数字媒体/人机交互/仿真/电子/自动化等方面的博士或副教授职称以上人才（海外优先）*待遇（目前国内高校最优厚）

人才类型项目费（万）安家费（万）年薪（万）

高端 院士/国家千人计划级300-500500-800>50

人才

长江/杰青/中科院百人级150-360300-500>40

（以上二类人才可申请2000-5000万的平台建设费【攀登工程，上不封顶】）

---------------------------------------------------------------------------------------------

高层次钱江教授（省级特聘）150156>20

人才

学科带头人6085

学术带头人3054

优秀博士（博士后）1533

博士（博士后）5