交互式虚拟产品展示技术的研究课件

报告人：陈田合作导师：潘志庚

Feb.15,2004

交互式虚拟产品展示技术的研究报告人：陈田交互式虚拟产品展1报告主要内容(1/2)第一部分：概述课题的来源及研究意义国家教委优秀青年教师教学科研奖励计划“基于因特网的虚拟现实和电子商务集成技术”

虚拟产品及其相关的计算机技术输入装置&视觉输出虚拟现实建模语言VRML虚拟展示环境桌面系统基于沉浸式头盔显示设备的系统基于投影器的系统报告主要内容(1/2)第一部分：概述2报告主要内容(2/2)第一部分：概述第二部分：用于商品展示的网上虚拟商城的构建第三部分：基于产品评估的虚拟产品定制展示平台第四部分：虚拟Agent技术在产品展示中的应用第五部分：总结报告主要内容(2/2)第一部分：概述3网上虚拟商城研究现状（1/4）

MarcusKaar’sVSM,German(ViennaUniversityofTechnology)网上虚拟商城研究现状（1/4）MarcusKaar’s4网上虚拟商城研究现状（2/4）

CDSNLab’sVSM,Korea网上虚拟商城研究现状（2/4）CDSNLab’sVSM5网上虚拟商城研究现状（3/4）

(a)MarcusKaar’sVSM,German(b)VR-Shop网上虚拟商城研究现状（3/4）(a)MarcusKaa6CITRVirtuale-Commerce

VirtualRealityPrototypesforHumanInteraction,Trainingande-commerce

网上虚拟商城研究现状（4/4）

网上虚拟商城研究现状（4/4）7EasyMall的总体框架特征：交互性智能性可接近性C/S

模式Server:Java编写Client:Javaapplet

EAI:AninterfacebetweenVRML-BrowserandJavaApplets

EasyMall的总体框架特征：8EasyMall数据库主表间的联系图EasyMall数据库主表间的联系图9虚拟导购过程分析流程图

虚拟导购过程分析流程图10产品域和客户域产品域:一个有着许多共同属性的产品的集合

客户域:来源于客户个人资料和一些推断属性。

顾客分类：产品档次型价格敏感型产品品牌型产品售后服务型产品域和客户域产品域:一个有着许多共同属性的产品的集合11营销决策机制

营销决策模型的自学习过程

虚拟智能Agent技术的应用关联法则营销决策机制关联法则12EasyMall运行实例（1/4）通向不同销售部的标识牌Avatar带领客户步入EasyMallEasyMall运行实例（1/4）通向不同销售部Avatar13EasyMall运行实例（2/4）客户订购选中的服装EasyMall中家具部

EasyMall运行实例（2/4）客户订购选中的服装Eas14EasyMall运行实例（3/4）客户订购选中的服装系统的菜单交互方式EasyMall运行实例（3/4）客户订购选中的服装系统的15EasyMall运行实例（4/4）EasyMall中商务中心EasyMall中家具部

EasyMall运行实例（4/4）EasyMall中商务中心16手机定制系统手机定制系统的界面手机定制系统手机定制系统的界面17手机定制流程控制模块重新设置位置重新设置尺寸重新设置颜色选择形状错误信息

错误信息错误信息尺寸YN形状存在?形状存在?形状存在?控制模块？

位置颜色形状YNYN上盖/下机体的其它组件存在否？上盖主体下机体主体其它组件YN错误信息提示组件存在?组件结构树C用户CC手机控制模块的工作流程手机的总体定制流程手机定制流程控制模块重新设置位置重新设置尺寸重新设置颜色选择18三种典型模型的定制实例(a)(b)(c)三种典型模型的定制实例(a)19产品展示的通常开发流程

产品展示的通常开发流程20评估系统的物理构成真实环境虚拟环境展示环境显示Fastraktrackerforhead-trackingIntegratedcircuitboardforpick-upcameraPick-upheadofcameraShelfforfixingthepick-uphead&thereceiverof3DmouseEarphoneEarphone

头盔显示设备(HMD)的结构评估系统的物理构成

评估系统的物理构成真实环境虚拟环境展示环境显示Fastrak21两种虚拟展示环境的建立

无线按键设备两种虚拟展示环境的建立

两种虚拟展示环境的建立无线按键设备两种虚拟展示环境22运动捕捉设备由Fastrak获取的平面数据变形图数据捕捉系统UltraTrakPro与FasTrak示意图运动捕捉设备由Fastrak获取的平面数据变形图数据捕捉系统23Fastrak数据修正一次线性传递函数回归结果二次多项式传递函数回归结果去除次要影响因子后的二次函数回归结果对捕捉数据z坐标的修正函数:

Fastrak数据修正一次线性传递函数回归结果二次多项式传递24虚拟产品的评价方案EnvI为真实评估环境EnvII为基于桌面的评估环境EnvIII为基于3DModel的虚拟手操作的虚拟展示环境EnvIV则为基于图象的由用户手操作的虚拟展示环境虚拟产品的评价方案EnvI为真实评估环境25实验过程及结果分析Env.三种产品在四种环境中材质感的评价结果图ScoresEnv.三种产品在四种环境中精巧感的评价结果图实验过程实验过程及结果分析Env.三种产品在四种环境中材质感的评价结26CAVE环境下虚拟手机展示带有跟踪传感器的立体眼镜AscensionTech公司的FlockofBird

运动跟踪系统CAVE环境下虚拟手机展示带有跟踪传感器的立体眼镜Ascen27虚拟Agent的构建虚拟人结构层次关系图基于骨架的虚拟人模型虚拟Agent的构建虚拟人结构层次关系图基于骨架的虚拟人模型28产品展示中人体动画设计

第一类虚拟人模型浏览手机动作虚拟人接听手机动画设计的动作序列图产品展示中人体动画设计第一类虚拟人模型虚拟人接听手机29虚拟手臂的运动求解

简化人体上肢的动力学链

虚拟手臂的运动求解简化人体上肢的动力学链30基于图象的虚拟Agent展示环境Region-basedmethodsPyramid-linkingAlgorithmICP:IterativeClosestPointAlgorithm基于图象的虚拟Agent展示环境Region-basedm31两种展示方式比较

基于图象的优势：获取准确位置忽略运动前后复杂的坐标变换手臂的显示更加逼真、自然

基于虚拟手展示基于手臂图像展示基于图象的劣势：图片区域的轮廓问题忽略运动前后复杂的坐标变换摄像机有限的投射视角会限制手臂的动作区域标记圆的限制图像表达失去些三维信息

两种展示方式比较基于图象的优势：基于虚拟手展示基于手臂图像32虚拟Agent展示手机实例

以自我身份进行展示以第三者身份进行展示虚拟Agent展示手机实例以自我身份进行展示以第三者身份进33总结

基于VRML的虚拟电子商城的构建EasyMall,分析了如何力求实现个性推荐服务&适宜的营销决策机制；手机的定制系统的开发，分析了各功能模块的组成及其系统提供的定制流程；通过实验分析在四种评估环境下应用VR技术评估虚拟产品——手机的感性属性的可行性；提出了虚拟产品的展示流程；重点分析了基于模型3DModel的虚拟手操作的虚拟展示环境与基于图象的由用户手操作的两种不同的虚拟展示环境的构成、关键技术探讨了应用Agent技术实现商品展示总结基于VRML的虚拟电子商城的构建EasyMall,分析34博士后期间完成的学术论文

SangyoonLee,TianChen,JongseoKim,GerardJ.Kim,SunghoHan,ZhigengPan.UsingVirtualRealityforEvaluatingAffectivePropertiesofProductDesign,acceptedtoappearinIEEEVR2004Conference,USA.TianChen,GuofuYin,ZhigengPan,InteractiveDesignandPresentationofCeramicSanitaryProducts,SPIEProceedingoftheThirdInternationalConferenceonVirtualRealityandItsApplicationinIndustry,

Vol.4756,pp.259-264,April2002,Hangzhou,P.R.China.(IndexedbyEI)ZhigengPan,TianChen,MinminZhang,BinXu.VirtualPresentationandCustomizationforProductsBasedonInternet,acceptedtoappearinInternationalJournalofCAD/CAM(IJCC),SouthKorea.殷国富,陈田,戈鹏.基于虚拟现实技术的卫生瓷产品参数化CAD系统的研究.计算机辅助设计与图形学学报.Vol.14,No.3,pp.168-171,2002.(EI检索)吴访升,潘志庚,陈田,徐冰.家具3D虚拟展示与定制分布式原型系统.计算机应用.Vol.23,No.3pp.78-81博士后期间完成的学术论文SangyoonLee,Tia35

ThankYou!ThankYou!36

报告人：陈田合作导师：潘志庚

Feb.15,2004

交互式虚拟产品展示技术的研究报告人：陈田交互式虚拟产品展37报告主要内容(1/2)第一部分：概述课题的来源及研究意义国家教委优秀青年教师教学科研奖励计划“基于因特网的虚拟现实和电子商务集成技术”

虚拟产品及其相关的计算机技术输入装置&视觉输出虚拟现实建模语言VRML虚拟展示环境桌面系统基于沉浸式头盔显示设备的系统基于投影器的系统报告主要内容(1/2)第一部分：概述38报告主要内容(2/2)第一部分：概述第二部分：用于商品展示的网上虚拟商城的构建第三部分：基于产品评估的虚拟产品定制展示平台第四部分：虚拟Agent技术在产品展示中的应用第五部分：总结报告主要内容(2/2)第一部分：概述39网上虚拟商城研究现状（1/4）

MarcusKaar’sVSM,German(ViennaUniversityofTechnology)网上虚拟商城研究现状（1/4）MarcusKaar’s40网上虚拟商城研究现状（2/4）

CDSNLab’sVSM,Korea网上虚拟商城研究现状（2/4）CDSNLab’sVSM41网上虚拟商城研究现状（3/4）

(a)MarcusKaar’sVSM,German(b)VR-Shop网上虚拟商城研究现状（3/4）(a)MarcusKaa42CITRVirtuale-Commerce

VirtualRealityPrototypesforHumanInteraction,Trainingande-commerce

网上虚拟商城研究现状（4/4）

网上虚拟商城研究现状（4/4）43EasyMall的总体框架特征：交互性智能性可接近性C/S

模式Server:Java编写Client:Javaapplet

EAI:AninterfacebetweenVRML-BrowserandJavaApplets

EasyMall的总体框架特征：44EasyMall数据库主表间的联系图EasyMall数据库主表间的联系图45虚拟导购过程分析流程图

虚拟导购过程分析流程图46产品域和客户域产品域:一个有着许多共同属性的产品的集合

客户域:来源于客户个人资料和一些推断属性。

顾客分类：产品档次型价格敏感型产品品牌型产品售后服务型产品域和客户域产品域:一个有着许多共同属性的产品的集合47营销决策机制

营销决策模型的自学习过程

虚拟智能Agent技术的应用关联法则营销决策机制关联法则48EasyMall运行实例（1/4）通向不同销售部的标识牌Avatar带领客户步入EasyMallEasyMall运行实例（1/4）通向不同销售部Avatar49EasyMall运行实例（2/4）客户订购选中的服装EasyMall中家具部

EasyMall运行实例（2/4）客户订购选中的服装Eas50EasyMall运行实例（3/4）客户订购选中的服装系统的菜单交互方式EasyMall运行实例（3/4）客户订购选中的服装系统的51EasyMall运行实例（4/4）EasyMall中商务中心EasyMall中家具部

EasyMall运行实例（4/4）EasyMall中商务中心52手机定制系统手机定制系统的界面手机定制系统手机定制系统的界面53手机定制流程控制模块重新设置位置重新设置尺寸重新设置颜色选择形状错误信息

错误信息错误信息尺寸YN形状存在?形状存在?形状存在?控制模块？

位置颜色形状YNYN上盖/下机体的其它组件存在否？上盖主体下机体主体其它组件YN错误信息提示组件存在?组件结构树C用户CC手机控制模块的工作流程手机的总体定制流程手机定制流程控制模块重新设置位置重新设置尺寸重新设置颜色选择54三种典型模型的定制实例(a)(b)(c)三种典型模型的定制实例(a)55产品展示的通常开发流程

产品展示的通常开发流程56评估系统的物理构成真实环境虚拟环境展示环境显示Fastraktrackerforhead-trackingIntegratedcircuitboardforpick-upcameraPick-upheadofcameraShelfforfixingthepick-uphead&thereceiverof3DmouseEarphoneEarphone

头盔显示设备(HMD)的结构评估系统的物理构成

评估系统的物理构成真实环境虚拟环境展示环境显示Fastrak57两种虚拟展示环境的建立

无线按键设备两种虚拟展示环境的建立

两种虚拟展示环境的建立无线按键设备两种虚拟展示环境58运动捕捉设备由Fastrak获取的平面数据变形图数据捕捉系统UltraTrakPro与FasTrak示意图运动捕捉设备由Fastrak获取的平面数据变形图数据捕捉系统59Fastrak数据修正一次线性传递函数回归结果二次多项式传递函数回归结果去除次要影响因子后的二次函数回归结果对捕捉数据z坐标的修正函数:

Fastrak数据修正一次线性传递函数回归结果二次多项式传递60虚拟产品的评价方案EnvI为真实评估环境EnvII为基于桌面的评估环境EnvIII为基于3DModel的虚拟手操作的虚拟展示环境EnvIV则为基于图象的由用户手操作的虚拟展示环境虚拟产品的评价方案EnvI为真实评估环境61实验过程及结果分析Env.三种产品在四种环境中材质感的评价结果图ScoresEnv.三种产品在四种环境中精巧感的评价结果图实验过程实验过程及结果分析Env.三种产品在四种环境中材质感的评价结62CAVE环境下虚拟手机展示带有跟踪传感器的立体眼镜AscensionTech公司的FlockofBird

运动跟踪系统CAVE环境下虚拟手机展示带有跟踪传感器的立体眼镜Ascen63虚拟Agent的构建虚拟人结构层次关系图基于骨架的虚拟人模型虚拟Agent的构建虚拟人结构层次关系图基于骨架的虚拟人模型64产品展示中人体动画设计

第一类虚拟人模型浏览手机动作虚拟人接听手机动画设计的动作序列图产品展示中人体动画设计第一类虚拟人模型虚拟人接听手机65虚拟手臂的运动求解

简化人体上肢的动力学链

虚拟手臂的运动求解简化人体上肢的动力学链66基于图象的虚拟Agent展示环境Region-basedmethodsPyramid-linkingAlgorithmICP:IterativeClosestPointAlgorithm基于图象的虚拟Agent展示环境Region-basedm67两种展示方式比较

基于图象的优势：获取准确位置忽略运动前后复杂的坐标变换手臂的显示更加逼真、自然

基于虚拟手展示基于手臂图像展示基于图象的劣势：图片区域的轮廓问题忽略运动前后复杂的坐标变换摄像机有限的投射视角会限制手臂的动作区域标记圆的限制图像表达失去些三维信息

两种展示方式比较基于图象的优势：基于虚拟手展示基于手臂图像68虚拟Agent展示手机实例

以自我身份进行展示以第三者身份进行展示虚拟Agent展示手机实例以自我身份进行展示以第三者身份进69总结

基于VRML的虚拟电子商城的构建EasyMall,分析了如何力求实现个性推荐服务&适宜的营销决策机制；手机的定制系统的开发，分析了各功能模块的组成及其系统提供的定制流程；通过实验分析在四种评估环境下应用VR技术评估虚拟产品——手机的感性属性的可行性；提出了虚拟产品的展示流程；重点分析了基于模型3DModel的虚拟手操作的虚拟展示环境与基于图象的由用户手操作的两种不同的虚拟展示环境的构成、关键技术探讨了应用Agent技术实现商品展示总结基于VRML的虚拟电子商城的构建EasyMall,分析70博士后期间完成的学术论文

SangyoonLee,Tia