体感交互的裸眼3D展示系统设计与实现

杨文超;吴亚东;赵思蕊;蒋宏宇【摘要】Thispaperintroducestheprincipleofcylindricallenstypeautostereoscopicandmultiple-viewpointautostereoscopic3Dtechnique.Aparadigmofmixtureof8eyesightpicturesandthegesturerecognitionchainofthissystemweredesigned.Amixedgesturerecognitionandautostereoscopicof3DexhibitiongamewasrealizedbyusingtheUnity3Dengine.Theresultsshowthatthemixedexhibitionsystemhasenhancedtheimmersinglevelofthesystemandcaneasilyattractplayerstohaveatry.Thissystemcanbewidelyusedinadvertisements,productsexhibition,companypublicityandsoon,withgoodmarketprospects.%介绍了柱状透镜式裸眼3D显示技术的原理以及多视点裸眼3D的实现方案,设计了8视点图像合成算法，针对体感交互设计了动作识别链，在Unity3D引擎实现了体感交互与裸眼3展示技术融合应用案例•结果表明,结合体感交互的裸眼3D展示系统增强了交互沉浸感,显著增强系统吸引力,可广泛用于广告宣传、产品展示、公司文化宣传等领域.【期刊名称】《西南科技大学学报》【年(卷),期】2017(032)001【总页数】7页(P85-91)【关键词】裸眼3D;体感交互;柱状透镜;多视点;状态识别链作者】杨文超;吴亚东;赵思蕊;蒋宏宇【作者单位】西南科技大学计算机科学与技术学院四川绵阳621010;西南科技大学计算机科学与技术学院四川绵阳621010;西南科技大学计算机科学与技术学院四川绵阳621010;西南科技大学计算机科学与技术学院四川绵阳621010【正文语种】中文【中图分类】P391.4人机交互技术的方向始终朝着和谐自然的方向发展，人们希望得到的人机交互方式是同自然生活中一样，而不是需要手持交互工具、两眼注视屏幕的被动的交互方式在交互输入方面，国内外学者在实现自然的手势交互方面已经做了很多研究。常亚南［1］基于视觉的方法，结合HMM进行样本训练，实现了动态手势识别；Kim等［2］设计开发了红外距离感应器原型系统为手势交互提供途径；曾繁江［3］在Kinect交互平台上实现手势识别并运用于传统桌面隔空控制。随着对Kinect这类体感检测设备的应用加深，手势与体感直接完成交互输入的方式将会得到更多的发展。在计算机输出显示方面，英国物理学家CharleWheatstone早在19世纪就发现人眼能够看到3维物体的根本原因是人的两只眼睛观察到的图像不同造成的［4］。经过近一个多世纪的研究，人类基于这种让左右眼观察到不同图像的原理研发出各类3D图像展示技术，并将之运用到各大领域。刘嶫［5］提出实现3D立体显示的3个条件，并着重解决3D串扰问题，实现了无串扰偏光式3D显示系统；Mikhail等［6］将头戴式3D显示器与体感操作装置结合，形成一种全沉浸的3维体验系统vAcademia；Carlos等［7］依次将9视点图像8次绘制并融合显示输出了多视点裸眼图像；黄庆敏［8］研究了超高清多视角裸眼电视实现技术，通过理论计算证明超高清屏幕解决多视角裸眼3D技术分辨率低的问题的可行性。非穿戴式裸眼3D显示技术将会是今后显示器发展的重要分支。虽然在体感交互与裸眼显示领域都已经有过很过研究，但是如何将这些自然、沉浸的交互方式结合到一起，形成可商业化运用的、用户容易与之交互的、临场感强烈的互动体验系统仍亟待研究。本文详细讨论了柱状透镜式裸眼3D的工作原理及其多视点裸眼技术原理，结合裸眼3D与Kinect体感交互的人机交互方式，在Unity引擎中实现了两者联合开发的解决方案，并进行了实验验证。在人类认知领域的研究发现，视觉线索可分为单眼线索和双眼线索，单眼线索可通过明暗、透视等技法在平面上体现立体效果，称为达芬奇立体视；双眼线索通过双眼视差产生立体视觉，称为惠斯通立体视［4］。前者可以表现的深度关系十分有限，而后者可以模拟人眼观看景物的实际情况，因而可以产生强烈的立体感觉。裸眼3D显示都运用了双眼视差的原理来产生立体视觉，并可分为光屏障式(Barrier)、柱状透镜式(LenticularLens)和指向光源(DirectionalBacklight)3种。柱状透镜式裸眼3D技术因其亮度不受影响而得到广泛研究，下面将会详细介绍柱状透镜式裸眼3D成像原理。1.1柱状透镜式裸眼3D原理柱状透镜3D技术的原理是在液晶显示屏的前面加上一层柱状透镜，该透镜称为柱状光栅，使液晶屏的像平面位于透镜的焦平面上，这样在每个柱透镜下面的图像的像素被分成几个子像素，这样透镜就能以不同的方向投影每个子像素。于是双眼从不同的角度观看显示屏，就看到不同的子像素［9］。因为柱状透镜使用的是平凸透镜，其光学特性描述如图1所示。图1中透镜光轴为x轴方向，F和F'为第一、第二焦点，O为透镜光心,a为第—焦平面，P为第二焦平面，透镜焦距为f,光心与透镜顶点的距离为d。设透镜弧形半径为r,像素点A与光轴距离为h，经透镜后折射光线进入人眼，人眼与透镜第二焦平面距离为l，与主光轴距离为v，设光线经透镜出射点在光轴上的投影距离顶点为6,根据几何关系有：tan0tan0所以，推导出：公式(4冲f,d,r都是常数，v与丨的比值只和像素点与主光轴的距离h有关，即(l,v)的坐标关系由h决定，随着h的变化，像素点光线的传播路线也在发生改变，可观看到该点像素图像的位置(l,v)也发生改变［10］。屏幕像素点位于透镜焦平面上，根据凸透镜光学特性，不同位置的像素点经过透镜后将会发射出不同方向的光线。1.2多视点裸眼3D技术由多条平行放置的柱状透镜构成了裸眼3D透镜屏幕，透镜焦平面上的像素发光点经过透镜折射后在空间形成固定的可见区域，从而将左眼图像与右眼图像分开。在一个透镜宽度后面放置多个像素点光源就可以在空间多个位置形成不同角度的视点画面，观看者在不同的观看位置只要同时看到这多个视角画面中的两个就可以感受到深度信息，这种技术被称为多视点技术。多视点示意图如图2所示。从图2可以看出，对于柱状透镜光栅焦平面上的像素点，其发出的光线经过透镜后在空间形成固定位置的可视点，如图上形成的4个视点。只要人的左右眼睛分别接收到两个不同视点的图像就可以产生裸眼效果。对人眼立体感的产生贡献最大的是水平视差［11］，为了得到较好的3D效果，往往采用多幅具有水平视差的图像合成图像，而在竖直方向上不做多视点处理。多视点技术提供了自由的观看位置与角度，同时因为裸眼视差都是在水平方向，所以人眼实际接收到的图像分辨率会在水平方向严重降低而竖直方向没有变化，导致分辨率失调。缓解分辨率失调的问题可以将柱状透镜倾斜放置，降低的分辨率被分摊到水平和竖直方向，从而人眼接收到的分辨率不至于太低。以图3所示的8视点裸眼屏幕为例，将柱状透镜倾斜放置，与水平面成一定夹角，该夹角由像素点物理宽高决定，屏幕像素的排列也交错放置，在透镜倾斜方向依次排列1到8视点对应的像素，每个透镜宽度区域内包含了完整的8个视点的像素点。经过倾斜放置，可以计算得到水平方向分辨率变成原图像的1/4，垂直方向分辨率变为原来的1/2。存在一种坏的情况，当人左眼看到视点8的图像，右眼看到视点2的图像，根据8视点排列原理，此时画面左右颠倒［12］，同时模拟两眼的相机间距最大，好比于眼睛瞳距过大，人眼很难聚焦因而无法获得立体图像。运用体感交互技术与裸眼3D显示技术，构建自然、沉浸的交互输入与输出，提升了交互体验。系统设计框架如图4所示。系统包括体感交互输入与裸眼3D显示输出两部分，与玩家之间形成信息传递循环链，从而玩家可以持续感受裸眼3D画面信息并且根据眼见内容作出回应动作。目前能够实现手势输入的硬件设备包括LeapMotion、Kinect、数据手套等，本系统设计采用了微软的Kinect体感设备作为体感动作检测与交互工具。体感交互输入设计体感交互输入过程包括数据平滑滤波、坐标矫正与坐标系转换、动作识别链识别等过程。体感数据平滑滤波保证数据的稳定性，本系统使用的滤波器描述为：Pn=axRn+(1-a)xPn-1滤波的核心是低通滤波器原理，Pn是经过滤波算法过后的骨骼坐标点输出；a为滤波系数，通常是个比较小的值；Rn是本次得到的骨骼点坐标；Pn-1是上一次滤波得到的骨骼坐标。该滤波可以很好滤除骨骼抖动，但同时也降低了响应速度。姿势矫正与坐标系转换将传感器检测到的体感数据转化为用户自身坐标系。坐标转换只是涉及转换公式的运用，这里不再赘述。在文献［13］中，运用了姿势序列有限状态机的方法识别动态手势，将关节点位置限制与动作时间限制都纳入动作检测依据来提升准确率，同时识别的时间开销也相应增大。在娱乐应用系统，更追求的是动作的响应速度，并且对于较短时间连续动作的识别如果关节运动路径超出限制时时间戳也容易超出限制，本设计中构建的动作识别链只考虑时间限制，包括状态集定义、时间戳验证。状态集中的状态通过关节点的空间位置特征和手势姿态（手张开、握拳等）来进行表征。对于游戏UI界面的操作时，玩家手的位置可能位于空间任何位置并发生动作，这里将这一类动作称为自由动作，在构建动作识别链时将自由动作的空间位置特征留空，识别链开始识别之后再向其赋值。动作识别链状态转移图如图5所示。so为状态集的初始状态，表示关键骨骼点在空间中的特定位置，该状态之后开启时间戳计时；S1到Sk为状态链中间状态，对于自由状态而言，S1的空间位置信息初始化为0,其余状态位置信息记录与S1的相对值；f0为自由动作状态链的入口，当手控制光标与UI元素发生碰撞激发，一旦进入状态链即通过T0操作为自由动作状态链的定义位置信息并开启时间戳；f1表示识别成功，将会通知系统界面做出响应；如果在f1之前任何状态的时间戳超时即进入到f2复位识别链，识别无效。例如，在挥手动作中，S0-S4的状态及时间戳定义如表1所示。状态定义兼容左右手，时间戳即为该状态到下一状态之间的时间差，S0到S1之间的时差设置较长，原因是有的人可能第一个动作不是向胸前挥手而是先向外侧，这时当回到胸前时只要时间不超过1s识别状态链依然可以有效工作。从挥手动作链的识别可以看出，不考虑位置超限对于实际应用场景具有更好的适应性，整个挥手动作在2.5s以内完成，符合正常挥手速度。对于UI界面的选项选取等自由动作，首先是手标与UI选项发生碰撞，然后将所有状态的位置信息叠加当前位置，抓取选择动作的状态转移如表2所示。当手与选项发生碰撞，状态链等待手掌张开状态，只有手掌从展开状态变为闭合状态才会引发抓取选择动作有效。上文描述的姿势识别链适用于要求识别延时小、需要识别的动作比较少、动作持续时间短的场合，比如娱乐应用。本系统根据姿势识别链实现了挥手动作、暂停手势举手动作、抓取选择动作等的识别，用户交互动作识别过程多使用自由动作的识别而减少构建特殊姿势序列表达特定的命令。2.2裸眼3D显示输出设计本系统运用8视点裸眼3D技术作为显示输出，包括相机组图像获取、图像合成处理、光栅分离像过程。在unity3D引擎里先经过8个摄像机获取到8个视点的图像，分别赋值给8张RenderTexture，再经过图像合成算法生成屏幕区域每个像素发光点处的图像。如图6所示，8个摄像机水平等间距分开，图像合成算法根据输入的8视点图像计算得到一幅显示在柱状透镜光栅焦平面上的屏幕图像，具体过程如下:Step1初始化像素索引(X,Y)=(O,O)，发光点阵列索引(x,y)=(O,O)，偏移Xoff，柱状透镜与水平方向夹角余切值cote,8个相机的图像分别为P1-P8，输出图像为Po；Step2将像素点行索引进行偏移，偏移公式为：X=X-Xoff-Yxcote因为一个像素点对应3个发光点且在屏幕上水平排列，所以需要将阵列索引进一步偏移:xStep3针对R,G,B发光点分别计算视点索引，表示为N，因为只表现水平视差，将xR,xG,xB分别带入下面式子得到该发光点处应该显示哪个相机的图像，该视点图像索引为1到8的整数。N(x)Step4分别计算输出显示像素点的RGB值，公式为：Step5对X,Y进行自增得到下一个像素点坐标，如果输出图像的每个像素点都计算完则退出算法，否则跳转到Step2。算法中Xoff用于调节透镜与像素点的起始对齐问题，第2步将图像按照像素点进行偏移，但是一个像素点背后对应3个发光点，于是按照发光点的位置再一次进行偏移操作，然后在第3步中求取对应像素点处应该显现的图像视点。因为发光点处的光是具有发散的点光源，由多种原因可引起3维图像之间的串扰［14］，计算视点索引不是按照像素点计算，而是以发光点阵为单位。基于以上讨论的系统设计方法，实现了一款结合体感交互与裸眼3D显示的互动宣传系统，并在IntelCorei7,16G内存，英伟达GTX960显卡的主机和长虹42寸裸眼3D显示屏上进行了测试。系统交互过程为玩家通过肢体动作控制人物模型在场景漫游，期间会有附带广告信息的金币等出现。图7为相机拍摄的裸眼屏幕上实际输出画面，图8是在普通显示器上的画面效果。从图8可以看出，画面在水平方向产生叠影，即8个摄像机图像重叠放置，图7也是8个相机中的某一个看到的画面还原。玩家进入游戏之后看到的画面效果如图9所示。可视角度测定在距离裸眼屏幕2.5m位置从右到左水平移动，用相机拍摄不同角度的屏幕画面，得到结果如图10所示。图10中，图片都是用单目相机在双眼可见出屏效果的位置拍摄，相机模拟了人的一只眼睛。从这些图片中可以看出，在可视区域内的合适位置，单目获得的图像画面清晰，图像串扰［15］在可接受范围。经过测定，8视点的裸眼画面可视角度在120°以上，符合在公众场合展示的需求。宣传效果分析为了测试本文设计的互动系统在商业宣传方面的有效性，在实验室模拟商场广告展示环境，将42寸裸眼3D展示的互动宣传系统和55寸普通大屏幕广告机相邻放置，互动宣传系统体验时长为2min，大屏广告机同样播放2min富有创意的宣传广告，邀请了20名志愿者进入实验室并经过两个展区(如图11)，记录志愿者在两个展区的驻留时间以及在这个过程中的表情和动作变化，得到结果如表3所示表3中，平均驻留时间是从志愿者停留在屏幕面前并观看内容到其离开所用的时间的平均值，在两款宣传方案总时长一致的情况下，顾客驻留时间可以反映出系统对顾客的吸引力。情绪波动次数是记录志愿者面部表情出现惊讶、微笑等情绪激动的平均次数，情绪波动次数反映了系统对顾客的感染力。平均询问次数是志愿者在体验过程中或者体验过后询问内容相关信息的次数，包括询问商品价格、参数等，反映了顾客的购买倾向。同时，参与测试的20名志愿者全部有主动与互动宣传系统交互的行为，系统的交互沉浸感强烈。该模拟测试说明，将需要宣传的元素制作为具有强烈出屏与入屏效果的物件，将会大幅提升商品的广告宣传效应。本文详细介绍了柱状透镜式裸眼3D显示的原理，基于Kinect体感传感器设计了体感动作识别方法，设计并实现了体感交互与裸眼3D展示结合的体感游戏。结果显示，将体感交互与裸眼3D结合的展示方式能够显著增加交互沉浸感，吸引玩家体验欲望。但多视点裸眼3D存在视点顺序颠倒的情况，因此观看裸眼画面最好位置不动，而在体感游戏中玩家可能左右移动，会造成3D画面抖动。今后的工作将会继续研究如何减弱或消除这种抖动。【相关文献】CHANGY.HMMBasedDynamicHandGestureRecognition[D].SouthChinaUniversityofTechnology,2012.KIMJ,HEJ,LYONSK,etal.TheGestureWatch:AWirelessContact-freeGestureBasedWristInterfance.Proc.ISWC'07,2007:15-22.ZENGF,LIT,LIM.Non-contactGUImanipulationapproachbasedonmachinelearningandKinect[J].JournalofFrontiersofComputerScienceandTechnology,2014,8(2):171-178.ZHAOD.3DDisplayTechnologyUsedinEducation[D].ShaanxiNormalUniversity,2011:11-51.⑸刘璞，正交偏振3D显示系统的研究[D].四川成都：电子科技大学,2009.