AR增强现实的技术实现及案例全解

-

89

--

91

-AR图片来源：AUTONET-

92

-ARAR其实一直在我们的生活中

购物比价软件；

点读笔；

谷歌的对译；

语音翻译软件APP；

导航软件APP；

旅游景区介绍景点的APP；-

93

-ARAR有两类，一类是不融合现实，只从旁提示信息用，像GoogleGlass，一类是与现实融合，而融合方式又分两种，一种是透明AR〔opticalsee-through)：透过镜片直接看到现实世界；另一种是视频叠加AR〔videosee-through或videooverlay〕：通过摄像头捕捉前方现实世界，以视频加其它增强信息共同呈现给用户。AR可以看成VR的超集，镜片前面一遮就成了VR，不过目前AR的FOV还是太小了，反过来，VR加个前置摄像头也可实现视频叠加型AR，现在和平板上已经出现了很多videooverlay的APP，比方上海的小熊尼奥〔15年获纪源资本GGVCapital领投、高通等跟投的1.2亿人民币〕。两种融合AR遭遇的挑战都是刷新延迟，视频叠加AR相比透明AR，优势在于算法简单、劣势在于多为2D视频，如果是3D沉浸式的，延迟问题更大。视频叠加AR的两大底层引擎，德国Metaio于15年5月22日被苹果收购后暂停对外服务，Vuforia于随后的10月12日被高通卖给了物联网公司PTC还对外效劳，其它引擎还有法国TOTAL

IMMERSION的D‘Fusion、国内的Realmax、亮风台HiScene等。图片来源：小熊尼奥?口袋动物园?-

94

-AR·?Sight?〔以色列2021〕导演兼编剧：丹尼尔拉索-

95

-Google

Glass谷歌眼镜最初在2021年4月5日发布，13年10月30日又发布了第二代，加了微型耳塞〔前代骨传感耳机在嘈杂背景下听不清〕，并对小型近视眼镜架做了适配处理，14年4月15日正式限量以1500美元出售，7月正式开放直播功能。GoogleGlass可抬头唤醒或者“OKglass〞语音唤醒、摘除锁屏，可手势L型比划或眨眼拍照、可录像分享、收发短信、上网、处理电邮、查询天气路况等，只是应用市场Glassware中的APP不到50款，均免费。-

96

-Google

Glass图片来源：谢煜，知乎-

97

-Google

Glass-

98

-Google

Glass谷歌眼镜应用：Emotient通过表情分析情绪，虽然有认为GoogleGlass的应用场景太少，但类似Emotient这样的系统在商业营销分析中还是很有帮助。第三方Emotient2021年3月7日推出了一体验款全新应用，可以利用谷歌眼镜分析其他人的心理感受。Emotient起源于加州大学的“机器感知实验室〞(MachinePerceptionLab)，它能分辨出类似于喜悦、愤怒、悲伤、惊讶等等基础表情，以及焦虑、沮丧等复杂表情，普通网络摄像头就能支持分析。这家公司已经于2021年1月8日被苹果收购。-

99

-Google

Glass·谷歌眼镜的工作被分配至托尼法戴尔(TonyFadell)领导的消费类硬件部门〔Nest〕智能家居，Tony是iPod之父。2021年5月原Glass工程负责人AdrianWong投奔OculusVR，由曾在博士伦担任高管负责太阳镜OutlookEyewear设计推广的营销人才IvyRoss接任。眼镜研究并未停止，未来可能更关注用户需求，新款GoogleGlass可能不久就会面世，15年6月Google又公开招聘Glass工程高级生-

100

-微软HOLOLENS微软HoloLens于北京时间2021年1月22日凌晨与Window10同时发布，迅速赢得舆论关注，6月15日微软在E3游戏展上展示更完整的现实增强版?Minecraft?游戏。HoloLens利用3D投射，在现实场景之上叠加一层立体的虚拟展示界面，通过手势、语音、蓝牙点击配件Clicker交互，支持眼球追踪，可以在墙上获取消息、“Becausewhenyouchangethewayyouseetheworld,youcanchangetheworldyousee.〞Hololens不认为自己是AR，而认为自己是MR〔MixReality〕-

101

-微软HOLOLENS微软Hololens工程由前Xbox孵化工程总经理、被誉为Kinect之父的AlexKipman负责，他是巴西裔，2001年参加微软后成为100多项专利的第一创造者，被誉为美国高科技行业25位最具创新人才之一。酷产品Kinect是微软在2021年6月2日E3大展上发布的Xbox360的体感外设，2021年6月14日更现名，11月4日在北美正式出售。它是一种3D体感摄影机，可即时动态捕捉、影像辨识、语音辨识、社群互动。2021年5月28日的XboxOne发布会上，微软展示了第二代Kinect，11月22日正式出售，捆绑销售。-

102

-微软HOLOLENS做到飞秒级的快门，据说他们在芯片中用到砷化镓，使其时钟频率提高到上百G，但这样做本钱太高。两代Kinect都是两个传感器，一个是红外传感器，主要用来监视人体的动作、深度和温度，另一个那么是用来识别颜色的RGB摄像头，两代都有人脸检测，3维重建等功能。Kinect一代，彩色摄像头为640*480，深度摄像头为320*240，只能识别两个人的骨骼数据；K二代，彩色为1080P，深度摄像头为512*424，能识别六个人的骨骼、手指的灵活运动，甚至能监控用户的脉搏，识别稳定精度更高。一代二代微软HOLOLENSKinect上市之初微软5亿美元营销，邀请美国脱口秀女王OprahWinfrey在节目中说“Youarethecontroller〞标语，赢巨大关注。消费者可以150美元单买Kinect1，或以299美元同时购置Xbox360和Kinect1，销售一度良好。但是，Kinect叫好不叫座，2021年停产！XboxOne上市后与Kinect2捆绑499美元销售，问题是一直配套游戏多属家庭娱乐与健身，并且体感游戏对客厅空间有要求，缺重型游戏。难敌399美元的索尼PS4，销售比拉开到1:3，微软只得于2021年6月9日放开捆绑销售，可以399美元购置XboxOne，主机销售虽稍稍追回，因为价钱低了，且没有了Kinect的资源占用，图像性能提升了10%，而Kinect那么慢慢滑向深渊。微软为了扩大应用，还曾于2021年2月推出第一代KinectforWindows，售价为249美元，2021年7月推出第二代KinectforWindows，售价为199美元，不过，最后到2021年4月初宣布停产。Kinect家族累计卖出2900万部。Kinect团队转战Hololens，是新生，还是会重蹈覆辙？ -103--

104

-微软HOLOLENSHoloLens是一款基于深度摄像头，高性能处理器和双屏幕显示的头戴式计算机设备，可以独立使用，支持WiFi和蓝牙，内置CPU、GPU和一颗首创的HPU全息处理器，具备立体音效系统以及一整套传感器实现各种功能。不过Hololens不像GoogleGlass那样在室外用，而是设定为室内用，防止了GoogleGlass的隐私争议，我们认为一是室内光线较暗、利于其展现，二是Hololens室内预建模的需要。图片来源：Imgur，作者不详微软HOLOLENS资料来源：聂崇岭，36氪；徐浩，知乎

-

105

--

106

-微软HOLOLENS蓝光栅置于一个波导内部，绿色置于另一波导内部，微软应该是全部独立了。〔资料来源：中科院长春光学所曾飞〕微投光栅1光栅2-

107

-微软HOLOLENS微软在13年底1.5亿美元向军工企业ODG收购了几十项智能眼镜方面的专利，应该有所凭借，而ODG自己还在做眼镜，针对2B市场15年6月预售一款R-7的眼镜，16年二季度开始发货，售价2750美元，重约125g，效果相当于在房间里看65寸电视。资料来源：刻度网-

108

-微软HOLOLENS微软2021年1月对少数媒体开放的原型机体验，到达震撼效果，虽然是线路板裸露的很大很沉重的产品，但性能上比Kinect要强大，能耗要相对较低，其左右各二的深度摄像头的视角到达120x120度，投影也是全视野。不过，5月Build大会开放体验的开发者版反而tradeoff成40度的视窗，就像在两英尺外观看15英寸的显示屏，被舆论一顿痛扁！公司称，因为制造全息投影所需要的玻璃十分复杂，视野越宽、玻璃越大，废品率会提升不少，本钱显著提高，另外电量也跟不上。该窄版在一般情况下续航最高可达5.5小时，但重度玩家可能撑不到2.5小时。微软HOLOLENS200万像素照片，720P视频；电池：2-3小时活泼使用电池寿命，2周待机时间，被动冷却；OS：Win10。 -109--

110

-微软HOLOLENSHololens到底有什么用？有人说有了Hololens就不用买电视了，甚至开玩笑说家里也不用装修了，只要一张沙发床就能入住。目前Hololens的问题包括价格昂贵、室内使用、视野窄。3000美元价格使得只能限于2B业务，如果要2C的话，价格要砍剩一成才适宜。我们认为AR的价格应低于VR，AR不适合像VR一样玩重型游戏，在家中真实环境下打怪、日久会形成精神障碍，AR的作用更多的就是对现实的增强，而非对现实的虚幻。这样AR可以降低性能要求、降低本钱与价格。尽量应做到室外使用，室外对AR有刚需，实时3D建模对室外非2B工程非必需可简化，并可根据外部光线强弱自动调节亮度。窄视场、沉浸感差的问题可以将就，把它当做双目版GoogleGlass就好了，至少不会有“GG眼〞〔右图〕。耗电量：计算视觉、SLAM，以及反向3D建模，都很消耗计算量，需要简化。总之我们认为，目前可以将就Hololens的窄视场版本，但价格最好在300美元以内。宽视场版本要出来估计没有三年、五年不行，电池、镜片材料并不遵循摩尔定律。-

111

-GoogleGlass可能之还击当然，谷歌也不是吃素的，谷歌3D建模神器ProjectTango2021年2月从GoogleX毕业，谷歌还成功为该工程研发出一款Android原型机，配备了一系列摄像头、传感器和芯片，它能在你走动时，自动扫描四周绘制出周围世界的3D模型，每秒进行1500万次3D测量。工程其实是摩托罗拉移动此前的研发团队负责，工程负责人JonnyLee曾在微软的Kinect工程工作，2021年参加Google。谷歌也是内嵌Kinect使用的PrimeSense深度处理芯片，矢量处理器使用硅谷创业公司Movidius的芯片，后者已经发布了核数量从8个增加到12个的“Myriad2〞。Magic

Leap的游戏，微软透露?RoboRaid?由一支8人团体用了短短12个星期就开发出来了，以显示其开发环境之友好

。MagicLeap宣传语：Yournewwaytobringmagicbackintotheworld.MagicLeap也不认为自己是AR，而认为自己是CR〔CinematicReality〕电影级现实。 -112--

113

-Magic

Leap-

114

-Magic

Leap··桑达尔皮查伊〔1972-〕，印度裔，2021年8月就任谷歌CEO-

116

-

创始人Rony

Abovitz觉工具库)，他还是Stanford参谋教授〔可惜此人于16年5月正与公司互诉公堂〕，码宝典?、?巴洛克记?等经典科幻小说的作者。Magic

LeapMagicLeap产品原理分为四个步骤：1、数字光场拍摄〔光场相机〕；2、3D信息感知-SLAM-3D场景识别-3D反向建模-实时CG图像渲染；3、光场显示；4、交互。第2步在微软Hololens中做过介绍，MagicLeap露了一手，初始的校准、传统方法是对着国际象棋棋盘反复校准，他们对着一个特制奇形怪状物体一次快速校准；第4步前文介绍较多，MagicLeap开发了手套，申请了一些手势指令的专利。MagicLeap光场显示想到达的效果：1、从眼镜中看出去无法辨真假，因为所见都是从真实光场中采集的光线集，传统显示没有保存光线方向信息，屏幕是漫反射的，从屏幕上某一点发出的所有射线都是相同颜色的，而光场显示要求从同一点出发的不同射线具有不同的颜色；2、眼睛长时间不疲劳，因为光场信息完整、人眼想看哪里、哪里就能自动对焦，而不是屏显3D、眼睛始终聚焦屏幕上。公司称，他们开发了一种全新的光场芯片，并将在佛罗里达用废弃的摩托罗拉工厂做生产。 资料来源：顾险峰 -117--

118

-Magic

Leap资料来源：顾险峰-

119

-Magic

Leap光场相机〔Camera3.0，1代是胶片相机，2代是数码相机〕代表产品Lytro可先拍照、后取焦，2006年斯坦福毕业的吴义仁(Yi-RenNg，马来西亚裔，1979年9月21日－)创办，博士论文终孵化出2021年2月第一代产品，价格399.99美元〔后折价到139.99美元〕，玩具型产品，2021年7月第二代Illum，价格1599美元，有点专业派头。二代4000万像素光场解析度〔40-megaray光场感应器〕，一代为1100万像素。镜头与传感器中间有9万颗微镜头阵列，记录的全部光场原始信息包含大量不同方向的光信号叠加在一起，Ng利用傅立叶变换把不同的信号分解开，再根据使用者的需要重新组合，名为“傅立叶切片摄影〞的后期处理方式合成出聚焦于任意一点的照片。吴义仁与Lytro第一代产品Magic

Leap不过也要先解决光场信息压缩问题，目前已有MIT的Tesseract等研究压缩感知，类似于唱片-WAV-MP3等有损压缩-FLAC等无损压缩。且等着！

-

120

-Lytro第二代Illum-

121

-Magic

LeapMagicLeapMagicLeap光场呈像方式采用光纤投影显示(Fiberopticprojector)，负责人BrianSchowengerdt，导师是华盛顿大学EricSeibel教授，导师团队研究内窥镜数十载，Brian的想法很聪明，把过程倒过来可以做成一个高分辨率的投影仪，他早在2004年就发了相关论文，2021年曾公开展示一种直径1毫米、基于光纤扫描的内窥镜，原理是微电脑通过基于微机电系统MEMS的驱动器Actuator，精确控制超细光纤末端，在1毫米直径的管子中高速旋转，由小变大画同心圆来完成扫描，1mm宽9mm长的光纤能投射几寸大的高清蝴蝶图像，有人发现它现在已经在为美国国防部研制分辨率到达4K级别的光纤扫描显示设备。视频链接：://t/RqOntaZ

资料来源：聂崇岭，36氪；胡伯涛，知乎

-

122

--

123

-Magic

Leap光场显示主要是两种方法：空间复用〔spacemultiplexing〕和时间复用〔timemultiplexing〕。有研究说明用6个聚焦距离加上一种线性混合〔linearblending〕的渲染算法就根本能实现从约30厘米到无穷远让人眼自然对焦。“空间复用〞用一根光线实现不同聚焦距离，Nvidia做的原型属于这种，MagicLeap公布的专利也是这种，因为光纤输出的只是2D画面，要复原光场，MagicLeap在光纤外端放上一个弯曲微镜阵列，镜面受光线方向2维数字信号控制磁场来快速调整，每个小单元反射光纤2D光的一局部来生成3D空间中一个特定点的光场，最大问题是分辨率大打折扣； “时间复用〞就是用高速原件快速产 生不同的聚焦距离，这样分辨率不损 失。此外用光纤束的位置差来得到不 同聚焦距离效率更高，光纤