2020年3D深度相机助力智能人机交互进入新时代-即将迎来快速发展-后置前景广阔图

1、2020年3D深度相机助力智能人机交互进入新时代_即将迎来快速发展_后置前景广阔图 一、3D深度相机助力智能人机交互进入新时代 在科技与需求的双轮驱动下，人机交互从鼠标、多点触控，发展到了今天的体感技术。每一次交互的变革，都会带来新的突破和体验。DOS系统+键盘形成一维人机交互；Windows+鼠标形成了PC二维人机交互；触摸屏和摄像头形成了智能手机二维人机交互；体感游戏机、手机3D成像技术实现三维人机交互。利用体感技术，人们可以直接使用肢体动作与手机、电脑等设备进行互动，无需使用鼠标、键盘、触控屏等任何控制设备，即可以达到自然舒适的用户体验。体感交互将取代鼠标、触屏，成为智能设备人机交互的未

2、来方向。 3D深度相机指的是可以测量物体到相机距离（深度）的相机。这类相机不仅可以拍摄到场景的二维图像，而且能获取物体之间的位置关系，再经过进一步深化处理，还能完成三维建模等应用。体感交互技术经历了三个阶段1早期的智能设备交互采用手柄方式，如任天堂的WiiRemote和索尼PSMove等；22010年起，红外体感摄像头开始被使用在微软Kinect、英特尔RealSense等设备；32015年微软又将头戴VR与3D深度感知结合，推出颠覆性创新产品Hololens全息头盔。数据来源：公开资料整理 但是传统的人机交互是在2D平面图像的基础上进行处理的，普通摄像头只能实现影像的记录和平面图像的采集，分

3、析算法难度大，功能十分有限；而3D成像技术，利用光学摄像头和红外深度传感器确定人体空间位置。1）普通光学摄像头，实现人体的二维捕捉；2）红外深度传感器，通过发出或接收红外光来确定深度信息；二者结合即可获得人体的三维空间位置。 随着硬件端技术的不断进步，算法与软件层面的不断优化，3D深度视觉的精度和实用性得到大幅提升。基于3D视觉的手势/人脸识别将对现有的消费电子产品产生颠覆性的变化，在大型设备（如智能电脑、智能电视等）中得到了广泛应用（体育类游戏、虚拟乐器弹奏、3D雕塑、机器人控制等），掀起了体感技术的热潮。 二、深度3D相机具有立体视觉，迎来快速发展 2020年3月18日苹果发布了新的iPa

4、dPro，搭载3DdToF技术（苹果称为LiDAR），在纳秒的极短时间内测量室内或室外环境中从最远五米处反射回来的光子。LiDAR与Pro级摄像头、运动传感器和iPadOS内的架构协同合作，硬件、软件与突破性创新技术的结合，为AR增强现实及更广泛的领域开启无尽可能。 苹果新iPadPro配备了大量增强现实类功能，真实感强烈：能即时完成放置虚拟物体，具有逼真的物体遮挡效果，可让虚拟物体在现实场景结构中前后穿插。动作捕捉和人物遮挡效果也经过优化，精准度更高。新款iPadPro还能实现身高测量、AR游戏、AR装修、丰富视频动画等。媒体报道，即将在今年9月发布的iPhone12系列手机也有望采用3DT

5、OF技术。相比此前安卓手机厂商采用的3DiToF技术，苹果采用的3DdToF技术响应快、功耗低、功能完善。此外，当前只有较少的应用app支持ToF技术，苹果的采用有望加速ToF生态的建设，让ToF的渗透率快速提升。数据来源：公开资料整理oF深度相机主要包含以下几个组件：方案厂商处于ToF产业链的核心位置，设计方案、算法和选择主要零部件，通常也同时设计ToFsensor。发射端通常由VCSEL激光器及光学器件组成。接收端包括ToFsensor、滤光片和镜片。ToFsensor收集反射回来的经过红外滤光片过滤的红外光，测量光线从发射单元到每个像素点的时间，同时记录被拍物体的2D黑白图像。滤光片仅允

6、许发射端相应波长的红外光通过，过滤掉其它波长的光学干扰。模组组装将ToFsensor、VCSEL激光器、光学元器件等集成为一个完整的模块。数据来源：公开资料整理 相机创新是消费者购买手机最大动力之一。相机创新是消费者选购手机的主要考虑因素之一。根据中关村在线2019Q1发布的报告，在处理器、相机、屏幕、游戏体验等诸多方面，相机功能是消费者最为关注和看重的，占据29%的关注度，同比提升5%。大大高于第二名处理器的17%。各个手机厂商都极为重视相机的创新。数据来源：公开资料整理 3D深度相机成为下一阶段相机创新的重点方向之一。从2000年夏普首次将相机和手机相结合以后，手机相机的创新一直以惊人的速

7、度在前进，主要可分为以下4个阶段：1）相机和手机相结合，手机具备照相功能，此后相机模组尺寸不断减小，像素不断提高；2）前置摄像头添加，像素不断提高，自拍功能不断完善；3）双摄和三摄突破单相机瓶颈，夜视暗拍、大光圈、潜望式、超广角功能不断提升相机性能；4）3D深度相机带来立体视觉，增加了脸部解锁、支付、测距等功能。苹果在2017年开创了前置3D深度相机的先例，各大手机厂商不断尝试后置3D相机的应用，苹果新款iPadPro正加速后置3D相机的推进。 HYPERLINK /research/202003/844695.html 智研咨询发布的2020-2026年中国虚拟现实(VR)和增强现实(AR)

8、 行业市场分析预测及投资前景分析报告显示：全球5G和AI商用时代已经开启，3D深度相机作为AR的基础，有望迎来快速渗透。5G时代，宽带增强和实时通信等特点有助于AR/VR走向云端，能降低设备的要求，同时AI算法和硬件的成熟，将会进一步助推内容的完善。TOF能提供3D拍照、3D识别和3D建模等功能，是AR的基础。全球AR/VR支出规模在2019年达到168亿美元，在2023年将达到1600亿美元，AR/VR支出规模在2019到2023年间复合年增长率（CAGR）将达78%。预测中国市场AR/VR支出规模增长更快，2023年，中国AR/VR市场支出规模将达到652.1亿美元，较2019年的预测（6

9、5.3亿美元）有显著增长。2018-2023年CAGR将达到85%。ToF有望享受AR成长带来的红利。数据来源：公开资料整理数据来源：公开资料整理 2018年3D传感技术市场规模为37.43亿美元，预测2023年为186.14亿美元，CAGR为38%。其中增长最快的属于消费电子，主要归功于几大手机厂商的应用。消费电子领域，2018年市场规模为18.1亿美元，预计2023年为137.7亿美元，CAGR超过50%。数据来源：公开资料整理 三、3DToF技术优势突出，后置前景广阔 深度3D传感技术根据工作原理可以分为三种：RGB双目、TOF和结构光。RGB双目技术算法要求高，并容易受光线影响，在较暗

10、或者高度曝光的情况下效果都非常差，因此很少被采用。目前应用比较多的是TOF和结构光。 TOF（timeofflight）技术工作原理是通过泛光照明器（固态激光器或者LED）发射近红外（850nm或940nm）的脉冲波，脉冲波遇到物体以后反射回来，被传感器（sensor）收集到。系统通过计算sensor上每个像素脉冲波之间的频率差或时间差，再通过算法得到每个位置的精确3维深度。结构光技术的基本原理是，通过近红外激光器，将具有一定结构特征的光线投射到被拍摄物体上，再由专门的红外摄像头进行采集。这种具备一定结构的光线，会因被摄物体的不同深度区域，而采集不同的图像相位信息，然后通过运算单元将这种结构的

11、变化换算成深度信息，以此来获得三维结构。简单来说就是，通过光学手段获取被拍摄物体的三维结构，再将获取到的信息进行更深入的应用。 TOF传感技术测距范围可调节，具有更远的探测能力。TOF传感技术通过计算红外光的飞行时间来计算物体的深度信息，误差主要来自装置的系统误差，误差较为恒定。而结构光的精度取决于反射光，在近距离误差较小，但是随着距离的增加，误差呈现指数增加。TOF测量距离可以调节，只要改变光学强度、光学视角、发射器脉冲频率，适合远距离体感识别，例如身体动作、手势等，也适合导航、监控、移动机器人等应用场景，潜在应用场景广阔数据来源：公开资料整理 TOF传感技术对算法要求低、响应更快、支持更高

12、帧率。结构光因为需要对编码的结构光进行解码，所以复杂度要比直接测距的TOF高一些。TOF不需要后续处理，因此可以避免延迟，同时对算法要求更低。另外，TOF方案可以达到非常高的帧率，支持上百fps。结构光方案帧率会低一些，典型的是30fps。如：MelexisMLX75023的TOF传感器支持135fps。汽车辅助驾驶要求快速响应、远距离探测，3DTOF传感技术具备以上特点，因而也更适合汽车辅助驾驶，例如Melexis的MLX75027采用3DTOF技术对车内人员和物品进行监控，并具有手势检测功能。TOF结构简单、模组尺寸更小，材料成本更低。在红外发射端，TOF基本不需要使用光学棱镜，而结构光需

13、要形成特定的光学图案，因此需要添加DOE（衍射光栅）和lens（光学棱镜）。因此TOF的模组尺寸更小，材料成本也更低。结构光的BOM成本大约20美元，而ToF约为15美元，中低端ToF甚至在10美元以下,ToF更具成本优势。TOF技术优势更明显比较3DTOF结构光软件复杂程度相对较低相对较高材料成本相对较低相对较高响应成本快慢精确度在较长的空间距离保持恒定短距离相对较高（1m范围）低光下性能好好强光下性能好相对较差能耗可调节相对适中模组大小小相对较大范围可调节中等数据来源：公开资料整理 2017年苹果发布的iPhoneX采用结构光FaceID用于人脸识别，开启了3D深度相机在手机的应用先例，在

14、随后的iPhoneXS和iPhone11系列手机中延续了这一设计，但是结构光技术占用较大屏幕正面区域，且应用场景较少，该项技术一直未获得其他厂商的采用。新款iPadPro的dToF发射的点光源密度远低于iPhone前置的结构光，也说明了两个技术的不同用途。ToF技术更适用于远距离识别场景，如：智能手机后置摄像头、VR/AR手势交互、汽车电子ADAS、安防监控以及新零售等等领域。未来随着技术的进一步成熟、生态逐步完善，TOF产业有望进一步提升。 3DToF技术在2018年就被VIVO、OPPO、荣耀的部分旗舰机所采用，随后LG、华为、三星高端旗舰机接连加入。TOF相机应用于少数安卓旗舰机型厂商发

15、布时间型号ToFSensorOPPO2018.8R17Pro索尼IMX316华为2018.12荣耀V20索尼IMX316VIVO2018.12NEX双屏松下、ADI三星2019.2GalaxS105G-华为2019.3P30Pro索尼IMX316三星2019.8Note10+索尼IMX516华为2019.9Mate30Pro前置索尼IMX516，后置索尼IMX316三星2020.2S20Ultra索尼IMX516华为2020.2MateXs索尼Apple2020.3iPadPro索尼，估计为订制芯片华为2020.4P40Pro索尼数据来源：公开资料整理 目前OPPO、荣耀、华为和三星的TOF深

16、度传感器大都是索尼的IMX316芯片。IMX316传感器尺寸为1/6英寸，有效像素仅为4.32万。 军事和无人驾驶汽车上用的工业级激光雷达（LiDAR）也采用到了ToF技术，利用激光束来探测目标的位置、速度等特征量，结合了激光、全球定位系统GPS和惯性测量装置（InertialMeasurementUnit,IMU）三者的作用，进行逐点扫描来获取整个探测物体的深度信息。 而从全球领先的高性能模拟技术巨头ADI近日在台北举行的智慧物联应用方案巡展上的展示可窥，目前随着各大应用市场对ToF深度视觉技术需求的日益增长，外加越来越多的国内外半导体大厂们持续的“推波助澜”，ToF产业及应用市场有望开启新

17、一轮的加速发展。以现阶段体量最大的智能手机与汽车电子两个领域来看，产品存量的持续扩大带来微创新模式的加速渗透，对深度摄像技术的强烈需求加之智能手机交互方式的不断变化正促进全球ToF市场快速扩张；而汽车电子领域以ADAS渗透率不断提高为代表的汽车智能化趋势也正加速演进，作为激光雷达、智能摄像头等深度测距传感器领域最主流的方案，ToF市场正持续受益。 四、苹果3DdToF加速ToF成熟 苹果iPadPro搭载3DdToF技术，相比其他厂商采用的3DiToF技术具有诸多优势，有望加速ToF应用的成熟。ToF技术根据发射光的调制形式，分为直接飞行时间测量（Direct-TOF，即dToF）和间接飞行时

18、间测量(Indirect-TOF，即iToF)，直接飞行时间测量采用脉冲调制，而间接飞行时间测量采用连续波调制。 dToF技术要求更高，测量精度更高。dTOF需要采用高精密时钟进行测量且需要产生短时间、高频率、高强度的激光，对硬件的要求较高。其优点也比较显著，省电、成像速度高，由于发射端能量较高，所以一定程度上降低了背景光的干扰，探测更远的距离。数据来源：公开资料整理ToF与iToF技术对比dToFiToF照射光源照射光源一般采用方波脉冲调制，发射的是离散激光脉冲通常采用的是正弦波调制，可以发射低频光（红外）技术难点要求高精密时钟和高强度激光器时间测量精度要求较高-优点1）测量方法简单，响应较

19、快，成像速度高2）由于发射端能量较高，所以一定程度上降低了背景光的干扰1）对硬件要求比较低2）相位偏移相对于脉冲调试法消除了由于测量器件或者环境光引起的固定偏差3）可根据接收信号的振幅和强度偏移来间接的估算测量结果的精确程度缺点环境散射光对测量结果有一定影响需要多次采样积分，测量时间较长，测量运动物体时可能会产生运动模糊数据来源：公开资料整理 当前，ST和AMS的1DToF基本采用dToF技术，而安卓厂商的3DToF全部采用iToF技术。 2020年3月13日消息，2020年至少有一款iPhone会在背后安装三维深度摄像头，用以提升手机照片和视频效果，还能提供更好的增强现实（AR）效果。 据称

20、，iPhone的工程师们已经花了至少两年的时间分析后置三维深度相机，就目前而言，它还在设计中，不考虑新冠肺炎的影响，有望在今年秋天首次看到它。Lumentum是为苹果提供前置摄像头的FaceID功能的供应商，但该公司表示，还没有和苹果探讨在未发布设备中使用其三维视觉技术。 去年发布的iPhone11Pro和iPhone11ProMax有三个摄像头，可以为拍摄场景的宽度提供更多选择，而三维相机系统将增加深度信息。现在，iPhone的主要深度效果是竖屏模式，可以有背景虚化效果。在增加了深度相机后，背景虚化效果会更加真实。在编辑模式下，可以调整照片中的不同图层，改变哪些图层聚焦哪些模糊。 深度相机系

21、统背后的核心技术是后置垂直腔面发射激光器（VCSEL），该激光器以恒定的速率发出光波，然后测量每次反射从环境中物体反弹回传感器的时间。从手机附近的物体返回的光具有较短的“飞行时间”，而从较远的物体返回的光具有较长的飞行时间。 深度相机可能会对AR应用的质量产生最大的影响。Lumentum公司的三维传感副总裁AndreWong说：“当你使用没有深度信息的AR应用时，它常会出现一些小故障，效果总是欠一些。现在苹果ARKit框架和谷歌的ARCore都已经上市一段时间了，你会看到新的AR应用程序出现，它们在空间中呈现对象的方式更加精确。” 据9to5Mac的BenjaminMayo报道，苹果公司目前正

22、在为iOS14系统开发一款AR应用，用户可以将iPhone对准苹果商店和星巴克的商品，从而在手机屏幕上看到商品的更多信息，以AR叠层形式显现。 在苹果之前，已经有多家手机在后摄上用了三维视觉，比如三星GalaxyNote10+、GalaxyS20+和GalaxyS20Ultra。但苹果可能能会找到一些更新颖的方式来提升用户体验，并且更擅长包装营销。 后置三维传感技术能否对今年的第一代5GiPhone产生的影响，人们持怀疑态度。但可以预测的是，照片效果优化可能会比AR功能得到更多的关注。AR开发者不仅需要掌握更好的技术，还需要创造消费者喜欢并经常使用的体验，让AR需求足够“硬”。 手机作为观看A

23、R的载体还是有很大限制，但这种情况可能不会持续太久。这是硅谷最不为人知的秘密之一，苹果正在研发一款AR耳机或眼镜，从长远来看，它可能会成为苹果公司主要的空间计算设备。 五、AR生态逐步完善，促进ToF共成长 AR是未来最重要的一大科技创新，全球科技巨头都积极参与，包括苹果、谷歌、微软、华为、亚马逊等。早在2012年，谷歌就曾发布拓展现实的GoogleGlass产品，微软在2015年发布了HoloLens全息头盔，但是由于硬件技术不成熟和生态不完善，AR市场一直不温不火。 科技巨头深度布局完善AR生态，有望打开AR消费级市场。从苹果的ARSDK（软件开发工具包）ARKit到安卓的ARSDKARC

24、ore，再到2019年华为推出的cyberverse数字平台，这些平台极大地降低了应用软件的开发难度，推动AR生态发展，带动应用场景的繁荣，从而打开AR的消费级市场。 苹果于2017年WWDC大会上首次发布了基于iOS版本的ARKit。初代ARKit可实现稳定快速的运动定位、平面和边界的估计、光照估计和尺度估计，并且支持各个开发平台或引擎。此后苹果在每年的WWDC大会上更新ARKit版本。在2018年的ARKit2版本中，增加了、环境纹理、图像跟踪和物体检测等功能，提升后的ARKit2可对真实场景中的2D图像和3D物体进行跟踪，渲染更逼真的增强现实场景。2019年发布的ARKit3增加了对人物

25、遮挡、动作捕捉、多面部追踪、同时使用前后摄像头等功能的支持。基于iOS的ARKit应该场景逐步丰富ARKit版本新增功能ARKit1稳定快速的运动定位；平面和边界的估计；光照估计；尺度估计；支持各个开大平台或引擎ARKit2保存与加载地图：用于支持持久化与多用户体验的强大新特性环境纹理：用于更逼真地渲染你的增强现实场景。图像跟踪：对真实场景中的2D图像进行跟踪。物体检测：对真实场景中的3D物体进行跟踪。人脸跟踪的提升ARKit3人物遮挡：理解人与虚拟物体的位置关系。动作捕捉：实时捕捉人的动作。多面部追踪：自拍相机现在可以跟踪多人。同时使用前后摄像头：促进更多元化的AR交互数据来源：公开资料整理

26、 3D视觉交互成为ARKit中重要的应用场景。在ARKit2中，苹果加入了对真实场景中的3D物体进行跟踪，在最新的ARKit3中，更是加入了实时捕捉人的动作、人物遮挡、多元化AR交互等功能。 TOF相机作为最优的3D交互输入端，能大幅提升AR体验感。3D输入能提供3维信息，减少AR的算法难度以及计算量，能显著提升AR体验的精准度和流畅度，另外功耗也会大大降低。具备TOF相机的iPadpro能提供更真实、流畅的AR游戏体验，甚至可以利用AR玩逼真的在线游戏。具备TOF相机的iPadpro能提供学习和工作上的便利，例如进行3D扫描和建模，可以让用户更直观的学习模型，配合其他软件，甚至可以做修改装饰

27、为了促进AndroidAR生态的发展，谷歌在2017年推出了第一款ARSDK：ARCore。ARCore不需要额外的硬件支持，在现有的Android系统上就能实现AR功能；谷歌在2018年2月发布了ARCore1.0版本，使用运动跟踪、环境理解和光照估测三个主要技术来实现AR功能。仅在3个月后谷歌就发布了ARCore1.2，增加了Sceneform、AugmentedImages和CloudAnchors三大功能，并对某些iOS设备提供有限支持。谷歌在2019年2月也更新了ARCore版本至ARCore1.7，引入了AugmentedFaces（脸部增强）API，并发布了用于基本原理学习的AR

28、CoreElements应用程序。 基于Android的ARCore应用场景逐步丰富，3D应用成为新亮点ARCore版本新增功能ARCore1.0运动跟踪：理解和跟踪它相对于现实世界的位置。环境理解：检测平坦水平表面（例如地面或咖啡桌）的大小和位置。光照估测：估测环境当前的光照条件ARCore1.2Sceneform：帮助Java开发人员创建场景的新版SDK，更快进行AR开发。AugmentedImages：将AR图像附加到真实世界的对象上，同时以3D方式对它们进行跟踪和移动，并新增垂直平面识别功能。CloudAnchors：允许多个设备云共享对象信息增加对某些iOS设备的有限支持ARCore

29、1.7AugmentedFaces：生成高质量3D人脸网络，为人脸增加特效。加入新动画动作：加入支持Sceneform、安卓3D内容框架的新动画动作。ARCoreElements：帮助开发、设计人员更好地使用AR构建应用数据来源：公开资料整理 3D应用场景成为新ARCore中重要的应用场景之一。ARCore1.2中AugmentedImages部分功能的实现就需要利用以3D方式对它们进行跟踪和移动。在ARCore1.7版本中3D应用场景更加富，此次更新加入了自拍AR滤镜和动画API：AugmentedFaces，以及优化的应用UX。AugmentedFaces支持前置镜头，它可生成一种高质量的3D人脸网格，支持468点追踪，开发者可以在网格上加入有趣的特效，如动画面具、眼镜、虚拟帽子，它还支持皮肤润色。开发者只需要操控网格上的坐标和特定区域的锚状点，就可以加入特效。华为也加入了AR生态的建设。2019华为发布了Cyberverse数字平台。该平台为AR实景地图服务平台，可使用手机进行厘米级定位,Cyberverse是开放平台，其中的AR部分是全面开放的，可以接入Google的ARCore和苹果的ARKit。目前Cyberverse已有开放接口，包括3DMap、数据信息接入