ToF模组工作原理的3D视觉传感方案技术

WordToF模组工作原理的3D视觉传感方案技术

3D视觉传感方案技术介绍

深度传感镜头作为（智能手机）创新模式，苹果在（最新版）iP（ad）Pro上搭载了D-ToF（直接飞行时间法）深度传感镜头，推动了3D视觉在消费场景的应用。

3D视觉（传感技术）是一种深度传感技术，除了对象的X和Y值之外，还可以记录Z值。

3D坐标系主流的3D（光学）视觉方案：双目立体视觉法（StereoVision，在下文称双目法），结构光法（StructuredLight，在下文称结构光）以及飞行时间法(（Ti）meofFlight,ToF在下文称ToF）

2、双目立体视觉法：（te）reoVision

通过三角测量原理来计算图像像素间的位置偏差（视差）来获取物体的三维图像，比如把一只手指放在鼻尖前方，左右眼看到手指会有一个错位的效果，这个位置差被称为视差。相机所要拍摄的物体离相机越近，视差越大，离相机越远，视差就越小。通常采用两个摄像机作为视觉（信号）的采集设备，通过双输入通道图像采集卡与计算机连接，把摄像机采集到的（模拟）信号经过采样、滤波、强化、模数转换，最终向计算机提供图像数据。

极线约束

极线校正

双目立体匹配原理及应用

上世纪的60年代中期。美国MIT的LawrenceRoberts通过从数字图像中提取立方体、楔形体和棱柱体等简单规则多面体的三维结构，并对物体的形状和空间关系进行描述，把过去的简单二维图像分析推广到了复杂的三维场景，标志着立体视觉技术的诞生。随着研究的深入，研究的范围从边缘、角点等特征的提取，线条、平面、曲面等几何要素的分析，直到对图像明暗、纹理、运动和成像几何等进行分析，并建立起各种数据结构和推理规则。特别是在1982年，DavidMarr首次将图像处理、心理物理学、神经生理学和临床精神病学的研究成果从信息处理的角度进行概括，创立了视觉计算理论框架。这一基本理论对立体视觉技术的发展产生了极大的推动作用，在这一领域已形成了从图像的获取到最终的三维场景可视表面重构的完整体系，使得立体视觉已成为（计算机视觉）中一个非常重要的分支。

完整的双目立体视觉系统通常可分为数字图像采集、相机标定、图像预处理与特征提取、图像校正、立体匹配、三维重建六大部分。双目立体成像法具有高3D成像分辨率、高精度、高抗强光干扰等优势，而且可以保持低成本。但是需要通过大量的（CPU）/（ASIC）演算取得它的深度和幅度信息其（算法）极为复杂较难实现，同时该技术易受环境因素干扰，对环境光照强度比较敏感，且比较依赖图像本身的特征，因而拍摄暗光场景时表现差。

3、结构光法（StructuredLight）

近（红外）激光器，将具有已知的结构特征（比如离散光斑、条纹光、编码结构光等）的光线投射到被拍摄物体上，再由专门的红外摄像头进行采集三维物体物理表面成像的畸变情况，再通过观测图案与原始图案之前发生的形变由此来得到图案上的各个像素的视差。这个技术通过光学手段获取被拍摄物体的三维结构，再将获取到的信息进行更深入的应用。其（工作原理）可看作是另一种双目法，红外激光器和红外摄像头可当做是双目立体视觉法中的左右双目的观测原理。

微软与以色列3D感测公司PrimeSense合作发布了搭载结构光模组的体感设备Kinect一代，2021年11月上市后，该产品成为2021年销售最快的（消费电子）设备。尽管产品大获成功，但第一代Kinect的准确度、图像分辨率和响应速度并不理想。2021年苹果发布（iPhone）X，首次搭载3D结构光模组，可实现3D人脸识别技术，成为苹果近几年最大的创新。主要结构光方案厂商还有美国的（英特尔）、（高通）/Himax，以色列MantisVision以及国内华为、奥比中光等公司。

结构光的红外激光器发射出了光，可以照亮被扫描物体，所以它不需要像双目结构一样依赖于光源，而且在较平整，没有图案的物体表面也可以测算出物体的三维深度

4飞行时间法介绍(TimeofFlight)

飞行时间，通过给目标连续发送光脉冲，然后用（传感器）接收从物体返回的光，通过探测这些发射和接收光脉冲的飞行（往返）时间来得到目标物距离。传感器通过计算光线发射和反射时间差或相位差，来换算被拍摄景物的距离，以产生深度信息，此外再结合传统的相机拍摄，就能将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现出来。

2021年7月，衍生自CSEM(瑞士（电子）与微技术中心)的MESAImaging公司成立，并推出商用ToF摄像头产品系列SwissRanger，最开始应用于汽车的被动安全（检测）。ToF技术首次应用到（智能）（手机）是在2021年，Google和联想合作推出了全球首个搭载ToF模组的智能手机Phab2Pro，采用的是pmd/（英飞凌）的ToF方案，该手机可实现一些如三维测量等简易的AR应用，但并没有引起市场较大的反响。2021年8月6日,OPPO在北京召开了ToF技术沟通会,并在8月23日发布了其首部搭载ToF摄像头的智能手机OPPOR17Pro,采用了Sony的解决方案。随后在2021年12月，vivo发布了其首部搭载ToF摄像头的智能手机vivoNEX双屏版，采用了（松下）的解决方案;华为发布了其首部搭载ToF摄像头模组的智能手机荣耀V20,采用的是OPPOR17Pro相同的ToF方案。进入2021年后，安卓厂商纷纷加入ToF镜头的阵营。

它包含几个构建块:(a)脉冲/调制光源（在ToF中一般使用VCSEL，请见下文解释）(b)光学扩散片将光扩散传播出去,接着当光从物体上反射回来时，用(c)一组透镜收集从物体上折射回来的光。接着经过一个滤光片将折射回来的光收集起来并且适当地调整光源的波长，接着通过改善背景噪声抑制令光波可被（芯片）所识别。最后,测量系统的核心是由固态量程图像传感器(d)，由一组光探测器（像素）组成，能够直接或间接地测量光脉冲从光源到目标并返回传感器所需的飞行时间。该系统还需要一个合适的传感器接口，为传感器提供（电源）、所需的偏置电压/（电流）信号、数字控制相位，并从传感器读取数据流，这通常需要进一步的小处理以获得3D体积数据。最后，传感器接口负责与外部（到PC或处理单元）的（通信）。

ToF技术具有以下的优点：1、软件复杂性低，设计与应用简单2、在暗光与强光环境下表现不错3、功耗不高4、有较远的探测距离5、成本低6、响应速度快，缺点则在于室外受自然光红外线影响大、远距离无法保证精度。

D-ToF在经典的飞行时间测量中，直接飞行时间（DirectToF，D-ToF，下文称为D-ToF）的原理比较直接，即直接发射一个光脉冲，之后测量反射光脉冲和发射光脉冲之间的时间间隔，就可以得到光的飞行时间。探测器系统在发射光脉冲产生的同时启动一个高精度的秒表。当探测到目标发出的光回波时，秒表停止并直接存储往返时间。目标距离z可通过以下简单方程估算：

其中

表示光在空气中传播的速度。D-ToF通常用于单点测距系统，但由于像素级亚纳秒电子秒表的实现困难，D-ToF的成本以及技术难度相较于I-ToF更高。这项技术特别适用于基于SPAD的ToF系统。目前主流的主流的ToF技术所采用的SPAD（single-photonavalanche（diode），单光子雪崩（二极管））是一种高灵敏度的（半导体）（光电）检测器，其被广泛运用于弱光信号检测领域。结合D-ToF技术，可用来精确检测记录光子的时间和空间信息，继而通过三维重极算法进行场景的三维重构。苹果在2021年发布的第四代iPadPro中就运用到了D-ToF技术。D-ToF的原理看起来虽然很简单，但是实际能达到较高的精度很困难而且成本对比I-ToF要高很多。除了对（时钟）同步有非常高的精度要求以外，还对脉冲信号的精度有很高的要求。普通的光电二极管难以满足这样的需求。而D-ToF中的核心组件SPAD由于制作工艺复杂，能胜任生产任务的厂家并不多，并且集成困难。所以目前研究D-ToF的厂家并不多，更多的是在研究和推动I-ToF。

I-ToF(IndirectToF，I-ToF，下文称为I-ToF)D-ToF的另一种解决方案是所谓的间接ToF（IndirectToF，I-ToF，下文称为I-ToF），而I-ToF的原理则要复杂一些。在I-ToF中，发射的并非一个光脉冲，而是调制过的光。接收到的反射调制光和发射的调制光之间存在一个相位差，通过检测该相位差就能测量出飞行时间，从而估计出距离。其中往返行程时间是从光强度的时间选通测量中间接外推的。在这种情况下，不需要精确的秒表，而是需要时间选通光子计数器或电荷积分器，它们可以在像素级实现，只需较少的计算工作和硅面积。I-ToF是基于ToF相机的电子和照片混合设备的自然解决方案。

1、ToF产业链介绍3D传感产业生态链包括光源、光学单元（透镜及滤光片等）、（图像传感器）及模组制造等直接（硬件）环节，此外还包括软件、处理器、3D系统设计等。

2、ToF镜头组成核心硬件

VCSEL是3DSensing中重要的部件之一，不仅体现在其功能在体现在其价值量之中。随着3DSensing在手机中进一步渗透，VCSEL的市场规模将随之扩大。ToF不仅可以在手机中使用，还可以在光通讯、激光雷达等多个领域中使用，市场空间巨大。据市场研究机构Yole预测，到2023年，整个VCSEL市场将达到35亿美元，年复合增长率达到48%。VCSEL领域具有市场大、增长快、应用广等特点，未来对VCSEL的关注度将会日渐提升。从图中可看出未来在VCSEL赛道，主要集中的领域是消费电子、（工业）领域以及通信。VCSEL是化合物半导体激光器，因此对应化合物半导体产业链，包括晶圆、外延片(EPI)、IC设计、晶圆代工和封测等环节。

准直镜头利用光的折射原理，将波瓣较宽的衍射图案校准汇聚为窄波瓣的近似平行光。采用准直镜头对VCSEL出射光束进行准直、形成散斑等整形处理。WLO（W（afe）r-levelOptics，在下文称为WLO）晶圆级光学器件，是指晶圆级镜头制造技术和工艺。与传统光学器件的加工技术不同，WLO工艺在整片玻璃晶圆上，用半导体工艺批量复制加工镜头，多个镜头晶圆压合在一起，然后切割成单颗镜头，具有尺寸小、高度低、一致性好等特点。

DOE扩散片DOE衍射光学元件（DiffractiveOpticalElements，在下文称为DOE）在3D摄像头结构光方案中的作用就是利用光的衍射原理，将激光器的点光源转换为散斑图案（pattern）。首先根据特定衍射图像的光学需求，设计并制作出三维母模，然后根据母模再制作出DOE光栅，光栅表面具有三维的微结构图案，尺寸都在微米级别。激光器发射的线性激光通过DOE的时候发生衍射，衍射光的角度和数量是受DOE上pattern的控制，衍射出来的光斑具备lightingcode信息。DOE主要是用于结构光成像技术的摄像头中，DOE的制造成本相对较高。

发光单元ToF镜头的发光单元通常为能发出特定波长红外线的垂直腔面发射激光器（Vertical-CavitySu（rf）ace-EmittingLaser，又译垂直共振腔面射型激光，在下文称VCSEL），VCSEL能以相对较小功率发射出较高的信号。VCSEL是一种半导体，其激光垂直于顶面射出，与一般用切开的独立芯片制成，激光由边缘射出的边射型激光有所不同。传统的光电转换技术一般是用的LED等发光器件，这种发光器多采用的是边缘发射，缺点是体积较大，所以会比较难于半导体技术相结合。20世纪90年代垂直腔表面发射激光VCSEL技术成熟后，解决了发光器件和半导体技术结合的问题，因此迅速得到普及。VCSEL是很有发展前景的新型光电器件，也是光通信中革命性的光发射器件。此外，ToF中泛光照明器的VCSEL输出光束无需经过编码，因此器件制作上更为简单，可供选择的VCSEL供应商也更多。顾名思义，边发射激光器是沿平行于衬底表面、垂直于解理面的方向出射，而面发射激光器其出光方向垂直于衬底表面，如下图：

在ToF的发射成像技术中主要运用的是扩散板（在下文称为Diffuser），主要是为显示器提供一个均匀的面光源，ToF投射器主要包括VCSEL+Diffuser，而ToF的VCSEL并不像结构光那样对编码图案有一定要求，只是最常规的规则排列，器件制作上更为简单，装配精度要求也更低。Diffuser是DOE的一种，也属于波束整形器，用于对输入光束进行均一化，通过使较大折射角处具有更大屈光度，使得较窄的光束扩展到更宽的角度范围内，并具备均匀的照明场。TOF中的Diffuser的设计制作难度，比3D结构光点阵投影仪中的DOE要简单很多。

根据光大证券测算，考虑到疫情影响预计2021年全球智能机出货量有所下降，滞后的（5G）需求有望在2021年释放，预计20~21年全球智能机出货量分别为12.6/15.0亿部，其中iphone出货量1.7/2.1亿部，安卓机10.9/12.9亿部。假设20~21年前置结构光在iphone的渗透率分别为92%/95%，在安卓的渗透2%/5%，推算结构光摄像头出货量1.8/2.7亿颗。假设20~21年后置TOF在iphone的渗透率分别为25%/50%，在安卓的渗透率7%/15%，加上ipad出货量，推算后置TOF摄像头出货量2.7/4.4亿颗。假定DOE/Diffuser单价1美元测算，对应DOE20~21年市场规模1.8/2.7亿美元;Diffuser市场规模2.7/4.4亿美元;窄带滤光片按20~21年单价1/0.75美元测算，对应市场规模9/10.5亿美元。

接收端窄带滤光片和光学镜头：

ToF模组依靠窄带滤光片和光学镜头来收集反射回的光线。滤光片只允许对应波长的红外线通过，抑制其他光线，并降低噪声。近红外识别系统中所用到的窄带滤光片及超薄高性能镀膜也是基于结构光及ToF的3D摄像头技术关键。3D摄像头在接收反射光时要求只有特定波长的光线能够穿过镜头，拦截频率带之外的光线，即隔离干扰光、通过信号光凸显有用信息，因此需要滤光片在接收端过滤掉非工作波段的光波。

在窄带滤光片赛道，难度和价值量都高于传统摄像头所用的滤光片，目前仅有VIAVI和水晶光电的技术较为成熟，这两家也是苹果iPhoneX的窄带滤光片供应商。目前全球仅水晶光电和唯亚威(Viavi)两家企业具备大批量供货的能力。

接收端：红外CIS（下文称为图像传感器）：

早年的ToF传感器，多采用CCD(Charge-coupledDevice，中文为电荷（耦合）元件，是一种图像传感器，下面简称CCD),而CMOS是另一种目前市场上更为主流的图像传感器(ComplementaryMetalOxideSemiconductor，互补金属氧化物半导