典型3D ToF系统组成有哪些

典型3DToF系统组成有哪些？上海数迹智能科技有限公司（简称：数迹智能）专注于3D视觉智能处理器及3D智能相机的研发和销售，提供Smart3D-ISP系列处理器、SmartToF®系列相机及人数统计、体积测量、隐私监护等应用的配套解决方案。数迹智能管理团队多来自富士通、联想、IBM等国际一流公司以及国内顶尖高校，掌握3D飞行时间（ToF）应用普及的核心技术，具备强大的创新研发实力，与世界领先的ToF图像传感器厂商合作紧密，拥有多项技术专利和丰富的行业应用成果储备。近些年，随着华为、OPPO、vivo等厂商将3DToF技术导入智能手机，并且苹果新款iPhone手机也预期采用ToF技术，预示着新一轮3D传感与成像应用浪潮正在袭来。在此背景下，麦姆斯咨询近日采访了数迹智能技术总监邹耀先生，就3D成像及信号处理技术进行交流。邹耀：从机遇角度讲，2019年各大手机厂商纷纷导入ToF技术，传言新款iPhone机型也将搭载ToF摄像头。ToF技术作为手机行业的新风口，得益于5G与AI的发展，作为在AR/VR应用中不可或缺的技术手段，必将伴随着5G的普及而普及。我们认为ToF技术不仅仅是手机行业的狂欢，更是满足未来5G与AI应用需求的最重要的技术之一，也将是智能制造、智能驾驶、机器人等领域的标配，市场空间将超乎想象。ToF技术机遇和挑战并存，作为3D成像的新技术，在系统性能、功耗和成本等方面还有待成熟改善。我们认为其将与2D成像技术发展成熟的路线相似。ToF系统涉及多种技术，是一个复杂的系统，不只涉及发光器件、传感器还涉及图像信号处理（ISP）技术。面临场景的适应性，如何在任意场景下获取可靠和准确的深度数据是非常大的技术挑战，是ToF技术普及的关键。目前尚未出现爆款级的应用其主要原因是缺乏3DISP增强引擎来消除干扰，降低功耗，提高实时性能；缺少面向3D行业的ISPIP及中间件，无法有力支撑上层应用；以ISP技术为核心，系统性地提升ToF性能并降低功耗和成本是几年来数迹智能团队的研发目标，谁率先解决了这些问题则必将抓住ToF带来市场的发展机遇。从目前的研发成果来看，我们有很大的胜算！记者：典型3DToF系统组成有哪些？邹耀：典型的3DToF系统主要由发射端、接收端和控制方案端组成。目前ToF发射端的核心是由VCSEL、LED等发光器件组成，主要负责发射850nm或940nm的调制光信号，这一块主要厂商有国外的欧司朗（OSRAM）、飞利浦（Philips）、艾迈斯半导体（ams）、Lumentum、II-VI和国内的纵慧芯光、睿熙科技、博昇光电等。接收端的核心是基于飞行时间法的CCD/CMOS图像传感器芯片，负责将接收到的调制光信号转化为电信号，这一块的主流厂商包括瑷镨瑞思（ESPROS）、索尼（Sony）、英飞凌（Infineon）、松下（Panasonic）和国内的炬佑智能（OPNOUS）、艾普柯微电子（Epticore）等。另外，接收端还包括窄带滤光片和光学镜头等。控制方案端则是串联整个3DToF系统方案的“中枢神经”，包括整个系统的模块控制、时序信号、数据校准降噪处理、软件驱动开发工具包等。数迹智能就是一家主要立足于控制方案端的3DToF系统解决方案提供商，我们在3DToF系统方案中的软件算法核心技术上会成为未来3D图像信号处理器中的“长矛利剑”。记者：3D成像应用为什么需要3D图像信号处理器（ISP）？3DISP能做什么？邹耀：3DISP主要用于提升3D图像质量，以及实现ToF图像传感器参数的自动控制等，能够大幅降低3D成像应用的开发难度，缩短3D成像产品的上市时间。可以说，3DISP既是ToF图像传感器到3D成像应用的推进器，也是3D成像市场爆发的必要条件，这是因为：（1）ToF图像传感器的规模化和海量应用市场前景是3DISP研制的前提，这一条件已经具备。当前，ToF图像传感器已经完成从CCD到CMOS的技术演进，同时逐步在智能手机上规模化使用（最具代表性的智能手机包括华为Mate30Pro和未来的苹果iPhone）也意味着ToF图像传感器的规模化已成为必然，随着规模效应带来的成本降低，越来越多的应用将会结合3D成像技术进行开发。因此，多家著名咨询机构预测，3D成像应用市场在未来五年将具有极高的增速。例如Yole认为全球3D成像和传感市场将从2017年的21亿美元增长至2023年的185亿美元，复合年增长率高达44%。（2）3DISP层级的处理器产品是3D成像应用的刚需，3DISP是衔接传感器和应用的重要桥梁。目前95%的基于3D成像应用项目均处于概念原型阶段（基于我们自己的100多家模组用户的统计数据），且研制进展非常缓慢，主要原因在于3DISP的缺失。每款应用均需要解决3D图像增强、校准、参数自动控制等3DISP层级的问题。试想一下2D成像的海量应用市场，如果没有2DISP，让每款应用都直接面对“单反相机的手动模式”，是无法如此繁荣的。（3）3DISP是2DISP的超集，具有很高的技术门槛。ToF图像传感器的控制参数数量、成像运算量、校准复杂度、应用难度均远高于普通的2D图像传感器，并且核心运算内容和2D-ISP差别巨大，无法直接采用2DISP技术。记者：数迹智能在3DISP方面有哪些技术储备？邹耀：我们具备做好3DISP的必要条件，当前3DISP层级上的技术积累处于领先地位。（1）3DISP的基础架构技术积累和经验。这部分我们团队有多年的多媒体加速IP、多核DSP（自有知识产权）、MCU类芯片的成功流片和项目经验。（2）3DISP层级的技术领先，相关专利储备超过50项。这部分的技术领先离不开大量3D成像应用的项目经验以及ToF图像传感器的底层信号链路和信号处理上的实践。目前，我们在跟踪100多家用户在3D模组使用过程中，已经完成3DISP的规格定义并在模组开发套件中进行了大量实践；尤其是3DISP中非常重要的校准技术方面，我们的自动校准设备已经获得索尼（Sony）ToF图像传感器部门的认可和2020年的订单；同时作为3DISP硬件载体的索尼2020年新一代ToF图像传感器的官方评估套件也确认由我们团队主要负责。记者：请您再介绍下数迹智能的核心团队情况。邹耀：数迹智能目前的团队无论是技术产品能力还是市场运营能力，在业内都具备优秀的竞争力及未来的进化能力；团队成员主要来自富士通、联想、IBM等国际一流公司以及国内顶尖高校；团队成员曾自主设计并拥有知识产权多媒体DSP，包括体系架构、指令集、编译器、仿真器、集成开发环境，并成功流片和应用，可作为3DISP的核心；团队成员中参与项目经验丰富，曾经参与过SONYLSI的数个IP前端设计服务，HPTG（现ams）的ToF传感器嵌入式软硬件平台等项目；在有影响的国际会议和期刊中发表多篇论文并在相关领域拥有数十项专利。记者：数迹智能3DISP的产品形式（销售形式）有哪几种？邹耀：我们的3DISP与常规的硬件IP产品类似，初期会以FPGA形态存在（2020年），然后是IP软核硬核授权（License）方式（2021~2023年），后期会根据应用规模化程度，考虑做成专用集成电路（ASIC）或系统级芯片（SoC）的形式。记者：数迹智能的目标市场有哪些？可以谈谈市场规划吗？邹耀：ToF将来的应用将会非常广泛，市场也会逐步成熟。将来我们的主要的目标是将围绕着智能手机、电子领域、自动驾驶、机器人、AR/VR等巨量市场进行布局；将数迹智能的产品以各种形态与合作模式赋能3D视觉的蓬勃发展。从市场规划来说，我们也会更加务实的由近及远的推动业务良性发展，开发适合市场的终端应用型产品；不断拓宽通用型产品的的打磨，让ToF通用型产品产能上量；并不断积累行业经验建立不可替代的核芯能力。记者：数迹智能的竞争对手有哪些？邹耀：智能手机、汽车、安防等终端厂商自研3DISP是一种潜在的竞争。但是，以技术领先的硬件IP授权方式进入这些领域的SoC芯片或方案可以规避这种直接竞争，甚至可以将他们转换为客户，例如：Chips&Media视频编解码器IP、英特尔（Intel）收购的HabanaLabs人工智能（AI）加速IP等案例充分说明确保IP技术领先是创业公司切入热点市场的可行方式。当前我们3DISP层级上的技术积累处于领先地位，并积极推进3DISP的IP产品化。记者：与2DISP厂商和ToF图像传感器厂商相比，数迹智能自研3DISP有哪些竞争优势？邹耀：与2DISP厂商相比：3DISP是2DISP的超集，具有很高的技术门槛，2DISP厂商做3DISP不是一个技术的简单升级，也需要大量的3DISP层级的技术储备，这部分我们目前的技术积累领先地位是最大的优势。与ToF图像传感器厂商相比，实际上不是直接竞争关系而是产业上下游的合作关系。图像传感器和ISP本质属于产业链细分环节，图像传感器只解决最基本的信号解调和基于用户参数成像控制；且从2D成像应用市场上看，海量应用都是基于2DISP输出的图像再进行处理的（直接基于CMOS图像传感器芯片输出图像的很少），且2DISP的产品形态也基本以独立于CMOS图像传感器之外的方式存在（集成在APSoC控制器或独立ISP芯片）。记者：与数迹智能合作的ToF图像传感器厂商有哪些？可以介绍合作进展吗？邹耀：数迹智能与ESPROS、Sony等国际知名ToF图像传感器厂商建立了良好的合作伙伴关系。数迹智能是国内首家提供基于SonyiMX556传感器的3D相机的厂商，通过扎实的技术能力取得