天睿视迅拼接调试指南

1、拼接调试指南文档版本00B08发布日期2018-06-20©2017-2018。保留一切权利。市半导体非经本公司形式传播。，任何和个人不得擅自摘抄、本文档内容的部分或全部，并不得以任何商标、和其他商标均为市半导体的商标。本文档提及的其他所有商标或商标，由各自的所有人拥有。注意您购买的、服务或特性等应受公司商业合同和条款的约束，本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内。除非合同另有约定，公司对本文档内容不做任何明示或默示的或保证。由于版本升级或其他，本文档内容会不定期进行更新。除非另有约定，本文档仅作为使用指导，本文档中的所有陈述、和建议不任何明示或暗示的

2、担保。市半导体市龙岗区坂田地址：基地电气生产中心：518129：客户服务：客户服务传真：客户服务邮箱：support拼接调试指南前 言前言概述本文为应路拼接方案进行开发的程序员而写，目的是AVSP拼接的基本原理、操作步骤及使用注意事项等内容。版本与本文档相对应的版本如下。未有特殊说明，Hi3559CV100 与 Hi3559AV100 内容一致。未有特殊说明，Hi3556AV100 与 Hi3519AV100 内容一致。修订修订累积了每次文档更新的说明。最新版本的文档包含以前所有文档版本的更新内容。文档版本 00B08 (2018-06-20)1.2 小节，添加 Fine Tuning 内容3

3、.3.1 小节，表 3-1 涉及修改3.3.3 小节涉及修改专有和市文档版本 00B08 (2018-06-20)i©半导体名称版本Hi3559AV100ESHi3559AV100Hi3559CV100Hi3519AV100Hi3556AV100拼接调试指南前言新增 3.4、3.5 和 4.1.3 小节4.3.1 小节，HI_AVS_LutGenerate【语法】和【参数】涉及修改4.3.2 小节，新增 AVS_LUT_GENERATE_INPUT_S、AVS_FINE_TUNING_S 和AVS_ADJUST_S4.3.3 和 4.4.3 小节涉及修改文档版本 00B07 (201

4、8-05-18)2.3 和 3.3 涉及修改.4.3.2 小节，AVS_LUT_SIZE 的【定义】涉及修改添加 3.3.4 和 4.4 小节文档版本 00B06 (2018-04-04)3.2.3 小节添加注意新增 4.3 小节文档版本 00B05 (2018-02-10)第 5 次临时版本发布2.2.1.4 小节涉及修改文档版本 00B04 (2018-01-10)第 4 次临时版本发布。添加 Hi3559AV100，全文均涉及修改文档版本 00B03(2017-09-20)第 3 次临时版本发布。新增 2.4 小节投影中心点。3.3.4 小节，涉及更新。4.1 小节，表 4-1 涉及更新

5、。4.2.2 小节，涉及更新。第 5 章节 案例演示 图 5-5 到图 5-8 刷新。文档版本 00B02(2017-07-17)第 2 次临时版本发布。1.11.3 小节涉及修改2.1 和 2.5 小节涉及修改，新增 2.4 小节专有和市文档版本 00B08 (2018-06-20)ii©半导体拼接调试指南前言3.3.23.3.4 小节涉及修改5.4 小节涉及修改文档版本 00B01(2017-06-16)第 1 次临时版本发布。专有和市文档版本 00B08 (2018-06-20)iii©半导体拼接调试指南目 录目录前言i1概述11.1 AVSP 概述11.2 基本概念

6、21.3 总体流程3系统设计42.1 概述42.2 几何变换42.2.1 投影模式42.2.2 姿态角72.2.3 投影中心点72.3 亮度矫正822.4 八绕拼接原理93标定113.1 概述113.2 AVSP 标定前的准备113.2.1 LSC 标定113.2.2 AWB/CCM 标定113.2.3 AE/AWB 的一致性123.3 AVSP 标定123.3.1 标定原理123.3.2 AVSP 标定步骤133.3.3 第工具 PTGui 或 Hugin 标定步骤183.3.4 AWB/CCM 差异标定193.3.5 标定工具使用步骤203.4 板端LUT 生成203.5 Fine Tun

7、ing22开发设计2444.1拼接规格24专有和市文档版本 00B08 (2018-06-20)iv©半导体拼接调试指南目 录4.1.1 Hi3559AV100ES4.1.2 Hi3559AV1004.1.3 Hi3519AV1004.1.4 Hi3559AV100规格24规格25规格26场景描述284.2 AVSP 业务 API294.2.1 API 调用流程294.2.2 业务 sample304.3 板端LUT 生成库314.3.1 LUT 生成库 API314.3.2 数据结构334.3.3 使用 Sample414.4 板端坐标4.4.1 坐标库44库API444.4.2

8、数据结构474.4.3 使用 Sample535案例演示585.1 五路非鱼眼环绕 360°拼接实例585.1.1 系统585.1.2 标定前的准备595.1.3 AVSP 标定595.1.4 PTGui 标定625.1.5 板端拼接调试635.2背靠背双鱼眼 360°拼接实例645.2.1 系统645.2.2 标定前的准备655.2.3 AVSP 标定655.2.4 第工具 PTGui 标定675.2.5 板端拼接调试68专有和市文档版本 00B08 (2018-06-20)v©半导体拼接调试指南插图目录插图目录图 1-1不同镜头成像投影至虚拟球面示意图1图 1

9、-2拼接效果图2双鱼眼图 1-3 AVSP拼接流程图3图 2-1等距柱面投影示意图5图 2-2柱面投影示意图5图 2-3直线投影示意图6图 2-4立方体投影示意图6图 2-5姿态角描述示意图7图 2-6投影中心点调整示意图8图 2-7八路拼接示意图9图 3-1 AVSP 标定流程13图 3-2棋盘格图像13图 3-3不同镜头类型示意14图 3-4内参标定图像棋盘格摆放示意15图 3-5外参标定图像棋盘格摆放示意15图 3-6错误标定图示范16图 3-7产线标定环境示意图16图 3-8双鱼眼结构产线标定环境示意图17图 3-9 Mask 图像示例18图 3-10 导出 PTGui 标定结果19图

10、 3-11 Mask 转换21图 3-12 Mask 定义22图 5-1 结构及 PIPE 号分布示意图58图 5-2 LSC 标定前后对比59图 5-3 内参标定图像59专有和市文档版本 00B08 (2018-06-20)vi©半导体拼接调试指南插图目录图 5-4 外参标定图像60图 5-5 AVSP 第一步标定配置61图 5-6 AVSP 第三步标定配置62图 5-7 5 路标定图62图 5-8 PTGui 标定结果63图 5-9 Equirectangular 默认参数效果64图 5-10 Cylindrical 调试效果64图 5-11 内参标定图像65图 5-12 外参标

11、定图像66图 5-13 AVSP 第一步标定配置66图 5-14 生成 LUT 表配置67图 5-15 鱼眼 Mask 图67图 5-16 2 路标定图68图 5-17 PTGui 标定结果68图 5-18 Equirectangular 默认参数效果69专有和市文档版本 00B08 (2018-06-20)vii©半导体拼接调试指南表格目录表格目录表 4-1 Hi3559AV100ES拼接规格24表 4-2 Hi3559AV100拼接规格25表 4-3 Hi3519AV100拼接规格26表 4-4非鱼眼镜头结构模型28表 4-5鱼眼镜头结构模型29表 5-1系统描述58表 5-2系

12、统描述64专有和市文档版本 00B08 (2018-06-20)viii©半导体拼接调试指南1 概述1概述1.1 AVSP 概述AVSP（Any View Stitching Processor）即为拼接处理器，可将多路拼接成高分拼接需求。辨率或者大视野的图，可以满足（水平 360°及垂直 180°）在拍摄。中，用户通过视点选择，可任意角度的，实现真正无死角的拼接的基本原理是以相机作为中心点，虚拟一个球面，将各个镜头所成的图像按照“针孔成像”的原理投影到虚拟球面上，并将重叠区域进行融合，形成一个完整的球面图像。然后再将其通过某种 3D 至 2D 的投影方式，转换成

13、平面图像表示，形成图。类似于世界地图展示地球面貌的过程。以 6 镜头立方体结构相机为例，如图 1-1(a)，图 1-1(b)表示不同镜头所成图像在虚拟球面上的，不同颜色表示不同图像，通过等距柱面投影(EquirectangularProjection)后如图 1-1(c)所示。图1-1 不同镜头成像投影至虚拟球面示意图(a) 立方体结构(b) 虚拟球面投影(c) 等距柱面投影目前单个鱼眼镜头最多可以获取 250°左右的视觉范围，故要实现，需要多个镜头进行拼接。情况下可采鱼眼背靠背或者六路广角镜头立方体排布实现拼接，当然也可以根据需求构建其他结构。AVSP 模块最多可以支持 8 路输入

14、。另外，AVSP 也支持非多路拼接，如安防行业中的多路水平环绕 360°拼接，或者水平 180°拼接等模式，通过调整拼接图像的 FOV，AVSP 内部可实现黑边裁剪。专有和市文档版本 00B08 (2018-06-20)1©半导体拼接调试指南1 概述以双鱼眼拼接为例，其原始图及拼接图如图 1-2 所示。图1-2 双鱼眼拼接效果图1.2 基本概念标定对各路图像镜头畸变（镜头内参）及相对位置（镜头外参）就进行标定，以实现不同镜头之间的拼接。LSCLSC(Lens Shading Correction)，即是镜头暗角矫正。镜头的暗角效应使图像呈现中间较亮，边缘较暗的失真

15、效果。LSC 则可以消除镜头的暗角效应，保持整个画面的亮度一致。视差视差是从有一定距离的两个点上观察同一个目标所产生的方向差异。专有和市文档版本 00B08 (2018-06-20)2©半导体拼接调试指南1 概述镜头入瞳入瞳和出瞳相对应。孔径光阑经孔径光阑前面光学系统所成的像，即孔径光阑在物空间的共轭像称为入射光瞳。入瞳间距不同镜头之间入瞳位置的间距。Fine Tuning微调优化，可单独调整任何输入通道，微调拼接位置，优化拼接效果。1.3 总体流程拼接流程图如图 1-3 所示。Sensor 同时输入多路图像至 ISP，AE/AWB 可对多路图像的统计进行合并处 理，保证图像的一致性

16、，同时 LSC 可消除镜头阴影，使拼接处过渡更自然。AVSP 内部主要包含几何变换（Transform），重叠区融合（Blend）及亮度矫正（Gain correction）三个模块，处理时有部分中间数据与 DDR 交互。AVSP 可输出两种分辨率图像：全分辨率图像及缩放图像，缩放图像用于预览时使用，也可直接关闭该输出图像。图像数据在 ISP 与 AVSP、AVSP 与 Encoder 之间各有一次 DDR 交互，DDR 存取 时支持压缩、解压缩，以减小带宽，提升性能。图1-3 AVSP拼接流程图Sets of imagesAVSPPreview- Transform- Blend- Gain

17、 correctionEncoderDDR专有和市文档版本 00B08 (2018-06-20)3©半导体ISP- AE/AWB synchronization- LSCSensorsAVSP Calibration拼接调试指南2 系统设计2系统设计2.1 概述基于 1.3 节中图 1-3 的拼接流程图，本章开始对 AVSP 整个系统进行详细。根据流程图所示，AVSP 内部主要有几何变换（Transform），重叠区融合（Blend）及亮度矫正（Gain correction）三个处理模块，其中重叠区融合模块采用金字塔结构进行多尺度融合处理，由硬件自适应完成，并不需要过多人工干预，在

18、此不再进行详细描述，本章重点几何变换模块和亮度矫正模块。另外，不同镜头所成的像准确的投影到虚拟球面相对应的位置，拼接前需要对相机进行标定。标定参数镜头内部参数及外部参数，内部参数用于矫正镜头的畸变，外部参数用于匹配不同镜头之间的相对位置。由于标定过程非常重要，极大的影响了拼接的最终效果，因此将在第三章单独进行重点描述。2.2 几何变换2.2.1 投影模式AVSP拼接模块支持输出四种模式，分别为等距柱面投影(Equirectangularprojection)、柱面投影(Cylindrical projection)、直线投影(Rectilinear projection)、立方体投影（Cubi

19、c projection）。不支持同时输出两种模式。2.2.1.1 等距柱面投影等距柱面投影，也称为经纬图投影，为图中最为常见的投影方式，能够完整呈现所有。所谓的等距即为高度上与纬度等比例，因此从赤道到两极，横向拉伸不断加剧，南北两个极点被拉伸成了扁平的网格在整个上部和下部边缘。因为水平表示 360°，垂直表示 180°，故等距柱面投影如图 2-1 所示。图的宽高比为 2:1。投影示意图专有和市文档版本 00B08 (2018-06-20)4©半导体拼接调试指南2 系统设计图2-1 等距柱面投影示意图该投影主要应用于黑边区域。场景，非的场景也可使用该投影模型，通过

20、调整 FOV 裁剪2.2.1.2 柱面投影柱面投影即将球面上的点通过与圆心的延长线投影到外切的柱面上，将柱面展开后即为柱面投影。该投影方式，南北极位置到无穷远，所以需要在纬度方向上有一定裁剪，垂直方向 FOV 只保留 100°左右。相对于 Equirectangular 上下区域有拉伸，Cylindrical 通过以上的裁剪后，物体比例较为正常。图2-2 柱面投影示意图该投影拼接。应用于环绕拼接场景，如果不关注拼接的上下区域，也可以用于2.2.1.3 直线投影直线投影即将球面上的点通过与圆心的延长线投影到外切平面上，若 FOV 越大，外切平面越大，则拉伸越大。Cylindrical

21、及 Equirectangular 虽然可以保持垂直方向的直线专有和市文档版本 00B08 (2018-06-20)5©半导体拼接调试指南2 系统设计性，但是水平方向有弯曲。Rectilinear 可同时保持水平方向及垂直方向的直线性，其缺点是 FOV 不宜太大，否则边缘拉伸较大，如图 2-3 所示。情况下 FOV 在 100°以下。投影示意图图2-3 直线投影示意图该投影主要应用于小角度（拼接后 FOV<120°）或者人眼视觉相似，通常 VR 眼镜也是基于该投影模式来图局部预览，因为该投影与。2.2.1.4立方体投影立方体投影即球面上的通过与球心的延长线投

22、影到立方体上表面上，立方体中心点与球面中心点重合。立方体投影中每个面的投影畸变较小，相对于经纬图不据，有利于提高编码效率。冗余数立方体投影中的单个平面成像即为一个直线投影，其水平及垂直 FOV 都为 90°，从而完整的立方体投影，所以立方体是通过调用 6 次直线投影实现的，6 个平面的位置也可以实现任意排列，等。采用图 2-4 中的水平十字分布，或者 3x2、2x3 分布图2-4 立方体投影示意图专有和市文档版本 00B08 (2018-06-20)6©半导体拼接调试指南2 系统设计该投影模式 Hi3559A V100ES 不支持，其他支持。 该投影通过 6 次直线投影实现

23、，故 Gain correction 亮度增益功能只能使用手动模式，并且各路增益值要求配置一致。该投影无法调整输出 FOV 及中心点功能。 2.2.2 姿态角姿态角有三个维度可以调整。Yaw 指水平摇摆；Pitch 指俯仰角；Roll 指旋转。 如图 2-5 所示，把想象成驾驶员在飞机方向，驾驶员视点即为投影中心点，通过以上三个方向可以实现任意方向的调整。此处调整的是视点位置，而视点永远在图像中心点，故相应的图像则是往相反方向调整。姿态角调整可实现两种功能：可调整图中的水平线，或者说选择图的在虚拟圆上的北极南极点，应用 于 Equirectangular 及 Cylindrical 投影模式；

24、可改变显示视角，主要应用在 Rectilinear 投影模式下，用户可选择感 的画面进行。图2-5 姿态角描述示意图姿态角的三个参数是相互关联的，调试过程先调整 Yaw，将水平方向上调整至合适位置；后调整 Pitch，将垂直方向上调整至合适位置；最后调整 Roll，将旋转方向上调整至合适位置。2.2.3 投影中心点投影中心即为三维球面图转换到二维投影输出图的投影中心位置。专有和市文档版本 00B08 (2018-06-20)7©半导体拼接调试指南2 系统设计投影中心点 x 方向调整范围为：-out_width/2，out_width*3/2；投影中心点 y 方向调整范围为：-out_

25、height/2，out_height*3/2。 情况下，投影中心与输出图像中心重合，即投影输出图的 FOV 上下、左右对称。如需要对输出图像进行裁剪，仅显示部分视野且投影中心不对称，则可减小 FOV，同时通过移动投影中心点，选择感的区域作为输出图。如在 Equirectangular 模式下，选取右下 1/4 图像内容进行显示，如图 2-6 红框所示。调整如下：步骤 1.确定输出 FOV 及分辨率。本例中选取经纬图像的右下 1/4，其水平 FOV 为 180°，垂直 FOV 为 90°，假设输出图像大小为 3840x1920。步骤 2.确定投影中心点。投影中心点坐标是以输

26、出图像左上角为原点的，从图 2-6 可看出投影中心点位于红色输出图像的左上角位置，故投影中心点 (x,y) = (0,0)。图2-6 投影中心点调整示意图同理，若需要选择左上 1/4 部分显示，此时投影中心点位于输出图像右下角，则移动中心点至(out_width-1，out_height-1)，即(3839，1919)位置。如无特殊要求，中心点固定为(out_width/2，out_height/2)即可，若中心点移动超过有效输出图像范围，则超出部分以黑色背景或者效果补充，出现该现象说明中心点配置确。-结束2.3 亮度矫正ISP 有 AE，除此之外，AVSP 内部也有亮度增益模块，其调节范围为

27、 04倍，1 倍表示无增益调节。有两种模式可选：手动模式可分别配置各个通道的亮度增益补偿值，从而实现各个通道的亮度调节。当然， 情况下优先选择通过 ISP 内部 AE自动模式。 专有和市文档版本 00B08 (2018-06-20)8©半导体拼接调试指南2 系统设计AVSP 可根据重叠区的亮度，自动统计重叠区的亮度差异，计算出各个通道的亮度增益值，并进行亮度增益补偿，使拼接处亮度过渡更加自然。此模式下，亮度增益补偿滞后一帧。为了保证最佳图像效果，亮度调整请优先使用 ISP 中的 AE 模块，AVSP 中的亮度矫正仅作为进一步的补充调整，情况下可关闭 AVSP 亮度矫正模块，关闭为：配

28、置为手动模式，并将所有通道的增益配置为 1 倍。亮度增益模块虽然支持 04 倍调整，实际使用时建议在合理范围内调整，当增益倍数大于 2 倍时，图像较容易产生对比度过强、细节损失等不自然现象。2.4 八绕拼接原理AVSP 模块本身最多仅支持六路拼接，八路拼接场景下需将输出图像拆分为左右两个画面，分两次调用 AVSP。第一次完成左侧画面在 DDR，第二次完成右侧画面，再通过配置 offset在左画面右侧，形成完整的拼接图像。如图 2-7 所示，假设该图即为最终输出图像，八个通道分别为 AH，其中 H 处于拼接图像两侧。图中黑色虚线即为左右画面的拆分线。第一次调用 AVSP 完成左侧图像，此配置 H

29、,A,B,C,D,E 这 6 个通道；第二次调用 AVSP 完成右侧图像，此配置D,E,F,G,H 这 5 个通道。图2-7 八路拼接示意图左侧图像右侧图像HABCDEFGH使用八路拼接场景下，需特别注意以下几点：仅 Hi3559AV100 版本支持 8 路拼接，且仅支持八路水平环绕结构；无法使用 AVSP 内部的亮度矫正功能；将输出图像分割为左右两次拼接，分割点需 256 对齐。且需自行配置左右图像两 次拼接所需要的 pipe 号，若配置确，输出图将有黑块出现。若输出参数相同，同批次的 pipe 号配置也相同。专有和市文档版本 00B08 (2018-06-20)9©半导体拼接调试

30、指南2 系统设计无法进行实时 pitch，yaw，raw 及输出 FOV 调整。由于 3D 旋转或者 FOV 调整 后，输出图像中左右画面拆分情况都可能不同，此否则将出现画面丢失的异常。要重新手动配置 pipe 号，八路拼接仅支持 Equirectangular 及 Cylindrical 投影模式，不支持 Rectilinear 及Cubic 投影模式。 当前 AVSP 标定工具最多只支持 6 路标定，可使用 PTGui 第路拼接，分两次转换成硬件所需要的 LUT 表。标定工具实现八 专有和市文档版本 00B08 (2018-06-20)10©半导体拼接调试指南3 标定3标定3.1

31、 概述相机的标定即为 AVSP 标定，用于实现镜头的畸变校正并确定不同 sensor 之间的几何方位。此外，为了进一步提高标定的准确度，提升拼接的图像质量，可在在 AVSP 标定前完成 ISP 的其他必要标定，例如 LSC 标定、AWB/CCM 标定等。此外，AVSP 也支持导入 PTGui 第标定结果。3.2 AVSP 标定前的准备3.2.1 LSC 标定镜头暗角通常是由于镜头的工艺及其他光学问题导致的镜头拍出来的图片中间亮、外部比较暗的现象。在拼接场景下，图像的重叠区位于图像边缘，而且暗角变化方向相反，导致双路图像在重叠区的亮度有一定的差异，为了保证拼接处融合效果更加自然，建议先对全景相机

32、的镜头进行 LSC 标定。LSC 标定有的标定工具，具体请参见图像质量调试工具使用指南。3.2.2 AWB/CCM 标定由于不同色温的光源会对的物体的真实颜色产生影响，例如低色温光源下白色物体偏红，高色温光源下，白色物体偏蓝，因此需要进行自动白平衡(AWB)校正，使得的物体颜色接近理想光源下的无偏色，更加符合人眼视觉。除了光源的影响，镜头、滤光片和 sensor 的光谱响应等都会对的颜色产生影响，为了使的颜色接近期望值，还需要利用颜色校正矩阵(CCM)进行校正。另外，由于镜头、sensor、滤光片等器件本身必然一定的物理差异，即使确保AE/AWB 有相同的 ISP 配置参数也无法保证不同 se

33、nsor 成像的亮度和颜色完全一致， 因此需要对这些物理差异进行 AWB/CCM 的标定，消除物理器件工差带来的误差。AWB 和 CCM 的标定有的标定工具，具体请参见图像质量调试工具使用指南。专有和市文档版本 00B08 (2018-06-20)11©半导体拼接调试指南3 标定3.2.3 AE/AWB 的一致性当前大部分拼接，多路 ISP 相互，从而导致不同 sensor 成像之后的亮度、颜色等差异较为明显，特别是在光影变化较大的场景下，这种差异更加明显，导致拼接图像融合区过渡不自然。对于支持多通道输入的拼接方案，ISP 提供 Stitch 模式及 Normal 模式，先选择 St

34、itch 模式。情况下优Stitch 模式该模式可支持 AE/AWB 统计 合不同 sensor 的 AE/AWB 的配置参数完全相同，保持重叠区不同 sensor 成像效果的一致性，从而保证拼接图像融合区过渡自然。Normal 模式 该模式下不同 sensor 的 AE/AWB 统计，不同 sensor 的成像效果不同，特别是在复杂光源的场景下，拼接图像融合区过渡可能不自然。其他与 AVSP 通路无关联的 ISP 标定，建议在非拼接模式下进行，如 FPN 标定、噪声形态标定等。否则可能导致异常。3.3 AVSP 标定3.3.1 标定原理拼接的基本是将各路的图像按照对应的镜头模型投影到虚拟球面

35、，进行拼接融合，然后再通过设置的投影方式输出平面图。AVSP 标定的目的就是通过标定估计出相应的镜头模型参数，内部参数、外部参数及有效区域。其中内部参数用于矫正镜头的畸变，外部参数用于匹配不同镜头之间的相对位置，有效区域的标定主要是为了减小重叠区从而减的处理，特别是鱼眼图像，由于鱼眼图像有效区域为圆饼图，故需要将相应的圆饼图区域标定出来进行处理，其他区域省略，提处理效率。AVSP 标定可支持 PTGui 或 Hugin 标定结果 ，代替 AVSP 标定中的内参及外参标定步骤，并将其标定结果转换为 AVSP 可用的结果。具体流程如图 3-1 所示。需要特别注意的是，尽管 AVSP 可以支持第果，

36、推荐使用 AVSP 自有标定工具。标定工具，但是为了达到最优标定效专有和市文档版本 00B08 (2018-06-20)12©半导体拼接调试指南3 标定图3-1 AVSP 标定流程3.3.2 AVSP 标定步骤为了提高标定精度及产线效率，分为三步标定，依次为模型标定、产线标定、LUT 及BBox 表生成。步骤 1.模型标定。模型标定阶段每个类型只需标定一次，标定要拍取大量的棋盘格图片，以保证标定结果的鲁棒性。第一步标定完成后可使用 AVSP 标定工具生成模型标定结果.cal文件。模型标定需要一个特定的棋盘格，推荐使用规格如图 3-2(a)所示，具体规格如下：棋盘格内角点数为 9*6，

37、内角点的定义如图 3-2(b)红圈所示，单个格子大小 5cm。棋盘格边缘保留至少 8cm 以上的白色边缘，有利于提高棋盘格检测的速度及准确性。图3-2 棋盘格图像(a) 推荐棋盘格(b) 内角点示例标定确定镜头 FOV 及镜头类型，便于模型计算快速收敛。其中 FOV 指 sensor 成像的水平视角，即图像宽度所对应的 FOV。另外镜头模型提供三种类型，分别为 NonFisheye, Fisheye Full Fov 及 Fisheye Circular Fov，其区别如图 3-3 所示。情况下，专有和市文档版本 00B08 (2018-06-20)13©半导体拼接调试指南3 标定长

38、焦畸变较小的镜头选择 Non Fisheye 类型，短焦广角镜头选择 Fisheye Full Fov 模型，因为广角镜头也是鱼眼模型，鱼眼镜头选择 Fisheye Circular Fov。图3-3 不同镜头类型示意(a) Non Fisheye(b) Fisheye Full Fov(c) Fisheye Circular Fov模型标定需要抓取以下两类场景的图片：标定单镜头的畸变矫正的场景该场景标定图用于标定镜头内参。每个镜头至少拍取 10前缀名><镜头号>_<帧序号>.jpg 来对图像进行命名。 像。保存时以<固定拍取棋盘格放置于镜头前方，并不断变换

39、棋盘格方向、距离及在画面中位置，使之均匀覆盖全画面，且至少涵盖两种距离以上。对于非鱼眼镜头，近距离棋盘格约占画面 1/2 即可，远距离约占画面 1/4；对于鱼眼镜头，由于 FOV 较大，近距离棋盘格约占画面 1/5，远距离约占画面1/10 左右，像。标定相邻镜头相对位置的场景该场景标定图用于标定镜头外参。每组镜头至少时建议将棋盘格均匀绕鱼眼镜头一周，不同位置的棋盘格图 10 对图片。保存时以<固定前缀名><镜头号>_<较小镜头号><较大镜头号>_<帧序号>.jpg 来对图像进行命名。拍取先确定相邻镜头，每组相邻镜头同时。棋盘格放置于重

40、叠区内，相邻镜头都要看到完整的棋盘格，不断变换棋盘格距离、小幅度旋转，并且变换在重叠区的位置，使之均匀覆盖整个重叠区，特别是需要主要覆盖边角位置且至少涵盖两种距离以上。专有和市文档版本 00B08 (2018-06-20)14©半导体拼接调试指南3 标定图3-4 内参标定图像棋盘格摆放示意(a) 非鱼眼镜头(b) 鱼眼镜头图3-5 外参标定图像棋盘格摆放示意(a) 非鱼眼镜头(b) 背靠背双鱼眼镜头图 3-4 及图 3-5 中示意了棋盘格在标定图中的大小、位置及旋转状态，该示意图仅供指导，实际标定时无需完全保持一致，可根据真实使用的镜头，调整棋盘格的距离及角度达到以上效果。专有和市文

41、档版本 00B08 (2018-06-20)15©半导体拼接调试指南3 标定过程中，需要特别注意以下事宜：抓取的图片必须保证画面中只有唯一的棋盘格且棋盘格完整可见，没有遮挡及反光，图像清晰，单个格子面积至少有 100 个像素。对于较多重叠区的结构（如 6 路立方体结构共有 12 个重叠区）建议按照一定的顺 序进行，避免遗漏某些重叠区标定图，影响标定效果。以下是错误标定图像示例，实际使用中应该杜绝。(a)图中显示器出现棋盘格，同一标定图中不是唯一的棋盘格；(b)图中棋盘格整；（c）图中因为镜面反射，造成棋盘格不唯一；(d)图中棋盘格有反光，标定时中二值化处理造成棋盘格无法检测；(e)图

42、中棋盘格模糊，无法检测。图3-6 错误标定图示范(a)(b)(c)(d)(e)步骤 2.产线标定.产线标定阶段每个放在特定球形环境里每个体都需要标定，以解决个体之间的差异，标定时只需将个体取一像即可。将拍取的图像与第一的.cal 文件作为第二步输入，即可使用 AVSP 标定工具生成该个体的标定结果.cal 文件。产线标定需要一个较为严格的标定环境，理想环境为一个棋盘格球面，环境设计如图3-7 所示。球体直径为 2 米，南北极之间有 36 个格子，赤道一周有 72 个格子，即一个格子 5°。当然为了使格子均匀分布，南北极区域格子数相应减少，如图(b)所示。标定时相机放置在球体中心，由于

43、是一个对称的球面，相机摆放方向无要求。图3-7 产线标定环境示意图(a) 正视图(b) 俯视图专有和市文档版本 00B08 (2018-06-20)16©半导体拼接调试指南3 标定产线标定环境的大小与最佳拼接距离没有关联，标定完成后可在生成 LUT 时配置任意的最佳拼接距离。技术上，棋盘格只需要覆盖成像区域即可，若是非相机，可根据形态及产线要求对理想标定环境进行，棋盘格为球弧面分布，格子大小尽量保持一致，且分布均匀。以双鱼眼为特例说明。由于双鱼眼结构的重叠区为环形，故可将球面上下区域裁剪掉，保留赤道附近型即可。每个格子依旧为 5°，故环形一周仍然是 72 个格子，垂直方向格

44、子数量根据重叠区大小设计即可，比如镜头 FOV 为 200°，则有 40°重叠区，此时垂直方向需要 8个格子以上，上下预留 1 个格子，10 个格子较为合适。生产保证背景（即非棋盘格覆盖区域）干净，无其他棋盘格图样，避免标定时误检，匹配错误，造成标定失败。图3-8 双鱼眼结构产线标定环境示意图(a) 正视图(b) 俯视图产线标定环境的详细描述请参考文档拼接 FAQ第一章节。步骤 3.生成 LUT 及 BBox 表。步骤 3 之前，需要制作每路输入的 Mask 模板图像，用于标识出输入图像的有效区域。Mask 图像必须是与输入分辨率相同的.png 图像，白示无效区域。域表示有

45、效区域，黑域表对于双鱼眼结构，mask 为白色的圆形图像，如图 3-9(a)所示。对于水平环绕四鱼眼结构，由于水平方向重叠区较大，mask 推荐为椭圆形图像，将水平方向裁剪剩余大约 120°视角，垂直方向不裁剪，如图 3-9(b)所示。对于非鱼眼图像，来说，mask 为的图像即可，如果需要裁剪一些重叠区域，则可以制作成白色的矩形图像，如图 3-9(c)和图 3-9(d)所示。大部分情况下，并不需要裁剪掉部分重叠区域，只有当系统处理较大时，可以通。但需要特别注过调整 Mask 的有效区域，减小重叠区，从而减的处理性能专有和市文档版本 00B08 (2018-06-20)17©

46、半导体拼接调试指南3 标定意的是，重叠区的裁剪必须格外果。，裁剪过多会导致融合区不够平滑，影响拼接效情况下，有效区域的边缘定义不需要太精确，在圆饼图半径及中心点个体差异小于 2%时，相同类型的相机可以共用一套 mask 图片。若个体差异大于 2%，则可能造成融合区清晰度下降或者融合区大小不对称问题。而非鱼眼图像不故情况下相同类型的相机共用一套 mask 图片即可。无效区域，图3-9 Mask 图像示例(a) 双鱼眼 mask 示例(b)四鱼眼 mask 示例(c) 非鱼眼 mask 示意图 1(d) 非鱼眼mask 示意图 2在步骤 2 标定数据及 Mask 图像的基础上，可使用 AVSP 标

47、定工具，配置最佳拼接距离，生成硬件所需的 LUT 查找表及 BBox 有效区域边界表。第一步的结果也可以生成LUT 及 BBox 表，用于研发阶段验证。Hi3559AV100ES 版本需要 LUT 查找表及 BBox 有效区域边界表，其他量产版本仅需要LUT 查找表。-结束3.3.3 第工具 PTGui 或 Hugin 标定步骤PTGui 及 Hugin 是第权威的标定及拼接，标定步骤简单易用，为业界通用工具。PTGui 或 Hugin 同样可以标定出镜头的内参及外参，所以 AVSP 标定支持导入 PTGui/Hugin 标定结果，转换成 AVSP 模型所需的查找表。PTGui/Hugin 具

48、体使用可参考其 Help 功能，或参见文档拼接 产线标定 MPI 参考4.3.3“第程。(PTGui、Hugin)标定”章节，这里仅简述 PTGui 标定的两步操作过步骤 1.PTGui/Hugin 标定。标定同时每图像，尽量选择细节丰富的场景，有利于特征点检测。若使用 PTGui 标定后，可在 PTGui 中选择 FILE，点击“Export Project”打开导出路径，将标定文件后缀修改为.pto，才能在 AVSP 标定工具识别。专有和市文档版本 00B08 (2018-06-20)18©半导体拼接调试指南3 标定图3-10 导出 PTGui 标定结果若使用 Hugin 标定完

49、成后保存时即可默认保存为.pto 工程文件，无需其他操作。步骤 2. 生成 LUT 及 BBox 表。在步骤 2 前，同样需要制作每路输入的 Mask 图像，与 AVSP 标定一致。将.pto 文件及 Mask 图像转换成系统所需的 LUT 及 BBox 表。-结束采用 PTGui 标定模型不支持修改最佳拼接距离，故生成 LUT 表时最佳拼接距离配置无效，其拼接效果与 PTGui 标定结果保持一致。 PTGui 是商业，用户使用需要自行购买 license。 若使用 PTGui 标定，暂不支持斜切（HSheare/VShear）畸变维度；若使用 Hugin，暂不支持模式，仅支持简单或高级模式。

50、3.3.4 AWB/CCM 差异标定由于 AVSP 使用多个 Sensor 及镜头，相同型号也不可避免硬件精度差异，所以即使配置相同的 ISP 参数，也会导致相同物体在相邻图像中有亮度、颜色上有一定的差异。情况，ISP 在 STITCH 模式下可综合多 sensor 的统计，使亮度颜色该差异较小，此时忽略 AWB/CCM 差异标定，因为该标定需要在产线进行，且镜头越多标定越复杂，影响产线效率；若差异较大时，可考虑进行 AWB/CCM 差异标定，使像的颜色及亮度在相同场景下尽量保持一致。图专有和市文档版本 00B08 (2018-06-20)19©半导体拼接调试指南3 标定需要指出 A

51、WB/CCM 差异标定是在 AWB/CCM 标定基础上进行的，所以原本的AWB/CCM 标定需要正常进行。标定前，需要先进行 LSC 标定，消除镜头暗角影响，然后进行 AWB 差异标定，最后进行 CCM 差异标定，顺序不可相反，用户可省略其中的步骤，但最终差异标定效果有一定下降。AWB/CCM 差异标定只能两两进行，若为两个镜头以上的结构，需要选择其中一个通道作为基准，标定过程中基准通道 AWB/CCM 参数保持不变，其他基准通道依次进行差异标定。标定要一个标准的 24 色卡场景，并且保持场景不变，通过旋转相机，使不同通道的镜头可以对准 24 色卡场景拍摄，并且使 24 色卡图案基本处于图像中心位置。标定工具使用时，左侧图像的请选择基准通道 RAW 图，右侧图像分别选择其他通道的RAW 图进行标定，依次得到各个通道的 AWB/CCM 差异值，并下板端或保存数据。AWB 差异标定利用 24 色卡的灰度色块对双摄像机的 R，Gr，Gb，B 四个颜色通道的亮度分别进行直线拟合，得到 4 个颜色通道的差异值；CCM 差异标定则是利用前 18个色块的颜色进行拟合，得到 3x3 颜色差异矩阵。RAW 图像步骤如下：步骤 1.准备：标准 X-Rite 24 色卡，照度为 600Lux 均匀光源（左右两侧双光源，光源与色卡平面的夹角在