海思sdk hisvp开发指南

1、文档版本00B05发布日期2017-09-18所有 ©非经本公司形式。2017。保留一切权利。市海思半导体，任何和个人不得擅自摘抄、本文档内容的部分或全部，并不得以任何商标、海思和其他海思商标均为市海思半导体的商标。本文档提及的其他所有商标或商标，由各自的所有人拥有。注意您的、服务或特性等应受海思公司商业合同和条款的约束，本文档中描述的全部或部分产品、服务或特性可能不在您的或使用范围之内。除非合同另有约定，海思公司对本文档内容不做任何明示或默示的或保证。由于版本升级或其他原因，本文档内容会不定期进行更新。除非另有约定，本文档仅作为使用指导，本文档中的所有陈述、信息和建议不构成任何明示

2、或暗示的担保。市海思半导体市龙岗区坂田地址：基地电气生产中心：518129：http:/客户服务：客户服务传真：客户服务邮箱：sup前言前言概述本文档旨在帮助用户了解 SVP(Smart Vision Platform)的硬件特性、工具链及开发流程，以期达到快速上手和开发出充分利用 SVP 特性的智能方案。版本与本文档相对应的版本如下。读者对象本文档（本指南）主要适用于以下工程师：技术支持工程师软件开发工程师 符号约定在本文中可能出现下列标志，它们所代表的含义如下。海思专有和信息i所有 ©市海思半导体符号说明表示有高度潜在，如果不能避免，会导致或严重。表示有中度或低度潜在，如果不能避

3、免，可能导致人员轻微或中等。名称版本Hi3559AV100ES前言修订修订内容。累积了每次文档更新的说明。最新版本的文档包含以前所有文档版本的更新海思专有和信息ii所有 ©市海思半导体日期版本修改描述2017-09-1800B05第五次临时版本发布2.3、2.6.2 和 3.5.2 小节涉及修改2017-07-2000B04第四次临时版本发布3.3.3 小节涉及修改2017-06-3000B032.2 小节添加注意新增 3.1.2 小节，修改 3.1.1新增 3.3 小节 和 3.5.2 小节涉及修改 小节，修改图 3-43图 3-4 小节

4、，修改图 3-51图 3-533.6.3 节，表 3-2 和表 3-3 涉及修改3.6.9 小节涉及修改2017-05-2700B02第二次临时版本发布新增 1.5 小节、、、、、、、、 小节涉及修改 小节，表 3-1 涉及修改 小节，表 3-2 涉及修改 小节，表 3-3 涉及修改2017-04-1000B01第一次版本发布。符号说明表示有潜在风险，如果忽视这些文本，可能导致设备损坏、数据丢失、设备性能降低或不可预知的结果

5、。表示能帮助您解决某个问题或节省您的时间。表示是正文的附加信息，是对正文的强调和补充。录录. 11.1 SVP 简介11.2 开发框架11.3 硬件. 21.4 软件开发31.5 开发环境3. 42 DSP 开发指南5. 52.2 Windows 环境下安装 DSP 工具链和配置核52.3 修改 memmap 配置82.4 查看 stack 使用92.5 Linux 环境下安装DSP 工具链和配置核92.5.1 安装DSP 工具链92.5.2 安装DSP 配置核162.5.3 配置环境变量182.6 开发流程182.6.1 开发模式一192.6.2 开发模式二203 NNIE 开发指南213.

6、1 NNIE 介绍213.1.1 NNIE 支持规格213.1.2 NNIE 硬件利用率233.2 工具链介绍233.3 工具链安装243.3.1 NNIE 工具链本体安装243.3.2 Protobuf 安装243.3.3 OpenCV 安装253.4 开发流程263.5 Prototxt 要求及模型. 27海思专有和信息iii所有 ©市海思半导体录3.5.1 Prototxt 要求273.5.2 网络扩展说明483.5.3 模型. 51NIE8Bit 使用5 创建工程533.6.2 网络过滤器573.6.3 编译器623.6.4器673.6.5 prototxt

7、 编辑703.6.6 终止723.6.7 Dot 图723.6.8 性能分析743.6.9 标检测753.6.10 偏好设置77库使用803.73.8 FAQ803.8.1 软件运行期间报错“periodic workspace save failed”803.8.2 软件运行，无法启动803.8.3 工具栏没有显示80海思专有和信息iv所有 ©市海思半导体插图录插图录图 1-1 SVP 开发框架2图 1-2 SVP 基于 OpenVX 的开发框架3图 2-1 System Overview6图 2-2 Find andInstall a Configuration Build7图

8、2-3查看安装好的配置核8图 2-4创建的工程界面8图 2-5查看栈信息操作界面9图 2-6显示栈信息窗口9图 2-7 DSP 应用程序开发框图19图 3-1 NNIE 层间约束21图 3-2NIE8Bit 集成UI 录24图 3-3 执行 tests.exe 结果25图 3-4 第开源库放置录25图 3-5 NNIE 软件开发流程26图 3-6NIE8Bit.exe 支持 prototxt 格式说明示意图（左边支持）28图 3-7 Faster R类型网络四段式执行30图 3-8类型网络两段式执行31图 3-9 Report1 修改前后对比33图 3-10 Report2 修改前后对比33图

9、 3-11 Report3 修改前后对比34图 3-12 Report4 修改前后对比34图 3-13 Report5 修改前后对比34图 3-14 Split 修改前后对比35图 3-15 Report1 修改前后对比35图 3-16 Report2 修改前后对比35海思专有和信息v所有 ©市海思半导体插图录图 3-17 Report3 修改前后对比36图 3-18 Report4 修改前后对比36图 3-19 SSD 类型网络四段式执行37图 3-20 Report1 修改前后对比38图 3-21 Split1 修改前后对比38图 3-22 Report13 修改前后对比39图

10、3-23 Report12 修改前后对比39图 3-24 Report3 修改前后对比40图 3-25 Report2 修改前后对比41图 3-26 Report5 修改前后对比42图 3-27 Report4 修改前后对比42图 3-28 Report7 修改前后对比43图 3-29 Report6 修改前后对比44图 3-30 Report9 修改前后对比45图 3-31 Report8 修改前后对比46图 3-32 Report11 修改前后对比47图 3-33 Report10 修改前后对比48图 3-34 Faster R、iFDT 类型网络扩展49图 3-35 SSD 类型网络扩展

11、50图 3-36类型网络扩展51图 3-37 创建工程方式一54图 3-38 创建工程方式二54图 3-39 创建工程方式三54图 3-40 选择IE8Bit Project55图 3-41 设置工程名及工程路径56图 3-42 创建工程后的工程视图56图 3-43 check.cfg 文件两种打开方式57图 3-44 check.cfg 以 check Net Type Configuration Editor 模式打开58图 3-45 check.cfg 选择 faster R网络58图 3-46 check.cfg 选择 Text Editor 模式打开58图 3-47 Check 按钮

12、61图 3-48 网络过滤器输出61海思专有和信息vi所有 ©市海思半导体插图录图 3-49 网络 check 成功输出示意图61图 3-50 网络 check 失败示意图62图 3-51 compiler.cfg 以 Compiler Configuration Editor 模式打开62图 3-52 compiler.cfg 选择 faster R. . 63图 3-53 compiler.cfg 选择 Text Editor 模式打开64图 3-54 Compile 按钮66图 3-55 sim.cfg 以 Simulator Configuration Editor 模式打开

13、67图 3-56 sim.cfg 以 Text Editor 模式打开68图 3-57 Simulator 按钮70图 3-58 Prototxt 编辑71图 3-59 Prototxt Format 选项71图 3-60 Prototxt 格式化前后对比72图 3-61 Terminate 按钮72图 3-62 Dot 按钮72图 3-63 Dot 图效果73图 3-64保存 Dot 图73图 3-65保存 Dot 图路径及文件名设置74图 3-66性能分析按钮74图 3-67性能分析结果75图 3-68标检测示图76图 3-69坐标文件76图 3-70标检测结果76图 3-71代码格式77

14、图 3-72代码提示快捷键设置78图 3-73设置自动提示首字符78图 3-74代码提示效果79图 3-75颜色设置79海思专有和信息vii所有 ©市海思半导体1.1 SVP 简介SVP(Smart Vision Platform)是海思处理智能视觉异构平台。该平台包含了CPU、DSP、NNIE(Neural Network Inference Engine)等多个硬件处理单元和运行在这些硬件上的基于 OpenVX1.1 框架的软件开发环境，以及配套的工具链开发环境。本文档主要介绍 SVP 的硬件特性、配套工具链及开发流程，旨在帮助用户快速入门以及开发出充分利用 SVP 硬件特性的智

15、能应用。基于 OpenVX 的的软件开发介绍请参考HiSVP API 参考文档。1.2 开发框架SVP 开发框架如图 1-1 所示。前 SVP 中包含的硬件处理单元有 CPU、vision DSP、NNIE，其中某些硬件可能有多核或者多个。整个 SVP 的用户软件接口大部分符合 OpenVX 1.1 软件框架标准，如图 1-2，仅有少部分不支持，同时为适应海思平台做了一些扩展接口，HiSVP API 参考文档。不同的硬件有不同的配套工具链，用户的应用程序需要结合这些工具的使用来开发。海思专有和信息1所有 ©市海思半导体图1-1 SVP 开发框架User applicationUser

16、 interfaceKernel driverHardware1.3 硬件不同的SVP 会使用不同硬件，如表 1-1：表1-1 不同下的 SVP 硬件针对 CPU 的具体规格，请参考 ARM文档。DSP 和 NNIE 的硬件规格，可以参考Hi3559AV100ES ultra-HD Mobile Camera SoC 用户指南。不同的SVP 可能会使用不同的硬件，即便是使用相同的硬件型号，硬件的配置也不一定相同。海思专有和信息2所有 ©市海思半导体SVP 硬件CPUDSPNNIEHi3559AV100ES双核 A73+双核 A532 个1 个Vision APPToolOpenVXD

17、riverCPUVision DSPNNIE1.4 软件开发SVP 采用基于 OpenVX1.1 的软件开发框架，如图 1-2 所示。用户程序可以形象的以Node 组成的 Graph 来表示，不同的 Node 可以执行到不同的硬件中（Graph、Node 的定义参考HiSVP API 参考）。用户可以根据 SVP 的软硬件特性开发出能最大化利用SVP 硬件的视觉处理应用。SVP 是海思处理的智能平台，因此需要结合海思 MPP 平台一起来进行软件开发，可参考相关文档HiMPP V4.0处理软件开发参考。图1-2 SVP 基于 OpenVX 的开发框架OpenVX APIKmNxVision AP

18、PKiKoNiNoNyKnNNIECompilerC/C+CompilerDSP ISA/Intrinsics CompilerToolHardwareVision DSPNNIECPU1.5 开发环境不同的SVP 会在不同的环境上运行，如表 1-2 所示。表1-2 不同下的 SVP 运行环境对于 Hi3559AV100ES：SVP 布局在双核 A73 和双核 A53 组成的 big.LITTLE 上，业务布局在单核 A53 上，智能业务需要的图像数据是通过核间通信从单核 A53 上获取。具体多核业务开发可以参考HiMPP 多核 使用指南和 SDK 包提供的sample。海思专有和信息3所有

19、©市海思半导体操作系统Hi3559AV100ESLinux(big.LITTLE)Hi3559AV100ES ultra-HD Mobile Camera SoC用户指南HiSVP API 参考HiMPP V4.0处理软件开发参考HiMPP 多核使用指南海思专有和信息4所有 ©市海思半导体2 DSP 开发指南 2 DSP 开发指南Xtensa Xplorer 是 Cadence 为客户提供的针对其 DSP 进行软件开发的一个集成开发环境，其包含了软件开发(software development)、编译(compile)、调试(debugging)、(simulation)

20、、性能分析(profiling)、硬件跟踪(hardware trace)等功能。Xtensa Xplorer 的安装使用可参考 Cadence 提供的文档，以下均简称为 Xplorer。由于 SVP 在不同上可能使用不同的 DSP；即便是相同型号的 DSP，硬件配置也可能不一样。在有 DSP 的核供用户在 Xplorer 下配套开发包中，海思为用户提供了与硬件相同配置的配置开发。配置核在 HiSVP_PC_V.x 的 tool 录下与中 DSP 的型号一致的录中，如tool/vp6，其中 windows、linux 录分别在 windows、linux 上 Xplorer 的配置核。HiSV

21、P_PC_Vdsp 的配置。.x 的 tool 中可能提供了多个 dsp 配置核，分别对应到实际中多个2.2 Windows 环境下安装 DSP 工具链和配置核本文假定用户在 windows 环境中已经安装好了 Xplorer7.0.4，并且获取到了海思提供的Hi3559AV100ES VP6 配置核 VP61_1124，以下均以此为例进行配置核安装，不同不同配置核的在不同 Xplorer 版本的安装类似：海思专有和信息5所有 ©市海思半导体2 DSP 开发指南Hi3559AV100ES VP6 配置核 VP61_1124 需与 RG2016.4 版本的工具包配套使用，Xplorer

22、7.0.4 默认集成了 RG2016.4 工具包，如用户使用其他版本的 Xplorer，需要另外安装 RG2016.4 工具包。击 Find and Install a Configuration Build；图2-1 System Overview步骤 2. 进入 Find andInstall a Configuration Build 界面，点击“Browse”，选择待安装配置核（此处以 VP61_1124_win32 为例），点击“OK”即开始安装；海思专有和信息6所有 ©市海思半导体2 DSP 开发指南图2-2 Find andInstall a Configuration

23、 Build海思专有和信息7所有 ©市海思半导体2 DSP 开发指南图2-3 查看安装好的配置核的 C:VP61_1124，即表示使用的是海思提供的配置核。图2-4 创建的工程界面-结束2.3 修改 memmap 配置用户可以参考 Xtensa ® Linker Support Packages (LSPs) Reference Manual面以海思开发包提供的 dsp0 memmap.xmm 文件做说明，如下所示：的第二章。下SRAM 部分是 DSP 在 DDR 执行指令和在 DDR 上的数据段空间，不可修改；dram0 和 dram1 是 DSP 内部数据，各有 192

24、KB 分配给算法开发使用； 海思专有和信息8所有 ©市海思半导体2 DSP 开发指南fixvector 作为 DSP 复位使用空间，系统固定分配；iram0 作为 DSP 向量空间，系统固定分配；iobypass 为系统固定分配的串口调试空间。 /discription: memmap.xmm fileVECBASE = 0x40000400/dynamic vector base addressENTRY = "_PostResetVector"PLACE SECTIONS(.PostResetVector.text) WITH_SECTION(.ResetVe

25、ctor.text)/PLACE SECTIONS(.MemoryExceptionVector.literal)WITH_SECTION(.MemoryExceptionVector.text)/move .literal to .text segment/os_init_data/3MBEGIN SRAM_000x40008000: sysram: SRAM_00: 0x300000: writable ;SRAM_00:C: 0x40008000-0x40307fff: .os.hshell.data .os.jmptable.data .os.init.data .os.data .d

26、ata .os.shared.data .os.shar ed.bss .os.init.bss .os.bss .bss;END SRAM_00/1MBEGIN SRAM_010x40308000: sysram: SRAM_01: 0x100000: executable, writable ;SRAM_01:C: 0x40308000-0x40407fff: .os.data.icunit .os.shared.test.data .literal .text .os.kernel.literal .os.kernel.text .os. monitor.literal .os.moni

27、tor.text;END SRAM_01/1MBEGIN SRAM_020x40408000: sysram: SRAM_02: 0x100000: executable, writable ;SRAM_02:C: 0x40408000-0x40507fff: .os.literal .os.text .os.minor.literal .os.minor.text .os.init.literal .os.init.text ;END SRAM_02海思专有和信息9所有 ©市海思半导体2 DSP 开发指南/2.99MBEGIN SRAM_030x40508000: sysram :

28、 SRAM_03: 0x2fe000 : executable, writable ;sram0 : C : 0x40508000 - 0x40805fff :HEAP : .sram.rodata .rodata ;END SRAM_03/256KBBEGIN dram00x15100000: dataRam : dram0: 0x40000 : writable ;dram0_0 : C : 0x15100000 - 0x1512ffff : .dram0.rodata .dram0.literal .dram0.data .dram0.bss;dram0_1 : C : 0x151300

29、00 - 0x15130fff : STACK :;dram0_2 : C : 0x15134000 -0x1513ffff : .dram0_2.rodata .dram0_2.literal .dram0_2.data .dram0_2.bss;dram0_3 : C : 0x15131000 -0x15133fff : .dram0_3.rodata .dram0_3.literal .dram0_3.data .dram0_3.bss;END dram0/192KBBEGIN dram10x15200000: dataRam : dram1: 0x30000 : writable ;d

30、ram1_0 : C : 0x15200000 - 0x1522ffff : .dram1.rodata .dram1.literal .dram1.data .dram1.bss;END dram1/fixed vectorBEGIN fixvector0x40000000: instRam : fixvector: 0x300 : executable, writable ;RESET:F: 0x40000000-0x400002ff : .ResetVector.text;END fixvectorBEGIN iram00x40000400: instRam : iram0: 0x7c0

31、0 : executable, writable ;WINDOW: F : 0x40000400 - 0x40000577 : .WindowVectors.text;LEVEL2_LIT : C : 0x40000578 - 0x4000057f : .Level2InterruptVector.literal;LEVEL2: F : 0x40000580 - 0x400005b7 : .Level2InterruptVector.text;海思专有和信息10所有 ©市海思半导体2 DSP 开发指南DEBUG_LIT: C : 0x400005b8 - 0x400005bf : .

32、DebugExceptionVector.literal;DEBUG: F : 0x400005c0 - 0x400005f7 : .DebugExceptionVector.text;NMI_LIT: C : 0x400005f8 - 0x400005ff : .NMIExceptionVector.literal;NMI: F : 0x40000600 - 0x40000637 : .NMIExceptionVector.text;KERNEL_LIT : C : 0x40000638 - 0x4000063f : .KernelExceptionVector.literal;KERNEL

33、: F : 0x40000640 - 0x40000677 : .KernelExceptionVector.text;USER_LIT: C : 0x40000678 - 0x4000067f : .UserExceptionVector.literal;USER: F : 0x40000680 - 0x400006b7 : .UserExceptionVector.text;DOUBLE_LIT : C : 0x400006b8 - 0x400006ff : .DoubleExceptionVector.literal;DOUBLEIRAM0_LIT: F : 0x40000700 - 0

34、x4000073f : .DoubleExceptionVector.text;: C : 0x40000740 - 0x400007ff : .iram0.literal;IRAM0: F : 0x40000800 - 0x40007fff : .iram0.text;END iram0BEGIN iobypass0x12100000: io : iobypass: 0x4000 : device, executable, writable ;END iobypass2.4 查看 stack 使用具体操作步骤如下：步骤 1.点击 Xplorer 的 Tools->Statck Usag

35、e 选项。图2-5 查看栈信息操作界面步骤 2.此时会出现 Stack Usage 的窗口。选择一个工程，右键点击 Expand All，选择可执行文件右键点击“Show in Left Panel”或“Show in Right Panel”查看该文件的 Stack 使用情况。海思专有和信息11所有 ©市海思半导体2 DSP 开发指南图2-6 显示栈信息窗口-结束2.5 Linux 环境下安装 DSP 工具链和配置核在 Linux 环境下安装 Cadence DSP 的工具链和配置核可参考 Cadence 提供的文档dev_tools_install_guide.pdf。用户在利用

36、海思提供的 SDK 包进行板端 DSP 程序开发时，推荐按照以下方式安装 DSP 的工具链和配置核。2.5.1 安装 DSP 工具链下面以 Xplorer-7.0.4-linux-installer.bin 版本介绍工具链的安装。步骤如下：步骤 1.步骤 2.首先需要以 root 权限在服务器上创建录/opt/xtensa。把 Xplorer-7.0.4-linux-installer.bin 安装包拷贝到/opt/xtensa 录下，然后执行安装./Xplorer-7.0.4-linux-installer.bin，如下面所示：rootSZX1000040224:/opt/xtensa# .

37、/Xplorer-7.0.4-linux-installer.bine to the Xtensa Xplorer Setup Wizard.Please read the following License Agreement. You must accept thisagreement before continuing with the installation.the termsofPress Enter to continue :Cadence Tools Software Use AgreementYour use of the software you are about to

38、install is subject morelicensing agreements.to one orPortions of this software are subject to the terms of either(1) a海思专有和信息12所有 ©市海思半导体2 DSP 开发指南technologylicense agreement between licensee, (2) an end user licenseeand you, or (3) a limitedyou. InCadence and the user ("you") - a dir

39、ect Cadencelicense agreement between an existing Cadenceuse evaluation agreement between Cadence andaddition, each directory contains files that identify any open source licensesor copyrights that apply to each component.For a copy of the license software,please make an inquiry tosoftware to you.agr

40、eement that applies to your use of thisthe organization that provided this copy of thePress Enter to continue:Do youaccept this license? y/n:yXtensaXplorer Installation DirectoryPleaseXplorerenter the path to the Xtensa Xplorer root directory. The Xtensa7.0.4 and XtDevTools directories will be insta

41、lled in this directory.It ispreviousmended that you use the same Xplorer root directory as yourinstallations of Xplorer so that the XtDevTools directory can be shared, whichwill allow this version of Xplorer to use all previous installations of Xtensaconfigurations and tools.Xtensa Xplorer Root Dire

42、ctory /opt/xtensa:Warning: The installer did not detect an XtDevTools directory in thelocation that you version of Xtensadirectory so thisspecified. If you have previously installed any Xplorer, please install this version in the same rootversion can share the same XtDevTools tree.Do you have an exi

43、sting installation of Xtensa Xplorer?Click "Yes" to specify the previous Xplorer root directorylocation( usually /usr/xtensa), otherwise click "No" if this is your海思专有和信息13所有 ©市海思半导体2 DSP 开发指南first installation of Xplorer.Y/n: nSelect the components you want to install; clea

44、r the components not wantto install. Click Next when you are ready to continue.youdoXplorer and Xtensa Development Tools : Y (Cannot beedited)General Sample Configs Y/n :yXtensaFusion F1 DSP Y/n :yXtensaHiFi Family Samples Y/n :yXtensaTIE base examples builds Y/n :yXtensaConnX D2 DSP Engine Referenc

45、e Cores Y/n:yIs theselection above correct? Y/n: yXplorer components selectedSelected the following components:+XtensaXplorer and Development Tools+XtensaFusion F1 DSP core+XtensaHiFi Family Samples+XtensaConnX D2 DSP Engine ReferenceCores+XtensaTIE base example+XtensaGeneral SamplesPress Enter to c

46、ontinue :Disk Space Report海思专有和信息14所有 ©市海思半导体2 DSP 开发指南Installation space reportRequired disk space is : 3640 MBCurrent disk has free space : 7570 MBPress Enter to continue :Installation SummaryXtensa products will be installed as followsXtensa Xplorer will be installed to:/opt/xtensa/Xplorer-7

47、.0.4Xtensa Tools will be installed to:/opt/xtensa/XtDevTools/install/tools/RG-2016.4Xtensa Tools and samples bundles will be stored at:/opt/xtensa/XtDevTools/downloads/RG-2016.4Xtensa Xplorer workspace default location:/opt/xtensa/Xplorer-7.0.4-workspacesPress Enter to continue :Pre-installation Mes

48、sageThe Xplorer installer runs in 2 phases. The last phaseinstallation) is(post-installing tools and any configurations selected, and may run for severalminutes without appearing to make progress. Please be patient.Press Enter to continue :Setup is now ready to begin installing Xtensa Xplorer on you

49、r computer.Do you want to continue? Y/n: yPlease wait while Setup installs Xtensa Xplorer on your computer.海思专有和信息15所有 ©市海思半导体2 DSP 开发指南Installing0%50%100% #Post Installation Script ResultCongratulations ! You have finished installing Xplorer-7.0.4Please review the following message log to make

50、 sure of the success of theinstallation.=INSTALLING XtensaTools= LOCATE utils plugin = WHERE_UTILS_RESULT=/opt/xtensa/Xplorer- 7.0.4/eclipse/plugins/other.xide.external. utils_000INSTALL XTTOOLS COMMAND : /opt/xtensa/Xplorer-7.0.4/eclipse/jre/bin/java-cp/opt/xtensa/Xplorer- 7.0.4/eclipse/plugins/other.xide.external.utils_000/ut ils.jar other.xide.external.utils.io.Unpack/opt/xtensa/XtDevTools/downloads/RG- 2016.4/tools/XtensaTools_RG_2016_4