开发者创新中心建设项目需求

开发者创新中心建设项目需求序号名称技术参数单位数量1工业数据采集实训平台工业数据采集实验平台工业数据采集实验平台适用于工业传感数据采集和传输项目学习和开发。其主要功能包括且不限于：设备管理功能：在手机APP中可以对数据采集终端通过填写节点信息，在系统中添加数据采集终端。可以在手机端查看到已添加的数据采集终端，并通过删除按钮删除数据采集终端。数据采集功能：通过温湿度光照传感器、速度传感器、位移传感器、角度传感器、气压传感器对工业常见数据进行采集。数据终端通过RS485接口、TTL电平接口与传感器连接，对数据终端配置，实现各项数据的采集。在手机上可以查看各传感器采集的数据。告警功能：在手机APP中可以对各项数据进行阀值的设置，当传感器采集的值小于最小值或大于最大值，在手机APP中将现实告警图标。数据采集频率设置功能：通过手机APP可以对数据采集终端的数据上传频率进行设置。实验过程中主要使用的软件包括但不限于：应用开发环境：应用开发环境是为运行在国产操作系统上的应用和服务（以下简称应用/服务）提供一站式的开发平台。作为一款开发工具，除了具有基本的代码开发、编译构建及调测等功能外，还具有如下特点：（2）高效智能代码编辑：支持ArkTS、JS、C/C++等语言的代码高亮、代码智能补齐、代码错误检查、代码自动跳转、代码格式化、代码查找等功能，提升代码编写效率。更多详细信息，请参考编辑器使用技巧。（3）低代码可视化开发：丰富的UI界面编辑能力，支持自由拖拽组件和可视化数据绑定，可快速预览效果，所见即所得；同时支持卡片的零代码开发，降低开发门槛和提升界面开发效率。更多详细信息，请参考使用低代码开发应用/服务。（4）多端双向实时预览：支持UI界面代码的双向预览、实时预览、动态预览、组件预览以及多端设备预览，便于快速查看代码运行效果。更多详细信息，请参考使用预览器预览应用/服务界面效果。（5）多端设备模拟仿真：提供国产操作系统移动应用终端本地模拟器，支持手机等设备的模拟仿真，便捷获取调试环境。更多详细信息，请参考使用模拟器运行应用/服务。二、含理论+实践课程（含Word、PPT、视频等）1套：包括≥9个PPT、≥1个实验手册、≥50道练习题，视频总时长≥360分钟。课时数≥48课时，具体课程内容包括但不限于：《工业数字化介绍》《工业数据采集系统介绍》《工业数据采集系统设计》《工业数据采集系统开发环境搭建》《数据采集终端系统移植》《数据采集终端传感器数据采集功能开发》《数据采集终端配置命令行功能开发》《数据采集终端数据采集功能开发》《工业数据采集APP页面布局开发》《工业数据采集APP数据通信功能开发》三、含Demo源码1套：工业数据采集demo源码≥1个四、含学习管理平台1套：一、教学管理系统：1、参与的角色包括：超级管理员、普通管理员、学生；2、支持班级及学生管理：支持查看班级信息，编辑班级信息；支持查看学生列表，编辑学生信息；支持学生可存在多个班级，并可视学生上课情况调整学生所在班级，以便适应各类课程形式及教学形式需求；支持在班级里添加或移除学生；二、教学课程系统:1.提供课程配套的公有云课程资源，课程资源应包括课程视频、课件、教案、课程练习、附件、素材等形式；2、开设课程账号数量不少于200个3、支持教材管理功能。支持在线播放课件；支持教材内容搜索功能，快速查询内容；平台支持打开本地教材文件，支持将教材PPT、Word下载到本地。4、支持视频播放功能。视频至少包含理论教学视频和实验教学视频；5、系统需预置课程实验手册，以文字和配图的形式详细说明实验步骤。实验手册需包括但不限于任务需求、任务步骤、任务结果、总结和分析等；6、实验手册需完整详实，步骤清晰，确保学生能够根据手册完整实现实验过程。实验手册支持下载到本地；7、支持在线练习功能，练习题型包括但不限于客观题、实操题、模拟考试等。三、教学资源:1、教学资源包括课程大纲、授课PPT、练习题及答案、课程配套实验（实验环境、实验手册）等内容。2、包含1+X移动应用开发初中高级证书所需的对应课程资源。套82基于人工智能的机器视觉综合实训平台机械臂开发平台：1、机械臂开发软件机器人控制软件，包含机械臂驱动文件。支持Magician设备，包含示教再现、写字画画、Blockly、脚本模块等功能。通用：设置向导、控制台、设备名、勾选滑轨功等功能调平：对大小臂角度传感器进行手动校准、自动校准初始化姿态：设置初始化姿态点动：设置关节、滑轨和笛卡尔坐标系的速度和加速度再现：设置关节参数、坐标系参数、Jump参数、手持示教写字画画：设置写字画画的参数。比如速度、拐角速度、线性加速度、加速度、抬笔高度和下降位置手势控制：设置手势控制的参数。比如速度、缩放和性能模式鼠标控制：设置鼠标控制的参数。比如速度、缩放和性能模式2、机器人指令接口控制器支持两种类型的指令：立即指令与队列指令。接口大类包括且不限于：连接/断开指令队列控制设备信息实时位姿告警功能回零功能HHT功能末端执行器JOG功能PTP功能CP功能ARC功能丢步检测功能WAIT功能执行触发指令EIO功能3、AI开发平台支持包含以下且不限于：Caffe/TensorFlow/Pytorch/MxNet/ONNX/Darknet/TENGINE等训练框架模型直接部署，支持层融合、量化等网络性能优化策略，提供统一API（C/Python/JNI）接口，提供扩展接口自定义算子；至少包含高性能计算库：加速嵌入式平台神经网络推理运算，具备常用的图像处理、计算机视觉、模式识别的算子与算法，提供异构调度硬件加速芯片图像处理，具备常用的音频信号前后处理算子，支持FFT/IFFT、MFCC等信号处理方式；含理论+实践课程（含Word、PPT、视频等）1套：课程需要包括PPT，Word、视频、练习题包括≥5个实验手册、≥5个PPT、≥20道练习题、≥20个视频。课时数≥64课时，课程内容包括且不限于：《机械臂基础指令训练》使用示教再现和脚本控制实现机械臂操作，然后在系统中使用Python控制机械臂。《通过语音操作机械臂》利用用户发出语音指令，通过语音处理平台识别转化为机械手臂可以识别的指令，然后让机械手臂执行操作。《基于传感器的搬运分拣》传感器检测一定距离是否有物体，使用手臂抓取物体放入传送带，有则驱动传送带传输，之后停下，然后进行抓取，然后根据颜色放入不同位置。《基于图像识别的物品抓取》摄像头拍下各种颜色、形状、位置物品图片，训练识别模型，调用图像处理模型识别出新的摆放中要抓取的物品，转换为机械臂的坐标，然后控制机械臂到指定位置抓取物品。《工业质检》（GPU）本实验主要实现一个工业质检案例，是人工智能应用与机械臂应用的整合，检测对象为旅行装面霜盒。主要流程为：从基本的视觉设备调试，到程序控制摄像头提取图片，再到视觉标定使程序能够准确将图片中坐标转化为机械臂坐标，再使用深度学习技术构建模型识别瑕疵产品，最后控制机械抓取产品分类放置。含配套项目实操实验1套：1、机械臂基础指令训练实验1认识机械臂：介绍机械臂及吸盘套件安装，包括安装机械臂的底座、大臂、小臂、末端工具等，机械臂活动范围，接口板各个接口的功能，指示灯的状态及吸盘套件的安装方法；实验2开发工具安装并使用：进行开发工具的下载、安装，使用连接机械臂的方法，并了解机械臂的功能模块，如具有示教再现、写字画画、脚本控制等功能；实验3使用可视化方式控制机械臂：掌握机械臂关节坐标系和笛卡尔坐标系的使用，使用了解机械臂几种运动模式之间的差别，并掌握手持示教及吸盘手持示教控制机械臂的步骤；实验4使用Python脚本控制机械臂：使用各种功能函数，包括脚本和指令，常用的队列控制指令，设备信息，实时位姿，告警，回零功能，末端执行器，点位模式（PTP）控制，从而利用python脚本控制机械臂；实验5使用智能终端设备控制机械臂：基于开发板驱动机械臂，编写记录位置程序、记录木块位置、编写机械臂抓取程序并执行，最后完成使用Python操作机械臂从指定位置抓取一个木块并放置到指定位置的操作；2、通过语音操作机械臂实验1语音采集：在开发板上配置麦克风，语音采集与播放测试，最后使用Python在开发板上进行语音采集与播放；实验2语音识别：使用公有云语音识别服务，包括服务的开通、token的获取、接口的调用，将基于本地采集的语音转换为文本信息；实验3语音操作机械臂：编写位置记录程序、编写告警处理程序、编写记录位置程序、实现语音驱动机械臂整合，实现两个整合功能，一为通过声音控制抓去不同颜色的木块，二为通过语音控制机械运动到指定坐标。3、基于传送带的搬运分拣实验1安装传送带：了解传送带模块的基本构成，以及安装与接线方式，主要包括电机、光电传感器、颜色传感器；实验2使用Blockly编程：使用Blockly方式编程，包括Blockly各类模块的用法，最终利用机械臂、传送带、光电传感器和颜色传感器配合执行，实现木块分拣的功能；实验3使用Python编程：使用Python基于机械臂，传送带，以及光电传感器和颜色传感器配合执行，实现木块分拣的功能；4、基于图像识别的物品抓取实验1视觉处理准备：指导用户了解摄像头、支架、光源套件、标定板几个部分，并掌握组装过程，并编写Python调用摄像头程序，用于配合调节光源、对焦和光圈等；实验2视觉标定：指导用户了解视觉标定的基本原理，并编写视觉标定程序，执行标定程序，输出标定的转换矩阵，并测试标定效果；实验3图像处理识别（OpenCV）：指导用户编写Python程序利用OpenCV识别图像中的纯色物体，包括：定义颜色的范围、去掉范围外的其他颜色、获取留下的坐标，并标注；实验4基于图像识别的机械臂抓取：基于上面已经实现的功能进行整合，实现一个简单的木块分拣功能，即识别木块的颜色，将不同的颜色的木块放置到不同位置；5、工业质检实验实验1试验台视觉处理前准备：指导用户了解摄像头、支架、光源套件、标定板几个部分，并掌握组装过程，并编写Python调用摄像头程序，用于配合调节光源、对焦和光圈等；实验2视觉标定：指导用户了解视觉标定的基本原理，并编写视觉标定程序，执行标定程序，输出标定的转换矩阵，并测试标定效果；实验3构建图像识别模型：基于Pytorch框架构建YOLOV4TINY模型，获得针对正常品与瑕疵品图片的目标检测。过程包括图像的采集、图像的标注、模型的构建与训练、模型的转换与部署。最终完成工业质检案例中视觉处理部分，包括模型训练，端侧部署应用的全流程实践；实验4基于图像识别的机械臂抓取：指导用户基于上面已经实现的功能进行整合，实现一个简单的工业质检功能，即识别产品属于良品还是瑕疵品，然后将良品、瑕疵品通过机械臂抓取放置到不同位置；实验5整合传送带：首先开始传送带，将待质检的产品上料传送带（这里只有有一台机械臂，考虑人手上料），开启光电传感器，检测到物体停止传送带，然后机械臂抓取产品到质检位置，通过视觉识别瑕疵品和良品，然后分别抓取到不同位置。套83全场景开发实训平台一、全场景开发实训平台：全场景开发实训平台适用于国产化操作系统应用及设备的学习和开发。其主要功能包括且不限于：平台支持在兼容国产操作系统的设备上运行。数据采集：平台可外接以下且不限于可燃气体扩展板、温湿度传感器、

温湿度传感器、光照传感器、人体红外传感器、

限位器传感器、

PM2.5传感器、PH值传感器、红外测温传感器、称重传感器、距离感应传感器等进行数据采集。执行器控制：通过平台的操作指令，可以控制以下且不限于红绿灯、炫彩灯、智能语音播报节点、双路继电器、风扇节点、窗帘执行器、水泵节点、步进点击、舵机等执行器、OLED显示板等工作。通过外设，可通过ZigBee进行通信。通过外设，可通过LORA进行通信。通过外设，可实现与更多传感器、执行器进行通信，包括但不限于：循迹传感器、超声波传感器、电机、舵机、串口设备、I2C接口设备。通过外设，可实现NFC功能。二、含理论+实践课程（含Word、PPT、视频等）1套课程需要包括PPT，Word、视频、练习题资源数量：PPT≥100份，实验指导手册≥60份，课程视频≥100份，示例代码≥50份。课时数≥109课时，课程内容包括但不限于：《单项实验》《智慧农业》《医疗健康》《智能家居》三、教学及编程软件1套编程IDE环境1、面向开发者提供的一站式集成开发环境，支持国产化操作系统的的组件按需定制，支持代码编辑、编译、烧录和调试等功能，支持C/C++语言，以插件的形式部署在VisualStudioCode上。2、采用Windows+Ubuntu混合开发环境，在Windows上主要进行代码开发、代码调试、镜像烧录等操作，在Ubuntu环境实现源码编译。其具有以下特点：支持代码查找、代码高亮、代码自动补齐、代码输入提示、代码检查等，开发者可以轻松、高效编码。支持丰富的芯片和开发板，包括但不限于Hi3516DV300/Hi3861V100/Hi3751V350/BearPi-HMNano开发板，以及Neptune/RK3568/Bearpi-HMMicro等开发板。（3）支持自动检测各芯片/开发板依赖的工具链是否完备，并提供一键下载和安装缺失工具链。（4）支持多人共享开发模式，采用基于Remote-SSH模式实现多人共享远程开发，实现一个团队公用一台服务器进行编译、烧录。（5）支持源码级调试能力，提供查看内存、变量、调用栈、寄存器、反汇编等调试信息。四、Demo源码资源包1套智慧农业Demo≥1个智慧医疗Demo≥1个智慧家居Demo≥1个五、含配套项目实操实验1套：全场景分布式国产操作系统系列实验≥10个，包含：全场景分布式国产轻量系统介绍、开发环境搭建、代码编译、HelloWord、串口升级、WiFiAP实验、WiFiSTA实验、MQTT实验、ADC按键实验、OneNET云实验；AIOT传感器系列实验≥4个，包含：环境检测实验、可燃气体检测实验、人体检测、智能灯控实验、光控灯光实验、智能风扇实验；国产操作系统应用开发系列实验≥15个，包含：应用开发环境搭建、国产操作系统Ability开发实验、国产操作系统Stage模型应用、ArkTS基础语法实验、ArkTS页面布局实验、ArkUI常见组件实验、ArkTS页面路由实验、、HTTP请求实验、Socket通讯实验、ArkTS动画实验、ArkTS自定义组件实验、ArkTS自定义弹窗实验、原子化卡片开发实验、文件管理实验，分布式计算器应用开发实战；智慧农业实训项目案例，包含：01智慧农业系统框架设计；02传感器层设计，包括土壤温湿度传感器、光照传感器数据采集分析，数据上传等；03边缘计算，包括智慧农业环境监测、设备控制、设备测数据计算等；04云平台开发，包括云平台接入，云平台web页面设计、数据通信、云端数据计算、数据监测，云端控制等；05智慧农业整体项目集成，对整个项目所有模块代码进行集成、系统模块功能对接，最终完成整个项目；医疗健康实训项目案例，包含：01医疗健康项目系统框架设计；02可穿戴设备开发，包括心率传感器、温度传感器等数据采集，数据分析，数据上传等；03家居设备开发，包括风扇、空调开关控制、蜂鸣器告警等，实现可穿戴设备与家居设备联动；04医疗中控面板开发，人机交互、健康数据显示、医疗呼叫终端；05云平台开发，包括医疗健康数据采集，数据显示、云端数据监测、数据通信等；06医疗健康整体项目集成，对整个项目所有模块代码进行集成、系统模块功能对接，最终完成整个项目；智能家居实训项目案例，包含：01智能家居系统框架设计、02智能家居设备开发，包括有风扇、人体红外传感器、温湿度传感器、智能开关等；03家居中控面板开发，人机交互、家庭环境数据显示；04云平台开发，包括家居环境数据，云端数据监测、数据通信等；05医疗健康整体项目集成，对整个项目所有模块代码进行集成、系统模块功能对接，最终完成整个项目；套24端云协同AI开发实训平台一、端云协同AI开发实训平台：端云协同AI开发实训平台是专门为AI开发者提供的易于使用，高效，高扩展的AI推理开发框架，它可以帮助AI开发者快速完成从模型文件到AI推理应用的开发和上线工作，降低AI算法落地门槛，同时带来AI应用的高稳定性和极致性能。提供相关开发SDK，SDK支持连接