大数据人工智能一体化实验室建设方案V4.2

大数据人工智能一体化实验室建设方案中科天玑数据科技股份有限公司深挖价值，服务国家，惠及大众目录Content020304方案背景增值服务01建设方案方案价值天玑团队介绍大数据智能分析领航者Part0服务国家战略需求，赋能行业数智创新创立于2010年，2016年完成股份制改造，2021年获中科曙光战略投资起源于“计算机事业的摇篮”，是计算所大数据方向唯一的产业化平台大数据分析系统国家工程中心的重要共建单位和示范应用基地，华罗庚智能数据分析创新中心成员单位打造自主创新、安全可信、智能高效的人工智能平台及应用网信政法军工行业应用科教SAAS服务智能应用魔镜•情报分析洞见•音视频舆情平台产品文曲•数智基座千亿级数据资产1000+实战算法模型15亿+领域知识图谱国家级专精特新小巨人企业大数据智能分析领航者Part0静态与动态数据管理全生命周期数据治理城市级与行业级中台便捷式模型快速开发情报建模行业领先NLP算法国际领先广谱关联映射非结构化抽取，深度语义理解十亿级规模图分析算法秒级响应数据中台AI中台知识中台深挖数据价值Part0网信“十四五”信息化顶层设计覆盖中央、省、市三级网信体系网络空间治理为核心的新一代舆情分析系统JKW前沿课题、创新特区重点项目新一代人机协同的智能情报系统认知域情报创新应用网信舆情国防安全内容安全领航者前沿技术践行者服务国家战略Part0社情民意分析警务全息认知大脑城市大脑一网统管创新科技情报图谱特种专业情报演训大数据、人工智能、信创专业实训校园舆情监测城市服务科研教育数智城市赋能者产教科融合示范者创新优政强基Part0Part1方案背景行业背景·高校人才背景Part1政府支撑201420212014年，大数据首次写入政府工作报告，之后大数据产业逐渐成为各级政府关注的热点。目前，全国31省市陆续出台相关政策，各地出台大数据相关政策已经超过100条写入政府工作报告相关议案、提案提交2021年3月全国两会，多位全国人大代表、政协委员提交了多项涉及“大数据”相关的议案、提案，公共数据的价值释放以及数据的治理与保护等成为重点关注话题国家对大数据的规划部署在《中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要》中，“大数据”在规划的征求意见稿中出现了14次，而“数据”一词则出现了六十余次大数据正在成为融入经济社会发展各领域的要素、资源、动力、观念大数据带动的新一代信息技术从“前沿技术”正在变为“重要应用”Part1数据产业发展情况2019年5386.2亿元2840.8亿元2016年我国大数据产业市场规模增速连续四年保持在20%以上2025年19508亿元预计未来我国行业大数据市场规模增速将维持在15%-25%之间互联网金融通信安防大数据交通能源工业2020年，受新冠肺炎疫情倒逼，大数据技术、产品和解决方案被广泛应用联防联控、产业监测、资源调配、行程跟踪等新兴领域市场人才需求现状Part104030201合格人才短缺招聘困难理论基础强，但缺乏应用实践能力人才培养渠道有限，培养周期长市场人才争夺激烈，内部人才流失风险高市场人才需求情况人才的供给指数最低，仅为0.05，属于高度稀缺。0160%以上企业都在招大数据人才。03未来人才缺口将达到1400万。02需求面临主要问题Part1缺乏系统化和规范化的标准化教材。01师资力量不足。03缺乏系统性的课程体系和内容。02教学实验资源匮乏。04高校专业建设需求686所136所14所831所高校专业发展情况Part2建设方案方案概述·实验室建设·资源建设Part2

大数据人工智能一体化实验室大数据人工智能一体化实验室集教学、实训、科研为一体，拥有课程和案例两大体系建设方案，同时基于学校教学需要，分为大数据基础学习，人工智能进阶学习两方面教学实训内容，以此全面满足高校大数据人工智能的实验教学科研要求。舆情大数据金融大数据安全大数据军警大数据教育大数据……数据层实验室应用层课程体系­课程教学算子实验在线考试计算层计算资源CPUGPU计算与调度引擎分发调度引擎数据分析引擎机器学习引擎深度学习引擎行业案例算子库工业金融医疗旅游新闻各行业真实数据机器学习模型预测QB分析教学案例实验教学科研典型应用场景一体化案例特色课程教学课件大数据基础平台人工智能进阶平台舆情分析实验室情报分析实验室信创实验室Part2

大数据人工智能一体化实验室概述精选课程和行业案例大数据基础精选课程和行业案例人工智能进阶针对高校大数据、人工智能专业实训教学、项目实践等实际应用场景，大数据人工智能一体化实验室提供稳定、可靠、高效的软硬一体化教学科研环境，以及完善的课程体系、行业案例和实验数据。以文本、视频、多样化的教学手段和丰富的实战案例呈现，资源建设包含精选课程资源（基础+进阶）和精选案例资源（基础+进阶）。Part2

资源建设--课程精选课程（基础）《数据清洗》《消息发布订阅系统(kafka)》《数据分析与挖掘》《Scala编程》《大数据可视化技术》《大数据处理技术(Spark)-基础》《数据统计建模与挖掘》《大数据处理技术(Spark)-中级》《数据库应用》《大数据处理技术(Spark)-高级》《Mysql数据库》《R语言基础》《数据分析技术（SPSS）》《R语言统计与建模》《大数据开发技术(Hadoop)》《Linux基础》《分布式数据仓库(Hive)》《java程序设计》《数据库技术(NoSQL)》《Docker平台应用》精选课程（进阶）《python编程》《数据标注》《大数据智能理论与方法》《区块链理论与应用实战》《人工智能应用基础》《数据挖掘实战》《机器学习》《机器学习典型案例》《深度学习》《深度学习典型实例》《自然语言处理》《自然语言处理案例实战》《知识图谱》《知识图谱分析案例实战》2341配套教学PPT提供教学使用的配套在线视频课程，详细讲解实验内容。在线视频实验手册严格遵循布鲁姆认知模型（实现标准化）在线试题库提供大数据专业考试用的配套试题库，老师可以在线发布考试题，了解学生的知识掌握情况。图文并茂+流程动画Part2

资源建设--课程精选案例包（基础）（含案例数据+实验手册）《农业产品》《交通轨迹》《运营商》《航班路线》《线上竞拍》《银行贷款风险评估》《情感分析》《搜索引擎构建》《NBA赛事预测》《生态环境分析》精选案例包（进阶）（含案例数据+实验手册）《人脸识别》《白葡萄酒质量预测》《手势识别》《鲍鱼年龄预测》《图像分类》《泰坦尼克号灾难生还预测》《物体识别》《信用卡欺诈评估》《某移动运营商垃圾短信分类》《心脏病预测》《微博垃圾消息分类》《乳腺癌恶性预测》《财新网新闻推荐》《基于自增强泊松过程的新冠肺炎预测分析》《Twitter社交数据分析》《中文新闻分类任务》《基于金融舆情数据的倾向性分析》《设备健康状态监控》《基于用户相似度进行影评与推荐》《设备故障预警》Part2

资源建设--案例Part2

资源建设--案例提供行业典型项目案例及行业数据，项目涉及农业、运营商、电商、YB、体育、交通、航空、银行、互联网、环境等10多个领域，每个项目案例都配备项目方案及指导手册、项目源代码及代码注释、案例数据、系统安装部署文档。Part2针对高校大数据教学管理、项目实践等实际应用场景，大数据基础平台提供稳定、可靠、高效的软硬一体化大数据教学科研环境，以及完善的课程体系、项目数据和视频、多样化的教学手段和丰富的实战案例。硬件平台（镜像、虚机、集群监控）教学实验平台实验教学考核一键创建课程综合行业案例标准化大数据教学班级管理（课堂监控、智能分析、成绩评定）学生管控（学习／协助／考核）师资培养9类资源库产教融合高职本科课程体系学生管理员教师大数据基础平台考试中心模型管理教学中心智能实训系统管理备课中心资源中心智能分析系统监控运维管理打通教学-实验-评价-监控-分析全流程Part2大数据基础平台--功能概述备课中心：是根据老师的课程规划，提供课程的基础环境、教学数据、教学素材与实验报告等教学内容的准备。制作课程架构图Part2大数据基础平台--备课中心镜像工厂：可以对平台内的实验环境进行管理，底层技术采用docker和OpenStack混合架构，同时支持生成Windows虚拟机、Docker容器和Jupyter环境，并且支持单机和集群两种模式、可以自定义每一个虚机或容器的物理配置，满足不同的教学场景需求。我的镜像我的镜像支持自主选择节点系统及配置节点参数支持自主选择节点系统及配置节点参数我的镜像可按照容器和虚机创建镜像、加工镜像、发布镜像的步骤把镜像同步至可用镜像系统中正常使用，可对镜像自定义标签，方便查询和调用。Part2大数据基础平台--备课中心1数据集管理针对图像分类、目标检测、机器学习所需的数据集进行管理，支持数据集导入功能。2354素材管理针对备课屏幕录像和备课文档等素材进行管理，平台支持内置录屏功能，可以在系统内完成屏幕录屏功能。支持word、ppt、excel、pdf和MD格式的文档上传等功能。报告模板支持对系统内的实验报告模板进行管理，内置文档编辑器，支持在线编辑模板。文件管理包括平台资源管理和我的网盘管理，均支持课件、视频、手册、图片、软件、数据及其他资源的上传、下载、共享及删除。模型管理提供系统内置的人工智能模型，包括性别年龄识别、图片风格迁移、人体关键点、人脸表情识别、看图说话、YOLO目标检测等图像内容识别模型，并提供模型体验功能。Part2大数据基础平台--资源中心在线实验支持开启对应教学章节的在线实验环境，学生可以在线观看实验1开启学生在线看实验在线播放实教学资源支持在线教学视频播放，PPT，实验手册等教学资源的同步播放23课堂状态4白板教学与互动Part2大数据基础平台--教学中心实验文档实验报告实验笔记切换虚拟机课程目录支持学生对照实验手册，基于虚拟镜像环境完成实训，平台可提供一主两从的真分布式实验环境。支持教师学生在线或离线情况、实验报告提交情况，也可以通过远程协助，进入学生正在试验的环境，帮助在线学生完成实验；Part2大数据基础平台--智能实训考试架构图提供了科目管理、试题管理、试卷管理、考试管理等功能，可查看考试的具体详情。Part2大数据基础平台--考试中心支持查询考试，展示最高分、最低分、平均分、及格率、已提交人数等信息。同时生成错题率统图和成绩排名图。Part2大数据基础平台--考试中心提供可视化数据展示的功能。学习路径主要展示学生的岗位能力达成、技术能力分布、学习路径课程分布等信息。支持通过课程、班级以及姓名筛选。学习路径架构图Part2大数据基础平台--智能分析集群监控etcd监控Kubernetes监控Kubernetes监控集群监控etcd监控Part2大数据基础平台--云平台管理Part2人工智能进阶平台--功能概述HiveNoSQL……SparkHadoop基础学习平台智能驾驶小车标注平台文本数据图片数据模型推理平台物体检测颜色识别……课程体系在线教学课后练习实践报告认知应用实践指导教学在线服务服务检测课程管理实验管理试题管理……标注任务协同标注数据审核……模型构建模型训练模型优化模型发布数据管理算法管理模型管理模板管理进阶学习平台Part2人工智能进阶平台—建模应用提供丰富的算子库和交互式图形化配置和运行监控界面。集数据预处理、模型训练、预测、评估为一体。协同建模，对外发布，实战应用将分析任务抽象为有向无环数据流图(DataflowDAG)，处理流程封装为可拖拽的组件，提供多功能建模画布与可视化图形操作，实现搭积木式的分析流程快速构建。模型构建数据处理模型训练模型输出用户定义区模型运行与调度区结果输出区跨平台（深度学习、机器学习、分布式）跨语言（Java、Python、Scala)跨资源（CPU、GPU）定义数据源数据预处理模型训练模型评估基于Spark计算平台基于Flink计算平台基于深度学习平台（Tensorflow、PyTorch等）进行高纬度模型训练基于机器学习平台进行模型训练，SparkMLlib、SkLearn等平台支持多框架相融合的异构分布式计算环境，集合了MapReduce、Spark、TensorFlow、Pytorch等主流计算框架，支持分析算法库和上层应用。任务中每个算子都能支持Java、Python、Scala、R等主流编程语言，同时能支持单机/分布式算子混合运算。Part2人工智能进阶平台--混合计算B横向维度C协同共建A纵向维度将复杂分析任务的进行处理环节拆分封装每个处理环节为超级节点，输入输出可配置，内部可进行子流程构建基于处理环节进行任务共享分配，达到协同共建Part2人工智能进阶平台--协同建模围绕行业的实际问题，通过协同合作与共享机制，不光能共同打磨和封装算子，让知识在碰撞中掌握的越来越牢固，还能降低复杂业务流程的分析维度，让不同学生明确自身在分析任务中的分工与定位，实现模型的优化与复用，提高应用构建效率。原始数据模型训练模型评估模型发布格式转换数据清洗数据过滤超级节点安全机制数据预处理子流程Part2人工智能进阶平台--插拔式算子工具集构建提供统一的算子定义标准与规范，支持主流的Java、Python、R、Shell等语言算子及标准Docker镜像算子的接入与定义。交互式在线编程环境，支持多种脚本语言的在线编辑、调试与运行。描述信息算子框架参数配置（IO、调试）规则定义（继承、级联）执行包……..所见即所得拖拽式定义RPythonJavaScalaRShellSparkSql编程算子Part2人工智能进阶平台--算子库关系型非关系文本图片ZIP……加载写入SparkMLlibSkLearnXgboostTensorflow基础函数库PyTorch文本处理数据转换数据清洗数据采样数据源/目标数据预处理模型训练模型评估聚类特征转换特征选择参数估计分类回归二分类评价多分类评价困惑度评价均方根误差特征抽取数据校验时序分析网络计算推荐排序文本分析深度学习可拖拽组件API调用离线调用版本管理框架应用基于“开箱即用”原则构建了一套完整面向开放、可扩展的“可插拔式”算子集成框架，适配不同的业务场景。提高大数据在各领域的实际赋能效果，同时还能够增加开发的灵活性、自主性与高度可扩展性，提高算子开发的效率。Part2人工智能进阶平台--计算机视觉与图像处理小狗熊猫图像分类基于已知图片分类集合，对未知图片进行分类识别，支持单一化目标分类识别，可定制化图片分类体系。物体识别检测图像中的单个或多个物体。可识别包含人、汽车、飞机、雨伞、瓶子等在内的90多种物体。发票识别提取图片格式的增值税普通发票及专票信息，生成结构化格式的数据。图像检索以图搜图，在指定图库中检索出相同或相似的图片，适用于图片查找、相似素材搜索等场景。OCR识别提取常规图片中的文字，支持的图片种类包括身份证、车票、证件、红头文件、证书等图片格式数据。Part2人工智能进阶平台--资产沉淀算子管理版本管理分类模型管理行业应用实体识别逻辑回归随机森林历史版本历史记录历史日志教学示例移动互联网医疗卫生回归推荐预测生活服务金融保险工业制造......图计算深度学习......分类决策树回归决策树梯度提升决策树......在模型处理及实验过程中，对过程中的知识进行累积，形成知识资产，沉淀科研成果。Part2人工智能进阶平台--智能设备智能设备模块负责连接和管理可用的智能硬件设备，能够将训练好的模型发布到智能小车、机械臂等硬件设备上，实时采集和获取摄像头和传感器采集的信息和训练模型。可以通过内置的在线编程功能，向智能硬件下达指令和回传数据，实现编程-建模-训练-推理的人工智能全链路学习。智能硬件终端模型实践载体终端注册参数调优推理执行包推送模型训练实验构建智能机器学习平台手势识别物体识别Part2硬件环境学习中心计算中心展示中心Part3方案价值方案优势·应用价值Part3产教科融合的生态闭环教学体系师资、人才培养专业场景应用行业项目工具、算法、案例多年为