大数据分析实验室需求说明

大数据分析实验室需求说明一、项目概况随着信息技术的飞速发展，大数据和人工智能（AI）已成为推动社会进步的重要力量。为了适应这一趋势，培养具备大数据和AI技能的专业人才变得尤为重要。我院于2021年建设了一套大数据实训平台，随着人工智能的发展，本次项目建设主要是在大数据实训平台的基础上完善升级相关实验实训相关的软硬件。1、技术路线课程体系设计：以大数据专业人才培养方案为导向，结合大数据和AI的最新发展趋势，设计涵盖深度学习、图像处理、自然语言处理、计算机视觉等领域的课程体系。实践教学环节：加强实践教学环节，包括教学实验实训、项目案例实践等，确保学生掌握实际操作技能。持续改进与更新：根据行业发展和市场需求，不断更新和优化课程体系、教学内容和教学方法。2、工艺水平建设高标准、专业化的实验室，配备先进的实验设备和软件，为学生提供良好的实践环境。教学方法创新：采用线上线下相结合的教学方式，引入项目驱动等教学方法，激发学生的学习兴趣和创造力。教师培训：加强教师培训，提高教师的专业素养和教学能力，确保教育产品的质量和效果。3、技术水平数据处理能力：具备强大的数据处理能力，包括数据采集、存储、清洗、分析和可视化等方面。机器学习技术：掌握多种机器学习算法和模型，能够应用于实际问题的求解和预测。深度学习技术：具备深度学习框架的使用能力，能够设计和训练神经网络模型，解决复杂问题。自然语言处理与计算机视觉技术：掌握自然语言处理和计算机视觉的基本原理和方法，能够应用于文本挖掘、图像识别等领域。二、采购清单序号名称数量单位是否适宜面向中小企业采购01深度学习服务器2台否02实训课程资源包1套是03实战资源案例包1套是04人工智能实验分析模块1套是05教育大数据案例资源包1项是06升级服务1项是三、清单参数序号名称技术参数要求数量单位备注01深度学习服务器1、机型：≥4U机架式。2、CPU配置≥2颗CPU（32核/2.1GHz/L3cache54MB/72线程最大支持205WTDP）。3、内存配置≥8条32GDDR43200内存，总容量256GB。可用内存插槽≥16条。4、硬盘配置≥2块960GB固态硬盘数据中心2.5读取密集型，组成RAID1。4块8TSATA企业级3.57200。2块3.84TB固态硬盘。5、RAID卡：独立RAID控制器12Gb/s-4GB-RAID0,1,5,6,10,50,60,支持超级电容和边带管理最大支持32盘。6、网卡：集成2个Intel万兆自适应以太网口，可选≥2端口10GE光口网卡（带2对10GE光模块，支持ROCE）+2*GE电口，一个专用远程管理口。7、网卡智能管理：集成BMC管理芯片，具备监控系统参数、触发告警系统，支持边带管理（NC-SI）特性，支持管理网口和业务网口复用。8、GPU：配置显卡4张性能不低于GeForceRTX4090D24GGDDR6X全高双宽涡轮版12+4PIN。9、电源：配置不少于1000W电源模块，任意一个电源功率需保证满足服务器满负荷运行需要。支持热插拔，支持1+1冗余模式，并配备不少于两块电源模块，如果设备标配的电源模块多于两块时，以设备标配的数量为准。10、电源线：国标电源线三插口，长度不小于4米。11、数据线：配备不少于三套高速传输数据光缆和铜缆。12、风扇：配置热插拨冗余风扇。13、导轨：配置机柜安装导轨。14、基础特性：（1）配置2个IntelXeonIceLake-SP，XeonGold系列。（2）内存：支持≥16个DDR4内存插槽，最大支持4TBDDR4RECC内存，频率最大支持3200MHz。（3）盘位：8*LFF热插拔直通/扩展背板盘位，可内置2个M.2盘(2280&22110尺寸，兼容SATA&PCIe)。（4）≥：6*PCIE4.0x16，1*PCIE4.0x8。15、架构：（1）核心硬件模块解耦设计，装拆便捷。3UPI不少于11.2GT/S带宽互联，提供CPU8通道P2P内存存取，最高支持3200MHz;支持PCIe4.0，PCIelane数量比上一代增多33%。（2）协同CPU和GPU计算加速，CPU主要承担更加擅长的逻辑选择、判断跳转等方面的串行计算，GPU同时执行数千个线程，高度并行的计算工作，能够处理更多的信息流，使得计算资源合理的分配，计算力被充分释放。16、GPU支持：支持不少于4张全高全长GPU加速卡,具备主流GPU芯片原厂级解决方案合作授权资质。17、内存加固技术：配置独立得内存加固卡架，具有自主知识产权，符合苛刻的计算机规范环境使用标准，确保板卡接触稳定。18、电源安全要求：支持升级原厂电源带BBU备份功能，服务器在市电掉电不关机，非法断电后不会立即关机，保持3分钟后自动执行正常关机，保障数据安全。经过第三方专业测试实验室检测验证，符合服务器非法断电测试标准的要求。19、支持多个内存接口通道，每个通道可支持1DPC或2DPC，当支持2DPC时，印制电路板上应具备插槽的序号标识，具体通道数应在随机文件中明确。20、整机资源需承诺配合子包三项目的17项异构算力管理平台进行调度。2台02实训课程资源包一、Python深度学习图像处理1、深度学习流程(1)深度学习简介(2)数据预处理(3)模型结构定义(4)激活函数(5)模型编译和训练(6)模型评估(7)损失函数和规则化(8)优化器2、深度学习图像分类(1)卷积神经网络简介(2)经典卷积神经网络(3)CIFAR-10常见物体分类(4)5类常见物体分类(5)VGG-16迁移学习物体分类(6)猫狗分类与数据扩充(7)可视化中间层激活结果(8)可视化类别激活热力图(9)可视化卷积核3、深度学习图像检测(1)图像定位与检测数据预处理(2)图像定位(3)图像定位与分类(4)图像检测简介(5)YOLO模型图像检测(6)YOLO模型视频检测与自动驾驶(7)YOLO模型摄像头视频实时检测4、4、深度学习图像生成(1)图像风格迁移(2)深度梦境艺术增强二、3.2Python深度学习语言处理1、1、深度学习时间序列预测(1)循环神经网络简介(2)简单循环神经网络(3)多时间步序列预测(4)长短期记忆（LSTM）和门控循环单元（GRU）网络(5)一维卷积和WaveNet网络2、2、深度学习自然语言处理(1)IMDb电影评论情感分析(2)文本预处理(3)词嵌入(4)路透社新闻主题分类(5)携程酒店评论情感分析3、3、深度学习文本生成(1)《红楼梦》自动创作(2)唐诗绝句自动创作(3)机器翻译——英中翻译(4)机器翻译——英法翻译4444、深度学习音频处理(1)音频数据处理(2)音频特征提取(3)基于均值特征的歌曲风格分类(4)基于时序特征的歌曲风格分类5、5、深度学习中文语音识别(1)中文语音预处理(2)中文声学模型——从语音到拼音(3)中文语言模型——从拼音到文本(4)端到端中文语音识别三、3.3OpenCV图像处理1、1、OpenCV基础(1)图像入门(2)绘图功能(3)图像的基本操作(4)图像上的算法运算(5)性能衡量和提升技术2、2、OpenCV特征检测与描述(1)哈里斯角检测(2)Shi-Tomasi拐角探测器和良好的跟踪功能(3)SIFT（尺度不变特征变换）简介(4)SURF简介（加速的强大功能）(5)用于角点检测的FAST算法(6)BRIEF（二进制的鲁棒独立基本特征）(7)ORB（定向快速和旋转简要）(8)特征匹配(9)特征匹配+单应性查找对象O3、3、OpenCV视频分析(1)视频入门(2)鼠标作为画笔(3)轨迹栏作为调色板(4)如何使用背景分离方法(5)Meanshift和Camshift(6)光流4、OpenCV相机校准和3D重建(1)相机校准(2)姿态估计(3)对极几何(4)立体图像的深度图5、OpenCV机器学习(1)使用OCR手写数据集运行KNN(2)使用OCR手写数据集运行SVM(3)OpenCV中的K均值6、OpenCV计算摄影学(1)图像去噪(2)图像修补(3)高动态范围7、OpenCV目标检测(1)级联分类器(2)级联分类器训练四、3.4PyTorch深度学习图像处理1、PyTorch深度学习简介与流程(1)深度学习简介(2)数据预处理(3)模型结构定义(4)激活函数(5)模型编译和训练(6)模型评估2、PyTorch深度学习图像分类(1)卷积神经网络简介(2)经典卷积神经网络(3)CIFAR-10常见物体分类(4)5类常见物体分类(5)VGG-16迁移学习物体分类(6)猫狗分类与数据扩充(7)可视化中间层激活结果3、PyTorch深度学习图像检测(1)图像检测简介(2)YOLO模型图像检测(3)YOLO模型视频检测与自动驾驶4、PyTorch深度学习图像生成(1)图像风格迁移(2)深度梦境艺术增强1套03实战资源案例包一、人脸识别应用案例1、数据量：要求千万级以上人脸数据库。2、知识点：图像处理，人工智能。3、分析流程：人脸识别的目的是，从视频图像中检测人脸的位置，提取人脸进行后续的识别。本案例从人脸数据库的加载、数据预处理、调整与校正一直到人脸识别目标函数的选择、识别模型的定义、训练和评估。最终达到能在图像中检测到人脸，并与数据库中人脸进行快速比对，输出最接近的人脸身份的目的。二、车牌识别应用案例1、量：要求十万级以上车牌数据库。2、知识点：图像处理，人工智能。3、分析流程：车牌识别的目的是，利用车辆的动态视频或静态图像进行牌照号码、牌照颜色自动识别的模式识别技术。通过对图像的采集和处理，完成车牌自动识别功能，能从一幅图像中自动提取车牌图像，自动分割字符，进而对字符进行识别。本案例从车牌数据库的加载、车牌定位，再进行倾斜校正、二值化、去边框、垂直调整、粗分割、精细调整，最终提取每个字符的内容。三、深度学习肺炎诊断应用1、数据量：要求来自三级甲等妇幼保健医院儿科病方不少于5,500张胸部X光片。2、知识点：图像处理，人工智能。3、分析流程：肺炎诊断的目的是，利用医疗影像（胸部X光片）训练卷积神经网络模型，诊断肺炎患者和健康人员，并进一步区分细菌性和病毒性肺炎。健康人员肺部清晰，没有任何不正常的乳浊区域。细菌性肺炎可以看到局部病灶点。病毒性肺炎的间隙密布于整个肺部。这里使用到了数据扩充和迁移学习技术，进一步提高了模型性能和诊断的准确性。1套04人工智能实验分析模块一、功能要求：打通原有人工智能与大数据服务平台，（原有人工智能与大数据服务平台由益数软件科技（上海）有限公司开发，系统版本V1.0，系统基于Openstack的虚拟化架构开发，系统基于KVM+Docker虚拟化系统支持多种操作系统，包括Linux和Windows的不同版本）实现平台数据融合管理。保留原有实验平台的基础上增加教育人工智能实验实训的功能模块，采用B/S结构，支持在线注册功能，分为学生端管理、教师端管理和管理员端管理三部分。二、详细功能：1、学生端管理功能包含课程实训、学生账号管理、实验报告和作业管理以及长期云桌面管理。(1)课程实训管理：支持通过难度、工具和标签筛选课程。支持查看课程的难度、标签和包含实验数量。支持查看相关岗位模型的课程实训路线图，查看实验环境的镜像、IP地址、账号和密码。(2)学生账号管理：修改头像、姓名、学号、联系方式、修改密码等。(3)实验报告和习题：支持通过完成习题自动生成分数和报告模板，编程题和简答题同样需要支持自动评分功能，可以是学校的标准实验报告模板，支持上传和修改实验报告和习题，支持实验报告和习题经过系统自动评分和教师二次评分，可下载已发布的实验报告和习题，支持查看实验报告和习题分数、状态和提交时间。(4)编程题支持代码自动测评，支持添加测评参数。用户可以输入数据集，运行代码进行调试，系统实时输出运行结果。系统通过用户程序的输出与期望输出进行比对，实时自动给出评分结果。(5)实训考试：考试试题包括单选题，多选题、填空题、编程题和简答题，考试开始和结束时间、考试题库和各题型的分值由老师进行控制，考试时可同时开启实验环境进行操作验证。(6)长期云桌面管理：支持学生端分配多个长期云桌面环境，长期云桌面环境不会随着退出系统而销毁，可以用于大作业和毕业设计。(7)综合测评：对学生大数据技能的各方面（如数据采集、处理、建模、可视化等）进行综合分析画像和评估，以雷达图等做呈现，并给出个性化的具体学习建议。2、教师端管理功能包括：学生管理、实验管理、云桌面管理、云计算管理、实验报告管理、平台统计信息管理、数据集、规划学习路径、在线制作实验镜像。(1)学生管理：教师可以对学生账户做全面管理，功能包括：批量批准和拒绝学生用户的注册，批量修改、导入、删除和导出学生用户，查看、创建和修改班级。(2)实验管理：教师可以根据教学内容的需要，为不同班级设置不同的课程和实验组合，学生仅能在选课大厅看到教师分配的实验。(3)云桌面管理：教师可以对学生实验用的云桌面做全面管理，提供的功能包括：查看和销毁学生实验的临时虚拟机，创建、查看和销毁学生用于大作业和毕业设计的长期虚拟机，查看云桌面服务器的内存、硬盘和CPU使用情况等。(4)云计算管理：教师可以对学生实验用的云计算和存储集群做全面管理，提供的功能包括：管理分布式存储资源，包括查看云计算和存储服务器的异常节点数和硬盘使用情况、查看每个用户占用空间并可以删除。管理分布式计算资源，包括查看云计算和存储服务器的内存、硬盘和CPU使用情况、查看每个用户正在运行的作业并可以删除。(5)实验报告管理：教师可以对学生提交的实验报告做全面管理，提供的功能包括：在线查看学生提交的实验报告和作业。查看、修改和系统自动评定实验报告的分数。(6)平台统计信息管理：教师可以查看平台的运行状态和跟踪学生的学习情况。统计功能支持图表展示。支持统计查看平台的用户总数、班级数、在线用户数、访问总量和日访问量。支持统计查看平台的总学习时间和平均学习时间。支持统计查看平台的虚拟机运行数量，包括临时虚拟机和长期虚拟机。支持按照课程来统计跟踪学生的学习数据，包括统计学习时间、学习结果、实验完成情况。(7)数据集：平台提供≥1300组行业数据集，覆盖大部分行业和技术领域。教师可以一键上传实验数据集，教师可以基于平台数据集来拓展实验课程，基于数据集给学生布置作业任务。(8)在线制作实验镜像：实验平台不依赖任何虚拟化软件，可以在线制作实验镜像，教师可基于平台提供的虚拟机镜像或者Docker镜像自行制作新的实验镜像，也可基于自己制作的虚拟机镜像或者Docker镜像制作新的实验镜像，实现实验环境的自定义搭建。实验环境的镜像以“写时拷贝”的方式提供，对当前环境的改变不影响母板实验环境。(9)拓展实验环境：平台支持实验课程接入教师自定义的虚拟机镜像，在教师自定义的虚拟机镜像上扩展实验环境。教师基于虚拟机或者Docker自行制作实验环境，可以通过平台的自动化部署机制，方便地将实验环境接入到平台上，使学生可进入教师自己制作的实验环境开展实验，从而实现实验环境的扩展。(10)拓展实验资源：平台支持教师基于现有的或扩展的实验镜像添加新的实验指导手册，实验指导手册支持图文描述，支持视频等多媒体资源。(11)虚拟机管理：平台实时检测虚拟机实例和桌面的服务状态，支持在线关闭虚拟机实例。教师可以基于平台提供的虚拟机镜像或者Docker镜像运行虚拟机实例，支持虚拟机资源的自定义分配。教师可以基于自定义的虚拟机镜像或者Docker镜像运行虚拟机实例，支持虚拟机资源的自定义分配。3、管理员端功能包括教师管理、课程体系和实验内容管理、规划学习路径三部分内容。(1)教师管理：管理员可以对教师账户做全面管理，提供的功能包括：创建、修改和删除教师用户，修改班级与教师的映射。(2)课程体系和实验内容管理：管理员可以对平台中的课程体系和实验内容做全面管理，提供的功能包括：创建、修改和删除课程，并指定课程的难度、工具、标签和编号，创建、修改和删除实验，并指定所属的课程、绑定的虚拟机镜像，上传相应的实验指导书。(3)规划学习路径：平台支持学习路径的自定义搭建，支持对课程的学科分类、学科内容及学科适用职业进行定位。支持对学习路径新增专业、新增课程、新增模块、新增实验。支持学习路径课程分布图的可视化展示。1套05教育大数据案例资源包一、案例需求为了更好的优化教学大数据应用场景，教育大数据案例要求通过学校教育数据分析和可视化工作，探索面向学生、校园的数据分析体系，设计并形成数据分析门户，从而更好服务精细化教学管理工作。本案例要求通过大数据的技术分析，旨在向教育工作者提供有用的信息，构建学生的学习行为画像，改善学生成绩，服务教务设计，优化学生服务。通过大数据分析和可视化展示，挖掘重要信息，改善学生服务，对于教学改进意义重大。二、数据要求数据集要求提供市级以上某重点高中的校园数据，包含≥2个校区，≥40个班级，在校学生≥1700人，不少于以下7个文件内容：1_近五年各班各学科的教师信息。2_当前在校学生详细信息。3_在校学生考勤信息。4_考勤类型。5_学生成绩。6_考试类型。7_本学年学生消费信息。三、任务描述要求完成教育数据的清洗处理工作，完成数据分析的指标体系开发，指标开发范围需包括但不仅限于以下三块：1、