智慧高校大数据解决方案交流课件

高校大数据交流胶片（完整版）高校大数据交流胶片（完整版）1P1.现状分析P2.大数据业务P3.技术实现P4.公司实力P5.案例分析P6.竞争分析P1.现状分析P2.大数据业务P3.技术实现P4.公司实力P2高校大数据建设国家政策背景2015年12月21日，《中国基础教育大数据发展白皮书》首次研讨会在京召开，对全国教育大数据的建设给予探索和指导参考意义。9月5日电经李克强总理签批，国务院日前印发《促进大数据发展行动纲要》，系统部署大数据发展工作。其中，也提到了教育大数据系统的建设。目前政策对大数据的支持力度正不断提升，大数据已上升至国家战略。自去年3月“大数据”首次出现在《政府工作报告》中以来，国务院常务会议一年内6次提及大数据运用。在6月17日的国务院常务会议上，总理李克强再次强调大数据运用的重要性。7月1日，国务院办公厅印发了《关于运用大数据加强对市场主体服务和监管的若干意见》。2015年总结：大数据产业政策频出步入快速发展期高校大数据建设国家政策背景2015年12月21日，《中国基础3高校大数据建设遇到的问题主要是数字化校园系统产生数据数据的维度少，业务来源不足数据量百GB到几TB，数据量少以结构化数据为主，达不到大数据要求部份数据源有错误，数据不一致业务接口与数据结构不规范数据涉及面窄有效数据量少数据接口不完善数据源的问题分析高校大数据建设遇到的问题主要是数字化校园系统产生数据数据量百4数据中心教务系统学工系统一卡通系统设备管理系统科研管理系统医疗管理系统研究生管理系统上网行为管理系统网络计费系统无线WiFi系统宿舍管理系统图书管理系统房产管理系统财务系统人事系统基本信息基本信息、成绩等贫困生、奖学金等流水账岗位、职称等专业、研究方向等高校常见业务系统数据中心教务系统学工系统一卡通系统设备管理科研管理医疗管理研5高校常见业务系统详细数据分析高校常见业务系统详细数据分析6校领导决策更加科学教师教学更加便捷教学水平提升学生随时随地个性化学习家长及时掌握子女在校情况教学管理与服务管理更加简单高效服务水平不断提升校园环境更加绿色、环保、安全信息化覆盖范围和服务水平有效提升社会更多优质教育资源和科研成果开放共享高校大数据建设遇到的问题高校大数据服务用户分析校领导教师学生家长教学管理与服务校园环境社会高校大数据建设遇7高校大数据常见服务用户类型用户类型校领导具体需求1、师生整体情况2、学校舆情3、科研水平4、资产情况用户类型院领导具体需求1、学院各专业各班级的集体/个人行为画像2、学院教师的课程和科研情况用户类型校工会具体需求1、评判贫困生、奖助学金结果的合理性，识别冒领人员2、教职工的劳资情况用户类型设备处具体需求1、现有资产现状2、资产发展趋势3、各品牌资产的故障率4、各单位资产采购规划用户类型企业具体需求根据学生行为画像情况和企业岗位要求匹配度，推荐学生到企业实习或就业用户类型图书馆具体需求1、图书馆藏现状2、图书借阅现状3、趋势分析4、图书采购规划用户类型老师具体需求1、班级成绩2、班级/个人行为画像3、图书借阅，推送书籍4、科研情况用户类型校医院具体需求1、药品收支率2、学校健康档案

3、传染病预防和治疗4、分析药品副作用用户类型本科生/研究生具体需求1、成绩和能力情况2、就业市场和招聘指导3、图书借阅4、消费、网络高校大数据常见服务用户类型用户类型校领导具体需求1、师生整体8高校大数据建设的其它行业问题关联分析统一规划运维服务高校大数据建设的其它行业问题关联分析统一规划运维服务9P1.现状分析P2.大数据业务P3.技术实现P4.公司实力P5.案例分析P6.竞争分析P1.现状分析P2.大数据业务P3.技术实现P4.公司实力P10三盟大数据方案规划架构图教务系统图书管理系统一卡通系统认证计费系统就业指导系统上课考勤系统校园论坛网站校外招聘网站校外论坛网站数据源大数据管理平台网络设备行为审计数据库安全设备服务器云管理平台虚拟桌面智慧课室…数据采集Socket采集DB采集Ftp采集Webservie网络爬虫建模清洗数据清洗数据质量任务调度加载入库SparkcoreSparkStreamingMLlibSparkSQL数据仓库统一api/Jdbc接口HiveHbaseHdfsMongoDBMysql主流数据库结构化数据半结构化数据应用服务我的大学就业指导行为预警学生行为画像学校舆情数据安全分析三盟科数据ETL工作箱……支持高校大数据建设的整体与应用的真正落地，实现“一体化”交付三盟大数据方案规划架构图教务系统图书管理系统一卡通系统认证计11舆情分析舆情分析数据安全数据安全行为画像行为画像招生就业招生就业

我的大学我的大学综合预警综合预警三盟大数据业务模块（已完成）学校概况学校概况舆情分析舆情分析数据安全数据安全行为画像行为画像招生就业招生12学校概况全校成绩统计图全校学历分布情况各学院学历分布图全校一卡通消费情况学生生源分布地图教师职称统计图学校概况全校成绩统计图全校学历分布情况各学院学历分布图全校一13学校概况全校上网信息学校舆情情况综合预警平台各省成绩分布图全校/各院学生综合分析各院逃课率占比学校概况全校上网信息学校舆情情况综合预警平台各省成绩分布图全14我的大学--我的成绩学生成绩详情分析学生图书借阅分析学生课程表学生详细当前借阅信息我的大学--我的成绩学生成绩详情分析学生图书借阅分析学生课15我的大学--我的消费我的大学--我的消费16我的大学--我的网络我的大学--我的网络17行为画像--逻辑示意图基础知识学习方式学习需求消费信息上网信息考勤信息上课内容上课成绩选课内容每个学生的行为画像大学综合信息我的推荐学生关联信息数据仓库生活信息课程信息其它信息行为画像行为画像--逻辑示意图基础知识学习方式学习需求消费信息上网信18行为画像成绩消费生活读书上网纪律画像边缘优秀学生画像个人学生画像学生行为画像行为画像报告与评价最近状态提示行为画像成绩消费生活读书上网纪律画像边缘优秀学生画像个人学生19综合预警综合预警20学生沉迷预警图书借阅预警学生失联预警贫困生预警上网预警一卡通消费预警综合预警常见内容学生沉迷预警图书借阅预警学生失联预警贫困生预警上网预警一卡通21通过对学校内部的论坛、社会上的常用互联网平台的监控，实时了解学校舆论的关注热点词，以及社会上对学校的舆论动态，并实时反馈给学校管理者和校领导，使学校做出及时的舆论导向工作。舆情分析爬虫引擎清洗引擎邮件告警采集集群互联网数据采集平台实时检索引擎数据挖掘分析平台分布式存储预警模块日报、周报监控仪表板通知管理微信告警预警平台学校舆情通过对学校内部的论坛、社会上的常用互联网平台的监控，实时了解22招生就业招生就业23招生就业常见内容年纪分步学历分步薪资分步地域流向职业分析工作轨迹招生就业常见内容年纪分步学历分步薪资分步地域流向职业分析工作24数据安全校园网教师研究生本科生网络日志数据上网身份认证数据学籍、人事数据大数据存储与交换平台大数据分析平台三盟信息收集通过校园信息化平台的各软硬件的日志和其它信息的收集分析，动态评估学校安全的整体情况。网络设备安全设备服务器业务系统数据安全校园网教师研究生本科生网络日志数据上网身份认证数据学25安全状态监控图安全状态监控图26三盟大数据业务模块（正在开发）企业辅助招生学生行为预警学生辅助就业我的大学学习考试平台学校舆情分析战略决策分析数据安全分析资产管理分析学生行为预警学生辅助就业企业辅助招生教学质量评估学生行为画像教学质量评估家长信息同步学生行为预警家长信息同步定制搜索引擎学生行为预警定制接索引擎战略决策分析电子资源统计就业指导电子资源统计失联预警报警学生行为预警综合预警报警校园地图管理学生行为预警Wifi地图分析大数据辅助科研学生行为预警辅助科研系统资产管理分析学习考试平台三盟大数据业务模块（正在开发）企业辅助招生学生行为预警学生辅27高校应用大数据产品收益与价值对学生进行一体化、全过程跟踪，了解每一个学生的真实情况对专业历史就业情况、社会当前就业需求详细分析，指导专业和课程动态调整改革及时预判学校在社会上的负面舆论，提前进行把控，保障学校声誉建设优秀学生的行为画像，为学生发展提供指导标准提供学生管理的实时预警，问题隐患提前疏导，防止出现意外事件为学校的高层领导战略决策的大数据指导，进行管理模式创新关注学生的个性化需求，从关注学生群体转向关注学生个人通过大数据建设，有效提高承建部门的绩效…高校应用大数据产品收益与价值对学生进行一体化、全过程跟踪，了28P1.现状分析P2.大数据业务P3.技术实现P4.公司实力P5.案例分析P6.竞争分析P1.现状分析P2.大数据业务P3.技术实现P4.公司实力P29三盟大数据“端到端”交付具体内容需求调研产品开发技术服务应用扩展咨询设计……调研客户信息系统的现状调研客户数据源现状与质量调研学校大数据关注内容调研学校背景与发展需求评估技术实现可行性与规模数据样例分析…确定使用的大数据的关键技术确定使用的数据呈现模式制作完整的咨询规划落地方案协助客户进行项目规划与申报调研学校背景与发展需求…提供三盟科技大数据产品与功能采集客户源数据针对性进行建模与数据库设计针对客户需求进行对应的数据关系与挖掘分析提供大数据应用分析报表与结果…

分析源数据的合理性与正确性学校源数据变化的整合新增业务的整合数据监控与管理技术培训教学合作….开放接口，学校可自行开发大数据应用为学校增加新的大数据应用功能增加新的数据关联内容数据深度挖掘……三盟大数据“端到端”交付具体内容需求调研产品开发技术服务应用30三盟科技大数据产品：架构01---ETL业务数据采集：三盟公司自我研发的采集模块。外部数据采集：Apache开源爬虫工具、三盟二次开发02---存储静态数据：采用当前最流行的开源数据库Mysql动态数据：存储在HDFS上，使用Spark进行数据分析；热数据：存储在HBase上，进行快速检索03---呈现后台：使用SpringMvc+Hibernate+Druid+Shiro框架前端：使用Jquery+BootStrap+Echarts组件三盟科技大数据产品：架构01---ETL业务数据采集：三盟公31数据采集ETL行政待办行政待阅审批申请…身份信息消费信息余额信息…学生信息考核信息奖惩信息资助…宿舍资源分配信息日常评比…学生信息老师信息考勤信息…学生系统教务系统宿舍系统行政管理图书馆管理一卡通其他系统上网行为课程信息班级信息排课排考成绩…身份信息访问告警流量信息…身份信息消费信息余额信息…各类数据输出ININ成绩信息宿舍评比一卡通信息…班级信息专业信息学生信息…老师信息学生信息…老师信息学生信息…卡身份…老师信息审批信息事务提醒…各类跨系统数据输入数据仓库服务提供数据采集ETL行政待办身份信息学生信息宿舍资源学生信息学生教32数据清洗数据清洗原则清洗前的原始数据清洗后的数据数据清洗示例清洗规则：门禁系统，把没有卡id的数据过滤，并把每个卡ID和用户ID做关联，记录到门禁记录中一卡通系统：管理学生ID，增加学生姓名教务系统：过滤成绩为0的记录，过滤重复的课程、通过门禁系统、增加宿舍位置等学生信息：过滤无效的地址信息，通过身份证号码，适配学生省份、地市信息等实际项目举例数据清洗数据清洗原则清洗前的原始数据清洗后的数据数据清洗示例33数据建模数据建模34数据存储MysqlHiveHbaseHdfsMongoDBOracle其它…三盟集群二次开发和接口封装（DBBOX）统一访问接口统一对外接口我的大学我的大学学生行为画像学生行为画像学校舆情分析学校舆情分析就业指导就业指导数据安全分析数据安全分析学生行为预警学生行为预警其它业务…其它业务…使用统一的大数据接口数据存储MysqlHiveHbaseHdfsMongoDBO35数据入库数据预处理数据预处理技术主要包括：清理源数据集中的噪声数据和无关数据。处理遗漏数据和清洗脏数据、空缺值。识别删除孤立点。对数据按时间进行汇集。存储和管理数据存储采取关系数据库存储和大数据系统存储并行的策略：关系数据库存储。采用MySql数据库集群。大数据数据库存储。采用HBase数据库。大数据文件系统HDFS存储系统管理采用Hadoop系统和ZooKeeper等管理工具。教务系统学工系统一卡通系统上网计费系统医疗管理系统数据库同步程序关系数据库存储NoSql数据库存储数据分析程序数据展示程序关系型数据流式数据流式数据ETL程序Hadoop大数据系统图书馆管理系统人事系统研究生管理设备管理系统科研管理系统宿舍管理系统财务系统NewSql数据库存储大数据文件系统社会招聘就业网站论坛网站科研网站爬虫工具DBBOX数据入库数据预处理存储和管理教务系统学工系统一卡通上网计费医36大数据管理平台建设Manage管理软件三盟科技为学校提供图形化、中文的大数据管理工具，用于学校老师日常的运维，主要功能包括如下：安装部署数据查询权限设置元数据管理节点修改故障检测集群监控…大数据管理平台建设Manage管理软件三盟科技为学校提供图形37大数据标准规范高校大数据规模体系基础数据规范业务数据规范架构及实施规范基础数据标准规范基础数据业务交互规范基础数据维护规范业务数据标准规范业务数据维护标准平台构架设计规范实施指导规范数据接口结构规范大数据平台数据字典建立高校大数据标准，对各个业务系统的数据进行规范梳理大数据标准规范高校大数据规模体系基础数据规范业务数据规范架构38业务前端展示所使用的技术折线图柱状图仪表盘饼图预警信号地图成绩消费生活读书上网纪律热点图雷达图业务前端展示所使用的技术折线图柱状图仪表盘饼图预警信号地图成39三盟科技大数据系统物理架构图（参考）DataNode数据节点集群NameNodeNameNodeJobTracker二层交换机分步式文件域域节点集群Hmaster二层交换机分步式数据库域关系性数据库MySQL…二层交换机关系数据库域域节点集群门户系统集群模式统一代理系统MR系统Pig分析Hive数据仓库系统Chukma采集系统应用系统域安全运维域大数据管理系统ETL数据采集域数据采集清冼、建模系统数据挖掘分析域数据关联与挖掘系统交换机用户域数据存储系统三盟科技大数据系统物理架构图（参考）DataNodeNam40三盟大数据产品硬件配备情况（参考）三盟科技高校大数据解决方案配套的服务器资源可根据实际的项目需求与数据量大小进行灵活的调整。三盟大数据硬件网络爬虫接口服务器应用服务器数据仓库/检索/分析服务器集群Mysql集群4台，参考配置：Hadoo集群6台，参考配置：应用服务器1台接口服务器1台爬虫服务器2台2路6核96G内存10*300GSAS盘2路6核96G内存10*300GSAS盘4个1000M网口2路6核96G内存10*300GSAS盘参考配置：三盟科技能够提供云计算与大数据融合，在云平台上实现大数据节点的自动部署。三盟大数据产品硬件配备情况（参考）三盟科技高校大数据解决方案41大数据环境自动部署大数据环境自动部署42大数据后期服务与保障技术服务：大型故障7x24小时上门解决驻场服务：1人驻场，3年更新服务：3年免费功能更新远程支持：普通问题远程支持与协助服务内容：新加数据，数据有错误，更新，硬件异常，扩容…运维保障服务三盟科技为学校原厂的大数据运维保障服务，协助学校日常大数据项目的管理，主要内容包括如下：大数据后期服务与保障技术服务：大型故障7x24小时上门解决运43阶段任务分解需求调研需求文档编写需求评审需求确认阶段里程碑完成需求文档编写完成需求确认阶段验收条件需求文档符合规范需求邮件确认需求阶段准备阶段阶段任务分解获取接口信息：资费系统获取接口信息：上网行为审计系统获取接口信息：考勤门禁系统获取接口信息：教务系统获取接口信息：一卡通系统获取接口信息：图书管理系统获取接口信息：其它接口…阶段工期开始时间：2016-xx-xx结束时间：2016-xx-xx投入人员：x人阶段里程碑每个接口信息获取都是里程碑验收标准接口信息文档收集完整阶段任务分解数据建模资费系统、上网行为审计系统、考勤门禁系统、教务系统、一卡通系统、图书管理系统数据采集处理外部数据爬取场景开发：例如我的大学、行为预警、就业指导，学生行为画像阶段里程碑模型建立每项数据采集完成每个业务场景完成开发验收标准数据能正常采集例如：我的大学、行为预警、就业指导、学生行为画像能正常使用开发阶段测试和试运行阶段阶段任务分解模块整合集成测试bug修复回归测试试运行阶段里程碑学校大数据版本发布验收标准学校大数据版本正常发布确认试运行使用情况大数据项目建设实施阶段任务分解阶段里程碑阶段验收条件需求阶段准备阶段阶段任务分44项目实施与建设安排需求阶段准备阶段开发阶段2015-12-1~2015-12-312015-12-28~2016-2-2测试阶段2016-6-1~2016-8-312016-1-4~2016-5-31项目建设参考周期项目实施与建设安排需求阶段准备阶段开发阶段2015-12-145三盟大数据方案优势小结大数据研发实力强中国、美国硅谷两个研究院数十名国内外教育专家顾问过百名专业的研究人员“一体化”交付支持高校大数据建设的整体与应用的真正落地，实现“一体化”交付。业务模块丰富已完成6大业务模块，后续规划超过10种高校大数据业务模块123456专注教育行业专注中国教育行业超过10年，教育行业投入资源大，了解教育真实需求与云计算融合提供云计算与大数据融合，在云平台上实现大数据节点的自动部署技术标准无制约为不同的数据产品提供一致接口，消除软硬件限制，实现弹性部署，保障应用体验三盟大数据方案优势小结大数据研发实力强“一体化”交付业务模块46P1.现状分析P2.大数据业务P3.技术实现P4.公司实力P5.案例分析P6.竞争分析P1.现状分析P2.大数据业务P3.技术实现P4.公司实力P47总人数：>100人，核心骨干来自于运营商行业的大数据公司，

本科、研究生及以上学历占100%，三盟大数据研发团队（中国）外部顾问团队三盟研发团队24位来自全国985、211高校信息化专家，为三盟大数据产品的实际需求和应用落地把关平均年龄大数据研发团队的平均年龄为28岁本科以上学历人员占比超过100%100%本科学历研发人员三盟中国大数据研发团队成员>100人10028岁三盟研发人员：外部顾问团队：总人数：>100人，核心骨干来自于运营商行业的大数据公司，48P1.现状分析P2.大数据业务P3.技术实现P4.公司实力P5.案例分析P6.竞争分析P1.现状分析P2.大数据业务P3.技术实现P4.公司实力P49

三盟科技与海南师范大学合作，为学校构建了大数据一期项目，采集了学校校内业务系统（教务系统、一卡通、图书管理系统、上网认证计费、上网行为审计、考勤门禁）和互联网（各个坛论、招聘网站、就业网站）的数据，并进行了定制化的数据清洗与建模，构建了统一的数据仓库，还为学校开发了“学校概况”、“我的大学”、“就业指导”、“行为预警”、“舆情分析”、“优秀学生画像”等多个大数据业务模块。目前该项目还在实施中，一期的功能模块预计在6月份可以实现开发完成与验收。在二期规划建设中新增了辅助科研系统、战略决策平台、wifi地图分析、辅助就业平台、综合预警分析、资产管理等功能模块海南师范大学案例分享三盟科技与海南师范大学合作，为学校构建了大数据一50海南师范大学案例分享海南师范大学案例分享51P1.现状分析P2.大数据业务P3.技术实现P4.公司实力P5.案例分析P6.竞争分析P1.现状分析P2.大数据业务P3.技术实现P4.公司实力P52市场上现阶段总体竞争情况传统数字化校园厂商代表公司：江苏金智、河南精华、广州联奕…基于自已的数字化校园产品的数据，做二次开发，提供深度报表与智能分析内容。产品数据主要来源于自己的数据，主要偏向管理类的数据；数据来源少、维度不足，对其它系统不了解。平台主要以传统的数据库为主，对分步式如hadoop沉淀不足。同时客户容易受绑定，后期扩展性不足。大数据平台公司代表公司：华为、浪潮、曙光、星环…主要进行大数据平台产品的开发，使用开源产品进行深度定制，处理能力强、可管理性较好。主要领域在于电商、金融、公安、政府等数据量很大的领域，对高校只是试探性进入。无法提供原厂的数据集据服务，开发的高校大数据业务模块很少，运维服务有很大的困难。第三方大数据公司代表公司：西嘉创智…、从第三方的角度，进行全校大数据项目的制作，产品开发以及技术服务，与我司的定位类似我司在高教行业投入、大数据业务模块、云计算融合等方面具有一定优势市场上现阶段总体竞争情况传统数字化校园厂商代表公司：江苏金智53北京希嘉创智公司简介北京希嘉创智科技有限公司是一家专注于大数据技术和服务、云计算技术与研究的高科技公司，旗下拥有3家全资或控股子公司，分别在商业大数据领域、教育大数据领域、知识产权大数据领域及云计算与IT运维领域深耕。公司现有员工117人，其中技术人员占80%。北京希嘉创智教育科技有限公司2015年正式成为中国高等教育协会教育信息化分会企业会员单位，目前分别与北京大学、武汉大学、中南民族大学、武汉科技大学、大连理工大学展开了深度合作。阶段性成果包括基于高校业务共建的多个平台：多维数据交换平台、学生大数据预警管理平台、学校声誉大数据监控平台、大数据辅助科研平台等武汉希嘉万维科技有限公司成立仅二年，依托于华迪集团公司在咨询、集成、运维等方面的人才和经验积累，高速发展。我们关注教育、电力、政府三大行业的信息化前期咨询、中期建设和后期运维工作。武汉希嘉以基础平台建设、信息安全建设、IT运维服务、大数据分析为四个主要业务发展方向，沉淀出自己的高密度绿色数据中心建设、高校宿舍无线基础网络建设、数据中心自动化运维、企业私有云信息安全、高校学生失联预警系统五大方案北京希嘉创智公司简介北京希嘉创智科技有限公司是一家专注于大数54北京希嘉创智公司竞争分析分析一：北京希嘉创智研发实力分散在金融、高教、知识产权等多个领域，投入到高校层面的总体资源较少，从市场端反馈的情况看，希嘉对客户的需求响应比较缓慢。三盟主要的研究精力都投入在高教领域，响应速度快，对海师客户大数据需求到完成的时间仅4个月左右分析二：北京希嘉在高教大数据现推出的模块只有学生预警管理、学校声誉监控、辅助科研三部份，具体建设效果还并不清楚，其它的正在研究中。三盟现阶段除学生预警管理、学校声誉监控外，还开发出了如行为画像、我的大学、就业指导、大数据安全4个模块，而且都实现了项目落地，辅助科研正在进行开发中。在业务类型上优于北京希嘉创智。分析三：北京希嘉在高校云计算领域技术沉淀和案例校少，武汉希嘉成立的时间也很短，正在人员扩招中。三盟科技能够提供云计算与大数据融合，在云平台上实现大数据节点的自动部署，有效的降低大数据环境的部署难度和时间。北京希嘉创智公司竞争分析分析一：分析二：分析三：55上海星环大数据产品价值点分析上海星环大数据产品价值点分析56曙光大数据产品价值点分析曙光大数据产品价值点分析57曙光大数据平台高校应用举例曙光宣传的高速大数据的应用内容，主要针对于重点学科（电信、化学、物理、医学等）的大数据研究分析，据了解是曙光和某大学正在谈的合作内容，现在还没有见