智慧高校大数据可视化业务综合解决方案

1、学生轨迹APF调度组件左厚惨版的绘制与定义聚类组件KlfiAPP管理创新APF大数据处理引擎定制任另任务追踪服务管理定时任务自启任第向量机组件运行状况监椁执行进度管理神经网络组件分类与回归组件智慧高校大数据BI可视化业务综合解决方案目录第1章 前言 81.1、 大数据发展分析 91.1.1、 大数据定义 91.1.2、 大数据5v特征及其应用 101.2、 高校大数据建设背景 111.2.1、 战略机遇111.2.2、 大数据产业政策支持 131.3、 高校大数据建设面临问题 141.3.1、 高校大数据应用分析 141.3.1.1、 数据规模日益庞大 141.3.1.2、 缺乏稳定高效的大数

2、据环境 151.3.1.3、 数据利用不充分 151.3.1.4、 数据驱动带来的科研新挑战 151.3.2、 高校大数据数据源分析 161.3.2.1、 数据涉及面窄 161.3.2.2、 有效数据量少 161.3.2.3、 数据接口不完善 161.3.3、 高校大数据服务用户分析 161.3.4、 高校大数据建设责任制问题 171.3.4.1、 校领导 181.3.4.2、 教师 181.3.4.3、 学生 181.3.4.4、 家长 181.3.4.5、 校园环境 181.3.4.6、 教学管理与服务 191.3.4.7、 社会 191.4、 建设原则191.4.1、 安全性191.4.

3、2、 可扩展性191.4.3、 灵活性201.5、 建设目标201.5.1、 实现数据的共享和交换 201.5.2、 大数据的采集和存储 201.5.3、 大数据分析与决策 211.6、 高校大数据平台建设意义 211.6.1、 实现个性化学习 211.6.2、 实现教育评价体系重构 221.6.3、 实现科学研究范式转型 221.6.4、 开启“大数据 创客”新模式221.6.5、 实现教学模式改革 221.6.6、 实现科学化教育管理 23第2章高校大数据云平台建设 242.1、 高校大数据架构 252.1.1、 基础硬件层 252.1.2、 数据集成252.1.3、 数据计算与分析挖掘

4、262.1.4、 数据安全262.1.5、 服务器集群 262.1.6、 大数据技术标准 272.1.7、 大数据数据中心 272.1.8、 大数据业务开发平台 272.1.9、 大数据业务可视化分析 282.2、 高校大数据平台标准体系 282.2.1、 基础标准302.2.2、 数据表示标准 302.2.3、 数据处理标准 312.2.4、 数据存储标准 312.2.5、 大数据服务标准 312.2.6、 大数据安全和隐私标准 312.2.7、 行业大数据应用标准 322.2.8、 大数据产品测试标准 322.3、 高校大数据业务开发平台 322.3.1、 高校大数据业务开发平台架构图 3

5、42.3.2、 大数据数据中心 352.3.3、 大数据业务平台层 362.3.3.1、 组件 362.3.3.2、 大数据处理引擎 362.3.3.3、 APP 372.3.3.4、 BI 引擎 372.4、 高校大数据平台建设关键技术 372.4.1、 、Hadoop 技术372.4.2、 HDFS 技术382.4.3、 MapReduce 技术392.5、 高校大数据平台建设效果 402.5.1、 开展大数据顶层设计，以大数据应用全面推进学校发展 402.5.2、 快速推进教学和管理工作的信息化，建立丰富的数据来源 412.5.3、 基于个性化服务需求，建立大数据分析模型 422.5.4

6、、 综合应用大数据成果，推动学校全面创新 422.6、 高校常见业务系统 442.7、 高校大数据服务用户类型 472.7.1、 校领导472.7.2、 院领导472.7.3、 校工会472.7.4、 设备处 482.7.5、 图书馆 482.7.6、 校医院482.7.7、 老师492.7.8、 学生492.7.9、 企业49第3章高校大数据应用 503.1、 大数据教学创新应用 513.1.1、 教学质量评估 513.1.2、 上网行为523.1.3、 学生成绩分析 523.2、 大数据科研创新应用 533.2.1、 科研成果533.2.2、 科研项目543.2.3、 科研经费553.3、

7、 大数据管理创新应用 563.3.1、 招生分析563.3.2、 就业分析 573.3.3、 住宿分析583.3.4、 资产数据统计分析 583.4、 大数据创新应用 593.4.1、 学生轨迹分析 593.4.2、 学生画像603.5、 高校大数据建设模块 613.6、 学校概况模块 613.6.1、 全校一甘通消费情况 623.6.2、 学生生源分布地图 633.6.3、 教师职称统计图 633.6.4、 各学院学历分布图 643.6.5、 全校学历分布情况 643.6.6、 全校成绩统计图 653.6.7、 全校/各院学生综合分析 653.6.8、 各院逃课率占比 653.6.9、 全校

8、上网信息 663.6.10、 学校舆情情况 663.6.11、 各省成绩分布图 663.6.12、 综合预警平台 673.7、 我的大学模块673.7.1、 学生成绩详情分析 683.7.2、 学生图书借阅分析 683.7.3、 学生详细当前借阅信息 693.7.4、 学生课程表 693.7.5、 我的消费693.7.6、 我的网络703.8、 行为画像模块 713.9、 综合预警模块 733.10、 舆情分析模块 753.11、 招生就业模块763.12、 数据安全模块78第1章前言大数据正在逐渐成为社会基础设施，成为每一家组织机构的 标配。“大数据”之“大”，更多的意义在于：人类可以“分析

9、和 利用”的数据在大量增加，通过这些数据的交换、整合和分析， 人类可以发现新的知识，创造新的价值，弁让很多常态化的认知、 判断、思维定式、产品形态、服务模式，形成全新的面貌和演进 方向。大数据已经引起国际社会的高度重视， 世界各国都在加快推 进大数据战略布局。大数据产业已上升至国家战略高度，正日益渗透到经济发展和社会生活的方方面面。2015年9月5日，国务院发布促进大数据发展行动纲要，文件指出数据已经成为 国家基础性战略资源 工弁在启动的十大工程之一 公共服务大数 据工程”中明确提出要建设教育文化大数据。教育大数据已经上升到国家战略层面，引起社会各界的广泛关注和高度重视。教育大数据将首先破解传

10、统教育面临的六大难 题（发展不均衡难题、方式单调化难题、信息隐形化难题、决策粗放化难题、择校感性化难题、就业盲目化难题），助推教育的全方位变革与创新发展。确立教育大数据在我国教育事业发展与改革中的战略地位 已是国家教育现代化建设的必然要求。教育大数据是重要的国家战略资产、教育领域综合改革的科学力量与发展智慧教育的基 石。人类社会已经迎来“大数据时代”o培养大数据人才、利用高校大数据深化高校管理促进高校改革发展、使用大数据平台提高高校科研水平和效率，既是高校面临的重要任务， 也是高校发 展的战略机遇。1.1、 大数据发展分析1.1.1、 大数据定义大数据（Bigdata ）是一种规模大到在获取、

11、存储、管理、 分析方面大大超出了传统数据库软件工具能力范围的数据集合， 需要使用新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应这种海量、高增长率和多样化的信息资产。大数据能够帮助我们洞见隐藏在巨量、杂乱的大数据背后的知识、 真相和行为，通过挖掘数据的潜在价值，透析过去，预测未来。已经进入大数据时代，数据规模由GB级上升到了 ZB级日春产才理己矢叫母胃蛆忆衣晨讯矢Tft懒畤*刖， 修再至友讣XKJT寻餐华大基团：uru.ISTnfl JMi WttifiB 国*科电1曰3鲁群F酱万演用* R” 此呻*.科Il mu求二 匕立孟SI*m t干万次 兄班公交中山大学靠大山中史通粮行天

12、45胃¥*目忖 HJTT.4*1总串读城回加电同IHron*iQ R«AV林户处文愚14 g1.1.2、 大数据5V特征及其应用大量化(Volume)存储量大，可从数百 TB到PB、甚至EB的规模多样性(Variety)来源广、格式多，包括各种格式和形态的数据时效性(Velocity)在一定的时间限度下得到及时处理准确性(Veracity)处理的结果要保证一定的准确性价值(Value)大数据分析挖掘和利用将带来巨大的商业价值1.2、 高校大数据建设背景1.2.1、 战略机遇培养大数据人才、利用高校大数据深化高校管理促进高校改革发展、使用大数据平台提高高校科研水平和效率，既是

13、高校面临的重要任务，也是高校发展的战略机遇。大数据正在逐渐成为社会基础设施，成为每一家组织机构的 标配。“大数据”之“大”，更多的意义在于：人类可以“分析和 利用”的数据在大量增加，通过这些数据的交换、整合和分析， 人类可以发现新的知识，创造新的价值，弁让很多常态化的认知、 判断、思维定式、产品形态、服务模式，形成全新的面貌和演进 方向。大数据已经引起国际社会的高度重视， 世界各国都在加快推 进大数据战略布局。大数据产业已上升至国家战略高度，正日益渗透到经济发展和社会生活的方方面面。2015年9月5日，国务院发布促进大数据发展行动纲要，文件指出数据已经成为 国家基础性战略资源”，弁在启动的十大

14、工程之一 “公共服务大 数据工程”中明确提出要建设教育文化大数据。教育大数据已经上升到国家战略层面， 引起社会各界的广泛 关注和高度重视。教育大数据将首先破解传统教育面临的六大难 题（发展不均衡难题、方式单调化难题、信息隐形化难题、决策 粗放化难题、择校感性化难题、就业盲目化难题），助推教育的 全方位变革与创新发展。确立教育大数据在我国教育事业发展与改革中的战略地位 已是国家教育现代化建设的必然要求。 教育大数据是重要的国家 战略资产、教育领域综合改革的科学力量与发展智慧教育的基 石。人类社会已经迎来 大数据时代培养大数据人才、利用高 校大数据深化高校管理促进高校改革发展、使用大数据平台提高

15、高校科研水平和效率，既是高校面临的重要任务， 也是高校发展 的战略机遇。1.2.2、 大数据产业政策支持目前政策对大数据的支持力度正不断提升，大数据已上升至国家战略。自去年3月大数据”首次出现在政府工作报告中 以来，国务院常务会议一年内 6次提及大数据运用。在 6月17 日的国务院常务会议上，总理李克强再次强调大数据运用的重要 性。7月1日，国务院办公厅印发了关于运用大数据加强对市 场主体服务和监管的若干意见。9月5日电 经李克强总理签批，国务院日前印发促进大 数据发展行动纲要，系统部署大数据发展工作。其中，也提到了教育大数据系统的建设。2015年12月21日，中国基础教育大数据发展白皮书 首

16、次研讨会在京召开，对全国教育大数据的建设给予探索和指导 参考意义。1.3、 高校大数据建设面临问题1.3.1、 高校大数据应用分析高校作为高科技人才以及创新技术的摇篮，承载着科研攻关和人才培养的双重使命。在新的科技浪潮中，高校应瞄准时代最 前沿，将教学科研创新、专业人才培养与大数据紧密融合在一起， 在更高起点上推动学校在大数据教学、科研以及创新方面再上新 台阶。1.3.1.1、 数据规模日益庞大数据来源多元化，共享数据库涵盖系统多，高校生源不断扩 张，信息不断积累，致使数据库中的信息不断增加，进而为数据 挖掘、管理和分析带来了困难。1.3.1.2、 缺乏稳定高效的大数据环境高校不同学科与专业采

17、用的大数据环境大多依赖现有的IT环境，导致大数据运行的基础软硬件环境比较混乱且极其不稳 定，缺乏有效的运维管理，严重影响教学和科研工作的正常进行。1.3.1.3、 数据利用不充分校园的信息仍然停留在收集和累积阶段，尽管移动终端系统的不断发展为信息采集带来了极大的便利，但采集后的数据仅仅 停留在查询阶段，弁没有对数据进行整合、分析和梳理，使得这 些信息仍未被管理者采用，作为决策依据的信息则少之又少。1.3.1.4、 数据驱动带来的科研新挑战数据剧增由量变引起质变，使科研人员的思维和行为模式在 传统的学科研究领域发生转变。 如何借助大数据相关技术以及资 源，找到本学科研究成果的新视角，已经成为当前高校研究的重 要课题。1.3.2、 高校大数据数据源分析1.3.2.1、 数据涉及面窄主要是数字化校园系统产生数据数据的维度少，业务来源不足1.3.2.2、 有效数据量少数据量百GB到几TB ,数据量少以结构化数据为主，达不到大数据要求1.3.2.3、 数据接口不完善部份数据源有错误，数据不一致业务接口与数据结构不规范1.3.3、 高校大数据服务用户分析高校类似一个小社会，用户群体