版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
精华科技副总经理郭磊精华科技副总经理郭磊智慧校园目前尚未形成标准的框架体系,但是数据却是通往智慧校园的必由之路。诺兰模型诺兰模型转折点曲线”曲线”初始期普及期控制期集成期数据管理期成熟期研发,历时5年形成了完整的数据产品线。公司共拥有70余人的研发团队和50余人的软件实施服务团各产品组的核心均为8-10年经验的资深研发人智慧校园、大数据时代服务化、智能化、移动化、泛在化、融合化服务化、智能化、移动化、泛在化、融合化高值数据高值数据数据挖掘数据挖掘高价值、高质量数据层挖掘平台挖掘工具挖掘平台挖掘工具挖掘模型挖掘算法…有效数据有效数据低价值、高质量数据层数据治理数据治理元数据管理元数据管理主数据管理治理监管质量监控…基础数据基础数据数据集成数据集成低价值、低质量数据层统一统一门户基本基本校情掌上掌上校园数据集成数据集成数据标准数据标准身份认证身份认证学工人事科研一卡通教务…应用系统(低阶)学工人事科研一卡通教务…应用系统(低阶)智慧校园、大数据时代服务化、智能化、移动化、泛在化、融合化应用系统(高阶)服务化、智能化、移动化、泛在化、融合化应用系统(高阶)高值数据高值数据高价值、高质量数据层数据挖掘数据挖掘挖掘平台挖掘工具挖掘平台挖掘工具挖掘模型挖掘算法…有效数据有效数据低价值、高质量数据层数据治理数据治理元数据管理元数据管理主数据管理治理监管质量监控…基础数据基础数据低价值、低质量数据层统一统一门户基本基本校情掌上掌上校园数据集成数据集成数据集成数据集成数据标准数据标准身份认证身份认证学工人事科研一卡通教务…应用系统(低阶)学工人事科研一卡通教务…应用系统(低阶)智慧校园第一个数据阶段的主要问题第一个数据阶段的主要问题应用系统应用系统(高阶)高值数据高值数据数据挖掘有效数据数据挖掘有效数据数据治理数据治理基础数据基础数据数据集成数据集成应用系统应用系统(低阶)智慧校园应用系统应用系统(高阶)高值数据高值数据数据挖掘数据挖掘有效数据有效数据数据治理数据治理基础数据数据集成数据集成应用系统应用系统(低阶)数据治理是一个体系和过程。全局性的组织行为;对数据来源、处理和使用进行集中和规范的管理;目的是形成可重复利用的高质量的有效数据。智慧校园应用系统应用系统(高阶)高值数据高值数据数据挖掘数据挖掘有效数据有效数据数据治理数据治理基础数据数据集成数据集成应用系统应用系统(低阶)数据治理相关的工具和系统分布式数据集成交换平台分布式数据集成交换平台主数据管理系统主数据管理系统数据质量分析与监管平台数据质量分析与监管平台统一数据标准管理系统统一数据标准管理系统元数据管理系统元数据管理系统数据综合治理管理平台数据综合治理管理平台智慧校园发布-订阅管理数据接入管理数据集成平台发布-订阅管理数据接入管理数据集成平台交换网络管理数据处理管理交换监控管理数据路由管理物理监控管理数据传输管理元数据管理元模型管理元数据采集管理元数据映射管理元数据维护管理元数据查询管理元数据分析管理应用系统(高阶)交换网络管理数据处理管理交换监控管理数据路由管理物理监控管理数据传输管理元数据管理元模型管理元数据采集管理元数据映射管理元数据维护管理元数据查询管理元数据分析管理应用系统(高阶)高值数据高值数据数据挖掘数据挖掘有效数据有效数据数据治理数据治理主数据管理主数据模型管理主数据映射管理主数据质量管理基础数据主数据管理主数据模型管理主数据映射管理主数据质量管理基础数据主数据服务管理主数据查询管理数据集成主数据服务管理主数据查询管理数据集成应用系统应用系统(低阶)智慧校园应用系统(高阶)应用系统(高阶)狭义的数据挖掘,指传统数据挖掘的定义,即从海量数据中揭示狭义的数据挖掘,指传统数据挖掘的定义,即从海量数据中揭示高值数据高值数据数据挖掘数据挖掘有效数据C有效数据 数据治理基础数据数据集成应用系统应用系统(低阶)智慧校园应用系统(高阶)高值数据智慧校园下的数据挖掘层的目的和进行方式,和传统数据挖掘是有区别的。应用系统(高阶)高值数据数据挖掘数据挖掘有效数据有效数据数据治理数据治理基础数据数据集成基础数据数据集成应用系统应用系统(低阶)智慧校园图表生成引擎标准化服务接口分布式挖掘引擎挖掘模型挖掘算法图表生成引擎标准化服务接口分布式挖掘引擎挖掘模型挖掘算法分布式数据高速缓存应用系统(高阶)高值数据高值数据数据挖掘数据挖掘有效数据有效数据数据治理数据治理分布式数据系统(Hadoop+分布式数据系统(Hadoop+MapReduce+Spark)基础数据数据集成结构化数据半结构化数据结构化数据半结构化数据非结构化数据应用系统(低阶)现有数据智慧校园应用系统应用系统(高阶)高值数据高值数据数据挖掘数据挖掘有效数据有效数据数据治理数据治理基础数据C基础数据 数据集成应用系统应用系统(低阶)大量高阶应用系统的出现,才意味着真正踏入了智慧校园的时代。从技术体系架构的角度,还有一个非常重要的智慧校园从技术体系架构的角度,还有一个非常重要的应用系统(高阶)在所有系统间共享数据挖掘教务管理标准SOA服务接口访问控制层学工管理有效数据抽取注册数据治理人事管理资产管理基础数据 数据集成科研管理高值数据在所有系统间共享数据挖掘教务管理标准SOA服务接口访问控制层学工管理有效数据抽取注册数据治理人事管理资产管理基础数据 数据集成科研管理高值数据统一服务集成平台应用系统应用系统(低阶)【数据集成阶段的建设】厂商的开发成本和销售成本(盗版或使用免费产品但接口接口A系统接口接口A系统点对点结构:高成本、难维护、数据无法集中数据A系统数据A系统星形结构:低成本、易维护、数据可以集中A系统A系统ETL交换代理触发器/日志数据平台ETL交换代理触发器/触发器/日志生成&发布在线监管离线模式分离式结构,弱管理能力,不适合较大规模的数据集成。交换模式-面向对象交换模式-面向消息交换模式-面向消息交换模式-基于数据交换模式-基于服务两种方案的比较1233456有无7有无89有无有无有无有无高有无高【数据治理阶段的建设】数据质量低下,统计不准确?数据分散,形成信息孤岛,共享困难?对其应用处理困难?数据多样化,缺少统出了问题再补漏,数据管理部数据治理四要素数据治理四要素技术平台与工具流程、活动与机制计划、制度与标准规范数据数据治理体系架构组织体系管理体系技术体系执行体系数据生产者数据拥有者生产使用生产数据管控体系组织体系挖掘挖掘数据使用者数据管理者业务主数据数据质量稽查、提升、主数据监控: ,辅助管理决策。主数据质量主数据质量元数据元数据9“防患于未然”优于“后期治疗”【数据挖掘阶段的建设】采用商业BI工具的数据挖掘方案商业BI工具最早起源于1996年,迄今发展已近20年。目前主流的商业产品有IBMcognos、SAPBO、oracleBIEE、MicrosoftBI、MicroStrategy、QlikView。其最主要的优点是可以通过配置化的方式,快速构建数据分析模型。但是由于其保持通用性和强调可配置化的特点,也导致了一系列问题的产生。采用商业BI工具方案的缺陷(一)其配置化构建分析模型的方式,必须基于单表的数据构造,如:单表、视图和数据立方体,否则就要通过开发方式来解决。但是在大数据时代的背景下,越来越多的涉及复杂结构的多表数据分析模型,因为难以形成视图或数据立方体这样的单表构造,而不能进行配置化,使其沦为只能通过配置化的方式,构建有限的数据分析模型。采用商业BI工具方案的缺陷(二)目前主流的BI工具仅支持普通数据库、数据立方体(Cube)和内存计算三种数据系统中的两种或一种,不支持如:图数据库和分布式数据系统等其它方式,而以Hadoop、MapReduce(离线)、Storm(在线)和Spark(在线)为代表的分布式数据系统,正是大数据环境下的标准配置。因此BI工具在面对大数据处理时的分析速度和计算资源开销都将成为致命的瓶颈,无法达到实时在线式分析的目标,而这也是开发大数据应用的一个必要前提。采用商业BI工具方案的缺陷(三)由于BI工具保持配置化和通用化的需要,导致分析系统的表现形式固化,无法针对不同的主题和应用场景灵活构建不同的用户体验,与当前软件发展趋势所强调的极致用户体验和个性化的要求不符。分析挖掘后的结果数据不能进行标准化的存储,无法积累高价值数据层,使其后的基于大数据的高价值应用难以顺利展开。图表生成引擎标准化服务接口挖掘模型挖掘算法挖掘模型挖掘算法分布式挖掘引擎分布式数据高速缓存分布式数据高速缓存
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 办公楼租房合同模板
- 产品退货扣款协议
- 导演劳务合同
- 房屋购买协议(定金已付)
- 工程造价案例分析模拟题(2015年版)
- 股权信托协议范本
- 第11课 中国古代的民族关系与对外交往 课件-高二上学期历史统编版(2019)选择性必修1
- 吉林省吉林市第一中学高三下学期高考适应性训练(二)历史
- 09短文听力填表-冲刺2022年中考英语听力常考题型集训
- 广东省雷州市第八中学第二中学第三中学2023-2024学年高二下学期4月期中联考试题政治
- 2023年北京各区高考一模英语试卷(海淀、东城、朝阳、西城、丰台)(含答案)
- 3500常用字(拼音与不带拼音合并版)
- 部编本语文二年级上册全册各单元教材解读
- 小学数学人教四年级上册除数是两位数的除法《用“四舍”法求商》教学设计(梁碧英)
- 医疗技术及风险管理档案
- 维生素D精品课件
- 附件:东莞市机动车停放保管服务收费标准一、商场、娱乐场所
- 设备润滑记录
- (完整word)a3标准规范试卷模板
- 高一物理必修一第三章弹力与摩擦力基础练习题(带参考答案)
- 米泽云显微镜的结构和使用 完整版PPT
评论
0/150
提交评论