大华培训大数据方案

1、大数据指南 -方案与案例大数据(Big Data)时代来临结构化结构化 数据库 电子表格 格式化文件半结构化半结构化 XML 文档 日志 点击流量 设备、RFID标签非结构化非结构化 网页内容 邮件 媒体文件 及时通讯 文档文件移动互联网物联网2新量级、新处理模式、新行业智能传统模式大数据要解决的问题 4VVolumeVolume海量的数据规模海量的数据规模价值价值Velocity快速的数据流转快速的数据流转巨大的数据价巨大的数据价值值Variety多样的数据类型多样的数据类型大数据带来的挑战u 不同不同“看看”数据的方式数据的方式u 需要更高性价比的数据计算与储存方式需要更高性价比的数据计算

2、与储存方式u 不同的数据管理策略不同的数据管理策略u 超越现有超越现有 IT IT 的数据解决能量的数据解决能量不同“看”数据的方式可视：结构化资料 15%未视：半/非结构化数据 85%领导者看到的，其实是残缺的10万 GB10万 TB需要更高性价比的数据计算与储存方式数据库数据仓库计算更快 存储更省85%半/非结构化的Log / Web page / Email / PDF / Image / Full-text / MS-Office file 7不同的数据管理策略当想要扩充时，才发觉： 架构只能 scale-up， scale-out 不易 处理时间过长， time-to-value 受

3、限 成本过高， cost-efficiency 受限15% 结构化的 DB/DW遗憾遗憾残缺残缺每天几百 GB、 几 TB 的资料，且持续成长中 在收数据的同时做必要的前置处理 (pre-processing)，并区分数据处理的优先等级 (prioritizing)如何有效的避免因硬件毁坏所导致的资料损毁如何从中挖掘出所关注事件的 pattern 或 behavior超越企业现有 IT 的数据解决能量Hadoop 不只是不只是 Hadoop9大数据应用大数据的储存与处理大数据的储存与处理/运算运算大数据储存大数据储存大数据处理大数据处理数据分享数据分享数据检索数据检索数据分析数据分析数据展现数

4、据展现分布式软件架构并行计算框架分布式存储横向扩容(Scale-out) 架构NameNodeDataNodeSwitch ( 1Gb above)藉由 DataNode 容易扩充的能力可轻易满足数据量成长的需求最小最小 package1 台台 NameNode+3台台 DataNodes大数据的部属DataNodeDataNode大数据建设大数据建设策略策略数据仓库数据仓库ERPCRMLOBAPPs非结构化数据源非结构化数据源S S RS SSAS业务支撑业务支撑终端用户基础工具终端用户基础工具业务展示业务展示数据产品数据产品传统传统BI预测分析预测分析结构化数据源结构化数据源大数据处理大数

5、据处理国家意志2022-6-12015年8月19日，国务院总理李克强主持召开国务院常务会议，讨论通过了关于促进大数据发展的行动纲要关于促进大数据发展的行动纲要。 大数据被喻为“金矿”、“石油”，大数据的价值被业界公认为无价，然而怎么用大数据，怎么发挥大数据的价值，业界众口纷纭，到现在为止也没见到大数据究竟产生了多大价值。 大数据无法发挥其巨大价值，有技术、应用、机制、法律法规等多方面的原因。 大数据的发展知易行难，知道其有巨大价值，但不清晰具体可行的发展路径，也面临很多不知道如何解决的问题。l 地 级以上人力资源社会保障部门普遍建立了数据中心l 多数地区实现了业务数据在市级的集中统一管理l 部

6、、省、市三级网络进一步贯通l 全国统一的核心业务应用软件已在绝大部分统筹地区部署实施 信息化建设成果在人力资源和社会保障工作中发 挥了基础支撑作用，创新管理模式、降低行政成本、提升服务能力等方面发挥了重要的作用，推动了人力资源和社会保障工作向精细化、一体化、 科学化、规范化转变。人力资源社会保障信息化取得的成就 社保大数据带来的大挑战2022-6-1 海量数据如何存储 数据导入导出的时间成本 业务数据读取要依靠业务系统 查询性能低 非结构难存储、难分析 维护成本高昂 无标准化规范旧架构不能承受之重2022-6-1社保总体规划2022-6-1大数据架构访访问问层层应用门户应用门户数据门户数据门户

7、管理门户管理门户数数据据应应用用层层数据数据资产资产层层数数据据聚聚合合层层基础基础环境环境层层应用门户查询工具查询工具/统计工具统计工具/分析工具分析工具/挖掘工具挖掘工具/辅助决策工具辅助决策工具对外数据支撑Service/File/Sdk/公共组件数据服务应用层业务数据规则引擎规则引擎统计引擎统计引擎查询引擎查询引擎分析引擎分析引擎挖掘引擎挖掘引擎数据服务总线数据服务总线数据封装数据封装Oracle数据库数据库数据资产Oracle数据库数据库MPP数据库数据库数据处理数据采集文件处理文件处理实时流数据采集实时流数据采集关系型数据库采集（关系型数据库采集（SQOOP）传统数据处理传统数据处

8、理流数据处理流数据处理大数据大数据M/RHDFSHBase终端虚拟化终端虚拟化服务器虚拟化服务器虚拟化分布式架构分布式架构社保数据“云化”2022-6-1云技术是手段，管数据是目的大数据利用2022-6-1基础数据共享，数据交换，业务联动进阶查询，统计，分析高阶数据挖掘,决策支持查询实例2022-6-1现状：系统经过一段使用后，效率低，不能满足业务发展目前对策：半夜跑任务思考：越来越多如何搞？对策：数据剥离。统计、查询、报表从业务部门剥离。对策：数据剥离。统计、查询、报表从业务部门剥离。 形成统一的数据统计、统计、报表平台。形成统一的数据统计、统计、报表平台。ESB2022-6-1数数据据标标准准服服务务标标准准管理管理标准标准统一桌面2022-6-1现状：系统众多，用户系统间的切换，系统的管理不全面目前对策：暂缺思考：业务越来越多如何搞？对策：统一用户管理、统一日志管理、统一权限管理等对策：统一用户管理、统一日志管理、统一权限管理等E