![大华培训大数据方案_第1页](http://file4.renrendoc.com/view2/M03/13/18/wKhkFmZ-cuSAEeUqAACIV2l_h9Q332.jpg)
![大华培训大数据方案_第2页](http://file4.renrendoc.com/view2/M03/13/18/wKhkFmZ-cuSAEeUqAACIV2l_h9Q3322.jpg)
![大华培训大数据方案_第3页](http://file4.renrendoc.com/view2/M03/13/18/wKhkFmZ-cuSAEeUqAACIV2l_h9Q3323.jpg)
![大华培训大数据方案_第4页](http://file4.renrendoc.com/view2/M03/13/18/wKhkFmZ-cuSAEeUqAACIV2l_h9Q3324.jpg)
![大华培训大数据方案_第5页](http://file4.renrendoc.com/view2/M03/13/18/wKhkFmZ-cuSAEeUqAACIV2l_h9Q3325.jpg)
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
大数据指南-方案与案例大数据(BigData)时代来临结构化数据库电子表格格式化文件半结构化XML
文档日志点击流量设备、RFID标签非结构化网页内容邮件媒体文件及时通讯文档文件大数据AppsDevicesSensors移动互联网物联网2新量级、新处理模式、新行业智能People传统模式大数据要解决的问题4VVolume海量的数据规模流式处理实时处理准实时处理批量处理TBPBEB结构化非结构化半机构化价值Velocity快速的数据流转巨大的数据价值Variety多样的数据类型大数据带来的挑战不同“看”数据的方式需要更高性价比的数据计算与储存方式不同的数据管理策略超越现有IT的数据解决能量不同“看”数据的方式可视:结构化资料15%未视:半/非结构化数据85%领导者看到的,其实是残缺的…10万GB10万TB需要更高性价比的数据计算与储存方式数据库数据仓库计算更快
存储更省85%半/非结构化的Log/Webpage/Email/PDF/Image/Full-text/MS-Officefile
7不同的数据管理策略当想要扩充时,才发觉:架构只能scale-up,scale-out不易处理时间过长,
time-to-value受限成本过高,
cost-efficiency受限15%结构化的DB/DW遗憾残缺每天几百GB、几TB的资料,且持续成长中储存Storing在收数据的同时做必要的前置处理(pre-processing),并区分数据处理的优先等级(prioritizing)计算Processing如何有效的避免因硬件毁坏所导致的资料损毁管理Managing如何从中挖掘出所关注事件的pattern或behavior分析Analyzing超越企业现有IT的数据解决能量Hadoop不只是Hadoop9HIVE大数据应用Pig!ZooKeeper关系数据文本数据大数据的储存与处理/运算大数据储存大数据处理数据分享数据检索数据分析数据展现分布式软件架构并行计算框架分布式存储横向扩容(Scale-out)架构NameNodeDataNodeSwitch(1Gbabove)藉由DataNode容易扩充的能力可轻易满足数据量成长的需求最小package1台NameNode+3台
DataNodes大数据的部属DataNodeDataNode大数据建设策略数据仓库ERPCRMLOBAPPs非结构化数据源SSRSSSAS业务支撑终端用户基础工具业务展示数据产品传统BI预测分析结构化数据源大数据处理国家意志2024/6/282015年8月19日,国务院总理李克强主持召开国务院常务会议,讨论通过了《关于促进大数据发展的行动纲要》。大数据被喻为“金矿”、“石油”,大数据的价值被业界公认为无价,然而怎么用大数据,怎么发挥大数据的价值,业界众口纷纭,到现在为止也没见到大数据究竟产生了多大价值。大数据无法发挥其巨大价值,有技术、应用、机制、法律法规等多方面的原因。大数据的发展知易行难,知道其有巨大价值,但不清晰具体可行的发展路径,也面临很多不知道如何解决的问题。地级以上人力资源社会保障部门普遍建立了数据中心多数地区实现了业务数据在市级的集中统一管理部、省、市三级网络进一步贯通全国统一的核心业务应用软件已在绝大部分统筹地区部署实施总体上看信息化建设成果在人力资源和社会保障工作中发挥了基础支撑作用,创新管理模式、降低行政成本、提升服务能力等方面发挥了重要的作用,推动了人力资源和社会保障工作向精细化、一体化、科学化、规范化转变。人力资源社会保障信息化取得的成就
社保大数据带来的大挑战2024/6/28海量数据如何存储数据导入导出的时间成本业务数据读取要依靠业务系统查询性能低非结构难存储、难分析维护成本高昂无标准化规范旧架构不能承受之重2024/6/28社保总体规划2024/6/28大数据架构访问层应用门户数据门户管理门户数据应用层数据资产层数据聚合层基础环境层应用门户查询工具/统计工具/分析工具/挖掘工具/辅助决策工具对外数据支撑Service/File/Sdk/…公共组件数据服务应用层业务数据规则引擎统计引擎查询引擎分析引擎挖掘引擎数据服务总线数据封装Oracle数据库数据资产Oracle数据库MPP数据库数据处理数据采集文件处理实时流数据采集关系型数据库采集(SQOOP)传统数据处理流数据处理大数据M/RHDFSHBase终端虚拟化服务器虚拟化分布式架构社保数据“云化”2024/6/28人口数据养老数据医疗数据就业数据生育保险其他数据统一分析统一规划数据BI数据挖掘云技术是手段,管数据是目的大数据利用2024/6/28基础
数据共享,数据交换,业务联动进阶
查询,统计,分析高阶
数据挖掘,决策支持查询实例2024/6/28现状:系统经过一段使用后,效率低,不能满足业务发展目前对策:半夜跑任务思考:越来越多如何搞?对策:数据剥离。统计、查询、报表从业务部门剥离。
形成统一的数据统计、统计、报表平台。人口数据养老数据医疗数据就业数据生育保险其他数据统一分析统一规划数据BI数据挖掘查询、统计、报表ESB2024/6/28数据标准服务标准管理标准统一桌面2024/6/28现状:系统众多,用户系统间的切换,系统的管理不全面目前对策:暂缺思考:业务越来越多如何搞?对策:统一用户管理、统
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 【正版授权】 ISO 105-N:1978 EN Textiles - Tests for colour fastness - Part N: Colour fastness to bleaching agencies
- 【正版授权】 ISO 10599-2:1997 EN Car radios - Coaxial aerial connectors - Part 2: Characteristic values,performance requirements and tests
- 【正版授权】 ISO 10486:1992 EN Passenger cars - Car radio identification number (CRIN)
- 【正版授权】 ISO 10333-4:2002 EN Personal fall-arrest systems - Part 4: Vertical rails and vertical lifelines incorporating a sliding-type fall arrester
- 【正版授权】 ISO 10303-22:1998 EN Industrial automation systems and integration - Product data representation and exchange - Part 22: Implementation methods: Standard data access interfa
- 【正版授权】 ISO 10299:2000 EN Aerospace - Rivets,solid - Material and metric series identification
- 【正版授权】 ISO 10256:2003 EN Head and face protection for use in ice hockey
- 【正版授权】 IEC TS 62898-3-1:2020 EN Microgrids - Part 3-1: Technical requirements - Protection and dynamic control
- 【正版授权】 IEC TS 62561-8:2018 EN Lightning protection system components (LPSC) - Part 8: Requirements for components for isolated LPS
- 【正版授权】 IEC TS 62370:2004 EN-FR Electroacoustics - Instruments for the measurement of sound intensity - Electromagnetic and electrostatic compatibility requirements and test procedu
- 砸墙免责协议
- 广东省2023--2024学年下学期七年级期末数学复习试卷
- 2024敬业合同书范本
- 2024年秋季全国自考合同法模拟考题含解析
- 2024年中职职业院校(学前教育及幼儿心理学)技能理论知识试题库带答案(基础题)
- 激光原理智慧树知到期末考试答案章节答案2024年太原理工大学
- 2024年西藏自治区中考地理真题(解析版)
- 保洁交接方案
- 探析小学语文“大单元教学”的策略与思考 论文
- 医院药学部门质量控制
- 时分秒换算100题
评论
0/150
提交评论