深度解析大数据技术解决方案

1、深度解析大数据技术解决方案技术创新，变革未来目录123大数据平台介绍案例分享大数据概述4通用电气大数据应用大数据概述2006年全球新产生180EB数据GBTBPBEBZB数据大爆炸的时代2011年，这个数字达到了1.8ZB据市场研究机构预测：2020年整个世界的数据总量将会增长45倍想驾驭这庞大的数据，我们必须了解大数据的特征。大数据的4V特征非结构化数据的超大规模和增长大数据4V特征体量Volume 多样性Variety 价值Value速度Velocity总数据量的8090%比结构化数据增长快10倍到50倍大数据的异构和多样性很多不同形式（文本、图像、视频、机器数据）大量的不相关信息对未来趋

2、势与模式的可预测分析深度复杂分析（机器学习、人工智能VS传统商务智能）实时分析而非批量式分析立竿见影而非事后见效大数据技术发展现状百花齐放，企业大力投入尚未完全定型、潜力巨大大数据与工业4.0在工业4.0中大数据变身“智能数据”，随着传感器之类的设备的广泛应用，现代生产设施产生的数据也越来越多，企业收集这些数据并把这些数据转换成有意义的信息并最终帮助企业优化产品和提高生产力。大数据分析平台简介企业大数据之旅1获得数据2汇集数据3存储数据4运算数据5挖掘和分析数据6使用数据大数据分析平台层次结构化数据非结构化数据实时流数据分布式文件系统/HDFS分布式计算框架/MapReduce/YARN内存计

3、算SparkGemfireSAP HANA 数据仓库HIVE数据挖掘R/Mahout流计算Storm数据抽取、转换和加载Sqoop/Flume/FTPSQLGbase/MonetDBNoSQLHbase/Cassandra/MongoDB缓存RedisWS/REST等接口服务页面数据推送数据源计算与存储层服务层配置、管理、监控和计划Ambari/ZooKeeper/Oozie认证、授权、审计和数据保护Falcon/Knox/ranger统一管理安全管理分布式存储架构概述集中存储架构分布式存储架构分布式存储架构特点：横向扩展能力强，处理能力线性增长；能够处理结构化、半结构化、非结构化数据；有效支

4、撑百亿数据量、PB级数据实时查询；能够针对全量数据进行数据挖掘和机器学习；Hadoop与大数据Hadoop是致力于“大数据”处理的最重要平台之一能够轻松扩展到PB级别的数据存储的处理规模带有高度容错能力的并行处理架构基于普通的X86平台硬件架构成本低廉用内置格式存储、处理数据基于开源项目，并行处理架构标准之一Hadoop的主要用途Hadoop架构计算数据3份副本Hadoop工作流程获得原始数据数据分级Map数据Reduce数据汇总结果复制结果显示结果获取数据 导入 Hadoop删除数据Hadoop从中Hadoop整体解决方案Hadoop物理架构InfiniBand 交换机堆叠交换机服务器内置硬

5、盘核心交换机堆叠交换机分布式存储分布式存储分布式存储分布式存储服务器内置硬盘服务器内置硬盘服务器内置硬盘NameNodeDataNodeNameNodeDataNodeHadoop生态系统发行版ClouderaPivotal HortonworksApache HadoopMapRIBMIntelHDFS 替代品NetAppEMC（Isilon）IBM(GPFS)LustreRedHat（GlusterFS）CassandraCephCleversafe重新包装OracleTeradataDDNMicrosoftHPNutanixSGIDell第三方管理软件Zetta setApache Me

6、sosCorona(facebook)StackIQWANdisco大数据时代信息安全风险大数据成为网络攻击的显著目标大数据加大隐私泄露风险 大数据威胁现有的存储和安防措施大数据技术成为黑客的攻击手段大数据成为高级可持续攻击的载体 大数据时代信息安全风险大数据时代信息安全风险应对DDOS攻击防护APT：高级持续性安全威胁（Advanced Persistent Threat ） 数据加密APT防护APT防护界限划分边界在边界处部署防护设备，阻断病毒及恶意邮件，发现和阻止钓鱼网站及非法URL。终端加强对终端设备的管控，包括漏洞修复，病毒查杀，外设管理，软件及进程管理。用户4A标准：用户账户管理，

7、用户认证，用户权限分配，用户行为审计等。监控1.边界处监控上网应用类型，审计各种事件。2.内网实时监控病毒及漏洞攻击情况。目录大数据案例介绍大数据在航空领域的运用维修记录追踪 飞机使用率追踪与预测滞地时间分析与预测运行情况研究分析研发设计 节油策略飞行员操作习惯制造商大数据金融沿途分析、签派可靠度资产追踪飞机使用率追踪航空公司运行基准评效，准点抵达率，轮挡时间最优化机场机场运行基准评效机门使用率研发设计 发动机性能大数据在航空领域的运用交通行业金融行业医疗卫生行业通用电气大数据运用通用电气传感器+大数据的工业互联网2013年4月 EMC、VMware、Ge共同投资成立了Pivotal公司 GE

8、公司为工业互联网应用建立了一个叫做Predix的软件平台，它可以容纳包括从飞机发动机到医疗磁共振设备在内的任何系统和机器的数据，可以实现远程管理，并与客户现有的软件和数据管理系统结合。 GE公司目前已经推出24种工业互联网产品，其中包括今天发布的14种，涵盖了石油天然气平台监测管理、铁路机车效率分析、医院管理系统、提升风电机组电力输出、电力公司配电系统优化、医疗云影像技术等一系列提升管理效率、降低运营成本的软件产品 GE Predix的核心是APM（资产绩效管理）系统，而APM是工业互联网核心灵魂 GE APM系统每天共监控和分析来自1万亿设备资产上的1000万个传感器发回的5000万条数据，其终极目标是帮助客户实现100%的无故障运行。Predix简介G