大数据处理基础架构解决方案

大数据处理基础架构解决方案Apr.2013维基百科对大数据的定义，即无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据呈现出四大特征，即4V：数据大(Volume)，例如Facebook每天在30万台服务器上处理25Tb数据。

时效性要求高(Velocity)，例如搜索引擎要求在几分钟内为用户查询新闻。

种类和来源多样化(Variety)，除了结构化的数据、半结构化、非结构化的数据大量产生。价值密度低(value)，以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。什么是大数据？Source:2011IDCDigitalUniverseStudy1ZB=1024EB,1EB=1024PB增长44X2020:35.2Zettabytes下一个十年数据源将会数据源正在膨胀2011年3月11日日本大地震发生后仅9分钟，美国国家海洋和大气管理局(NOAA)就发布了详细的海啸预警。NOAA通过对海洋传感器获得的实时数据进行计算机模拟，制作的海啸影响模型出现在各大网站。电信行业借助社交网络分析，对客户的通话数据进行分析，能够识别出这部分“影响者”。社交分析并不是分析单一用户的通话记录，而是分析各用户所处的社交网络。全球金融危机带给我们的最大教训就是加强风险的监管力度，如何更好的进行风险管理已经成为银行等金融机构重要的课题。驾驭大数据能够改变什么？

联想大数据处理解决方案集业界领先的软硬件产品、开源软件，提供稳定、可靠和安全的海量数据存储、处理和分析平台，帮助用户在数量众多的结构化、非结构化、半结构化数据中挖掘出巨大的商业价值，增强用户洞察发现能力和决策能力海量数据存储：VNX、VMAX、Isilon、Atmos、HDFS、LoFS多种数据类型：结构化数据、半结构化数据、非结构化数据高速分析/处理：HANA、Greenplum、Hadoop

高可扩展性：无需停机动态扩容高可用性：自我修复的分布式文件存储系统、数据自动检测和复制高开放性：SQL2003、HiveQL、OLAP、JDBC/ODBC大数据处理基础架构解决方案

大数据处理基础架构解决方案

非结构化数据结构化数据大数据分析型应用大数据处理分析平台Hadoop大数据应用平台GreenplumHadoop统一分析平台GreenplumDataBase统一分析平台NS10000并行数据库集群系统SAPHANA海量OLTP应用网盘应用大数据存储

AVAMAR、Networker、DataDomain（高效、安全、业界最高的消重、灵活多变的容灾机制）数据备份联想HANA大数据解决方案

SAPHANA概述

HANA特性介绍

高性能实时数据平台实时，无延迟的业务开放式软件架构开放式，特别优化的一体化

硬件最先进的内存计算技术彻底的创新软件架构解决传统数据库的性能问题

而生无磁盘I/O，数据全在内存

MPP+内存计算的融合技术参数说明内存从单机64GB~250TB集群系统无限扩展(目前全球最大是100个节点)性能的线性提升无共享+内存共享架构集群，无单节点故障主流硬件厂商提供的优化一体化设备基于内存计算的异地灾备方案，瞬间切换

SAPHANA硬件和软件的一体化设备

软件：内存计算引擎内存数据库实时数据管理平台硬件认证的硬件系统PCServerCPU:IntelE7MEM:128G~1TSSD:PCI-ESSDHDD:SASDiskOS:SUSE11.1HANA

SAPHANA集群架构示意图

服务器4*LenovoR680G7CPU:4*E7-4870内存:512GB硬盘：2*300GBSASDRIVEHBA卡：4*FC8GbpsCardbind网卡：2*Ethernet10GbpsCardbind光纤交换机2*LenovoSAN8Gbps网络交换机2*Lenovo10GbpsFiberEthernetSwitch存储EMCVNX5500（20*100GBSSD+42*300GB15KrpmSAS）

内存计算技术的“革新”

更好的利用多核CPU的优势更大的内存参与数据分析行存储与列存储的混合应用数据压缩数据分析数据库内并行计算不需要聚集表不需要物化视图实时数据复制仅插入增量数据强大的计算能力一百万倍快于磁盘数据库1TB内存的服务器大于80个处理器列式存储=更快的查询5倍的压缩率1TB的数据，约使用200GB的内存更利于分析大数据块更复杂的计算场景更灵活的建模不需要数据冗余更快、更具时效性的数据加载HANA更多的把计算推劢到软件技术以完成性能的优化

SAPHANA-不同应用方式介绍

企业已经建立了完善的数据仓库,短时间不替换HANA作为一个高性能敏捷数据集市，弥补EDW的对于实时分析和大数据处理的短板高性能敏捷

数据集市HANA作为SAP系统的第二数据库提供高性能数据查询分析减少源SAP系统的DB压力负载将部分SAP应用的数据查询重定向到HANASAP加速器B1，BW，BPC，EPM，ERP都将以HANA作为底层高性能DB抽取，激活，展现各指标远超于原有DBBWonHANA高性能数据库使用SAPHANA高性能内存数据库系统替代其当前的EDW系统采用集群+MPP方式，BI+HANA，或者标准接口访问与生产系统数据实时同步新一代EDW利用HANA处理海量数据非SAP环境下的实时数据分析和利用创新平台SAPHANA高性能实时数据平台联想企业私有云存储系统

为什么要使用云存储？

为什么使用？

无需刻录到CD/DVD无外接硬盘

网络数据备份

服务易用

无技术要求远程/手机/网页访问

安全

备份空间

易用

备份功能

帮助&支持亮点云存储

云存储系统市场定位

定位于商业、事业单位内数据管理、保护教育教学作业提交课件共享个人空间新闻传媒新闻素材回传对外供稿新闻资料备份政府信息化协同办公报表管理桌面保护企事业办公文档管理报表管理桌面保护医疗行业病人病历入档备份各科室之间安全共享数据资料快速获取

云存储应用架构示意图－VDI/ECM/企业网盘

企业内部网数据中心广域网-从业人员Web应用服务器内容服务操作系统应用程序数据数据ATMOSCLOUDECM存储或归档至云个人文件上传至企业网盘VDI数据归档至云专注于企业数据资产传输和存储联想研究院数据管理技术部，自2006年起研究大规模数据传输及分布式存储技术

联想云存储的发展历程

产品研发基础设施完善运营试点06-07战略阶段08-09产品阶段2010-2011运营阶段

联想企业私有云存储特性

集中存储员工各种终端中的企业数据集中存储企业内部协同工作防止数据流失，免受病毒感染和黑客攻击并且能够实现随时随地访问数据统一管理私有云存储提供子账户功能子账户权限管理灵活二级管理员功能可以实现分级管理可以实现与企业内部账户管理系统（如AD域）集成，实现轻松管理安全可靠后台采用分布式文件系统，实现多级容灾机制；有效防护系统驱逐入侵攻击；可以支持网络银行SSL加密技术，文件加密存储和传输。

联想企业私有云存储特性

功能丰富Web端管理员操作公告管理网盘管理公共空间管理临时空间管理用户空间管理共享空间管理外链管理上传码管理回收站管理其他管理功能文件夹大小限制文件夹过期设置账户管理账户信息管理账户密码管理账户权限管理日志管理网盘设置管理员账户设置总空间设置用户空间设置AD域设置许可管理Web端用户操作网盘空间预览上传、下载删除重命名移动复制生成外链外链管理生成上传码上传码管理Windows盘符客户端网络盘符拖拽支持复制粘贴在线编辑自动备份右键菜单上传发送到上传

联想企业私有云存储特性

丰富的客户端支持

全面的企业解决方案教育教学新闻传媒政府信息化企业办公LVCC与VDI方案集成与IDV方案集成

成功案例（部分节选）

联想云存储自2009年商用以来，为国内外近四十个行业客户提供了安全、稳定、高效，性价比高的数据管理服务。ATMOS云存储解决方案

ATMOSVIRTUALEDITION

Atmos？

AtmosCloudDeliveryPlatform提供基础架构及服务，为用户直接交付统一门户及完整的计费系统。AtmosGeoDrive/AtmosSDK提供快速的实现对云存储资源的访问快速的将用户的应用整合到云存储。NEWAtmos/AtmosVirtualEdition构建和管理企业级的云存储架构New2.0VirtualMachineATMOSNew1.1基于对象存储的完整的一套云存储解决方案

Atmos主要功能

满足资源灵活调配的多租户基于策略的数据管理，管理方便，不受地域和数据类型的限制内嵌的专利GeoProtect，对云存储上的数据进行全局的保护标准的REST/SOAPAPI和亚马逊S3的无缝连接，最大化保护云存储用户的数据AtmosSDK帮助客户快速的部署云存储上的应用众多的运营商级别的成功案例，可以帮助用户构建云存储服务ATMOSCLOUD北京上海广州Windows

7WindowsXPLinuxClientAccessAPIGlobalobject-space/Policy-basedLocation,ProtectionandEfficiencyServices/Multi-tenancyAtmosCloudDeliveryPlatformPortalMeteringSystemManagementAPIWebServicesREST/HTTPSOAP/HTTP

AtmosGeoDrive:成型的云存储应用

内容快速存取支持任何类型的访问支持广泛的网络类型高速缓存、数据压缩和加密易于安装部署及配置

Atmos集成的基于数据的其他功能

Object-level

dataservicesNode-level

dataservicesSystem-level

auto-configuration

servicesDataPlacementOptimalGreenBalancedActionTypeNoneCompressionDeduplicationChecksumCompress+Dedupe压缩Reductionofphysicalspacerequiredforobjectstorage消重Reductionofreplicatedidenticalobjects硬盘降速Power-efficientmethodforlong-termstorage分片存储Datastripingwithinnodesoracrossnodesforhigherthroughput自治愈Installonce—newcapacityisautomaticallyadded

Atmos统一管理界面

Multiplesites,multiplepetabytes,managedasonesystem统一管理界面集中管理上PB级别的海量数据空间基于浏览器的管理，同时提供管理端的API接口可以通过任意一个节点进行访问,管理平台冗余性高分级权限管理支持SSL安全加密管理通道支持和客户端LDAP用户管理结合北京上海广州REST

Management

API基于浏览器的图形化管理界面统一图形化管理界面Greenplum大数据统一分析平台

Greenplum是什么？

Private/HybridCloudInfrastructureorApplianceDataAccess&QueryLayer3rdParty/PartnerTools&ServicesGreenplumChorus-AnalyticProductivityLayerGreenplumHadoopData

ScientistData

EngineerDataAnalystBl

AnalystLOB

UserGreenplumDatabaseData

PlatformAdminDATASCIENCETEAM结构化、非结构化大数据统一分析平台

GreenplumDatabaseShared-Nothing架构优势

DBDiskDBDBDBDBDiskDiskDiskDiskMasterShared-EverthingShared-StorageShared-Nothing红色表示共享资源灰色表示无共享资源DBSAN/共享存储DBDBDB真正意义上的并行处理利用原生MapReduce模型实现，业界效率最高的并行处理引擎。全部SQL逻辑都可以并行在每一个SegmentNode执行。负载根据SegmentNode数量自动均衡。

GreenplumDatabase大规模并行处理优势

Master系统永不停机Greenplum动态在线扩容技术，可以保证客户在扩容期间不宕机。不能动态在线扩容，高可用性无从谈起。宕机意味着利润的流失，客户需要可靠的IT环境。

GreenplumDatabase动态在线扩容优势

在线数据重分布在线数据重分布在线数据重分布为企业级非结构化数据打造的Hadoop平台

GreenplumHDMapR

Faster2–5x速度提高于ApacheHadoopReliable高可用性镜像EasiertoUse可使用NFS系统管理

GreenplumHDMapR更快的速度

DFSIO

(higherisbetter)Terasort

(lowerisbetter)10nodecluster,2xQuad-Core,24GDRAM,12x1TBSATADrives@7200rpm,QuadNICsElapsedtimeinminutesMB/sec3.5TBGPHDMapRApache直观洞察力完整查看一个或者多个节点

GreenplumHDMapR管理简单

GreenplumHDGPDB&GPHD并行访问

unstructureddatastructureddatatemporaldatageospatialdatasensordataspatialdata

AnalyticProductivityApplicati