大数据分析存储解决方案

1、从企业数据向大数据的扩展Traditional ApproachStructured, analytical, logicalSystems of RecordNew ApproachCreative, holistic thought, intuitionSystems Of EngagementMultimediaSystems of Insight Enterprise Integrationand Context AccumulationStructuredRepeatableLinearUnstructuredExploratoryDynamicData WarehouseWeb L

2、ogsSocial DataText Data:emailsSensor data:imagesRFIDInternal App DataTransaction DataMainframe DataOLTP System DataHadoop andStreamsTraditional SourcesNew SourcesERP data具备洞悉能力的系统Systems of Insight对新式基基础架构构的需求求在可靠和安安全的环境中中处理关关键业务务应用存取和处处理海量数据据包括结构构化和非非结构化化数据速度及时时响应随随时可能能出现的的商业机机会，这这就需要要灵活、实时性性的基础础架构

3、ThedynamicsofSoR andSoE:通过负载载及资源源部署的的优化，来增强强灵活性性和效益益通过采用用包括基基于开放放标准的的技术等等新技术术来改善善ITeconomicsSystemofRecord（SoR）Systems of Engagement（SoE）对的决策策对的地方方对的时间间点BigData& Analytics大数据分分析的新新型架构构解决方方案IBMBig Data&AnalyticsInfrastructureData ZoneApplicationZone4SmartMeteringGrid Operations电网管理理FieldService外勤现场场服

4、务ResourcePlanning资源规划划CustomerService /CustomerOperations实现真正正的有效效的法规规遵从及时发现现能源损损耗问题题、以及及偷电和和欺诈行行为提高客户户满意度度电量使用用预测更更为精确确电网运维维优化减少停电电次数和和时间案例:SmartMetering智慧电力力计费大数据分分析应用用可以带带来真正正的业务务价值法规遵从从案例:用大数据据分析来来加强SmartMetering数据分析析的高可可用性，以确保保随时了了解用户户喜好跨应用的的TB级的数据据需求通用虚拟拟化存储储平台实时收集集、存储储并分析析数据，最快可可达50,000datapo

5、ints/sec历史用电电状态数数据的复复杂查询询处理数据在加加载到数数据仓库库前的清清洗、验验证，这这些数据据可能来来自很多多的用户户、收费费系统或或断电保保护系统统关系掌控控构建和维维护电网网的唯一一试图对整个企企业的结结构化和和非结构构化数据据t做全局导导览Navigation，从中发发现Discover价值分析用户户用电情情况，侦侦测偷电电、改表表等行为为预测哪些些用户适适合于哪哪些分时时时段电电价或需需求/响应服务务分时时段段电价的的实时定定价或或提供及时时的需求求/响应服务务IBMBig Data&AnalyticsReference ArchitectureBigDataPlat

6、formCapabilitiesInformationIngestReal-timeAnalyticsWarehouse&Data MartsAnalyticAppliancesAllDataSourcesAdvancedAnalytics/NewInsightsNew/EnhancedApplicationsCognitive认知Learn Dynamically?Prescriptive 规范Best Outcomes?Predictive预测What Could Happen?Descriptive描述What Has Happened?Exploration and Discovery

7、What Do You Have?Streaming DataText DataApplications DataTime SeriesGeo SpatialRelationalSocial NetworkVideo & ImageAutomated ProcessCase ManagementAnalytic ApplicationsWatsonCloud ServicesISV SolutionsAlertsNewInfrastructureLeverages DataTypesData inMotionData atRestData inMany FormsInformationInge

8、stionand Operational InformationDecisionManagementBIandPredictiveAnalyticsNavigationandDiscoveryIntelligenceAnalysis Raw Data Structured Data Text Analytics Data Mining Entity Analytics Machine LearningLanding Area, Analytics Zone and ArchiveVideo/AudioNetwork/SensorEntityAnalyticsPredictiveReal-tim

9、eAnalyticsExploration,Integrated Warehouse,and MartZonesDiscoveryDeep ReflectionOperationalPredictiveStreamProcessingData IntegrationMasterDataStreamsInformationGovernance,SecurityandBusinessContinuityBigInsightsStreamsWarehouseInfoSphereBigInsightsHadoop-based低延迟分分析，针针对多样样化的、海量静静态数据据Data-At-RestNet

10、ezzaHigh Capacity Appliance基于结构构化数据据的可查查询归档档Netezza1000基于结构构化数据据的BI+定制化分分析DataSmartAnalyticsSystem基于结构构化数据据的运营营分析InformixTimeseriesTime-structuredanalyticsInfoSphereWarehouse基于结构构化数据据的大容容量数据据分析InfoSphereStreams低延迟流流数据分分析Velocity,Variety& VolumeData-In-MotionMPPDataWarehouseStreamComputingInformation

11、IntegrationHadoopInfoSphereInformationServer海量数据据集成和和转化Apache Hadoop:跨服务器集群的大数据集分布式处理开放系统框架，采用的是一种简单化编程模型IBMBig DataPlatform大数据平平台What:一种开源源软件，将数据据计算分分布到整整个集群群的常见见商用服服务器和和存储上上Why:传统的计计算架构构是一种种沿纵向向扩展模模式，通通过更快快的SAN、大容量量内存和和多级缓缓存将数数据加载载到CPU上，成本本比较高高。What:Hadoop把大数据据集合拆拆分区划划为小数数据集合合，再把把小数据据集合分分发到多多台普通通服

12、务器器上，是是一种横横向扩展展模式。Why: Scalable,Flexible,CostEffective, FaultTolerentComponents:MapReduce,HDFSWhat isHadoop?NameNode (Metadata store)NodesHDFS ClusterOperating SystemNodesElastic Storage -SNC ClusterKernel LevelIBMValueforHadoop!HDFS把数据分分散存储储在多个个存储节节点Node上HDFS设计时就就假设存存储节点点有失效效的可能能，所以以HDFS会把一份份数据复复制3

13、份以上，分散存存储在多多个节点点上，从从而实现现系统整整体上的的可靠性性HDFS文件系统统是由服服务器节节点集群群组成的的，每台台服务器器依照HDFS的特有block协议支持持网络化化block数据HDFS NameNode有发生单单点故障障的危险险IBM在改善文文件系统统的性能能同时消消除了单单点故障障Elastic Storage-SNC(available as betacode)Hadoop说明, MapReduce, HDFSHadoopStackWhat doesitlooklike?典型Hadoop存储的Pain Points在选择HDFS的组件（如软件件、服务务器、网网络和存存

14、储等）时很难难选对在从测试试环境迁迁移到生生产环境境时，需需要做的的调优和和调整工工作太繁繁复了长期持续续不断的的运维保保障过于于繁重，比如老老要更换换失效组组件（尤尤其是硬硬盘），这使得得保证期期望的SLA非常难CPU和存储去去耦本来用户户的CPU和内存已已经满足足计算需需求，但但为了存存储容量量需要安安装更多多的硬盘盘不得不不买更多多的、不不必要的的CPU和内存Storage optionsavailable havecleargaps本地存储储的利用用率低(25%)，每次需需要扩容容的时候候就要添添加更多多的服务务器，而而一旦硬硬盘失效效后需要要重建，服务器器越多，失效的的几率越越高，性

15、性能也就就越差IBMStorageforHadoop传统的Hadoop集群使用用的是服服务器内内置硬盘盘存储。如果用用作测试试或科学学研究还还好，可可作为业业务运行行的存储储就要采采用企业业存储Hadoop集群要负负责数据据保护和和复制重建（就就是copy）失效的的数据集集到不同同节点上上严重影响响CPU性能，无无法实现现企业级级的RASReplicatedata问题同上上扩展的时时候同时时增加处处理器/网络/存储，无无法做到到物尽其其用（nowaytoseparatethese3even if excesscapacityexistinginone(e.g.Needed morestorag

16、ebuthad to addCompute andNetwork)）使用外部部存储可可以将存存储负载载和Hadoop计算节点点分离，同时还还获得了了企业存存储的好好处。Sell thevalueofXIV, V7000,SVC, etc.用户一般般会随HadoopFileSystem部署；采采用Elastic Storage可以有很很多好处处14数据加速速Experience theinstant resultsthatcome fromIBM FlashSystemDriveasmuch as45Xfasteranalytics resultsoncertainworkloads数据负载载的

17、多样样性和灵灵活性XIVdeliverspredictableperformancethatscaleslinearlywithouthotspotsdelivering insights fromanalytics fasterwith tuning-free datadistributionScale-out, parallel processingofElasticStorage software andintegrationwith FlashSystem dramaticallyacceleratesperformanceofAnalyticsclustersVirtual Stor

18、ageCenter withSVC automaticallyoptimizes datawarehouse performance andcost acrossFlashandDiskMainframeDataEnvironmentsIntegrationwith DB2& specialtyanalytics“engines”leveraging DS8870delivers4xreductioninbatchtimeswithnewHighPerformanceFlashEnclosuresHigh speed encryptiononeverydrivetypesecures data

19、数据保护护和保留留LTFS EE w/ tapeprovidesreducedTCObyupto90%over diskfor longtermretentionofdataatrest withalargeopen formattape repositoryReducethe amountofdata to be storedbyupto25timeswith ProtecTIERde-duplication12x更快IBMFlashSystemincreasedSPLUNK &SAS application efficiencytoperformbusinessanalytics20 x改

20、善inactionable supplychainanalytics,4xreductioninbatchtimes, virtualization forplug &play6x时间节省省“GPFSallowsustomovethemetadatafromthedisktotheFlashSystemonline. Oncewedid that, thebackups werereduceddown to about an hour.”2 hrsbecomes2 minutes失效切换换时间大大幅缩短短Mapping CharacteristicstoIBMStorageProductsSt

21、orage Infrastructure需求适用于所所有的5种应用场场景OptimizedMulti-TemperatureWarehouse优化的多多级存储储库AllFlashFlashSystemHybridDS8000EasyTierXIV+SSDCachingStorwizeEasyTierFlashSystemSolution(VSC +FlashSystem)PureSystemsPureFlex(XIV orStorwizew/EasyTier)PureDataforTransactions (Storwize)PureDataforAnalytics (Netezza)Midr

22、ange& EntryTier 0AccelerationSmarter StorageIntegrated SystemsEnterpriseOfferingsXIVzEnterpriseSolutionsforAnalytics withDS8000PureDataSystemforOperationalAnalyticswith StorwizePureFlexSystemwith StorwizeDS8000SmartAnalyticsSystems withDS3xxxOpen &ExtensibleStorwizefamilyFlashSystemfamilyIBMSmarterS

23、torage的设计就就是支持持大数据据分析高效和优优化数据据基础架架构IBMFlashSystem：为大数数据分析析应用设设计的，让应用用和数据据实现极极速IBMFlashSystem的极速性能能让实时业业务决策策成为可可能适合于模模块化数数据存储储结构的的Hadoop系统。某某些或所所有数据据可以保保存到Flash闪存上，其他可可以保存存到XIVIBMXIV: Optimizeddata workload diversityforBig Data&AnalyticsIBMXIV的高性能无须人工工干预配配置，且且适用于于各种各各样的存存储负载载IBMXIV的效率高的异乎乎寻常，而且简简单性业业

24、内最高高，内置置友好界界面IBMXIV的弹性是企业级级的，完完全保证证了数据据的可用用性和业业务连续续性XIV:为Analytics而生无与伦比比的性能可扩展的的网格存存储架构构任意时间间支持任任意读写写负载板上的闪闪存Flash无与伦比比的可靠性精致的数数据分布布无双的磁磁盘重建建时间企业级的的可用性性无与伦比比的简易性简单的规规划、供供给和灵灵活性上线后零零维护零调优“XIV最吸引我我们的地地方就是是其超强强的性能能we正是由于于XIV为我们的的精细复复杂的分分析应用用提供了了一致的的高性能能，使使得我们们能够为为我们的的用户带带来更多多的价值值。”SAS和XIV网格架构构完美的结结合大规

25、模并并行计算算保持持续续地最佳佳性能BalancedPerformance性能均衡衡常年零调调整Unprecedented Scalability史无前例例的扩展展性配合添加加SAS节点和XIV模块即可可IBMSVC: Optimizeddata workload flexibility forBigData& AnalyticsIBMSVC通过如下下功能在在IBM大数据产产品线上上增加了了灵活性：完整和数数据虚拟拟化和数数据移动动性高级集群群和复制制多路镜像像，readpreferredoptionReal TimeCompression实时压缩缩Easy TierHot Extentcac

26、hingStorwizeV7000/UIBMSVC设计原则则Real-TimeCompression实时压缩缩是设计计来做：作用于ActivePrimaryData专用的压压缩平台台Platformhandles ALLheavylifting associatedwithcompression不会影响响性能Wemodifyacompressed filein-placeefficiently不会改变变用户应应用Usersnoradmins needtochange anything处理流程程不变压缩是在在线完成成，不是是事后压压缩业界标准准压缩算算法所采用的的压缩算算法已经经使用了了几十年年

27、StorwizeV7000/UIBMSVC24流处理计计算& IBMFlashSystemsData:是拥有还还是保存存?或是是分分析和开开始行动动!Data inData at25InfoSphereStreams:大数据流流分析为分析动动态数据据而建多并发输输入数据据流大规模可可扩展Massive scalability分析和处处理的数数据多样样化Structured,unstructured, video,audioAdvancedanalyticoperators自适应实实时分析析With DataWarehousesWith HadoopSystemsCurrent factfind

28、ing当前数据据查询分许流动动中的数数据在数据落落盘前低延迟模模式, pushmodel数据驱动动真正的数数据分析析Historical factfinding历史数据据查询查找和分分析存储储在磁盘盘上的数数据信息息批处理模模式, pullmodel查询驱动动: submitsqueriestostaticdataTraditionalComputingStreamComputing流数据计计算代表表着计算算模式的的变迁Real-timeAnalyticsReal TimeAnalytics实时分析析想象一下下你如何何用防火火栓喝水水来自多个个多样输输入源的的大量数数据直接处理理和过滤滤数据，

29、而不必必存储仅保存有有价值的的数据仅关联对对数据最最感兴趣趣的用户户随着数据据信息的的产生采采取行动动AdaptiveAnalytics自适应分分析Data in MotionandDataatRest的集成1.Data Ingest数据集成成，数据挖掘掘，机器学习习，统计建模模实时和历历史数据据洞察力力的可视视化3.AdaptiveAnalyticsModel数据收取取，在线分析析准备，模式校校验Data2.Bootstrap/EnrichControl flowInfoSphereBigInsights, Database &WarehouseInfoSphereStreamsAdapti

30、veReal-TimeAnalytics自适应实实时分析析来自多个个多样输输入源的的大量数数据过去、现现在和未未来全方方位综合合性视图图实时分析析，低延延时结果果Full contextfor deepanalysis深度分析析的完整整的上下下文跨data in motionanddataatrest的常用数数据分析析自适应-随机而变变当发现非非预期行行为时，自适应应当识别出出新数据据意义时时深度分分析之开始没有有意识到到的数据据意义，随后才才可能意意识到自适应在开始没没有意识识到的，随后可可以找出出数据模模式StockmarketImpactofweatheronsecurities pri

31、cesAnalyze marketdata at ultra-lowlatenciesMomentumCalculatorFraudpreventionDetectingmulti-partyfraudReal timefraudpreventione-ScienceSpaceweather predictionDetectionoftransient eventsSynchrotronatomicresearchGenomic ResearchTransportationIntelligenttraffic managementAutomotiveTelematicsEnergy&Utili

32、tiesTransactivecontrolPhasorMonitoring UnitDown holesensor monitoringNatural SystemsWildfiremanagementWatermanagementOtherManufacturingText AnalysisERPfor CommoditiesReal-time multimodal surveillanceSituational awarenessCyber security detectionLaw Enforcement, Defense & Cyber SecurityHealth & Life S

33、ciencesICU monitoringEpidemic early warning systemRemote healthcare monitoringTelephonyCDR processingSocial analysisChurn predictionGeomapping如何使用用InfoSphereStreams?加快数据据流入分分析系统统的速度度向交易方方向加速速。一个高效效和灵活活的基础础架构显显然可以以加快流流速，并并平衡不不同数据据分析的的需求CoresSCMStorageNetworkCoresSCMStorageNetworkCoresSCMStorageNetwor

34、kCoresSCMStorageNetwork+预测分析数据仓库文本分析Hadoop Workloads优化敏感性分析加快流速价值时间“触发事件”数据完备交易Insight预见获取数据时间分析数据时间行动时间大数据分分析的新新式基础础架构解解决方案案IBMBig Data&AnalyticsInfrastructureData ZoneApplicationZoneExperience real-timeanalytical insights withupto50 xbetter performancethan enterprisedisksystems using IBMFlashCore

35、technologyPreserveandprotectinfrastructurecontinuity while scalingtoover2petabyteofeffectiveall-flash capacity under asingle integrateinterfaceDeliver agilityand dataeconomics with4xgreater capacityinless rackspacethancompetitiveall-flashproductsSynchronizedand ComplimentarytoOverarchingStorageMessa

36、ging-Accelerate timetoinsightsthroughdatawithout borders.IBMinnovationfreesdata withagileand simpletousestoragesolutionsdeliveringsuperiordata economicsIBMFlashSystemCore LaunchMessagingDrivea complete paradigm shift in EnterpriseStoragewith theallnew IBMFlashSystemFamilyIBMFlashSystemFamily2015 The

37、meTime to insight. Timetovalue. Timetomarket.IBMFlashSystem, itsabouttime.FlashRealized!IBMFlashSystemV9000FoundationalPillarsIBMFlashCoreTechnology is theDNAofthe FlashSystem FamilyScalable PerformanceEnduring EconomicsAgile IntegrationIntroducingtheNew IBMFlashSystemFamilyOfferingsIBMFlashSystem90

38、0Extreme Performance:Delivers100microsecondresponsetimesMacroEfficiency:Lowestlatencyofferingwith40% greatercapacityatalowercost percapacityEnterprise Reliability:IBMenhancedMicron MLCflashtechnology withFlashWearGuaranteePowered byIBMFlashCoreTechnologyIBMFlashSystemV9000ScalablePerformance:Grow ca

39、pacity andperformancewith up to 2.2PB scalingcapabilityEnduringEconomics:Next generationflashmediawithlowercost percapacityAgileIntegration:Fullyintegrated systemmanagement to simplify managementand improveworkforce productivityundera singlename spaceFlashSystem900IntroducingIBMFlashSystem900,thenextgeneration in ourlowestlatencyofferingIBMMicroLatencywith up to 1.1million IOPS40%greatercapacityata 1