大数据技术交流课件_第1页
大数据技术交流课件_第2页
大数据技术交流课件_第3页
大数据技术交流课件_第4页
大数据技术交流课件_第5页
已阅读5页,还剩69页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

大数据平台技术交流吴敏达–资深技术顾问大数据平台技术交流吴敏达–资深技术顾问2从各种各样类型的巨大数据中,快速获得有价值信息的能力,就是大数据技术什么是大数据Variety:

管理复杂的多角度关系和非关系类型的数据(你是否忽略利用的非结构化数据进行决策吗)Velocity:流数据或者大量数据的移动(你是否希望通过实时操作提供更好的结果)Volume:数据量从TB级到ZB级(你是否收集了所有数据,并在使用它吗)Veracity:1/3的领导在做业务决策时候不相信获得的信息2从各种各样类型的巨大数据中,快速获得有价值信息的能力,就是2大数据参考架构超越传统的数据仓库概念流计算Internet级别传统数据仓库In-MotionAnalyticsDataAnalytics,DataOperations&ModelBuildingResultsInternetScaleDatabase&WarehouseAt-RestDataAnalyticsResultsUltraLowLatencyResultsInfoSphereBigInsights传统/关系型数据源非传统/非关系型数据源传统/关系型数据源非传统/非关系型数据源大数据参考架构超越传统的数据仓库概念流计算Internet传3Cloud|Mobile|Security

IBM大数据平台和应用框架通过可视化的方法采集、抽取、以及探查数据应用加速器,加速应用开发,快速实现分析价值BI/Reporting BI/ReportingExploration/VisualizationFunctional

AppIndustry

AppPredictiveAnalyticsContentAnalyticsAnalyticApplications(分析应用)IBMBigDataPlatform(大数据平台)SystemsManagementApplications&DevelopmentVisualization

&Discovery分析流数据,以及在大数据的是谁数据洞察数据管控(数据质量、生命周期、……)低成本地分析PB级结构化和非结构化数据操作型数据或者历史数据的,基于数据仓库内嵌分析Accelerators(加速器)InformationIntegration&Governance信息整合和管控Hadoop

SystemStreamComputingDataWarehouseContextualDiscovery索引和联邦的上下文相关分析Cloud|Mobile|SecurityIBM大4议程IBMhadoop平台-BigInsightsIBM流计算-StreamsIBM数据仓库平台-pureData基于大数据平台的数据分析-DataExplorerIBM大数据优势汇总议程56ForresterWave关于大数据的报告6ForresterWave关于大数据的报告BigInsights企业版连接和集成StreamsNetezzaTextprocessingengineandlibraryJDBCFlume基础架构JaqlHivePigHBaseMapReduceHDFSZooKeeperIndexingLuceneAdaptiveMapReduceOozieTextcompressionEnhancedsecurityFlexiblescheduler可选

IBM产品分析和探查应用

DB2BigSheetsWebCrawlerDistribfilecopyDBexportBoardreaderDBimportAdhocqueryMachinelearningDataprocessing...管理和开发工具

管理控制台Monitorclusterhealth,jobs,etc.Add/removenodesStart/stopservicesInspectjobstatusInspectworkflowstatusDeployapplicationsLaunchapps/jobsWorkwithdistribfilesystemWorkwithspreadsheetinterfaceSupportREST-basedAPI...REclipse开发工具TextanalyticsMapReduceprogrammingJaql,Hive,PigdevelopmentBigSheetsplug-indevelopmentOozieworkflowgenerationIntegratedinstallerOpenSourceIBMIBMCognosBIBigSQLAcceleratorformachinedataanalysisAcceleratorforsocialdataanalysisGuardiumDataStageDataExplorerSqoopHCatalogGPFS–FPOBigInsights企业版连接和集成StreamsNet7BigInsights优势列表HighPerformance&AvailabilityGPFS-FPOAtleast2XfasterthanopensourceHadoop17xthroughputspeedupfordocumentindexlookupsFaultresistanceforRealTimeDataPOSIXAdaptiveMapReduceSQLInterface(BigSQL)IntegratedInstall&MgtConsolesSecurityLDAP+HighspeedLZOCompressionDevelopmentToolingenvironment,testing,andoptimizationWarehouseRDBMS&StreamsIntegrationSystemT–TextAnalyticsBlazingFast,UsesUnstructureddata–doesnotrequirestructuring,(MapReduce)CustomizedAnnotatorsBigSheetsInsightEngineforanalyticsonMassiveamountsofdatainBigInsights.PowerofMap/ReducewithinreachoftheBusinessprofessionalwithafamiliarSpreadsheet-likeenvironment.BuiltinVisualizationsSystemML–MachineLeaning(Watson)DirectlyimplementedMLalgorithmsonMapReduceDeepStatistical/MiningembeddedintoBigInsightsPlatformBigIndexDistributedindexingandsearchParallelindexingandsearch企业级别基础设施企业级别分析能力BigInsights优势列表HighPerforman8GPFS-FPO与HDFS各项指标对比BigInsightsGPFS-FPO开源HDFS或其他方案健壮性无单点故障

99.99%NameNode存在单点故障数据一致性高数据可能会丢失可扩展性数千节点,实测4000+数千节点POSIX兼容完全兼容有限数据管理能力安全、备份、快照、缓存、复制有限传统应用性能好,兼顾读写性能随机读写性能差安全性支持ACL,

容量限制,安全认证不支持GPFS-FPO与HDFS各项指标对比BigInsights9IBMAdaptiveMapReduce提供强大的企业级管理,用于在可扩展的共享网格上运行分布式应用程序和大数据分析。它可加速数十个并行应用程序,以加快实现成果并更好地利用所有可用资源。TeraSortThroughputSWIM10timesfewerCPUcores6timesfaster60timesfasterBerkleySWIMisaworkloadbenchmarkdevelopedatUniversityofCaliforniaatBerkley.MeasurecoreschedulingefficiencyofMapReduceworkloadsatHadoopWorld2011Multi-tenantresourcemanagement10xLesshardwareforthefastestTeraSortscore.IBMAdaptiveMapReduce提供强大的企业10BigSQL:让Hadoop原生支持SQL原生SQL支持BigInsightsANSISQL92+Standardsyntaxsupport(joins,datatypes,…)

真正的JDBC/ODBCPreparedstatementsCancelsupportDatabasemetadataAPIsupportSecuresocketconnections(SSL)优化LeveragingMapReduceparallelism

or…Directaccessforlow-latencyqueries多种数据源HBase(includingsecondaryindexes)CSV,Delimitedfiles,SequencefilesJSONHivetablesBigSQLEngineBigInsightsDataSourcesSQLHiveTablesHBasetablesCSVFilesApplicationJDBC/ODBCServerJDBC/ODBCDriverBigSQL:让Hadoop原生支持SQL原生11使用报表工具CognosBIserver可以下推计算到BigInsights更快响应时间没有Hive的限制Application

(Map-Reduce)Storage

(HBase,HDFS)InfoSphereBigInsightsCognosBIServerExplore&AnalyzeReport&ActSQLInterface

viaJDBC使用报表工具CognosBIserver可以下推计算到12可以使用已有的工具:SQuirreLSQLUsingexistingSQLtoolingagainstBigDataSupportfor“standard”authentication!!

(notsupportedforHive,butsupportedbyBigSQL!)13可以使用已有的工具:SQuirreLSQLUsinge13可以使用已有的工具:EclipseUsingexistingSQLtoolingagainstBigDataSamesetupasforexistingSQLsources!!Supportfor“standard”authentication!!14可以使用已有的工具:EclipseUsingexisti14集成的基于Web的安装无缝的单节点或者集群模式安装开源组件和IBM组件的安装验证检查,确保系统正常运行集成的基于Web的安装15基于Web的管理控制平台任务和工作流管理系统健康监控集群以及文件系统管理基于Web的管理控制平台任务和工作流管理16基于表单的分析基于表单的分析17仪表盘仪表盘18议程IBMhadoop平台-BigInsightsIBM流计算-StreamsIBM数据仓库平台-pureData基于大数据平台的数据分析-DataExplorerIBM大数据优势汇总议程19计算模式的变革动态数据的实时分析

流数据结构或非结构化动态数据流流计算实时对流数据进行分析计算静态数据的历史分析

批处理模式查询驱动:静态数据提交查询依靠数据库,数据仓库传统计算模式流计算模式QueriesMemoryDiskUpdatesMemoryDiskEventDataQueriesAlertsActions20计算模式的变革动态数据的实时分析静态数据的历史分析

传统计算IBM

InfoSphereStreamsAplatformforreal-timeanalyticsonBIGdata一个处理流数据的低延迟平台毫秒级,甚至微妙级端到端的延迟一个可高度扩展的,用于实时分析的高性能平台通过横向增加硬件获得近线性的处理能力扩展高达125个节点扩展一个灵活的、动态的平台Streams应用灵活部署支持动态部署新的分析应用

MillionsofeventspersecondMicrosecondLatencyTraditional/Non-traditionaldatasourcesRealtimedecisionsPowerfulAnalyticsAlgoTradingTelcochurnpredictSmartGridCyberSecurityGovernment/LawenforcementICUMonitoringEnvironmentMonitoring21IBMInfoSphereStreamsAplatfo连续注入连续分析实现可扩展:将应用分布到多个计算节点

在流连接的硬件节点之间分发Streams流计算平台基础设施提供服务:

在跨硬件/软件节点中调度分析

建立流媒体连接

…变换过滤/采样分类关联注释在适当的地方, 处理单元可以是“融合”在一起 从而消除通信的延迟连续注入连续分析实现可扩展:Streams流计算平台基StreamsToolkit(常用)JoinFunctorAggregatePunctorSortFilterDirectory-ScanFileSourceFileSinkUDPSourceUDPSinkTCPSourceTCPSinkExportImportODBCSourceODBCEnrichsolidDBEnrichInetSourceODBCAppendStreamsToolkit(常用)JoinFuncto高度可并行扩展能力同时利用几十台、上百台进行实时数据流处理高度可并行扩展能力同时利用几十台、上百台进行实时数据流处理24X86BoxX86BladeCellBladeBlueGeneFPGABladeX86BladeX86BladeX86BladeX86BladeX86BladeTransportStreamsDataFabric高可用、集群部署能力ProcessingElementContainerProcessingElementContainerProcessingElementContainerProcessingElementContainerProcessingElementContainer优化调度器把操作符分配到不同的节点运行,并持续监控资源的使用情况自适应资源、工作负载、数据速率的变化在低成本硬件上运行-从单节点PC到刀片服务器到多阵列集群X86X86BladeCellBlueGeneFPGA2526参考性能数据

-吞吐性能和延迟1,975streams2,133streams163streams24channels163DecisionEngines356BlueGeneNodes356ProcessingElements4,274streamsDataFeed每秒500万条记录平均延迟150微秒最小延迟50微秒65K中49条延迟>2毫秒26参考性能数据-吞吐性能和延迟1,975stream26大数据的实时分析平台

分析不同的数据源,每秒分析上百万个事件.易用性能图形化应用开发模式,容易管理和监控.集成能力集成XML,MQ,DataStage,HDFS等.高级工具包和加速器事件序列和地理信息数据库工具箱和CEP处理

可定制化的电信和媒体分析加速器帮助快速部署应用.InfoSphereStreamsInfoSphereStreams

大数据的实时分析平台InfoSphereStreamsIn议程IBMhadoop平台-BigInsightsIBM流计算-StreamsIBM数据仓库平台-pureData基于大数据平台的数据分析-DataExplorerIBM大数据优势汇总议程28

-专家集成数据系统forTransactions为满足交易型数据服务而优化的系统forOperationalAnalytics为满足操作型分析数据服务而优化的系统forAnalytics为满足分析型数据服务而优化的系统DataPlatformDeliveringDataServices-专家集成数据系统f29议程IBMhadoop平台-BigInsightsIBM流计算-StreamsIBM数据仓库平台-pureData基于大数据平台的数据分析-DataExplorerIBM大数据优势汇总议程30NamechangeandnewreleaseIBMInfoSphereDataExplorerNamechangeandnewreleaseIBM31Application/Users结合企业各类数据,包括大数据的分析结果FileSystemsRelationalDataContentManagementEmailCRMSupplyChainERPRSSFeedsExternalSourcesCloudCustomSourcesVelocityPlatformIBMBigDataPlatformSystemsManagementApplicationDevelopmentVisualization

&DiscoveryAcceleratorsInformationIntegration&GovernanceHadoop

SystemStreamComputingDataWarehouseCommentingRatingSharedFoldersTaggingApplication/结合企业各类数据,包括大数据的分析结IDE给最终用户提供整合的企业级的信息探查ApplicationFrameworkRealTimeAnalyticsInternetScaleAnalyticsIn-DatabaseAnalyticsFederatedDiscoveryNavigationandVisualization33EnterpriseDataConnectorsIDE给最终用户提供整合的企业级的信息探查Applicati33IDE

-InfoSphereDataExplorer平台架构ConnectorFrameworkCM,RM,DMRDBMSFeedsWeb2.0EmailWebCRM,ERPFileSystemsApplicationFrameworkAuthentication/AuthorizationQueryTransformationPersonalizationDisplayUserProfilesFederatedSourcesSubscriptionsFeedsWebResultsOtherAppsApplicationApplicationApplicationThesaurusClusteringOntologySupportSemanticProcessingEntityExtractionRelevancyTextAnalyticsFacetingTaggingTaxonomyCollaborationMetaDataConvertingSearchEngineCrawlingIndexingIDE-InfoSphereDataExplorer平议程IBMhadoop平台-BigInsightsIBM流计算-StreamsIBM数据仓库平台-pureData基于大数据平台的数据分析-DataExplorerIBM大数据优势汇总议程35IBMBigData方案的价值提供最为广泛的平台支持-解决了海量数据处理的多种需求IBM研究和研发实验室的先进数据处理技术融入到产品当中接受,拓展,延伸并反馈到开源社区产品支持和保持领先的专业知识与能力,以确保客户的成功处理海量数据的完整技术支持其他的友商只能提供部分的支持,或通过其他厂商的方案进行融合专注于企业品质和诉求经过实践的性能管理与开发工具支持IBM内部和IBM外部的信息管理技术的深度整合安全性和数据治理高可用与备份恢复IBM的服务和咨询IBM的先进技术和长久积累下的经验沉淀.IBMBigData方案的价值提供最为广泛的平台支持-解36谢谢谢谢37大数据平台技术交流吴敏达–资深技术顾问大数据平台技术交流吴敏达–资深技术顾问39从各种各样类型的巨大数据中,快速获得有价值信息的能力,就是大数据技术什么是大数据Variety:

管理复杂的多角度关系和非关系类型的数据(你是否忽略利用的非结构化数据进行决策吗)Velocity:流数据或者大量数据的移动(你是否希望通过实时操作提供更好的结果)Volume:数据量从TB级到ZB级(你是否收集了所有数据,并在使用它吗)Veracity:1/3的领导在做业务决策时候不相信获得的信息2从各种各样类型的巨大数据中,快速获得有价值信息的能力,就是39大数据参考架构超越传统的数据仓库概念流计算Internet级别传统数据仓库In-MotionAnalyticsDataAnalytics,DataOperations&ModelBuildingResultsInternetScaleDatabase&WarehouseAt-RestDataAnalyticsResultsUltraLowLatencyResultsInfoSphereBigInsights传统/关系型数据源非传统/非关系型数据源传统/关系型数据源非传统/非关系型数据源大数据参考架构超越传统的数据仓库概念流计算Internet传40Cloud|Mobile|Security

IBM大数据平台和应用框架通过可视化的方法采集、抽取、以及探查数据应用加速器,加速应用开发,快速实现分析价值BI/Reporting BI/ReportingExploration/VisualizationFunctional

AppIndustry

AppPredictiveAnalyticsContentAnalyticsAnalyticApplications(分析应用)IBMBigDataPlatform(大数据平台)SystemsManagementApplications&DevelopmentVisualization

&Discovery分析流数据,以及在大数据的是谁数据洞察数据管控(数据质量、生命周期、……)低成本地分析PB级结构化和非结构化数据操作型数据或者历史数据的,基于数据仓库内嵌分析Accelerators(加速器)InformationIntegration&Governance信息整合和管控Hadoop

SystemStreamComputingDataWarehouseContextualDiscovery索引和联邦的上下文相关分析Cloud|Mobile|SecurityIBM大41议程IBMhadoop平台-BigInsightsIBM流计算-StreamsIBM数据仓库平台-pureData基于大数据平台的数据分析-DataExplorerIBM大数据优势汇总议程4243ForresterWave关于大数据的报告6ForresterWave关于大数据的报告BigInsights企业版连接和集成StreamsNetezzaTextprocessingengineandlibraryJDBCFlume基础架构JaqlHivePigHBaseMapReduceHDFSZooKeeperIndexingLuceneAdaptiveMapReduceOozieTextcompressionEnhancedsecurityFlexiblescheduler可选

IBM产品分析和探查应用

DB2BigSheetsWebCrawlerDistribfilecopyDBexportBoardreaderDBimportAdhocqueryMachinelearningDataprocessing...管理和开发工具

管理控制台Monitorclusterhealth,jobs,etc.Add/removenodesStart/stopservicesInspectjobstatusInspectworkflowstatusDeployapplicationsLaunchapps/jobsWorkwithdistribfilesystemWorkwithspreadsheetinterfaceSupportREST-basedAPI...REclipse开发工具TextanalyticsMapReduceprogrammingJaql,Hive,PigdevelopmentBigSheetsplug-indevelopmentOozieworkflowgenerationIntegratedinstallerOpenSourceIBMIBMCognosBIBigSQLAcceleratorformachinedataanalysisAcceleratorforsocialdataanalysisGuardiumDataStageDataExplorerSqoopHCatalogGPFS–FPOBigInsights企业版连接和集成StreamsNet44BigInsights优势列表HighPerformance&AvailabilityGPFS-FPOAtleast2XfasterthanopensourceHadoop17xthroughputspeedupfordocumentindexlookupsFaultresistanceforRealTimeDataPOSIXAdaptiveMapReduceSQLInterface(BigSQL)IntegratedInstall&MgtConsolesSecurityLDAP+HighspeedLZOCompressionDevelopmentToolingenvironment,testing,andoptimizationWarehouseRDBMS&StreamsIntegrationSystemT–TextAnalyticsBlazingFast,UsesUnstructureddata–doesnotrequirestructuring,(MapReduce)CustomizedAnnotatorsBigSheetsInsightEngineforanalyticsonMassiveamountsofdatainBigInsights.PowerofMap/ReducewithinreachoftheBusinessprofessionalwithafamiliarSpreadsheet-likeenvironment.BuiltinVisualizationsSystemML–MachineLeaning(Watson)DirectlyimplementedMLalgorithmsonMapReduceDeepStatistical/MiningembeddedintoBigInsightsPlatformBigIndexDistributedindexingandsearchParallelindexingandsearch企业级别基础设施企业级别分析能力BigInsights优势列表HighPerforman45GPFS-FPO与HDFS各项指标对比BigInsightsGPFS-FPO开源HDFS或其他方案健壮性无单点故障

99.99%NameNode存在单点故障数据一致性高数据可能会丢失可扩展性数千节点,实测4000+数千节点POSIX兼容完全兼容有限数据管理能力安全、备份、快照、缓存、复制有限传统应用性能好,兼顾读写性能随机读写性能差安全性支持ACL,

容量限制,安全认证不支持GPFS-FPO与HDFS各项指标对比BigInsights46IBMAdaptiveMapReduce提供强大的企业级管理,用于在可扩展的共享网格上运行分布式应用程序和大数据分析。它可加速数十个并行应用程序,以加快实现成果并更好地利用所有可用资源。TeraSortThroughputSWIM10timesfewerCPUcores6timesfaster60timesfasterBerkleySWIMisaworkloadbenchmarkdevelopedatUniversityofCaliforniaatBerkley.MeasurecoreschedulingefficiencyofMapReduceworkloadsatHadoopWorld2011Multi-tenantresourcemanagement10xLesshardwareforthefastestTeraSortscore.IBMAdaptiveMapReduce提供强大的企业47BigSQL:让Hadoop原生支持SQL原生SQL支持BigInsightsANSISQL92+Standardsyntaxsupport(joins,datatypes,…)

真正的JDBC/ODBCPreparedstatementsCancelsupportDatabasemetadataAPIsupportSecuresocketconnections(SSL)优化LeveragingMapReduceparallelism

or…Directaccessforlow-latencyqueries多种数据源HBase(includingsecondaryindexes)CSV,Delimitedfiles,SequencefilesJSONHivetablesBigSQLEngineBigInsightsDataSourcesSQLHiveTablesHBasetablesCSVFilesApplicationJDBC/ODBCServerJDBC/ODBCDriverBigSQL:让Hadoop原生支持SQL原生48使用报表工具CognosBIserver可以下推计算到BigInsights更快响应时间没有Hive的限制Application

(Map-Reduce)Storage

(HBase,HDFS)InfoSphereBigInsightsCognosBIServerExplore&AnalyzeReport&ActSQLInterface

viaJDBC使用报表工具CognosBIserver可以下推计算到49可以使用已有的工具:SQuirreLSQLUsingexistingSQLtoolingagainstBigDataSupportfor“standard”authentication!!

(notsupportedforHive,butsupportedbyBigSQL!)50可以使用已有的工具:SQuirreLSQLUsinge50可以使用已有的工具:EclipseUsingexistingSQLtoolingagainstBigDataSamesetupasforexistingSQLsources!!Supportfor“standard”authentication!!51可以使用已有的工具:EclipseUsingexisti51集成的基于Web的安装无缝的单节点或者集群模式安装开源组件和IBM组件的安装验证检查,确保系统正常运行集成的基于Web的安装52基于Web的管理控制平台任务和工作流管理系统健康监控集群以及文件系统管理基于Web的管理控制平台任务和工作流管理53基于表单的分析基于表单的分析54仪表盘仪表盘55议程IBMhadoop平台-BigInsightsIBM流计算-StreamsIBM数据仓库平台-pureData基于大数据平台的数据分析-DataExplorerIBM大数据优势汇总议程56计算模式的变革动态数据的实时分析

流数据结构或非结构化动态数据流流计算实时对流数据进行分析计算静态数据的历史分析

批处理模式查询驱动:静态数据提交查询依靠数据库,数据仓库传统计算模式流计算模式QueriesMemoryDiskUpdatesMemoryDiskEventDataQueriesAlertsActions57计算模式的变革动态数据的实时分析静态数据的历史分析

传统计算IBM

InfoSphereStreamsAplatformforreal-timeanalyticsonBIGdata一个处理流数据的低延迟平台毫秒级,甚至微妙级端到端的延迟一个可高度扩展的,用于实时分析的高性能平台通过横向增加硬件获得近线性的处理能力扩展高达125个节点扩展一个灵活的、动态的平台Streams应用灵活部署支持动态部署新的分析应用

MillionsofeventspersecondMicrosecondLatencyTraditional/Non-traditionaldatasourcesRealtimedecisionsPowerfulAnalyticsAlgoTradingTelcochurnpredictSmartGridCyberSecurityGovernment/LawenforcementICUMonitoringEnvironmentMonitoring58IBMInfoSphereStreamsAplatfo连续注入连续分析实现可扩展:将应用分布到多个计算节点

在流连接的硬件节点之间分发Streams流计算平台基础设施提供服务:

在跨硬件/软件节点中调度分析

建立流媒体连接

…变换过滤/采样分类关联注释在适当的地方, 处理单元可以是“融合”在一起 从而消除通信的延迟连续注入连续分析实现可扩展:Streams流计算平台基StreamsToolkit(常用)JoinFunctorAggregatePunctorSortFilterDirectory-ScanFileSourceFileSinkUDPSourceUDPSinkTCPSourceTCPSinkExportImportODBCSourceODBCEnrichsolidDBEnrichInetSourceODBCAppendStreamsToolkit(常用)JoinFuncto高度可并行扩展能力同时利用几十台、上百台进行实时数据流处理高度可并行扩展能力同时利用几十台、上百台进行实时数据流处理61X86BoxX86BladeCellBladeBlueGeneFPGABladeX86BladeX86BladeX86BladeX86BladeX86BladeTransportStreamsDataFabric高可用、集群部署能力ProcessingElementContainerProcessingElementContainerProcessingElementContainerProcessingElementContainerProcessingElementContainer优化调度器把操作符分配到不同的节点运行,并持续监控资源的使用情况自适应资源、工作负载、数据速率的变化在低成本硬件上运行-从单节点PC到刀片服务器到多阵列集群X86X86BladeCellBlueGeneFPGA6263参考性能数据

-吞吐性能和延迟1,975streams2,133streams163streams24channels163DecisionEngines356BlueGeneNodes356ProcessingElements4,274streamsDataFeed每秒500万条记录平均延迟150微秒最小延迟50微秒65K中49条延迟>2毫秒26参考性能数据-吞吐性能和延迟1,975stream63大数据的实时分析平台

分析不同的数据源,每秒分析上百万个事件.易用性能图形化应用开发模式,容易管理和监控.集成能力集成XML,MQ,DataStage,HDFS等.高级工具包和加速器事件序列和地理信息数据库工具箱和CEP处理

可定制化的电信和媒体分析加速器帮助快速部署应用.InfoSphereStreamsInfoSphereStreams

大数据的实时分析平台InfoSphereStreamsIn议程IBMhadoop平台-BigInsightsIBM流计算-StreamsIBM数据仓库平台-pureData基于大数据平台的数据分析-DataExplorerIBM大数据优势汇总议程65

-专家集成数据系统forTransactions为满足交易型数据服务而优化的系

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论