微软大数据平台架构及解决方案介绍课件

大数据平台架构及解决方案介绍邓英达数据平台工程师大数据平台架构及解决方案介绍邓英达数据平台工程师优化交通运输为自然事件做好准备提升研究水平物流规划环境的可持续性就业分析社交网络应用流感跟踪经济预测欺诈行为检测大数据可以为政府做些什么？优化交通运输为自然事件提升研究水平物流规划环境的可持续性就业第一部分：大数据技术基础第二部分：微软的完整解决方案第三部分：BigData本地部署方案第四部分：BigData云端部署方案第五部分：前端数据展现第六部分：案例与总结内容第一部分：大数据技术基础内容用户预期大量数据多种数据类型实时数据创建大数据推动我们到达临界点经济的硬件与存储用户预期大量数据多种数据类型实时数据创建大数据推动我们到达临如何建设–DataPortal模式？如何建设–DataPortal模式？整体解决方案系统成本构建“大数据”解决方案前端报表和分析商业化程度和多厂家协调高成本需大量培训学习功能与易用性的平衡“大数据”方案选择有限?大数据平台的建设困难整体解决方案系统成本构建“大数据”前端报表和分析商业化程度业务需求

简化信息搜索和采集，适应各种数据源，都能促成数据集成人们应当获得强大熟悉的工具，这样BI才能更有吸引力，更能推广IT应当提供完整的大数据平台，跨越云端与本地部署，支持集成不同的数据类型微软的观点技术让人快速获得洞察力并据此展开操作业务需求

简化信息搜索和采集，适应各种数据源，都能促成数据第一部分：大数据技术基础第二部分：微软的完整解决方案第三部分：BigData本地部署方案第四部分：BigData云端部署方案第五部分：前端数据展现第六部分：案例与总结内容第一部分：大数据技术基础内容BigData解决方案逻辑架构数据管理与处理数据富集与联合查询BI与分析单一查询模型一体机云盒装软件Hadoop提取、转换、加载数据质量主数据管理一体机云盒装软件关系型数据仓库DatasourcesOLTPERPCRMLOB非关系型数据设备Web传感器社交数据源OLTPERPCRMLOB自助服务协作企业预测移动设备BigData解决方案逻辑架构数据管理与处理数据富集与联合数据管理与处理一体机云盒装软件微软的BigData解决方案架构数据的丰富与联合查询BI与分析单一查询模型提取、转换、加载数据质量主数据管理APS(分析平台系统)SQLServer2014MicrosoftAzureHDInsight一体机云盒装软件DatasourcesOLTPERPCRMLOB非关系型数据设备Web传感器社交数据源OLTPERPCRMLOB自助服务协作企业级BI预测移动数据管理与处理一体机云盒装软件微软的BigData解决方案基础结构数据管理与处理数据富集与联合查询BI与分析微软BigData解决方案架构自助服务协作企业级BI预测移动提取、转换、加载单一查询模型数据质量主数据管理非关系型关系型分析流内部与外部虚拟化扩展性安全与身份服务质量全部显示全部关闭MicrosoftAzure基础结构数据管理与处理数据富集与联合查询BI与分析微软Bi盒装软件云一体机自由选择的部署选择或混合解决方案SQLServerHortonworks数据平台APS分析平台系统在微软Azure虚拟机中运行SQLServer实现数据仓库HDInsightforMicrosoftAzureSQLServerFastTrack盒装软件云一体机自由选择的部署选择或混合解决方案SQLSeHDP2.0优化的行列格式（ORC）可将压缩率提升80%微软对Hadoop的贡献为微软Azure存储贡献了FileSystem实施Hive（通过Stinger提速40倍）贡献超过25,000行代码HDFS权限模型可映射至Windows利用REEF创建并执行机器学习作业6,000+小时的开发工作Windows，最适合Hadoop的操作系统9HDP2.0优化的行列格式（ORC）可将压缩率提升80%第一部分：大数据技术基础第二部分：微软的完整解决方案第三部分：BigData本地部署方案第四部分：BigData云端部署方案第五部分：前端数据展现第六部分：案例与总结内容第一部分：大数据技术基础内容关于APS分析平台系统预配置的软硬件一体机海量并行处理（MPP），可扩展至6PB内存列存储可提速100倍Hadoop的专属区域将关系型与Hadoop数据联合在一起的集成式查询模型通过Infiniband网络可实现更快速数据移动与ActiveDirectory集成，获得更高安全性使用SystemCenter进行管理本地环境、一体机SQLServer并行数据仓库MicrosoftHDInsightPolyBase关于APS分析平台系统预配置的软硬件一体机本地环境、一体机S关于适用于Windows的Hortonworks数据平台充分结合Hortonworks与微软的工作成果100%开源的ApacheHadoop支持最新版Hadoop(2.2)YARNStingerPhase2（查询速度更快）WindowsServer唯一可用的发行版利用现有.NET与Java技能编写MapReduce利用熟悉的BI工具，包括微软Excel进行分析本地环境，自助部署（Hadoop）关于适用于Windows的Hortonworks数据内存中提速用列格式存储数据，实现大幅压缩通过内存访问数据，获得下一代性能利用各种不同规格的现有硬件可更新，可群集，实现实时涓流加载提速高达100倍，10倍压缩率通过内存列存储技术获得下一代性能C1C3C5C4C2C6列存储

呈现为索引内存中提速提速高达100倍，10倍压缩率通过内存列存储并发且混合式的工作负载大规模并行处理（MPP）并行查询处理大规模复杂查询与并发查询通过数据实时获得洞察力同时运行多种类型的工作负载大幅提升查询性能改善混合工作负载的性能查询结果并发且混合式的工作负载大规模并行处理（MPP）并行查询大幅提近乎实时的洞察力通过大事件流进行

Sub-zero处理降低延迟通过历史数据挖掘持续获得洞察力简化管理，灵活部署实时洞察力实时复杂事件处理事件目标事件源近乎实时的洞察力通过大事件流进行Sub-zero处理降低集成关系型数据与Hadoop通过现有T–SQL技能查询Hadoop并行查询关系型与Hadoop数据单一查询混合：在本地与云端部署Hadoop无需将Hadoop数据ETL到数据仓库查询关系型与非关系型数据nal通过SQLPAS中的PolyBase实现集成式查询分析平台系统Hortonworks(Windows,Linux),ClouderaMicrosoftAzureHDInsightMicrosoftHDInsight结果集PolyBase选择…集成关系型数据与Hadoop通过现有T–SQL技能第一部分：大数据技术基础第二部分：微软的完整解决方案第三部分：BigData本地部署方案第四部分：BigData云端部署方案第五部分：前端数据展现第六部分：案例与总结内容第一部分：大数据技术基础内容关于MicrosoftAzureHDInsight云端，HadoopMicrosoft的云端Hadoop服务100%开源的ApacheHadoop支持最新版Hadoop(2.2)YARNStingerPhase2（查询速度更快）无需部署硬件，可在数分钟内开通并运行利用现有.NET与Java技能编写MapReduce利用熟悉的BI工具，包括微软Excel进行分析MicrosoftAzure关于MicrosoftAzureHDInsight云端创建大数据数据节点DataNodes创建大数据数据节点DataNodes第一部分：大数据技术基础第二部分：微软的完整解决方案第三部分：BigData本地部署方案第四部分：BigData云端部署方案第五部分：前端数据展现第六部分：案例与总结内容第一部分：大数据技术基础内容报表演进—更丰富的展现效果报表演进—更丰富的展现效果PowerPivoting海量的数据只要几下点击，用户就可以生成和发布出直观和互动的自助式商业智能解决方案。分析演进—使用熟悉的分析工具PowerPivoting海量的数据分析演进—使用熟悉的分挖掘演进—使用向导快速实现决策树聚类时间序列顺序聚类关联Naïve贝叶斯神经网络挖掘演进—使用向导快速实现决策树聚类时间序列顺序聚类关联NaKPI演进---从KPI到仪表板跨系统、上下文驱动的仪表盘提供数据透明度和可查性使用浏览器进行交互高级用户或ITPro可以创建或者更新KPI演进---从KPI到仪表板跨系统、上下文驱动的仪表盘29向SharePoint中发布和共享丰富的工作薄可为团队发布PowerPivot以作为Web端应用程序安排数据刷新时间以保证您的数据及分析结果是最新的PowerPivot允许从SharePoint中访问无限制的可靠数据数据门户演进—管理和协作29向SharePoint中发布和共享丰富的工作薄安排数据刷第一部分：大数据技术基础第二部分：微软的完整解决方案第三部分：BigData本地部署方案第四部分：BigData云端部署方案第五部分：前端数据展现第六部分：案例与总结内容第一部分：大数据技术基础内容优化交通运输演示优化交通运输演示门店选址门店选址审计审计微软是信息搜索和采集的技术领先者GartnerMagicQuadrantforEnterpriseSearch,2013GartnerMarketScopeforEnterpriseSearch,2011微软是信息搜索和采集的技术领先者GartnerMagic微软是信息门户的技术领先者微软是信息门户的技术领先者GartnerMagicQuadrantforBusinessIntelligencePlatforms,2013微软是商业智能和数据分析的技术领先者GartnerMagicQuadrantforBus帮助您创建…/ongovernment真正更好的影响分析规划就业政府研究管理经济环境运输警惕帮助您创建…/ongovernme本文档只做信息展示用途，微软不在本文档中做任何的担保、明示或暗示。本文档只做信息展示用途，微软不在本文档中做任何的担保、明示或大数据平台架构及解决方案介绍邓英达数据平台工程师大数据平台架构及解决方案介绍邓英达数据平台工程师优化交通运输为自然事件做好准备提升研究水平物流规划环境的可持续性就业分析社交网络应用流感跟踪经济预测欺诈行为检测大数据可以为政府做些什么？优化交通运输为自然事件提升研究水平物流规划环境的可持续性就业第一部分：大数据技术基础第二部分：微软的完整解决方案第三部分：BigData本地部署方案第四部分：BigData云端部署方案第五部分：前端数据展现第六部分：案例与总结内容第一部分：大数据技术基础内容用户预期大量数据多种数据类型实时数据创建大数据推动我们到达临界点经济的硬件与存储用户预期大量数据多种数据类型实时数据创建大数据推动我们到达临如何建设–DataPortal模式？如何建设–DataPortal模式？整体解决方案系统成本构建“大数据”解决方案前端报表和分析商业化程度和多厂家协调高成本需大量培训学习功能与易用性的平衡“大数据”方案选择有限?大数据平台的建设困难整体解决方案系统成本构建“大数据”前端报表和分析商业化程度业务需求

简化信息搜索和采集，适应各种数据源，都能促成数据集成人们应当获得强大熟悉的工具，这样BI才能更有吸引力，更能推广IT应当提供完整的大数据平台，跨越云端与本地部署，支持集成不同的数据类型微软的观点技术让人快速获得洞察力并据此展开操作业务需求

简化信息搜索和采集，适应各种数据源，都能促成数据第一部分：大数据技术基础第二部分：微软的完整解决方案第三部分：BigData本地部署方案第四部分：BigData云端部署方案第五部分：前端数据展现第六部分：案例与总结内容第一部分：大数据技术基础内容BigData解决方案逻辑架构数据管理与处理数据富集与联合查询BI与分析单一查询模型一体机云盒装软件Hadoop提取、转换、加载数据质量主数据管理一体机云盒装软件关系型数据仓库DatasourcesOLTPERPCRMLOB非关系型数据设备Web传感器社交数据源OLTPERPCRMLOB自助服务协作企业预测移动设备BigData解决方案逻辑架构数据管理与处理数据富集与联合数据管理与处理一体机云盒装软件微软的BigData解决方案架构数据的丰富与联合查询BI与分析单一查询模型提取、转换、加载数据质量主数据管理APS(分析平台系统)SQLServer2014MicrosoftAzureHDInsight一体机云盒装软件DatasourcesOLTPERPCRMLOB非关系型数据设备Web传感器社交数据源OLTPERPCRMLOB自助服务协作企业级BI预测移动数据管理与处理一体机云盒装软件微软的BigData解决方案基础结构数据管理与处理数据富集与联合查询BI与分析微软BigData解决方案架构自助服务协作企业级BI预测移动提取、转换、加载单一查询模型数据质量主数据管理非关系型关系型分析流内部与外部虚拟化扩展性安全与身份服务质量全部显示全部关闭MicrosoftAzure基础结构数据管理与处理数据富集与联合查询BI与分析微软Bi盒装软件云一体机自由选择的部署选择或混合解决方案SQLServerHortonworks数据平台APS分析平台系统在微软Azure虚拟机中运行SQLServer实现数据仓库HDInsightforMicrosoftAzureSQLServerFastTrack盒装软件云一体机自由选择的部署选择或混合解决方案SQLSeHDP2.0优化的行列格式（ORC）可将压缩率提升80%微软对Hadoop的贡献为微软Azure存储贡献了FileSystem实施Hive（通过Stinger提速40倍）贡献超过25,000行代码HDFS权限模型可映射至Windows利用REEF创建并执行机器学习作业6,000+小时的开发工作Windows，最适合Hadoop的操作系统9HDP2.0优化的行列格式（ORC）可将压缩率提升80%第一部分：大数据技术基础第二部分：微软的完整解决方案第三部分：BigData本地部署方案第四部分：BigData云端部署方案第五部分：前端数据展现第六部分：案例与总结内容第一部分：大数据技术基础内容关于APS分析平台系统预配置的软硬件一体机海量并行处理（MPP），可扩展至6PB内存列存储可提速100倍Hadoop的专属区域将关系型与Hadoop数据联合在一起的集成式查询模型通过Infiniband网络可实现更快速数据移动与ActiveDirectory集成，获得更高安全性使用SystemCenter进行管理本地环境、一体机SQLServer并行数据仓库MicrosoftHDInsightPolyBase关于APS分析平台系统预配置的软硬件一体机本地环境、一体机S关于适用于Windows的Hortonworks数据平台充分结合Hortonworks与微软的工作成果100%开源的ApacheHadoop支持最新版Hadoop(2.2)YARNStingerPhase2（查询速度更快）WindowsServer唯一可用的发行版利用现有.NET与Java技能编写MapReduce利用熟悉的BI工具，包括微软Excel进行分析本地环境，自助部署（Hadoop）关于适用于Windows的Hortonworks数据内存中提速用列格式存储数据，实现大幅压缩通过内存访问数据，获得下一代性能利用各种不同规格的现有硬件可更新，可群集，实现实时涓流加载提速高达100倍，10倍压缩率通过内存列存储技术获得下一代性能C1C3C5C4C2C6列存储

呈现为索引内存中提速提速高达100倍，10倍压缩率通过内存列存储并发且混合式的工作负载大规模并行处理（MPP）并行查询处理大规模复杂查询与并发查询通过数据实时获得洞察力同时运行多种类型的工作负载大幅提升查询性能改善混合工作负载的性能查询结果并发且混合式的工作负载大规模并行处理（MPP）并行查询大幅提近乎实时的洞察力通过大事件流进行

Sub-zero处理降低延迟通过历史数据挖掘持续获得洞察力简化管理，灵活部署实时洞察力实时复杂事件处理事件目标事件源近乎实时的洞察力通过大事件流进行Sub-zero处理降低集成关系型数据与Hadoop通过现有T–SQL技能查询Hadoop并行查询关系型与Hadoop数据单一查询混合：在本地与云端部署Hadoop无需将Hadoop数据ETL到数据仓库查询关系型与非关系型数据nal通过SQLPAS中的PolyBase实现集成式查询分析平台系统Hortonworks(Windows,Linux),ClouderaMicrosoftAzureHDInsightMicrosoftHDInsight结果集PolyBase选择…集成关系型数据与Hadoop通过现有T–SQL技能第一部分：大数据技术基础第二部分：微软的完整解决方案第三部分：BigData本地部署方案第四部分：BigData云端部署方案第五部分：前端数据展现第六部分：案例与总结内容第一部分：大数据技术基础内容关于MicrosoftAzureHDInsight云端，HadoopMicrosoft的云端Hadoop服务100%开源的ApacheHadoop支持最新版Hadoop(2.2)YARNStingerPhase2（查询速度更快）无需部署硬件，可在数分钟内开通并运行利用现有.NET与Java技能编写MapReduce利用熟悉的BI工具，包括微软Excel进行分析MicrosoftAzure关于MicrosoftAzureHDInsight云端创建大数据数据节点DataNodes创建大数据数据节点DataNodes第一部分：大数据技术基础第二部分：微软的完整解决方案第三部分：BigData本地部署方案第四部分：BigData云端部署方案第五部分：前端数据展现第六部分：案例与总结内容第一部分：大数据技术基础内容报表演进—更丰富的展现效果报表演进—更丰富的展现效果PowerPivoting海量的数据只要几下点击，用户就可以生成和发布出直观和互动的自助式商业智能解决方案。