微软大数据平台架构及解决方案介绍

1、大数据平台架构及解决方案介绍邓英达数据平台工程师优化交通运输为自然事件做好准备提升研究水平物流规划环境的可持续性就业分析社交网络应用流感跟踪经济预测欺诈行为检测大数据可可以为政政府做些些什么？第一部分分：大数据据技术基基础第二部分分：微软软的完整整解决方方案第三部分分：BigData本地部署署方案第四部分分：BigData云端部署署方案第五部分分：前端端数据展展现第六部分分：案例例与总结结内容用户预期期大量数据据多种数据据类型实时数据据创建大数据推推动我们们到达临临界点经济的硬硬件与存存储如何建设设 DataPortal模式？整体解决决方案系统成本本构建“大数据”解决方案案前端报表表和分析析商

2、业化程程度和多多厂家协协调高成本需大量培训学习习功能与易易用性的的平衡“大数据据”方案案选择有有限?大数据平平台的建建设困难难业务需求求简化信息搜索索和采集集，适应应各种数数据源，都能促促成数据据集成人们应当当获得强大熟悉的工工具，这这样BI才能更有有吸引力力，更能能推广IT应当提供供完整的的大数据据平台，跨越云云端与本本地部署署，支持持集成不不同的数数据类型型微软的观观点技术让人人快速获获得洞察察力并据据此展开开操作第一部分分：大数数据技术术基础第二部分分：微软软的完整整解决方方案第三部分分：BigData本地部署署方案第四部分分：BigData云端部署署方案第五部分分：前端端数据展展现第六

3、部分分：案例例与总结结内容BigData解决方案案逻辑架架构数据管理理与处理理数据富集集与联合合查询BI与分析单一查询询模型一体机云盒装软件Hadoop提取、转转换、加加载数据质量量主数据管管理一体机云盒装软件关系型数据仓库Data sourcesOLTPERPCRMLOB非关系型数据设备Web传感器社交数据源OLTPERPCRMLOB自助服务协作企业预测移动设备数据管理理与处理理一体机云盒装软件微软的BigData解决方案案架构数据的丰丰富与联联合查询询BI与分析单一查询询模型提取、转转换、加加载数据质量量主数据管管理APS(分析平台台系统)SQLServer 2014MicrosoftAz

4、ureHDInsight一体机云盒装软件Data sourcesOLTPERPCRMLOB非关系型数据设备Web传感器社交数据源OLTPERPCRMLOB自助服务协作企业级BI预测移动基础结构构数据管理理与处理理数据富集集与联合合查询BI与分析微软BigData解决方案案架构自助服务协作企业级BI预测移动提取、转换、加载单一查询模型数据质量主数据管理非关系型关系型分析流内部与外部虚拟化扩展性安全与身份服务质量全部显示示全部关闭闭MicrosoftAzure盒装软件云一体机自由选择择的部署署选择或或混合解解决方案案SQLServerHortonworks数据平台台APS分析平台台系统在微软Azu

5、re虚拟机中中运行SQLServer实现数据据仓库HDInsightfor MicrosoftAzureSQLServer FastTrackHDP2.0优化的行行列格式式（ORC）可将压压缩率提提升80%微软对Hadoop的贡献为微软Azure存储贡献献了FileSystem实施Hive（通过Stinger提速40倍）贡献超过过25,000行代码HDFS权限模型型可映射射至Windows利用REEF创建并执执行机器器学习作作业6,000+小时的开开发工作作Windows，最适合合Hadoop的操作系系统9第一部分分：大数数据技术术基础第二部分分：微软软的完整整解决方方案第三部分分：BigDa

6、ta本地部署署方案第四部分分：BigData云端部署署方案第五部分分：前端端数据展展现第六部分分：案例例与总结结内容关于APS分析平台台系统预配置的的软硬件件一体机机海量并行行处理（MPP），可扩扩展至6PB内存列存存储可提提速100倍Hadoop的专属区区域将关系型型与Hadoop数据联合合在一起起的集成成式查询询模型通过Infiniband网络可实实现更快快速数据据移动与ActiveDirectory集成，获获得更高高安全性性使用SystemCenter进行管理理本地环境境、一体体机SQL Server并行数据仓库Microsoft HDInsightPolyBase关于适用用于Windo

7、ws的Hortonworks数据平台台充分结合合Hortonworks与微软的的工作成成果100%开源的ApacheHadoop支持最新新版Hadoop(2.2)YARNStinger Phase 2（查询速速度更快快）Windows Server唯一可用用的发行行版利用现有有.NET与Java技能编写写MapReduce利用熟悉悉的BI工具，包包括微软软Excel进行分析析本地环境境，自助助部署（Hadoop）内存中提提速用列格式式存储数数据，实实现大幅幅压缩通过内存存访问数数据，获获得下一一代性能能利用各种种不同规规格的现现有硬件件可更新，可群集集，实现现实时涓涓流加载载提速高达达100倍

8、，10倍压缩率率通过内存存列存储储技术获获得下一一代性能能C1C3C5C4C2C6列存储呈现为索引并发且混混合式的的工作负负载大规模并并行处理理（MPP）并行查查询处理大规规模复杂杂查询与与并发查查询通过数据据实时获获得洞察察力同时运行行多种类类型的工工作负载载大幅提升升查询性性能改善混合合工作负负载的性性能查询结果近乎实时时的洞察察力通过大事事件流进进行Sub-zero处理降低低延迟通过历史史数据挖挖掘持续续获得洞洞察力简化管理理，灵活活部署实时洞察察力实时复杂杂事件处处理事件目标事件源集成关系系型数据据与Hadoop通过现有有T SQL技能查询询Hadoop并行查询询关系型型与Hadoop

9、数据单一查询询混合：在在本地与与云端部部署Hadoop无需将Hadoop数据ETL到数据仓仓库查询关系系型与非非关系型型数据nal通过SQLPAS中的PolyBase实现集成成式查询询分析平台系统Hortonworks (Windows, Linux),ClouderaMicrosoft AzureHDInsightMicrosoft HDInsight结果集PolyBase选择第一部分分：大数数据技术术基础第二部分分：微软软的完整整解决方方案第三部分分：BigData本地部署署方案第四部分分：BigData云端部署署方案第五部分分：前端端数据展展现第六部分分：案例例与总结结内容关于Micro

10、softAzureHDInsight云端，HadoopMicrosoft的云端Hadoop服务100%开源的ApacheHadoop支持最新新版Hadoop(2.2)YARNStinger Phase 2（查询速速度更快快）无需部署署硬件，可在数数分钟内内开通并并运行利用现有有.NET与Java技能编写写MapReduce利用熟悉悉的BI工具，包包括微软软Excel进行分析析MicrosoftAzure创建大数数据数据据节点Data Nodes第一部分分：大数数据技术术基础第二部分分：微软软的完整整解决方方案第三部分分：BigData本地部署署方案第四部分分：BigData云端部署署方案第五部

11、分分：前端端数据展展现第六部分分：案例例与总结结内容报表演进进更丰富的的展现效效果PowerPivoting 海量的数据只要几下点击，用户就可以生成和发布出直观和互动的自助式商业智能解决方案。分析演进进使用熟悉悉的分析析工具挖掘演进进使用向导导快速实实现决策树聚类时间序列顺序聚类关联Nave贝叶斯神经网络KPI演进-从KPI到仪表板板跨系统、上下文文驱动的的仪表盘盘提供数据据透明度和可查性性使用浏览览器进行行交互高级用户户或ITPro可以创建建或者更更新29向SharePoint中发布和共享丰富的工作薄可为团队发布PowerPivot以作为Web端应用程序安排数据刷新时间以保证您的数据及分析结果是最新的PowerPivot允许从SharePoint中访问无限制的可靠数据数据门户户演进管理和协协作第一部分分：大数数据技术术基础第二部分分：微软软的完整整解决方方案第三部分分：BigData本地部署署方案第四部分分：BigData云端部署署方案第五部分分：前端端数据展展现第六部分分：案例例与总结结内容优化交通运输演示门店选址审计微软是信信息搜索索和采集集的技术术领先者者Gartner Magic