微软汽车行业大数据平台建设探讨

1、MICROSOFT CONFIDENTIAL1汽车行业汽车行业 - - 数据驱动的时代数据驱动的时代MICROSOFT CONFIDENTIAL2汽车行业面临的挑战The Connected Marketing, Sales & ServiceOthersThe Connected VehicleConnected Product InnovationConnected OperationsTransformation OpportunitiesCustomer ExamplesMICROSOFT CONFIDENTIAL3信息化的纵深发展，带来汽车行业的大变革数字化转型 60%的客户

2、的交互都是通过数字渠道和经销商网络 车企需要增强他们的价值网络，通过数字渠道的方式来洞察客户全生命周期的管理。车辆信息Hub的转型 智能互联车辆 到2020你那互联车辆的渗透率将从20%上升到90% 开放的生态环境将给车企带来更多的挑战，也给车企提供更多的服务机会 独特的互联客户体验是未来的主要方向高度互联的业务变化要求无处不在的客户体验需要MICROSOFT CONFIDENTIAL4汽车行业信息化的趋势为四个“Connected”今天的技术趋势正在引爆机会！移动企业社交大数据云计算物联网Connected Marketing, Sales & Service客户更愿意通过数字渠道结

3、合经销商网络来做决定Connected Operations成本和风险管理依然是企业制造和运营的关键因素Connected Product Innovation智能互联的产品驱动了开发过程中的创新Connected Vehicle驱动更多的个性化客户体验和持续服务MICROSOFT CONFIDENTIAL5531531 应用46004600 接口 34003400 晚间批量任务没有没有 “端到端” 的流程的流程. 海量非结构化数据支持效率: 一般一个一般一个员员工只能支持工只能支持1717个个应应用用车企的“Connected”首先意味着大量业务数据的整合MICROSOFT CONFIDEN

4、TIAL6所有的数据都是复杂、耗时和难以获取数量 数据爆炸性增长集成 各自为政的数据孤岛质量 数据质量不可靠行动 难以快速获得数据价值然而：业务整合只是一个过程MICROSOFT CONFIDENTIAL7设计优化供应链合作新型服务能力优化资源配置通过对客户的洞察来更好更客户互动捕获细致的数据和优化性能优化设备和流程性能2. 2. 复杂的数据流和监控规则复杂的数据流和监控规则7. 7.机器自学习机器自学习1. 1. 可扩展的数据链接和数据获取可扩展的数据链接和数据获取3. 3. 可按地域的云存储可按地域的云存储4. 4. 大数据大数据5. 5. BI BI商业智能商业智能5. 5. BI BI

5、商业智能商业智能5. 5. BI BI商业智能商业智能6. 6. 客户和服务管理客户和服务管理6. 6. 客户和服务管理客户和服务管理提供差异化的客户体验车企需要构建这样的大数据平台和业务互联MICROSOFT CONFIDENTIAL8互联大数据平台带来的价值客户亲密度情景体验 | 跨设备体验关系生命周期管理crm | plm | scm | dms机器自学习预测 | 分析云平台 + 基础架构全局化 | 可扩展DataMICROSOFT CONFIDENTIAL9汽车行业互联的大数据平台方案The Connected Marketing, Sales & ServiceOthersT

6、he Connected VehicleConnected Product InnovationConnected OperationsTransformation OpportunitiesCustomer ExamplesMICROSOFT CONFIDENTIAL10Hadoop 集群采集和预处理车联网Connected carAPPsLOBCRMSAPEDW 数据仓库Streaming实时分析互联网Internet官方网站社区舆论情报车联网RFID车载娱乐终端试验车日志处理企业大数据中心数据利用ETL分析、展现和其他应用Connector算法和模型R Server /机器学习 /分析挖

7、掘检测监控预测维护分析展现市场营销大数据中心平台整体架构MICROSOFT CONFIDENTIAL11Landing LayerBatch LayerServing LayerSpeed LayerRaw Data StorageStatic Views PrecomputingPrecomputingAd-hoc Batch ViewsStatic Batch Views实时数据流Raw Data Raw Data StorageStoragePre-computingPre-computingBatch ViewsBatch ViewsLegend:Legend:Layer bounda

8、ryData flow (with direction indicated)Data exchangeData LandingData Landing数据采集数据处理数据展现Indexing and ViewsReal-Time Processing, AggregationsStreamingStreaming实时数据流实时数据流Processing Microsoft Microsoft R ServerR ServerSQL Server BISQL Server BIBI to WebBI to WebSQL ModelingSQL ModelingData AreaData Area

9、大数据中心平台逻辑架构企业私有云平台基础架构MICROSOFT CONFIDENTIAL12大数据中心三大组成部分基础架构基础架构- -私有云平台私有云平台数据存储及运算数据存储及运算-Hadoop-Hadoop平台平台数据分析及展示数据分析及展示-R-Server/BI-R-Server/BI数据分析平台数据分析平台1 12 23 3MICROSOFT CONFIDENTIAL13虚拟化管理工具服务器存储网络设备服务流程平台 System Center Service Manager数据中心管理员（资源管理）应用管理员（应用扩容）最终用户（服务申请）知识库报表 系统管理数据、流程总线配置管理

10、工具监控管理工具门户管理平台 SharePoint Server灾备管理工具传统物理资源虚拟化资源微软私有云(IaaS)平台逻辑架构MICROSOFT CONFIDENTIAL14构建统一管理的私有云平台分配专用和共享的资源数据中心资源数据中心资源逻辑与标准化基础架构多样化云抽象委派的容量标准化服务开发生产MICROSOFT CONFIDENTIAL15私有云的运营数据中心管理者监控运维虚拟服务器私有云物理服务器网络与网络设备监控排错监视运维数据保护补丁安装MICROSOFT CONFIDENTIAL16基础架构监控MICROSOFT CONFIDENTIAL17自动化修复IR2667Orch

11、estratorSQL Server 1SQL Server 2Service managerOperations managerVirtual machine managerData protection managerMICROSOFT CONFIDENTIAL18动态优化资源优化配置增强可用性降低能耗MICROSOFT CONFIDENTIAL19更新管理更合规，保持最新状态可配合现有更新服务器使用无需停机启用功能管理基准线扫描服务器修补服务器管理例外虚拟宿主机Virtual machine manager server更新服务器更新编录更新MICROSOFT CONFIDENTIAL2

12、0服务交互自动化Configuration Manager Configuration Manager 数据库（数据库（CMDBCMDB）运行手册模板服务虚拟机宿主机用户促进标准化与合规性模版Virtual machine manager 库发布用户角色数据中心管理者用户MICROSOFT CONFIDENTIAL21自动化体检MICROSOFT CONFIDENTIAL22记账/收费MICROSOFT CONFIDENTIAL23此阶段的存储数据实时同步由硬件产商提供解决方案，最终实现同区域的数据中心机房间的冗余，两边都能实时写入相同的数据副本，以保证故障产生时能平滑地切换。本地灾备：主站点

13、数据中心机房的冗余MICROSOFT CONFIDENTIAL24可备份到公有云应用创新应用创新Microsoft AzurePublic, Global, Shared Datacenters私有云数据中心 Core Software InfrastructureIaaSPaaSComputeStorageNetworkAzure Management PortalAzure Management Portal Cloud-inspired infrastructurePowered by Windows Server, Hyper-V, System Center (future Azur

14、e Stack)Windows Azure PackWindows Azure Pack(future Azure Stack Portal)IaaSPaaSComputeStorageNetworkAzure Global DatacentersDatacenter InfrastructureLinuxWindows ServerLinuxWindows ServerSystem Center + OMS从私有云扩展到混合云MICROSOFT CONFIDENTIAL26大数据中心三大组成部分基础架构基础架构- -私有云平台私有云平台数据存储及运算数据存储及运算-Hadoop-Hadoop

15、平台平台数据分析及展示数据分析及展示-R-Server/BI-R-Server/BI数据分析平台数据分析平台1 12 23 3MICROSOFT CONFIDENTIAL27为什么需要Hadoop数据来源数据系统数据访问业务分析定制应用现有数据数据库运营应用新数据有限的数据不足以管理现有的数据，更不用说新数据，同时还要维护规模性能。数据首先必须是结构化的。有限的洞察有限的访问和较差的数据视角导致较差的分析和低采用度。 很难将洞察转化为行动。复杂的架构更多的数据，更多的用户，更多的工具制造了复杂性。统一安全中的漏洞让不良行为者可以有访问权。传统方式的设计是为结构化：结构化的数据结构化的分析结构化

16、的流程MICROSOFT CONFIDENTIAL28为什么需要Hadoop 数据类型的限制Enterprise Data Warehouse应用数据源结构化非结构化加载Staging Environment 传统架构Enterprise Data Warehouse服务ELT归档BI 应用建模报表ETLStorage #1Storage #2Storage NIngest处理加载1MICROSOFT CONFIDENTIAL29为什么需要Hadoop 数据类型的限制2) 处理能力的限制Enterprise Data Warehouse应用数据源结构化非结构化IngestStaging Env

17、ironment 传统架构Enterprise Data WarehouseServeELTArchiveBI 系统建模报表ETLStorage #1Storage #2Storage NIngestProcessLoad122MICROSOFT CONFIDENTIAL30为什么需要Hadoop 数据类型的限制2) 处理能力的限制3) 数据容量的限制Enterprise Data WarehouseApplicationsData SourcesStructuredUnstructuredIngestStaging Environment 传统架构Enterprise Data Wareho

18、useServeELTArchiveBI SystemModelingReportingETLStorage #1Storage #2Storage NIngestProcessLoad1223MICROSOFT CONFIDENTIAL31新的方式1)接收更多的数据ApplicationsData SourcesStructuredUnstructuredStaging Environment Hadoop架构Enterprise Data WarehouseEDHIngestIngestActive Structured DataServeServeELTArchive Load1ETLB

19、I SystemModelingReportingMICROSOFT CONFIDENTIAL32新的方式1接收更多的数据2)强大的并发处理能力ApplicationsData SourcesStructuredUnstructuredStaging Environment Hadoop架构Enterprise Data WarehouseEDHIngestIngestActive Structured DataServeServeELTArchive Load21ETLBI SystemModelingReportingMICROSOFT CONFIDENTIAL33新的方式1) 接收更多的

20、数据2) 强大的并发处理能力3) 全量数据在线ApplicationsData SourcesStructuredUnstructuredStaging Environment Hadoop架构Enterprise Data WarehouseEDHIngestIngestActive Structured DataServeServeELTArchive Load231ETLBI SystemModelingReportingMICROSOFT CONFIDENTIAL34Hadoop-企业级的数据HUBHadoop 提供：一个地方用于无限任何类型的数据统一的，多框架的数据访问领先的性能和可

21、扩展性企业要求：高性能开源，开放标准完整的系统和数据管理企业级的安全性全面数据监管安全和管理无限存储处理发现制模服务部署灵活性现场设备过程化系统共有云私有云混合云MICROSOFT CONFIDENTIAL35Hadoop: 扩展性 & 灵活性 存储 & 计算The Hadoop传统数据仓库$30,000+ per TB昂贵而遥不可及 扩展困难 网络成为不可避免的瓶颈 只能处理结构化关系型数据 很难增加新的字段和数据类型昂贵的、专用的、“可靠的”服务器昂贵的软件许可证Network数据存储(SAN, NAS)计算(RDBMS, EDW)$300-$1,000 per TB经济且

22、可以企及 可无限平行扩展 网络不再是瓶颈 轻松摄取任何类型的数据 灵活的读取时检查数据类型的访问方式商业化的“不怎么可靠”的服务器混合的开源软件计算(CPU)内存存储(Disk)zzMICROSOFT CONFIDENTIAL36大数据中心三大组成部分基础架构基础架构- -私有云平台私有云平台数据存储及运算数据存储及运算-Hadoop-Hadoop平台平台数据分析及展示数据分析及展示-R-Server/BI-R-Server/BI数据分析平台数据分析平台1 12 23 3MICROSOFT CONFIDENTIAL37微软数据产品家族RDBMSFlat/Excel fileXMLApplica

23、tionStream DataDataWarehouseSSRSSharePointWeb BrowserDatazen ServiceDatazen AppSSRS forSharepointSocial DataSSASData Mining ResearchMulti-Dimension ModelAPS / PDWSSISSQL ServerTabular ModelExcelPowerPivot ModelPerformance PointAzureService BusEvent HubHDInsightAzure SQL DBMachine LearningStream Insi

24、ghtSource of Data / BrowserWeb Application / Excel / O365SQL Server Service ComponentImportant Function / Add-inService on Azure PlatformAPS / PDWStreamAnalysisRevolutionRDocument DBSupport to EmbeddedR ScriptPower BI SaaSSolutionPower BISaaSPower BI SitePowerPivot Add-inPower View Add-inPower Query

25、Power ViewPower MapAzure PortalData FactoryPower BI DesktopAzure SQL DWMICROSOFT CONFIDENTIAL38微软提供从自建数据中心到云端的完整解决方案MICROSOFT CONFIDENTIAL39 Analyst ReportsPeriod Leadership PositionGartner Magic Quadrant For Data Warehouse Database Management System For AnalyticsFeb 2015LeaderGartner Magic Quadrant

26、 For Business Intelligence And Analytics PlatformsFeb 2015LeaderGartner Magic Quadrant For Operational Database Management SystemOct 2015Leader微软今天在商务智能和数据仓储中的领导地位MICROSOFT CONFIDENTIAL40HDInsightHortonworks Data Platform(HDP)微软和HadoopMICROSOFT CONFIDENTIAL41语言平台#1 Procedural Language optimized for

27、Statistics and Data Science A Data Visualization Framework Provided as Open Source社区 3M+ Statistical Analysis and Machine Learning Users Taught in Most University Statistics Programs Active User Groups Across the World生态环境 CRAN: 7500+ Freely Available Algorithms, Test Data and Evaluations Many Appli

28、cable to Big Data If Scaled什么是 R?Tool Use for Data ScienceTool Use for Data ScienceOReilly Data Science Survey 2014 (max=80%)MICROSOFT CONFIDENTIAL42Strategic RationaleStrategic RationaleThe leading providerof advanced analytics advanced analytics software and servicessoftware and servicesbased on o

29、pen source R, since 2007 REVOLUTION RREVOLUTION R: The enterprise-grade predictive analytics application platform based on the R language微软和Revolution AnalyticsMICROSOFT CONFIDENTIAL43基于硬盘的扩展性 多线程商业支持5000个算法分析包+ RevoScaleR 大数据分析包商业许可内存限制单线程开源社区支持5000个算法分析包开源算法执行风险大数据大数据分析速度分析速度企业级企业级广度和深度广度和深度商业上可行性

30、商业上可行性43为什么要Revolution AnalyticsR是开源的数据分析软件，并驱动分析创新，但是.对企业而言，R有诸多局限性MICROSOFT CONFIDENTIAL44Revolution R Enterprise 7.4 (RRE)全套大数据分析平台全套大数据分析平台R+CRANR+CRANRevolution R OpenRevolution R OpenDistributedRDistributedRDeployRDeployRDevelopRDevelopRScaleRScaleRConnectRConnectR高性能开源R plusplus:可连接到大数据对象的数据源

31、大数据高级分析多平台支持 开发和生产In-Hadoop 和 in-Teradata 预测模型为数据分析和模型开发人员设计的IDE安全的，可扩展的R模型部署技术支持，培训和专业服务微软整合Revolution Analytics为Microsoft R-ServerMICROSOFT CONFIDENTIAL45Microsoft R Server provides a unique opportunity to deliver our advanced analytics capabilities to customers who have already invested in storin

32、g their data on non Microsoft platforms like Hadoop, Teradata and LinuxMicrosoft R-Server将继续对非微软平台的支持MICROSOFT CONFIDENTIAL46Best of Both Worlds灵活性&敏捷性Operationalize R scripts via stored procedures通过存储过程编写R脚本R code portability across platforms提供R代码的可移植性性能&可扩展 Reduce data movement by bringing

33、 compute to the data通过对数据进行计算来降低数据的移动 In-Memory Analytics内存中分析 In-DB Parallelized R Analytics数据库并行R分析成本效率 R Services built-in内置R服务 No proprietary hardware requirement没有专有的硬件需求用用SQL 快速查询快速查询 & in-memory ColumnStore indexes用用 R于数据探索、于数据探索、 预测建模、预测建模、 Scoring和可视化和可视化使用SQL Server的R Service构建企业智能应用Mi

34、crosoft R-Server作为SQL Server2016内置的服务MICROSOFT CONFIDENTIAL47Data import Delimited, Fixed, SAS, SPSS, OBDCVariable creation & transformationRecode variablesFactor variablesMissing value handlingSort, Merge, SplitAggregate by category (means, sums)Min / Max, Mean, Median (approx.)Quantiles (appro

35、x.)Standard DeviationVarianceCorrelationCovarianceSum of Squares (cross product matrix for set variables)Pairwise Cross tabsRisk Ratio & Odds RatioCross-Tabulation of Data (standard tables & long form)Marginal Summaries of Cross TabulationsChi Square TestKendall Rank CorrelationFishers Exact

36、 TestStudents t-TestSubsample (observations & variables)Random Sampling数据预处理统计检验抽样描述性统计Sum of Squares (cross product matrix for set variables)Multiple Linear RegressionGeneralized Linear Models (GLM) exponential family distributions: binomial, Gaussian, inverse Gaussian, Poisson, Tweedie. Standa

37、rd link functions: cauchit, identity, log, logit, probit. User defined distributions & link functions.Covariance & Correlation MatricesLogistic RegressionClassification & Regression TreesPredictions/scoring for modelsResiduals for all models预测模型K-MeansDecision TreesDecision ForestsGradie

38、nt Boosted Decision TreesNave Bayes聚类分析分类模拟变量选择Stepwise RegressionSimulation (e.g. Monte Carlo)Parallel Random Number Generation 结合开源R New in New in v7.3v7.3PEMA-R APIrxDataSteprxExec微软R-Server提供大量的算法和函数MICROSOFT CONFIDENTIAL48Data Warehouse LayerRaw Data LayerSQL Integration ServicesData Analysis L

39、ayerSQL Analysis ServicesSQL Database ServicesData Visualization LayerPower BIn数据展现层，提供多样化的报表展示应用。相关组件：Reporting Service / Datazen / PowerBIn数据分析层，提供数据建模、多维分析，数据挖掘等多种功能，优化查询性能。相关组件：Analysis Servicesn数据仓库层，从各个数据源集成数据，清洗数据，并存储数据做进一步处理相关组件：Database Engine，Integration ServicesMobile SolutionReporting Se

40、rvice微软提供多样化的BI展示方式MICROSOFT CONFIDENTIAL49微软不断增强Mobile BI的功能Reporting ServicesSharepointOnlineAnalysis ServicesData WarehouseStream InsightData WarehouseCrawlerETLSensorsDevicePower BIWeb ReportingApp ToolIaaSPaaSSaaSApp on AzureMICROSOFT CONFIDENTIAL50Mobile BIMICROSOFT CONFIDENTIAL51微软PowerBIMICR

41、OSOFT CONFIDENTIAL52客户案例The Connected Marketing, Sales & ServiceOthersThe Connected VehicleConnected Product InnovationConnected OperationsTransformation OpportunitiesCustomer ExamplesMICROSOFT CONFIDENTIAL53微软在汽车行业的客户和合作伙伴Delivering core technology platforms and solutions for over thirty yearsP

42、roduct Development and InnovationGlobalOperationsTelematics 2.0 and the Connected Car Marketing, Sales and Service MICROSOFT CONFIDENTIAL54GPSGPSTCU远程控制单元远程控制单元汽车总线大数据集群大数据集群高速采集服务器高速采集服务器车辆配置信息实时总线数据GPS数据3G3G移动网络移动网络1.车辆远程跟踪诊断系统实时监控实时监控远程指令远程指令报表分析报表分析大数据在汽车行业的应用案例MICROSOFT CONFIDENTIAL55需求 新车型量产前，采集并保存路试车辆的行驶数据。 每辆路试车辆每天产生的数据从50M到1G不等，取决于采集的数据类型和