微软汽车行业大数据平台建设探讨

1、MICROSOFT CONFIDENTIAL汽车行业汽车行业 - - 数据驱动的时代数据驱动的时代MICROSOFT CONFIDENTIAL汽车行业面临的挑战The Connected Marketing, Sales & ServiceOthersThe Connected VehicleConnected Product InnovationConnected OperationsTransformation OpportunitiesCustomer ExamplesMICROSOFT CONFIDENTIAL信息化的纵深发展，带来汽车行业的大变革数字化转型 60%的客户的交互都是通过

2、数字渠道和经销商网络 车企需要增强他们的价值网络，通过数字渠道的方式来洞察客户全生命周期的管理。车辆信息Hub的转型 智能互联车辆 到2020你那互联车辆的渗透率将从20%上升到90% 开放的生态环境将给车企带来更多的挑战，也给车企提供更多的服务机会 独特的互联客户体验是未来的主要方向高度互联的业务变化要求无处不在的客户体验需要3MICROSOFT CONFIDENTIAL汽车行业信息化的趋势为四个“Connected”今天的技术趋势正在引爆机会！移动企业社交大数据云计算物联网Connected Marketing, Sales & Service客户更愿意通过数字渠道结合经销商网络来做决定C

3、onnected Operations成本和风险管理依然是企业制造和运营的关键因素Connected Product Innovation智能互联的产品驱动了开发过程中的创新Connected Vehicle驱动更多的个性化客户体验和持续服务4MICROSOFT CONFIDENTIAL531531 应用46004600 接口 34003400 晚间批量任务没有没有 “端到端” 的流程的流程. 海量非结构化数据支持效率: 一般一个一般一个员员工只能支工只能支持持1717个个应应用用车企的“Connected”首先意味着大量业务数据的整合MICROSOFT CONFIDENTIAL6所有的数据都

4、是复杂、耗时和难以获取数量 数据爆炸性增长集成 各自为政的数据孤岛质量 数据质量不可靠行动 难以快速获得数据价值然而：业务整合只是一个过程MICROSOFT CONFIDENTIAL2. 复杂的数据流和监控规则复杂的数据流和监控规则7.机器自学习机器自学习1. 可扩展的数据链接和数据获取可扩展的数据链接和数据获取3. 可按地域的云存储可按地域的云存储4. 大数据大数据5. BI商业智能商业智能5. BI商业智能商业智能5. BI商业智能商业智能6. 客户和服务管理客户和服务管理6. 客户和服务管理客户和服务管理车企需要构建这样的大数据平台和业务互联MICROSOFT CONFIDENTIAL8

5、互联大数据平台带来的价值客户亲密度情景体验 | 跨设备体验关系生命周期管理crm | plm | scm | dms机器自学习预测 | 分析云平台 + 基础架构全局化 | 可扩展DataMICROSOFT CONFIDENTIAL汽车行业互联的大数据平台方案The Connected Marketing, Sales & ServiceOthersThe Connected VehicleConnected Product InnovationConnected OperationsTransformation OpportunitiesCustomer ExamplesMICROSOFT C

6、ONFIDENTIALHadoop 集群采集和预处理车联网Connected carAPPsLOBCRMSAPEDW 数据仓库Streaming实时分析互联网Internet官方网站社区舆论情报车联网RFID车载娱乐终端试验车日志处理企业大数据中心数据利用ETL分析、展现和其他应用Connector算法和模型R Server /机器学习/分析挖掘检测监控预测维护分析展现市场营销大数据中心平台整体架构MICROSOFT CONFIDENTIALLanding LayerBatch LayerServing LayerSpeed LayerRaw Data StorageStatic Views

7、PrecomputingPrecomputingAd-hoc Batch ViewsStatic Batch Views实时数据流Raw Data Raw Data StorageStoragePre-computingPre-computingBatch ViewsBatch ViewsLegend:Legend:Layer boundaryData flow (with direction indicated)Data exchangeData LandingData Landing数据采集数据处理数据展现Indexing and ViewsReal-Time Processing, Ag

8、gregationsStreamingStreaming实时数据流实时数据流Processing Microsoft R ServerSQL ModelingSQL ModelingData AreaData Area大数据中心平台逻辑架构企业私有云平台基础架构MICROSOFT CONFIDENTIAL大数据中心三大组成部分基础架构基础架构-私有云平台私有云平台数据存储及运算数据存储及运算-Hadoop平台平台数据分析及展示数据分析及展示-R-Server/BI数据分析平台数据分析平台123MICROSOFT CONFIDENTIAL虚拟化管理工具服务器存储网络设备服务流程平台 System

9、 Center Service Manager数据中心管理员（资源管理）应用管理员（应用扩容）最终用户（服务申请）知识库报表 系统管理数据、流程总线配置管理工具监控管理工具门户管理平台 SharePoint Server灾备管理工具传统物理资源虚拟化资源微软私有云(IaaS)平台逻辑架构MICROSOFT CONFIDENTIAL构建统一管理的私有云平台MICROSOFT CONFIDENTIAL私有云的运营MICROSOFT CONFIDENTIAL基础架构监控MICROSOFT CONFIDENTIAL自动化修复MICROSOFT CONFIDENTIAL动态优化资源MICROSOFT C

10、ONFIDENTIAL更新管理MICROSOFT CONFIDENTIAL服务交互自动化MICROSOFT CONFIDENTIAL自动化体检MICROSOFT CONFIDENTIAL记账/收费MICROSOFT CONFIDENTIAL本地灾备：主站点数据中心机房的冗余MICROSOFT CONFIDENTIAL可备份到公有云应用创新应用创新混合的超大规模的企业级别的Microsoft AzurePublic, Global, Shared Datacenters私有云数据中心 Core Software InfrastructureIaaSPaaSComputeStorageNetwor

11、kAzure Management Portal Cloud-inspired infrastructurePowered by Windows Server, Hyper-V, System Center (future Azure Stack)Windows Azure Pack(future Azure Stack Portal)IaaSPaaSComputeStorageNetworkAzure Global DatacentersDatacenter InfrastructureLinuxWindows ServerLinuxWindows ServerSystem Center +

12、 OMS从私有云扩展到混合云MICROSOFT CONFIDENTIAL大数据中心三大组成部分基础架构基础架构-私有云平台私有云平台数据存储及运算数据存储及运算-Hadoop平台平台数据分析及展示数据分析及展示-R-Server/BI数据分析平台数据分析平台123MICROSOFT CONFIDENTIAL为什么需要Hadoop数据来源数据系统数据访问业务分析定制应用现有数据数据库运营应用新数据有限的数据不足以管理现有的数据，更不用说新数据，同时还要维护规模性能。数据首先必须是结构化的。有限的洞察有限的访问和较差的数据视角导致较差的分析和低采用度。 很难将洞察转化为行动。复杂的架构更多的数据，

13、更多的用户，更多的工具制造了复杂性。统一安全中的漏洞让不良行为者可以有访问权。传统方式的设计是为结构化：结构化的数据结构化的分析结构化的流程MICROSOFT CONFIDENTIAL为什么需要Hadoop1)数据类型的限制Enterprise Data Warehouse应用数据源结构化非结构化加载Staging Environment 传统架构Enterprise Data Warehouse服务ELT归档BI 应用建模报表ETLStorage #1Storage #2Storage NIngest处理加载1MICROSOFT CONFIDENTIAL为什么需要Hadoop1)数据类型的限

14、制2) 处理能力的限制Enterprise Data Warehouse应用数据源结构化非结构化IngestStaging Environment 传统架构Enterprise Data WarehouseServeELTArchiveBI 系统建模报表ETLStorage #1Storage #2Storage NIngestProcessLoad122MICROSOFT CONFIDENTIAL为什么需要Hadoop1)数据类型的限制2) 处理能力的限制3) 数据容量的限制Enterprise Data WarehouseApplicationsData SourcesStructured

15、UnstructuredIngestStaging Environment 传统架构Enterprise Data WarehouseServeELTArchiveBI SystemModelingReportingETLStorage #1Storage #2Storage NIngestProcessLoad1223MICROSOFT CONFIDENTIAL新的方式1)接收更多的数据ApplicationsData SourcesStructuredUnstructuredStaging Environment Hadoop架构Enterprise Data WarehouseEDHIn

16、gestIngestActive Structured DataServeServeELTArchive Load1ETLBI SystemModelingReportingMICROSOFT CONFIDENTIAL新的方式1接收更多的数据2)强大的并发处理能力ApplicationsData SourcesStructuredUnstructuredStaging Environment Hadoop架构Enterprise Data WarehouseEDHIngestIngestActive Structured DataServeServeELTArchive Load21ETLBI

17、 SystemModelingReportingMICROSOFT CONFIDENTIAL新的方式1) 接收更多的数据2) 强大的并发处理能力3) 全量数据在线ApplicationsData SourcesStructuredUnstructuredStaging Environment Hadoop架构Enterprise Data WarehouseEDHIngestIngestActive Structured DataServeServeELTArchive Load231ETLBI SystemModelingReportingMICROSOFT CONFIDENTIALHado

18、op-企业级的数据HUBHadoop 提供：一个地方用于无限任何类型的数据统一的，多框架的数据访问领先的性能和可扩展性企业要求：高性能开源，开放标准完整的系统和数据管理企业级的安全性全面数据监管安全和管理无限存储处理发现制模服务部署灵活性现场设备过程化系统共有云私有云混合云MICROSOFT CONFIDENTIALHadoop: 扩展性 & 灵活性 存储 & 计算The Hadoop传统数据仓库$30,000+ per TB昂贵而遥不可及 扩展困难 网络成为不可避免的瓶颈 只能处理结构化关系型数据 很难增加新的字段和数据类型昂贵的、专用的、“可靠的”服务器昂贵的软件许可证Network数据存

19、储(SAN, NAS)计算(RDBMS, EDW)$300-$1,000 per TB经济且可以企及 可无限平行扩展 网络不再是瓶颈 轻松摄取任何类型的数据 灵活的读取时检查数据类型的访问方式商业化的“不怎么可靠”的服务器混合的开源软件计算(CPU)内存存储(Disk)zzMICROSOFT CONFIDENTIAL大数据中心三大组成部分基础架构基础架构-私有云平台私有云平台数据存储及运算数据存储及运算-Hadoop平台平台数据分析及展示数据分析及展示-R-Server/BI数据分析平台数据分析平台123MICROSOFT CONFIDENTIAL微软数据产品家族RDBMSFlat/Excel

20、 fileXMLApplicationStream DataDataWarehouseSSRSSharePointWeb BrowserDatazen ServiceDatazen AppSSRS forSharepointSocial DataSSASData Mining ResearchMulti-Dimension ModelAPS / PDWSSISSQL ServerTabular ModelExcelPowerPivot ModelPerformance PointAzureService BusEvent HubHDInsightAzure SQL DBMachine Lear

21、ningStream InsightSource of Data / BrowserWeb Application / Excel / O365SQL Server Service ComponentImportant Function / Add-inService on Azure PlatformAPS / PDWStreamAnalysisRevolutionRDocument DBSupport to EmbeddedR ScriptPower BI SaaSSolutionPower BISaaSPower BI SitePowerPivot Add-inPower View Ad

22、d-inPower QueryPower ViewPower MapAzure PortalData FactoryPower BI DesktopAzure SQL DWMICROSOFT CONFIDENTIAL微软提供从自建数据中心到云端的完整解决方案MICROSOFT CONFIDENTIAL Analyst ReportsPeriod Leadership PositionGartner Magic Quadrant For Data Warehouse Database Management System For AnalyticsFeb 2015LeaderGartner Mag

23、ic Quadrant For Business Intelligence And Analytics PlatformsFeb 2015LeaderGartner Magic Quadrant For Operational Database Management SystemOct 2015Leader微软今天在商务智能和数据仓储中的领导地位MICROSOFT CONFIDENTIALMicrosoft Azure微软和HadoopMICROSOFT CONFIDENTIAL语言平台#1 Procedural Language optimized for Statistics and Da

24、ta Science A Data Visualization Framework Provided as Open Source社区 3M+ Statistical Analysis and Machine Learning Users Taught in Most University Statistics Programs Active User Groups Across the World生态环境 CRAN: 7500+ Freely Available Algorithms, Test Data and Evaluations Many Applicable to Big Data

25、 If Scaled什么是 R?Tool Use for Data ScienceOReilly Data Science Survey 2014 (max=80%)MICROSOFT CONFIDENTIALStrategic RationaleThe leading providerof advanced analytics software and servicesbased on open source R, since 2007 REVOLUTION R: The enterprise-grade predictive analytics application platform b

26、ased on the R language微软和Revolution AnalyticsMICROSOFT CONFIDENTIAL基于硬盘的扩展性 多线程商业支持5000个算法分析包+ RevoScaleR 大数据分析包43商业许可内存限制单线程开源社区支持5000个算法分析包开源算法执行风险大数据大数据分析速度分析速度企业级企业级广度和深度广度和深度商业上可行性商业上可行性43为什么要Revolution AnalyticsR是开源的数据分析软件，并驱动分析创新，但是.对企业而言，R有诸多局限性MICROSOFT CONFIDENTIALRevolution R Enterprise 7

27、.4 (RRE)全套大数据分析平台全套大数据分析平台R+CRANRevolution R OpenDistributedRDeployRDevelopRScaleRConnectR高性能开源R plusplus:可连接到大数据对象的数据源大数据高级分析多平台支持 开发和生产In-Hadoop 和 in-Teradata 预测模型为数据分析和模型开发人员设计的IDE安全的，可扩展的R模型部署技术支持，培训和专业服务44微软整合Revolution Analytics为Microsoft R-ServerMICROSOFT CONFIDENTIALMicrosoft R Server provid

28、es a unique opportunity to deliver our advanced analytics capabilities to customers who have already invested in storing their data on non Microsoft platforms like Hadoop, Teradata and LinuxMicrosoft R-Server将继续对非微软平台的支持MICROSOFT CONFIDENTIALBest of Both Worlds用用SQL 快速查询快速查询 & in-memory ColumnStore

29、indexes用用 R于数据探索、于数据探索、 预测建模、预测建模、 Scoring和可视化和可视化使用SQL Server的R Service构建企业智能应用Microsoft R-Server作为SQL Server2016内置的服务MICROSOFT CONFIDENTIALData import Delimited, Fixed, SAS, SPSS, OBDCVariable creation & transformationRecode variablesFactor variablesMissing value handlingSort, Merge, SplitAggregat

30、e by category (means, sums)Min / Max, Mean, Median (approx.)Quantiles (approx.)Standard DeviationVarianceCorrelationCovarianceSum of Squares (cross product matrix for set variables)Pairwise Cross tabsRisk Ratio & Odds RatioCross-Tabulation of Data (standard tables & long form)Marginal Summaries of C

31、ross TabulationsChi Square TestKendall Rank CorrelationFishers Exact TestStudents t-TestSubsample (observations & variables)Random Sampling数据预处理统计检验抽样描述性统计Sum of Squares (cross product matrix for set variables)Multiple Linear RegressionGeneralized Linear Models (GLM) exponential family distributions

32、: binomial, Gaussian, inverse Gaussian, Poisson, Tweedie. Standard link functions: cauchit, identity, log, logit, probit. User defined distributions & link functions.Covariance & Correlation MatricesLogistic RegressionClassification & Regression TreesPredictions/scoring for modelsResiduals for all m

33、odels预测模型K-MeansDecision TreesDecision ForestsGradient Boosted Decision TreesNave Bayes聚类分析分类模拟变量选择Stepwise RegressionSimulation (e.g. Monte Carlo)Parallel Random Number Generation 结合开源R New in v7.3PEMA-R APIrxDataSteprxExecCopyright Microsoft Corporation. All rights reserved. 47微软R-Server提供大量的算法和函数

34、MICROSOFT CONFIDENTIALData Warehouse LayerRaw Data LayerSQL Integration ServicesData Analysis LayerSQL Analysis ServicesSQL Database ServicesData Visualization LayerPower BIn数据展现层，提供多样化的报表展示应用。相关组件：Reporting Service / Datazen / PowerBIn数据分析层，提供数据建模、多维分析，数据挖掘等多种功能，优化查询性能。相关组件：Analysis Servicesn数据仓库层，

35、从各个数据源集成数据，清洗数据，并存储数据做进一步处理相关组件：Database Engine，Integration ServicesMobile SolutionReporting Service微软提供多样化的BI展示方式MICROSOFT CONFIDENTIAL微软不断增强Mobile BI的功能Reporting ServicesSharepointOnlineAnalysis ServicesData WarehouseStream InsightData WarehouseCrawlerETLSensorsDevicePower BIWeb ReportingApp ToolI

36、aaSPaaSSaaSApp on AzureMICROSOFT CONFIDENTIALMobile BIMICROSOFT CONFIDENTIAL微软PowerBIMICROSOFT CONFIDENTIAL客户案例The Connected Marketing, Sales & ServiceOthersThe Connected VehicleConnected Product InnovationConnected OperationsTransformation OpportunitiesCustomer ExamplesMICROSOFT CONFIDENTIAL微软在汽车行业

37、的客户和合作伙伴Delivering core technology platforms and solutions for over thirty yearsProduct Development and InnovationGlobalOperationsTelematics 2.0 and the Connected Car Marketing, Sales and Service 53MICROSOFT CONFIDENTIALGPSTCU远程控制单元远程控制单元汽车总线大数据集群大数据集群高速采集服务器高速采集服务器车辆配置信息实时总线数据GPS数据3G3G移动网络移动网络1.车辆远程跟踪诊断系统实时监控实时监控远程指令远程指令报表分析报表分析大数据在汽车行业的应用案例MICROSOFT CONFIDENTIAL需求新车型量产前，采集并保存路试车辆的行驶数据。每辆路试车辆每天产生的数据从50M到1G不等，取决于采集的数据类型和行驶时间。根据测试场景，可以远程配置需要采集的数据类型和采样频率。对路试车辆进行远程实时监控、发送测试指令、远程故障诊断和异常报警。将指定时间段的采样数据转换成PUMA格式文件，供研发中心对产品设计进行验证。对采样数据进行分析，产生报表。解决方案部署