浪潮数据中台解决方案

浪潮数据中台解决方案22一、浪潮对数据中台的理解二、浪潮数据中台解决方案三、浪潮数据中台实践汇报3业界对数据中台的定义互联网公司近年接连实施“大中台”战略，构建符合互联网大数据时代的，具有创新性、灵活性的“大中台、小前台”的机制，即作为前台的一线业务会更敏捷、更快速的适用瞬息万变的市场，而中台将集合整个集团的运营数据能力，产品技术能力，对各前台业务形成强有力的支撑。基于阿里云平台的企业中台架构标是为了高效满足前台数据分析和应用的需求。标准规范数据架构与研发：统一基础层、公共中间层、百花齐放应用口径统一；连接与深度萃取数据价值：形成以业务核心对象为中心的连接和标签运营四方面对看清数据资产、降低数据管理成本、追踪数据价值。4浪潮对数据中台的理解与认识4数据中台本身还是围绕向上层应用提供数据服务构建的。中台建设肯定会涉及上面提到的管理层面（组织、流程、考核）、平台层面（开发、服务、治理、运营）、数据层面（资产的类别、清单、质量、运维）、功能层面（数据的实时加工、批量加工、数据展现、数据搜索、数据存储）。组织管理平台演化知识共享思维模式：经营思维把数据当作资源，且最大程度上发挥数据资源的价值。服务导向数据治理数据创新5浪潮对数据中台的理解与认识5数据中台是指通过数据技术，对海量数据进行采集、计算、存储、加工，同时统一标准和口径。数据中台把数据统一之后，会形成标准数据，再进行存储，形成大数据资产层，进而为客户提供高效服务。数据中台包括数据模型，算法服务，数据产品，数据管理等等。核回归服务的本质-数据重用核•规避数据冗余，优化数据质量，最大程度避免“重复数据抽护的成本浪费”•统一数据基础模型将相关业务领域的数据做了汇聚，奠数据中台需要不断的业务滋养•规避企业信息资产的“烟囱式”数据生产模式或者项目制建从最初的字段单一到逐渐成长为企业最为宝贵的模心数据中台是培育业务创新的土壤•企业的数据创新一定要站在巨人的肩膀上，即从数据中台能总是从基础做起，数据中台是数据创新效率的保障。要获取3个月的ARPU数据，如果没有融合模型的支撑，得数据中台是人才成长的摇篮★数据中台是人才成长的摇篮•数据中台让新人摆脱了在起步阶段对于导师的过渡依赖，浪潮对数据中台的理解与认识数据中台发展及演进过程：数据整合阶段基础数据平台回数据治理阶段数据共享平台数据治理平台数据运维平台数据运营阶段数据应用平台数据挖掘平台数据服务平台6677一、浪潮对数据中台的理解二、浪潮数据中台解决方案三、浪潮数据中台实践汇报建设思路8建设思路8▉数字化中台模式：前店后（厚）厂。“厚平台、薄应用”的架构体系，敏捷支撑企业快速变化的管理和业务需求合作伙伴供应商应用系统应用系统应用务务组件涉及的标准应用服务功能广泛（包括应用和数据技术共享组件），存技术共享技术共享平台化平台化标准应用平台化统一资源配置统一资源配置按需敏捷扩张按需敏捷扩张开发者中心开发者中心运营管控中心能力商城能力生产管理能力消费管理能力开放开发社区能力商城能力生产管理能力消费管理能力开放开发社区数据采集与交换共享物联网应用开发WEB开发AI数据采集与交换共享物联网应用开发WEB开发AI询产采集框架管理物联网…大数据基础服务大数据基础服务系统架构L2系统架构L2▉浪潮数据中台是数据“采集、融合、治理、开放”的运营支撑平台…………大数据基础平台技术架构技术架构CloudSecurityCloudOperationCLIENTAPPLICATIONSAPPSTOREOpenAPIDEVOPSCloudSecurityCloudOperationCLIENTAPPLICATIONSAPPSTOREOpenAPIDEVOPSMayen"CONTAINERASASERVCEASASERVICEMICROSERVICESARCHITECTUREASASERVICEDATACENTEROPERATINGSYSTEM(DCOS)••••数据中台能力介绍▉数据建模：基于元数据的建模工具、模型盘点、模型管控模型盘点模型审核可视化在线建模模型盘点模型审核可视化在线建模数据中台能力介绍▉分布式ETL工具：采用调度中心+决策中心相结合的分布式数据采集处理架构任务信息、模型算法信息直接写入元数据库数据采集、处理（清洗转换/标准化/解码等）任务分布到各执行端进行处理提供采集、处理组件的自定义扩展能力，通过采用注入C/C++、Java代码方式进行特殊数据处理逻辑的实现数据中台能力介绍▉数据治理体系：围绕“数据标准”，基于“元数据标准元数据数据资产字典引用标准引用数据标准元数据数据资产字典引用标准引用数据资源目录注册数据字典 规范化数据字典完善的数据标准体系元模型驱动的元数据管理基于主题库的数据资产目录元模型在线元模型设计在线元模型设计数据中台能力介绍▉数据标准管理：提供全面的统一数据标准化管理③数据接口标准⑦报表数据标准⑩稽核规则数据标准"@封装代码标准@封装代码标准①数据对象分类缩写标准数据标准管理标准管理数据中台能力介绍▉数据资产管理：提供对企业内部全量数据资产的数字化管理，理清大数据平台内数据及数据间的脉络及关系接口模型缓存层模型、基础层模型、汇总层模型、应用层模型..数据统一管理采集任务、数据汇总任务、数据挖掘任务、数据服务数据API服务、数据交换服务、数据报告服务、数指标数据中台能力介绍▉数据资产管理：提供对企业内部全量数据资产的数字化管理，理清大数据平台内数据及数据间的脉络及关系持数据目录的动态调整与扩展将平台管理的数据发布为对外可见将数据资源一键发布为数据API服务，支撑对外开放数据中台能力介绍多方式质量问题分析▉数据质量管控：从网管数据的生产环境、采集、处理、消费全过程进行质量监控与保障多方式质量问题分析统一的数据质量监控灵活规则设置19数据中台能力介绍2.1、数据中台-数据可视能力▉数据可视：OLAP多维透视分析，构建灵活、直观、快速的数据可视化能力数据中台能力介绍▉数据查询：基于SQL语句的自定义页面设计与呈现工具提供灵活的页面布局、展示内容、展示方式、操作动作等的编排设置能力，系统根据根据设置内容自动生成页面数据中台能力介绍▉全景视图：提供面向数据生产、数据资产、数据服务、数据质量的全景视图。数据生产情况数据资产情况数据中台能力介绍▉数据安全：严守数据安全红线，提供360°全方位的数据安全保障体系。数据安全统一身份认证库、表、字段、记录的授权策略处理、数据加密数据文件加密各项功能的访问控制大数据安全体系Hadoop运维监控数据中台能力介绍Hadoop运维监控硬件集群监控及告警硬件集群监控及告警▉运维监控：提供针对系统IT基础设施、Hadoop平台、应用服务等的统一监控、告警、应用/服务监控及在线启停数据中台能力介绍▉运营门户：提供面向数据运营的统一对外开放门户提供当前系统内已具备的数据目录情航数据中台能力介绍n数据目录：提供当前系统已经对外发布的数据目录信息u支持多种维度的数据分类检索u支持一键式的数据资源查询u支持对数据资源的评价打分u支持数据资源详情查看数据中台能力介绍uAPI服务列表uAPI服务详情u在线测试u在线申请数据中台能力介绍n数据供需：提供数据供需列表及数据供需的发布能力。数据需求发布数据需求详情、交付格式、联系方式等数据供需撮合数据中台能力介绍▉提供面向不同角色端到端一体化数据挖掘支撑能力提供大数据的提取、转换及加载能力支持机器学习模型训练与调试固化、积累通用AI开放服务数据预处理平台数据预处理平台数据接入数据接入特征处理特征处理模型训练模型评估模型训练模型评估模型发布模型发布知识图谱服务知识图谱服务智能问答服务智能问答服务智能搜索服务智能搜索服务核心模型服务核心模型服务端到端流量预测端到端流量预测伪卡交易侦测伪卡交易侦测产品推荐产品推荐AIAI运行环境管理（AIStation）数据中台能力介绍▉提供面向不同角色端到端一体化数据挖掘支撑能力AI应用场景：家宽用户精准营销、4G离网用户预测、端到端流量预测等AI核心模型：提供内置积累模型（位置定位、关系识别、NPS等）AI开放服务：提供成熟的AI智能服务（NLP、图像识别、智能搜索、智能问答等）视频的标注能力训练平台：提供面向不同能力开发人员的训练平台(AutoML,IAI,NoteBook)计算框架：全面的AI计算框架支持（Sk-Learn、TensorFlow、CAIStation：提供AI运行资源管理、分配、可视化部署云化基础设施资源池：主机服务、计算服务、存储服务、网络服务等数据中台能力介绍练练硬件层练数据中台能力介绍▉AIStation：硬件统一管理，框架一键部署。资源监控资源管理环境构建性能分析/优化资源监控资源管理环境构建32数据中台能力介绍2.3、数据挖掘能力▉AIStation：硬件统一管理，框架一键部署。GPU资源分配硬件性能可视化机器学习环境一键部署集群资源监控实时性能分析算法分析数据中台能力介绍人工质检人工质检任务分派任务分派权限管理属性标注关系标注权限管理属性标注关系标注视频分割视频审核候选物标注视频分割视频审核候选物标注分包质检标框标注描点标注分类标注分包质检标框标注描点标注分类标注分词词性分类标注关键词标注分词词性分类标注关键词标注数据源数据源数据中台能力介绍全流程数据标注数据隔离方案私有化部署建标注工具、标注任务管理、人员管理、众数据中台能力介绍词典创建/管理任务众包/审核语料管理知识实体标注预处理/打基线关联标注数据中台能力介绍服务/模型管理数据集管理算法组件库数据中台能力介绍▉AI训练：是强大且便捷的机器学习和深度学习建模平台，同时提供模型生产化能力，平台的开放性也可有IT框架集成。与TensorFlow、caffe2等框架将AI模型融合现有微服务环境运行包含特征工程的模型输出数据中台能力介绍▉AI训练：是强大且便捷的机器学习和深度学习建模平台，同时提供模型生产化能力，平台的开放性也可有IT框架集成。数据管理AutoML特征工程模型评估可视化建模应用上线知识图谱AI基础服务知识图谱AI基础服务OCR目标检测目标识别数据中台能力介绍OCR目标检测目标识别人脸识别人脸比对图像匹配人脸识别人脸比对图像匹配▉AI开放服务：对具有通用性的模型进行能力封装，对外以API、核心模型的方式直接提供服务AI核心模型智能服务知识建模与存储知识抽取查询理解查询理解文本理解情感理解情感理解分词分词关键词提取关键词提取文本相似文本相似词性标注词性标注自动摘要自动摘要依存句法依存句法实体识别实体识别文本分类共指消解共指消解数据中台能力介绍▉AI开放服务：对具有通用性的模型进行能力封装，对外以API、核心模型的方式直接提供服务对NLP、知识图谱、知识图谱等能力进行封装，对外提供服务，并且可根据需求进行定制化训练根据长期AI项目经验，对常用模型进行封装，以业务模型的方式快速部署实施•方便易用的NLP服务接口•丰富的行业语料库•多源异构超媒体数据融合•提供全息、多维、动态、虚实结合的超级档案•基于图谱的图形化数据过滤、统计•快速高精度的问答匹配能力数据中台能力