【数字化转型】大数据平台总体规划规划：功能设计、技术架构设计及应用场景案例

DMBOK数据管理大数据平台规划功能及技术架构设计目录010203大数据平台总体规划大数据平台功能设计大数据平台技术架构04大数据平台场景案例大数据时代的挑战随着国家十三五规划出台，大数据产业已纳入国家战略规划。大数据时代的到来对传统政府、企业带来了巨大的挑战。01高昂的大数据成本传统企业数据伴随互联网发展爆炸增长需要对整个IT架构进行重构，开发先进的软件平台和算法企业需要投入大量人力、物力和时间02大数据人才短缺大数据属于新兴行业，各类人才匮乏传统企业很难建立专业化的大数据团队大数据人才匮乏又推高了大数据项目成本03数据利用孤岛普遍存在每个部门都有自己的数据规范，站在各自角度对数据的理解和定义在数据利用上主要局限在部门内部进行数据分析04大数据资源难以分享缺乏合适的渠道和方式进行资源分享。迫切需要其他企业、部门的数据来支撑其精准营销、需求预测等大数据行业蓬勃发展目前市场上的大数据公司侧重方面不同，包括大数据基础设施、大数据模型算法、大数据BI分析、大数据可视化、大数据云计算等各个方面。大数据可视化大数据应用大数据BI分析大数据基础设施大数据模型算法0104050203连接大数据用户和大数据企业大数据平台将承接gongs战略，铺设大数据管道，连接大数据用户和大数据企业，为大数据产业链各端带来价值。构建全球首个大数据生态圈大数据生态圈将围绕用户需求，平台主要针对的目标是政府、部委、行业用户，他们是数据的提供者，也是需求的提出者；平台同时也为研发团队提供应用开发的支撑。应用资源平台交互政府部委行业数据源开发工具应用场景模型算法融合平台服务平台生态平台运营平台精准营销用户画像精准扶贫供销匹配交易所合作伙伴政务系统互联网物联网企业系统用户应用用户直接体验各类大数据应用，也可将自己的应用在平台上共享，并可以通过平台进行各项应用的结算平台通过四层平台的搭建，逐步的实现的整个生态圈的支撑，满足生态圈各方需求，促进生态系统良好运行资源为支撑丰富的应用需要从模型、代码、案例等各个方面提供丰富的内容，借鉴平台标准模型、标准流程等进行应用的开发，并根据应用的使用情况进行结算交互平台对外可以接入不同的数据来源，也可以接入数据交易所和其他合资公司，真正意义上实现了数据互联互通大数据平台在生态系统中的定位平台用户运营数据清洗，数据挖掘，数据存储，交易服务，研发工作室应用开发者模型构建者消费者数据提供者用户角色之间互相切换，买家可以同时成为卖家角色互换角色互换角色互换角色互换数据服务数据挖掘分析模型数据验证模型共享提供大数据环境生长所需土壤，推动生态系统良好运行交易服务平台运维数据存储数据挖掘报表展示价格中心服务中心聊天系统…大数据平台通过最新的大数据技术将大数据用户、大数据平台和运营商有机结合起来，大数据用户基于平台获得自己所需价值，大数据平台作为土壤支撑生态系统，运营商则作为园丁负责推动生态系统良好运行。目录0102大数据平台总体规划大数据平台功能设计03大数据平台技术架构04大数据平台场景案例大数据平台的用户主体大数据平台F.政府用户C.数据源厂商B.工具厂商A.模型算法厂商D.应用厂商/创客团体大数据商城L.互联网机构用户G.部委用户H.行业用户K.金融用户N.个人用户M.教育机构用户E.云资源厂商I.产业园用户J.企业用户大数据平台九种业务场景教学培训平台集研发、培训与一身，提供专业的解决方案，便于大数据人才培养数据采集可接入企业MySQL\Oracle\FTP\物联网等多种类型的数据源，以及API等外部数据源，可以支撑PB级数据抽取支持创业创新为创业团队提供广阔的大数据市场，实现快速的产品研发变现，支持大众创业、万众创新企业小推车根据企业需求集成不同的企业信息化产品融合共享通过平台进行大数据挖掘分析，并可以通过BI工具和可视化工具展示企业数据交换可实现企业内部不同业务部门不同信息系统之间的信息交换共享招商引资平台可以为园区的不同企业提供基础的信息化办公环境，便于招商引资行业大数据汇集行业用户和行业数据，支撑行业大数据挖掘分析，为行业用户各项决策提供依据大数据运营实现大数据平台和商城的运营推广，精准定位用户需求，提供多种运营监控手段大数据平台“大平台”支撑不同用户需求“九种”业务场景“十四类”用户主体归纳不同用户主体的核心业务需求不同场景通过核心组件支撑“十二大”核心组件数据源安全组件数据仓库工具箱数据清洗数据封装大数据商城行业大数据大数据运营融合共享数据采集支持创业创新教学培训招商引资企业数据交换企业小推车F.政府用户C.数据源厂商B.工具厂商A.模型算法厂商D.应用厂商/创客团体K.金融用户H.行业用户G.部委用户M.教育机构用户L.互联网机构用户N.个人业务用户E.云资源厂商I.产业园用户J.企业用户大数据平台功能API数据接入、数据库数据接入、数据标准、API发布、API计费BI报表展示、可视化展示、工具接入、工具接入标准数据源模型编辑、模型训练器、模型训练数据库数据模型可视化工具网络安全、主机安全、应用安全、数据安全、安全服务数据仓库集成性平台云资源数据封装数据融聚合、数据清洗、代码编译、大数据计算、数据挖掘、数据分析大数据存储、全文索引应用封装、工具更新、工具接入标准、应用发布、应用商城、移动APP端、应用监控安全组件工具箱数据清洗我的个人数据银行云带宽、云存储、云计算大数据工具、企业信息化工具数据融聚合、数据清洗、工具接入、工具接入标准系统更新、用户管理、权限控制、数据安全、系统监控、服务管理个人数据管理、数据共享大数据商城大数据平台业务架构应用层门户应用支撑层标准层元数据标准、工具接入标准、价格标准、代码标准、模型语言标准数据源数据模型可视化工具安全组件数据封装集成性平台数据仓库云资源工具箱数据清洗我的个人数据银行政府版部委厅局版行业版金融版互联网机构版智慧城市版教育机构版商城主页移动客户端数据开发版OpenAPIPAASIAAS接入OracleMySQLFTPAPI传感器数据…封装数据融聚合数据清洗工作流画布工作流调度大数据挖掘存储HiveHbaseHDFSMySQLMPP工具可视化工具BI工具代码工具清洗工具商城订单管理卖家中心账号管理定制平台结算中心活动专区客服中心消息系统APP端

个人数据维护数据导入数据变现数据安全系统用户管理权限管理监控中心管控中心更新中心运营运营报表账号管理促销系统客服中心消息系统系统监控商品管理部委用户政府用户行业用户用户个人用户应用应用封装应用上传模型模型编辑模型上传模型训练

金融用户模型厂商产业园用户工具厂商企业用户教育机构用户数据源厂商互联网机构用户应用厂商云资源厂商数据源功能描述实现购买外部数据源和配置内部数据管道1、可通过商城购买外部数据源，并查询详细信息；2、通过配置数据管道，实现内部数据库接入（Oracle、DB2等）。1、适配绝大多数数据库类型，实现版本间零差异；2、通过商城直接购买外部数据源；功能特点数据模型功能描述模型编辑1、可将本地的数据模型上传到平台进行计算2、通过商城实现模型的变现1、模型研发人员可以使用平台强大的计算能力进行模型的计算2、可通过平台获取模型训练所需要的数据3、模型信息编辑方便，可自定义标签方便搜索、可支持图标上传、自定义描述等，方便模型变现功能特点可视化工具功能描述集成多种BI图表和可视化工具1、提供海量的可视化模板和自定义选项2、基于平台上的数据分析结果进行BI和可视化制作1、可视化工具丰富2、操作便捷，通过简单的拖拽即可实现数据的可视化展现3、不同视角解读数据，及时准确的做出决策功能特点安全组件功能描述展示购买的外部安全组件：1、展示通过商城购买的安全组件；2、查询安全组件详细信息。1、丰富的安全服务内容，为用户提供多元化安全服务功能特点数据封装功能描述集数据接入、数据清洗、数据融合和数据建模于一体的数据封装平台1、并通过工作流的方式将复杂的大数据底层操作步骤变得扁平化、可视化；2、支持全过程监控，用于实时掌握整个数据工厂服务的运行状态；1、操作可视化、傻瓜化2、可以计划定时运行工作流3、实时对工作流运行情况进行监控，查看运行结果功能特点数据仓库功能描述大数据存储1、可支持Mysql、Hbase、Hive、HDFS数据库的增删改查，部分数据可预览1、方便数据能够高效调用、处理、存储，支持数据传输、回写、高速检索等功能，为大数据的处理提供更好的存储力量。功能特点云资源功能描述应用商城1、可支持查看搜索购买云资源产品1、丰富平台服务内容，为用户提供可供选择的多元化服务功能特点集成性平台功能描述集成性平台是集应用打包、更新、接入、发布于一体的综合性平台，可以实现对不同BI报表或可视化展示打包成一个应用、新应用的接入、以及将应用发布到商城变现。1、相较于传统的可视化工具和BI报表工具做出的“死物”，集成性平台具有可视化的操作和交互性。2、可以随意布局，还可以添加文字背景图片等其他元素3、我们的应用相较于传统报表具有更强的展示性，有更炫的效果和更美的模板功能特点工具箱功能描述其他各类工具的集合，研发提供的综合型系统工具集。它提供最全面的云计算优化功能，数据安全、数据迁移和软硬件监控等工具。1、工具种类繁多，为大数据开发提供有效地保障2、适用性强，既可以适用于C/S端，也可以适用于B/S端3、使用便捷，下载，安装既可完成部署功能特点数据清洗功能描述平台集成海量清洗工具及ETL工具：1、支持在各种主流数据库（同构或异构）间进行对称或非对称数据同步2、支持对各类关系数据库或平面文件的数据进行抽取，过滤、转换，并将处理结果快速存入Hadoop文件或HBase数据库1、集成海量专业ETL软件厂商2、产品覆盖面广，涵盖数据集成、同步、容灾备份等应用领域.3、支持ETL任务各个环节的数据预览功能特点权限控制权限控制通过角色、角色组进行用户功能权限管控，简化权限分配操作1、角色、角色管理和权限分配2、机构管理和用户分配3、功能权限分配1、管理用户拥有的角色和角色组，基于角色进行权限分配，简化权限分配操作。2、快捷建立企业组织机构，并完成用户分配3、多层级功能和菜单权限，按角色快速分配功能特点监控中心监控中心监控中心针对整个平台的硬件、服务、消息平台等进行监控和报警1、硬件监控2、hadoop集群监控3、告警设置1、自动监控主机、服务等相关性能指标，进行智能分析，快速定位错误产生、性能下降的原因。及时报警，最大限度降低用户损失。2、以最终用户视角监控各项性能指标，帮助用户获得更好的使用体验功能特点管控中心管控中心管控中心是查看系统属性的地方，可以查看服务信息与主机信息。1、查看服务信息2、查看主机信息1、结构精简，简单易看，降低用户的使用难度功能特点目录0102大数据平台总体规划大数据平台功能设计03大数据平台技术架构04大数据平台场景案例大数据技术架构支持Open

SDKOpenAPI模型工作室BI报表厂商接入脚本工作室2828存储、计算模块服务组件与计算层数据仓库存储数据服务数据接入服务工作流及流程编排任务调度中心数据仓库元数据平台计算层MRSparkStormHive消息平台日志收集主数据服务中心数据融合数据安全HDFS／HIVEHBASEMysqlRedisElasticSearch其它。。。数据源接入实时数据源接入离线数据源接入实时推送数据API数据互联网爬虫数据数据库数据文件数据非结构化数据数据接入实时数据接入文件接入数据库数据接入非结构化数据API数据接入ETL数据接入数据集成数据标准规范管理数据定价管理数据标准执行系统管理大数据应用可视化交互界面监控平台管控中心大数据处理架构数据接入方面，通过数据接入模块，可支持各种异构数据源接入，包括但不限定于数据库、文件、实时数据、API数据。大数据处理能力方面，提供功能强大的实时计算能力，并提供数据实时数据和离线数据融合，从而可以撮合各方数据源进行数据融合操作，从而挖掘出更深层的数据价值。运行监控方面，覆盖大数据全生态监控指标，如大数据metrics监控、消息平台监控、redis监控、zookeeper监控、系统监控、服务中心监控等等大数据安全架构支持DataAccessDataManagementDistributedFileSystem(HDFS)EncryptedFile(EDEK)EncryptionZone(EZKey)KeyProviderAPINameNodeYARN(CryptoStream/DEK)HDFSClientKeyProviderAPISecurityServiceKMSDBSTOREKeyProviderAPIEZKsDEKsEDEKEDEKEDEKDEK数据安全架构数据安全方面，本产品建立了功能强大的全生态圈的安全体系，采用最先进的大数据安全技术，除了存储安全以外，还提供文件组标签安全、网关安全、传输安全、API安全、融合安全等一系列大数据安全生态，确保为各种安全场景提供技术支撑。目录0102大数据平台总体规划大数据平台功能设计03大数据平台技术架构04大数据平台场景案例政府用户场景：某省工商局建立舆情监控某省工商局结合自身职能，需要实时跟踪社会舆情（如12315期间），并将社会舆情与本地投诉进行关联分析，对于涉及到本地企业或产品质量的事件能第一时间掌握。项目团队现场为客户定制舆情监控应用，但是缺少各类报表展示工具和外部舆情数据，缺少大数据分析和计算的手段数据源数据仓库可视化工具外部舆情