政务云-大数据平台架构设计

1、政务云 大数据平台架构设计政务云架构概要设计IDC / IT硬件基础设施（服务器、存储、网络）OS（Linux)Object StorageK/VStorageJFS分布式文件系统Block StorageSmallFileKVMLXCXEN云主机弹性集群安全JDS 分布式数据库自动监控自动部署统一日志自动管理PAF业务流SAF（SOA服务治理框架）消息云数据库缓存云计费统一通讯Web开发云JCS云存储CEP（Storm流式计算平台）JMP移动推送UHP（Hadoop计算平台）JBus数据同步OSA数据订阅JProxy接口配置管理自动审批API运维接口OSS运维平台服务Spark 计算框架DT

2、S任务调度ZooKeeperJBox云盘PaaSIaaSIP库云测试大数据服务数据服务移动服务数据存储层云主机层开发平台服务大数据平台Object StorageHBaseHDFS & JFS 分布式文件系统云存储HiveJbus 数据同步OSA数据订阅YARN处理框架数据层CEP（Storm流式计算平台）UHP（Hadoop计算平台）Spark 计算框架计算层业务引擎基础设施数据引擎引擎层Oracle点击流日志其他数据接口MySQLSQL Server抽取层JDS 分布式数据库实时T+1数据推送权限管理任务管理审核系统ISV表Oracle/MySQL/MS Server数据展现政务云的架构统

3、一使用的技术统一运行的平台统一自动化的运行维护管理政务云建设目标第一阶段：IaaS平台构建第二阶段：历史应用系统及数据迁移第三阶段：构建自动化IT管理平台第四阶段：PaaS平台构建，移动业务第五阶段：大数据平台构建政务云建设阶段第一阶段：第一步：在一定规模（按照业务运算需求）的IT基础设施上部署IaaS服务私有云平台，配置服务器、网络、存储，协作运行；第二步：在IaaS平台上，部署存储服务及分布式数据库环境，为虚拟机和Image镜像及块存储配置存储服务，建立云数据库（建立关系型和非关型数据库环境），建立JDS分布式数据库环境。第三步：在IaaS上发布的虚拟主机可以在一个弹性的环境中运行，虚拟主

4、机能够负载均衡和failover，物理资源可以动态的伸缩；第四步：部署弹性应用集群（重点）；第一阶段：IaaS平台构建京东优势：基于流程化定义部署策略99.5%的全自动部署能在0.5小时内安装1000台机器的操作系统，从祼机开始能在1.0个小时内部署IAAS系统需要的数据库、消息中间件等核心模块可以支持异构化的服务器，如IBM、HP和Dell的标准服务器模块化解决方案，部署时可灵活配置支持图形化和命令行两种操作模式京东弹性集群是一款高性能应用集群服务，使用简单，将开发者从繁琐的部署、配置、安全、运维中解脱，只需五步即可完成大规模集群创建；自动伸缩，集群支持高并发、高仿问量，且可根据自定义的规则

5、进行资源的自动扩容或缩容；安全可靠，弹性集群服务通过DNS和外界客户端通信，通过防火墙和网络层安全控制有效杜绝ARP攻击和MAC欺骗，让应用远离危险和攻击。弹性集群 Elastic Cluster 京东弹性集群还可自动替换不健康实例，自动进行请求自动分发和资源调度，实现负载均衡；并提供丰富的监控、告警/预警以及事件跟踪功能。DNSAPP ServerVMAPP ServerVMAutoScaling GroupElastic LoadBalancerMySQLMasterMySQL(Slave)OpenStackELB API RESTful AS API RESTful JD Elastic

6、Cluster ServiceJSSJDSJBSJLSJDPMySQLMasterMonitorIaaS服务云鼎弹性计算服务数据服务存储服务云主机弹性集群云硬盘云存储云数据库（MySQL、MongoDB、MariaDB）数据推送云监控云安全云控制台为京东商家、合作ISV和电商合作伙伴提供的电商应用托管平台与数据开放服务保证业务应用的平稳运行实现基础资源的弹性伸缩，低成本解决资源瓶颈第一步：历史应用系统的数据可能分为两部分，数据库中的业务数据和文件数据，数据库很可能是商业产品的数据库管理软件，建议统一迁移到JDS分布式数据库中或者MySQL集群数据库中进行统一管理和访问。历史文件统一存放在Iaa

7、S平台的文件存储服务中。第二步：历史应用业务系统很可能是运行在物理服务器上（小机、x86服务器），进行P2V的应用迁移操作，统一迁移到京东IaaS平台虚拟主机上，赋予相关属性特性。第三步：历史应用系统虚拟机如何进入到弹性集群中？ 第二阶段：历史应用系统及数据迁移JDS分布式数据库JDS提供一键申请、自动备份、故障自动迁移、误删数据可恢复，高可靠的MySQL、MariaDB、MongoDB云服务。应用场景：需要使用数据库服务的各种业务。JBUS抽取业务数据到JDS，支持跨机房数据备份数据抽取服务JBUSAPIJbus前端DBMQ全量模块Worker全量模块JBUS 系统结构全量抽取流程增量抽取流

8、程第一步：首先做到设施和资源的监控，包括物理设施和虚拟主机、apps应用的自动监控；第二步：自动化部署、管理；第三步：结合用户IT管理业务需求，制定IT管理运维流程，建立ITIL流程体系；第四步：计费管理；第三阶段：构建自动化IT管理平台necessitynecessity自动化运维云部署平台监控平台日志平台基础监控、应用监控、业务监控）220亿监控分析数据/天报警粒度：秒级自动化部署全网服务器每日部署3000台服务器部署1000台用时58秒全网数据采集、搜索、分析转发、订阅量超过300亿条/天索引：100亿条/天一键部署海量搜索实时监控服务器群运维成本减少90%以上实时监控服务器、监控应用、

9、业务数据海量搜索，快速分析自动化运维云 Automatic IT Operation统一日志 Unified Log统一日志为各系统提供日志采集、转发、备份，订阅等服务，并提供全网海量日志检索，预警，分析，极大提高开发效率。 自动编译 Automatic Compile系统特色：实现上线流程化，规范化，自主化支持切流量上线，提高应用发布时的可用性，不中断服务，避免丢失数据，对用户的影响降到最低对资源统一管理，维护了完备的主机、应用等配置信息SVN系统Hudson和抽包系统编译系统Hudson源码SVN打包申请审批配置编译抽包测试上线管理发包1。根据配置信息后台登录hudson系统2。对相应的项

10、目发出编译命令3。返回编译过程和编译结果，以及编译日志1。根据配置信息后台登录hudson系统2。如同登录抽包系统一样根据需要 抽取文件，并上传到svn3。返回生成文件包路径，提供下载 抽包结果上传SVN自动部署系统多个集群发布包SVN从SVN下载包提供丰富的报表、审计功能，为决策提供依据使用基于角色的安全控制支持线上服务器免登陆远程文件查看，提高排查线上问题的效率抽包系统自动部署 Automatic Deployment上线时间从2-3小时缩减到几分钟主机A主机B主机.主机N部署系统与应用的语言类型无关发布回滚重启停止一键操作自动部署系统是帮助研发运维上线部署的系统，支持批量发布，回滚，重启

11、应用，支持多种应用语言及操作系统环境。自动部署系统与自动编译系统等打通，规范了上线部署流程，简化上线复杂度，减少人工失误，提高上线效率，降低企业IT应用运维成本，使一个人可以支持大规模的服务器及应用发布。系统特色：实现上线流程化，规范化，自主化支持切流量上线，提高应用发布时的可用性，不中断服务，避免丢失数据，对用户的影响降到最低对资源统一管理，维护了完备的主机、应用等配置信息提供丰富的报表、审计功能，为决策提供依据使用基于角色的安全控制支持线上服务器免登陆远程文件查看，提高排查线上问题的效率统一监控 Unified Monitoring9个研发部门的核心系统全部规范接入统一监控，实时监测线上各

12、系统运行状态并进行预警报警，最大程度上减少可能给公司带来的经济和声誉损失7*24小时监控服务工单系统 与remedy系统打通，报警同时自动产生工单，实现线上问题的自动升级和追踪，为有效管理和统计应用系统问题解决情况提供支持EC2、AS 为EC2、AS系统提供接口，实时采集和分析应用服务器的性能指标数据，为AS的弹性集群提供基础数据支持统一日志平台与统一日志打通，通过业务监控功能，实现应用系统日志关键字报警Nagios系统与nagios系统打通，实现对服务器性能报警第一时间通知到研发负责人，为研发及时处理问题提供有力支持，此功能备受研发同事肯定自动部署系统与自动部署系统打通，实现当服务器下架时自

13、动通知到研发负责人，减少了运维无法通知到研发而影响应用系统正常运行的风险第四阶段：构建PaaS平台分布式缓存平台分布式调度平台工作流平台RDBMSNoSQL硬件及网络设备服务器同步调用服务异步消息驱动自驱动服务数据存储硬件设施服务层硬件层组件层服务组合编排虚拟化数据层Service平台分布式消息平台基础设施基础架构统一数据访问层多数据源ETL平台数据访问组件应用政务BPM服务便民服务社保在线系统申报/审批分布式文件异步并行调用框架教育婚姻登记税务信息检索统计分析电子邮件搜索引擎数据建模频道Mobile WebTVEDMRSSPartnerOpen Service自动化编译平台自动部署平台安全体

14、系 运行监控体系政务应用支撑平台通过构建政务云PaaS平台，统一政务云技术架构理念，让开发有据可依，提高开发效率，降低开发成本。 构建PaaS平台目标服务开发，以SOA方式进行系统架构开发。数据交换主要通过服务接口进行。根据不同的业务场景可以使用同步调用服务，消息驱动服务和自驱动服务。从业务角度来看，还需要多类并且多个服务协作完成，即服务组合编排，从而构成业务流程 同步调用服务，服务之间的调用是同步的，主要应用于需要立刻得到返回结果的服务调用。消息驱动服务，服务之间是异步进行。主要应用于不需要得到返回结果；系统解耦；数据使用方可能有多个系统；对吞吐量要求高的业务。自驱动服务，定时或不停进行任务

15、执行触发的服务（比如Worker) 。 主要应用于非外部调用，异步批量任务处理。比如每天定时数据抽取服务。服务组合编排，通过组合服务来完成业务。 主要应用于需要与多个服务有顺序，按规则进行交互，来完成复杂业务流程的系统。比如供应链金融放贷流程。SAF （Service Architecture Framework）是京东系统SOA化的重要基础组件，是接入JOS开放平台的重要前提，它是京东系统SOA服务化、API接口化的标准服务支撑技术，自12年四月上线以来目前已有八百多个接口、二千多台服务器接入SAF平台，在线服务节点将近三万，每天通过SAF进行了服务调用都是以十亿次来计算的。系统特色：作为高

16、性能分布式RPC服务调用中间件，SAF服务注册订阅中心负责服务的注册与订阅，部署在业务应用中的客户端负责RPC调用；远程方法调用透明，简单配置，无API入侵。SAF具有FailOver特性，提供调用跟踪、服务路由、软负载均衡，实现高可用的服务，方便实现服务能力水平伸缩。SAF还可提供更多服务治理功能，由专家小组提供支持。服务架构框架 SAF注册中心 Registry服务提供者查看服务调用者查看注册中心管理端路由管理属性配置服务上下线SAF调用过程MSP（Message Service Platform)是使用JMS规范、提供可靠传递消息及数据的消息中间件平台，具有很高的可用性、扩展性和运维性。

17、用于系统解耦、非实时系统通信和异步流程处理等场景。MSP特性：生产者与消费者解耦客户端和Broker分别支持分布式部署，支持动态扩容Broker采用MASTER/SLAVE部署方案，支持动态切换MASTER-SLAVE同步复制，保证消息可靠性消费异常消息支持定期重试生产和消费信息归档可查询消息服务平台 MSPMSP架构业务流程管理服务 PAFPAF（Process Architecture Foundation)是一个开放给全公司技术团队的独立部署分布式的业务流程管理(BPM)服务。 目前应用于京东多个研发部门项目自动以及人工流程的开发。微内核，完全水平扩展灵活的业务流程监控和统计支持BPMN

18、2.0，功能强大流程开发调试简单特点 应用是什么23缓存云 Cache Cloud大容量缓存将缓存数据分摊到多个分片上，创建出大容量的缓存。可用性利用缓存服务器提供的“数据复制”机制，在主节点和从节点间进行数据同步；当主节点失效时，自动由从节点接管。I/O策略针对读操作可分为“主优先”、“从优先”、“随机挑选”等方式。针对写操作可分为“同步写”和“异步写”。不同的I/O策略，对数据一致性的影响也不同，应用可以根据自身对数据一致性的需求，选择不同的I/O策略。扩容纵向上，在单个节点上预留内存，然后需要扩容时直接使用预留内存的方法达到扩容的目的。横向上，通过增加分片数并在一些场景下结合数据迁移来达

19、到扩容的目的。缓存云架构PaaS服务为个人开发者提供的web应用开发平台让开发者专注于业务开发提高应用开发效率，降低成本门槛应用引擎应用运维服务云监控日志服务应用开发工具云测试云编译应用组件服务云数据库云存储云缓存IP查询云控制台个人开发者接入接入接入接入调用调用提供运行环境，可接入多种工具和服务，让开发者专心于应用开发云峰运维服务组件服务开发工具移动分析云编译打包移动云测试消息推送短地址为个人开发者提供的移动应用客户端开发平台让开发者专注于业务开发提高应用开发效率，降低成本门槛前提： 应用系统运行积累了大量数据，其他数据源有大量的半结构化和非结构化数据需要收集，汇总后进行大数据分析。注意：大

20、数据平台不一定部署在云的虚拟化环境中。第一步：初期先把数据提取，并做好大数据的存储，存放在分布式文件系统中和K/V非关系型数据库中；第二步：IT基础设施的大数据可以通过基础设施数据引擎进行大数据的搜索、统计分析；第三步：业务数据，需要通过业务模型算法建模后，通过业务引擎进行大数据的搜索、统计分析；第四部： 数据推送，可以把大数据的分析结果，推送给相关系统及移动终端；第五阶段：大数据平台构建流失计算服务实时计算服务离线/批量计算报表/数据资源/任务安全管理数据库全网日志海量存储服务分布式数据库高速缓存服务海量存储服务用户应用数据源无限海量数据存储；高效数据处理，日均处理数据240条/天，分析数据20T/天完善的故障恢复工具、灾难备份集群可用率可达99.99%用户应用数据分析云数据处理框架 Data Process Framework流式计算框架 Streaming Computation为Storm提供了一套高级、易用的类SQL语法和常用组件，简化常见的流式计算任务的编码工作。目前应用于京东实时流量监控项目。提供常用的I