京东云架构介绍

1、京东云架构介绍私有云概况中间件大数据存储移动弹性计算资源池运维目录4缓存云 Cache Cloud大容量缓存将缓存数据分摊到多个分片上，创建出大容量的缓存。可用性利用缓存服务器提供的“数据复制”机制，在主节点和从节点间进行数据同步；当主节点失效时，自动由从节点接管。I/O策略针对读操作可分为“主优先”、“从优先”、“随机挑选”等方式。针对写操作可分为“同步写”和“异步写”。不同的I/O策略，对数据一致性的影响也不同，应用可以根据自身对数据一致性的需求，选择不同的I/O策略。扩容纵向上，在单个节点上预留内存，然后需要扩容时直接使用预留内存的方法达到扩容的目的。横向上，通过增加分片数并在一些场景下

2、结合数据迁移来达到扩容的目的。缓存云架构SAF （Service Architecture Framework）是系统SOA化的重要基础组件，是接入JOS开放平台的重要前提，它是系统SOA服务化、API接口化的标准服务支撑技术，自12年四月上线以来目前已有八百多个接口、二千多台服务器接入SAF平台，在线服务节点将近三万，每天通过SAF进行了服务调用都是以十亿次来计算的。系统特色：作为高性能分布式RPC服务调用中间件，SAF服务注册订阅中心负责服务的注册与订阅，部署在业务应用中的客户端负责RPC调用；远程方法调用透明，简单配置，无API入侵。SAF具有FailOver特性，提供调用跟踪、服务路由

3、、软负载均衡，实现高可用的服务，方便实现服务能力水平伸缩。SAF还可提供更多服务治理功能，由专家小组提供支持。服务架构框架 SAF注册中心 Registry服务提供者查看服务调用者查看注册中心管理端路由管理属性配置服务上下线SAF调用过程MSP（Message Service Platform)是使用JMS规范、提供可靠传递消息及数据的消息中间件平台，具有很高的可用性、扩展性和运维性。用于系统解耦、非实时系统通信和异步流程处理等场景。MSP特性：生产者与消费者解耦客户端和Broker分别支持分布式部署，支持动态扩容Broker采用MASTER/SLAVE部署方案，支持动态切换MASTER-SL

4、AVE同步复制，保证消息可靠性消费异常消息支持定期重试生产和消费信息归档可查询消息服务平台 MSPMSP架构业务流程管理服务 PAFPAF（Process Architecture Foundation)是一个开放给全公司技术团队的独立部署分布式的业务流程管理(BPM)服务。 目前应用于多个研发部门项目自动以及人工流程的开发。微内核，完全水平扩展灵活的业务流程监控和统计支持BPMN2.0，功能强大流程开发调试简单特点 应用是什么中间件大数据存储移动弹性计算资源池运维目录流失计算服务实时计算服务离线/批量计算报表/数据资源/任务安全管理数据库全网日志海量存储服务分布式数据库高速缓存服务海量存储服

5、务用户应用数据源无限海量数据存储；高效数据处理，日均处理数据240条/天，分析数据20T/天完善的故障恢复工具、灾难备份集群可用率可达99.99%用户应用数据分析云数据处理框架 Data Process Framework流式计算框架 Streaming Computation为Storm提供了一套高级、易用的类SQL语法和常用组件，简化常见的流式计算任务的编码工作。目前应用于实时流量监控项目。提供常用的IO适配器；兼容大部分SQL92语法。特点 应用是什么弹性Map Reduce JEMR易用弹性低成本可靠灵活您可以配置一个、数百个或者甚至数千个任意大小的计算实例来处理数据。您可以轻松增加或

6、减少实例的数量，并且按使用情况支付费用。您不必担心节点调配、集群设置、Hadoop 配置或集群调试。 您只需集中精力进行分析即可。全面监控您的集群，重新尝试失败的任务，并自动地替换性能不佳的实例，让您任务更加可靠。您可以通过web完全掌控您的集群。 也可以拥有每个实例的根访问权限。Jindong Elastic MapReduce (JEMR) 是将mapreduce Web 服务化，让工程师能够轻松快速地处理海量数据streamingBOSS统一认证授权云监控云主机云数据库云存储Hadoop-jarhivepigimpalaWEBConsolerestAPISDK数据管理任务运行监控集群申请

7、管理企业/研究人员/数据分析师/开发人员弹性mapreduce架构JBUS抽取业务数据到JDS，支持跨机房数据备份数据抽取服务JBUSAPIJbus前端DBMQ全量模块Worker全量模块JBUS 系统结构全量抽取流程增量抽取流程中间件大数据存储移动弹性计算资源池运维目录文件系统 JFSJFS是针对在线核心数据自主研发实现的高可靠、高可用、强一致存储系统。特别针对小文件进行深度优化，支持多数据中心复制。文件系统每日接受2亿文件上传的海量存储系统云存储高可用、高可靠、低成本的对象存储服务块存储为虚拟化、数据库等场景提供可靠的块设备抽象Jingdong Elastic Storage Platfo

8、rmBlock Storage Abstraction Private Client Libraries Public RESTful API 对象云存储 JSS云存储服务JSS(Jingdong Storage Service)是一套海量、安全、低成本、高可用的云存储服务基础平台。海量数据低成本安全性高可用性通过数据冗余、集中资源管理等方式将大规模的硬件整合为高可靠的海量虚拟存储资源用户无需自己部署和维护自己的存储系统，借助于JSS平台，就可以轻松地创建和管理数据资源采用数据隔离、访问控制策略来保证数据安全性，使用严格的安全措施，比如使用经过证明的加密算法对用户进行身份验证，有效防止用户信息

9、和用户数据资源泄露通过软件智能调度实现自动故障恢复来保证系统的高可用性，同时采用群集系统（Cluster），快速消除单点故障,在任何时候都能够保证系统正常使用，对外提供云存储服务数据库云服务 JDS高可用：自动对数据库进行高可用部署，保障服务在不可用时自动完成切换数据备份：实时将数据库镜像及日志备份至云存储、实现针对数据库实例的镜像恢复和时间点恢复安全隔离：通过使用安全组功能，增强原有数据库的访问权限控制分布式数据库 JProxyJProxy提供MariaDB, MySQL等数据库的统一接入访问，拥有流量过载保护，数据自动拆分，可配置路由规则，数据无缝迁移等功能。应用场景：数据需要分库分表，自

10、动扩容的应用。中间件大数据存储移动弹性计算资源池运维目录向移动端应用提供实时消息推送服务通过终端和云端建立稳定长连接，实现消息实时推送云推送 JD Cloud Message Push省稳准节省：通过多应用单服务单连接、AlarmManager定时心跳，省电省流量Cache pool 、多核并行化提升后端服务器处理能力，节省服务器稳定：消息回执确认机制、高可用服务器集群确保不丢消息终端服务已收消息过滤，防止消息重复推送Android后台服务长连接、云端耗时任务分解并行处理，实时送达离线消息过期时间设置，确保消息有效期内推送精准：精细化标签组播和点播有效提升消息推送精准度短地址服务系统提供网址缩

11、短服务，目的将url进行字符串压缩，变长地址为短码进行页面定向。电子商务兴起后，分享商品成了客户的最爱使用得项目。短地址利于公司站点推广，解决移动端代下单时遇到的长地址导致操作不畅等情况。对外亦提供saas服务，再者侦听来源客户的点击流信息。支持多用户同一地址对应不同短地址；支持点击量、来源、地域的实时分析。云测试是为移动应用测试/开发者提供的Web-based移动终端测试平台。覆盖Android、iOS、Windows Phone等多个设备平台，均提供真实的手机/平板等移动终端，为移动应用测试/开发者提供安全的黑盒测试环境。包含的测试服务类型有功能测试、性能测试、稳定性测试等，返回包括日志和

12、截图的详细测试报告。云测试将开发者从原始的人工测试中解脱出来，自动化快速完成测试，保障App应用高质量快速迭代。短地址和云测试 Short URL & Mobile Test云分析 JD Cloud Analysis云分析着眼于移动端应用，是一款全面的、实时的、专业的移动用户行为分析服务工具。云分析工具能够帮助移动应用开发商分析、挖掘用户属性和用户行为数据，以便移动应用开发者利用数据优化移动产品、调整运营模式、定制推广决策，从而提高移动产品的用户体验，获取更多和质量更高的用户。云分析支持目前主流的移动端操作系统，包括Android、IOS、Windows phone，并进行日志压缩，压缩比小于

13、50%，单条日志小于0.3k，极大减小对终端用户流量的影响。 同时支持一键埋点，只需一行代码即可完成应用集成SDK，易于接入，开发量小。 现阶段终端用户安装量已超过2200万，接入包括商城，电子书，团购在内的全部公司App应用。日均处理日志量近2亿条,近50G。2200万终端用户 同时云分析推出APP错误日志分析与报警，帮助APP开发者提升APP应用质量，增强终端用户黏性。支持关键词自定义报警，报警方式多样化。中间件大数据存储移动弹性计算资源池运维目录弹性集群是一款高性能应用集群服务，使用简单，将开发者从繁琐的部署、配置、安全、运维中解脱，只需五步即可完成大规模集群创建；自动伸缩，集群支持高并

14、发、高仿问量，且可根据自定义的规则进行资源的自动扩容或缩容；安全可靠，弹性集群服务通过DNS和外界客户端通信，通过防火墙和网络层安全控制有效杜绝ARP攻击和MAC欺骗，让应用远离危险和攻击。弹性集群 Elastic Cluster 弹性集群还可自动替换不健康实例，自动进行请求自动分发和资源调度，实现负载均衡；并提供丰富的监控、告警/预警以及事件跟踪功能。DNSAPP ServerVMAPP ServerVMAutoScaling GroupElastic LoadBalancerMySQLMasterMySQL(Slave)OpenStackELB API RESTful AS API RES

15、Tful JD ElasticCluster ServiceJSSJDSJBSJLSJDPMySQLMasterMonitor中间件大数据存储移动弹性计算资源池运维目录necessitynecessity自动化运维云部署平台监控平台日志平台基础监控、应用监控、业务监控）220亿监控分析数据/天报警粒度：秒级自动化部署全网服务器每日部署3000台服务器部署1000台用时58秒全网数据采集、搜索、分析转发、订阅量超过300亿条/天索引：100亿条/天一键部署海量搜索实时监控服务器群运维成本减少90%以上实时监控服务器、监控应用、业务数据海量搜索，快速分析自动化运维云 Automatic IT Op

16、eration自动编译 Automatic Compile系统特色：实现上线流程化，规范化，自主化支持切流量上线，提高应用发布时的可用性，不中断服务，避免丢失数据，对用户的影响降到最低对资源统一管理，维护了完备的主机、应用等配置信息SVN系统Hudson和抽包系统编译系统Hudson源码SVN打包申请审批配置编译抽包测试上线管理发包1。根据配置信息后台登录hudson系统2。对相应的项目发出编译命令3。返回编译过程和编译结果，以及编译日志1。根据配置信息后台登录hudson系统2。如同登录抽包系统一样根据需要 抽取文件，并上传到svn3。返回生成文件包路径，提供下载 抽包结果上传SVN自动部署

17、系统多个集群发布包SVN从SVN下载包提供丰富的报表、审计功能，为决策提供依据使用基于角色的安全控制支持线上服务器免登陆远程文件查看，提高排查线上问题的效率抽包系统自动部署 Automatic Deployment上线时间从2-3小时缩减到几分钟主机A主机B主机.主机N部署系统与应用的语言类型无关发布回滚重启停止一键操作自动部署系统是帮助研发运维上线部署的系统，支持批量发布，回滚，重启应用，支持多种应用语言及操作系统环境。自动部署系统与自动编译系统等打通，规范了上线部署流程，简化上线复杂度，减少人工失误，提高上线效率，降低企业IT应用运维成本，使一个人可以支持大规模的服务器及应用发布。系统特色

18、：实现上线流程化，规范化，自主化支持切流量上线，提高应用发布时的可用性，不中断服务，避免丢失数据，对用户的影响降到最低对资源统一管理，维护了完备的主机、应用等配置信息提供丰富的报表、审计功能，为决策提供依据使用基于角色的安全控制支持线上服务器免登陆远程文件查看，提高排查线上问题的效率统一监控 Unified Monitoring9个研发部门的核心系统全部规范接入统一监控，实时监测线上各系统运行状态并进行预警报警，最大程度上减少可能给公司带来的经济和声誉损失7*24小时监控服务工单系统 与remedy系统打通，报警同时自动产生工单，实现线上问题的自动升级和追踪，为有效管理和统计应用系统问题解决情况提供支持EC2、AS 为EC2、AS系统提供接口，实时采集和分析应用服务器的性能指标数据，为AS的弹性集群提供基础数据支持统一日志平台与统一日志打通，通过业务监控功能，实现应用系统日志关键字报警Nagios系统与nagios系统打通，实现对服务器性能报警第一时间通知到研发负责人，为研发及时处理问题提供有力支持，此功能备受研发同事肯定自动部署系统与自动部署系统打通，实现当服务器下架时自动通知到研发负责人，减少了运维无法通知到研发而影响应用系统正常运行的风险统一日志 Unified Log统一日志