电商云平台方案交流

1、电商云平台方案交流京东云技术架构介绍京东SOA化及自动化运维服务介绍京东云数据架构介绍京东云数据中心与安全介绍交流互动京东整体技术架构访问接入层Access layer业务服务层Business layer中间件层Middleware layer数据层Data layer运维管理平台OSSIAAS统一工作台技术架构原则架构统一 应用以SOA服务的方式进行设计和架构，通过服务进行交互与数据交换技术统一技术架构设计需要的基础组件要利用公司现有的技术，框架和平台平台统一 技术架构应基于云平台或可以方便迁移到云平台运维自动 运维应该自动化，智能化访问接入层（1/3）访问接入层目标统一控制调度京东的访问

2、流量，提升用户体验技术架构四/七层负载均衡技术开发覆盖核心机房与CDN节点的防攻击体系全流量镜像，便于分析与回放自主CDN建设，优化无线网络的CDN节点访问接入层Access layer业务服务层Business layer中间件层Middleware layer数据层Data layer运维管理平台OSSIAAS统一工作台访问接入层（2/3）防攻击系统访问接入层Access layer业务服务层Business layer中间件层Middleware layer数据层Data layer运维管理平台OSSIAAS统一工作台 绿线： 检测保护模式，接受流向 红线： 保护模式，发送流向公司网络出

3、入口: 实际nG，设计40G交换机或路由器正常业务网路: nG万兆交换机万兆交换机LB#14*10GLB#24*10GSD&SP#1SD&SP#2SP#3SP#101*10G访问接入层（3/3）京东CDN业界领先的自建CDNCDN节点架构基于apache traffic server定制开发的缓存服务器Global Load BalancingCDN nodeCDN nodeCDN nodeATSATS负载均衡层访问接入层Access layer业务服务层Business layer中间件层Middleware layer数据层Data layer运维管理平台OSSIAAS统一工作台业务服务层

4、（1/9）JOS 描述： JOS 为京东合作伙伴提供开放API服务，开发京东业务相关应用，推进数据、营销、大物流、售后等公司各大业务系统的全面开放 应用场景：商家ERP等系统与京东 shop端后台的对接，支持商品、订单等业务处理， 未来陆续支持数据、营销、售后等的全面开放。第三方网站、移动应用调取京东商品进行内容展示及推广分成，京东购物车下单（供应商官网）等。 技术支持: 内部服务使用SAF接入，JOS注册 访问接入层Access layer业务服务层Business layer中间件层Middleware layer数据层Data layer运维管理平台OSSIAAS统一工作台业务服务层 （

5、2/9）内部系统Web开发 描述：通过Spring MVC框架来很好地将数据、业务与展现进行分离。并扩充了对通用功能支持 应用场景：构建面向公司业务/开发人员使用的 Web应用程序，比如各种Web管理系统 技术支持: 集成了SSO、权限等常用功能的京东Spring MVC框架 访问接入层Access layer业务服务层Business layer中间件层Middleware layer数据层Data layer运维管理平台OSSIAAS统一工作台业务服务层 框架工具（3/9）异步并行框架（Sirector)简化具有复杂依赖关系的任务编排，提高整体任务的执行并发度。应用场景：高并发度复杂的任务

6、依赖。DTS京东分布式任务调度让一种批量任务或者不断变化的任务,能够被动态的分配到多个主机的JVM中,在不同的线程组中并行执行.所有的任务能够被不重复,不遗漏的快速处理。应用场景：使用多个运算节点同时对集中的数据并行处理。京东ZooKeeper京东统一的ZooKeepr管理平台加强对ZooKeeper平台的监控、管理。 访问接入层Access layer业务服务层Business layer中间件层Middleware layer数据层Data layer运维管理平台OSSIAAS统一工作台业务服务层 （4/9）JBOX 基于云存储之上的存储应用，提供快速、稳定、安全的文件管理服务。应用场景：

7、大文件的存储，访问，备份，共享以及协同办公。IP库IP库即根据IP定位位置。用于分析区域数据、为用户提供个性化服务、节约运营成本。应用场景：根据地理位置提供个性化服务。 访问接入层Access layer业务服务层Business layer中间件层Middleware layer数据层Data layer运维管理平台OSSIAAS统一工作台业务服务层 - 移动开发 （5/9）JMP客户端通过与服务端建立长连接，服务端主动实时推送消息给客户端。应用场景：服务端往移动终端推送消息，比如往Android手机用户推送用户相关的订单信息。短地址服务长地址变短地址，实时数据分析，同时分析流量源的作用性。

8、应用场景：URL地址过长的情况，移动端，邮件，短信，多媒体推广中。云测试覆盖多个设备平台,提供真实移动终端。支持兼容性、性能等多种测试服务，提供详尽报表。应用场景：移动应用在手持终端上的兼容性测试、UI适配、性能测试、稳定性测试及自定义脚本功能测试。 访问接入层Access layer业务服务层Business layer中间件层Middleware layer数据层Data layer运维管理平台OSSIAAS统一工作台业务服务层 服务开发（6/9）服务开发 以SOA方式进行系统架构开发。数据交换主要通过服务接口进行。根据不同的业务场景可以使用同步调用服务，消息驱动服务和自驱动服务。从业务角

9、度来看，还需要多类并且多个服务协作完成，即服务组合编排，从而构成业务流程 同步调用服务 描述：服务调用是同步的，比如获取商品信息服务。 应用场景：主要应用于需要立刻得到返回结果的服务调用。 技术支持: SAF可以提供该类服务开发，注册和调用的基本框架。 访问接入层Access layer业务服务层Business layer中间件层Middleware layer数据层Data layer运维管理平台OSSIAAS统一工作台业务服务层（7/9）消息驱动服务 描述：服务之间是异步进行。 应用场景：主要应用于不需要得到返回结果；系统解耦；数据使用方可能有多个系统；对吞吐量要求高的业务。比如订单状态

10、变化通知服务。 技术支持: MSP可以提供高可靠高吞吐量稳定的消息服务。 访问接入层Access layer业务服务层Business layer中间件层Middleware layer数据层Data layer运维管理平台OSSIAAS统一工作台业务服务层（8/9）自驱动服务 描述：定时或不停进行任务执行触发的服务（比如Worker) 。 应用场景：主要应用于非外部调用，异步批量任务处理。比如每天定时数据抽取服务。 技术支持: ANT可以提供自驱动服务的监控管理和按需快速部署扩展。 访问接入层Access layer业务服务层Business layer中间件层Middleware laye

11、r数据层Data layer运维管理平台OSSIAAS统一工作台业务服务层（9/9）服务组合编排 描述：通过组合服务来完成业务。 应用场景：主要应用于需要与多个服务有顺序，按规则进行交互，来完成复杂业务流程的系统。比如供应链金融放贷流程。 技术支持: PAF提供了用于梳理、建模和实现业务流程，编排服务的框架和平台。 访问接入层Access layer业务服务层Business layer中间件层Middleware layer数据层Data layer运维管理平台OSSIAAS统一工作台中间件层 （SOA治理）访问接入层Access layer业务服务层Business layer中间件层Mi

12、ddleware layer数据层Data layer运维管理平台OSSIAAS统一工作台SAF分布式服务中间件，具有FailOver、高性能调用等特性，由RPC框架、服务配置中心组成。MSP 分布式消息服务平台，具有高可用、高性能、良好的扩展性和管理监控等特性。PAF开放给全公司技术团队的独立部署分布式的业务流程管理(BPM)服务。ANT为公司多样的worker提供一个统一的部署、配置、监控、弹性扩展的平台以及开发框架。 中间件层（大数据处理）访问接入层Access layer业务服务层Business layer中间件层Middleware layer数据层Data layer运维管理平台

13、OSSIAAS统一工作台CEP京东的基于Storm的流式计算框架，该框架提供了一套抽象、易用的类SQL语法和组件，简化常见的流式计算任务的编码工作。应用场景：信息流处理，连续计算，复杂事件处理。UHP京东统一Hadoop平台为用户提供高可靠、高扩展、高性能、高容错的PB级别的数据存储和处理平台，并提供弹性Mapreduce计算。应用场景：数据挖掘、转换和存储。 数据层(1/6)JBUS统一云存储Cloud CacheJProxyOracleSQL ServerMySQLMongoDB主IDCHBaseHadoop访问接入层Access layer业务服务层Business layer中间件层M

14、iddleware layer数据层Data layer运维管理平台OSSIAAS统一工作台Cloud CacheJProxyOracleSQL ServerMySQLMongoDB从IDCHBaseHadoop数据层（2/6)访问接入层Access layer业务服务层Business layer中间件层Middleware layer数据层Data layer运维管理平台OSSIAAS统一工作台JFS 针对京东在线核心数据而实现的高可靠、高可用、强一致存储系统。JFS特别针对小文件进行深度优化。支持多数据中心复制。JFS将在十月中旬上线负责京东全部订单存储，11月初上线负责亚洲一号全部交互

15、数据存储。JFS还将负责京东商品图片存储以及消息平台的消息持久化。JCS基于JFS的云存储服务，作为JSS的升级版，为京东众多内部业务(如移动、网站交易等)和公有云客户提供可靠的RESTful Storage Service。 应用场景： 与AWS S3、Google cloud storage有着相同的应用场景 数据层(3/6)访问接入层Access layer业务服务层Business layer中间件层Middleware layer数据层Data layer运维管理平台OSSIAAS统一工作台JProxy提供MariaDB, MySQL等数据库的统一接入访问，拥有流量过载保护，数据自动

16、拆分，可配置路由规则，数据无缝迁移等功能。应用场景：数据需要分库分表，自动扩容的应用。数据层（4/6)访问接入层Access layer业务服务层Business layer中间件层Middleware layer数据层Data layer运维管理平台OSSIAAS统一工作台JDS提供一键申请、自动备份、故障自动迁移、误删数据可恢复，高可靠的MySQL、MariaDB、MongoDB云服务。应用场景：需要使用数据库服务的各种业务。数据层（5/6)访问接入层Access layer业务服务层Business layer中间件层Middleware layer数据层Data layer运维管理平台

17、OSSIAAS统一工作台JBUS 准实时同/异构数据库同步；支持跨机房数据备 份。 应用场景：抽取线上数据到JDSOSA数据订阅推送。支持按天和实时推送，按天支持归档合并。应用场景：需要数据推送，归档合并的应用。 数据层（6/6)访问接入层Access layer业务服务层Business layer中间件层Middleware layer数据层Data layer运维管理平台OSSIAAS统一工作台Cache Cloud提供高性能，高可用，高可扩展的开放缓存平台。应用场景：支持常见的缓存使用场景。比如：多分片，读写分离，持久化，多级复制，故障切换等公司内部LDAP服务基于Open LDAP的

18、公司内部LDAP服务。应用场景：公司内部需要基于LDAP的统一用户管理及单点登录的应用。 运维管理平台OSS（1/4)自动部署统一日志内部计费系统Dashboard自动审批统一监控自动编译主机配置管理网络配置管理配置管理支撑平台事故管理API安全管理访问接入层Access layer业务服务层Business layer中间件层Middleware layer数据层Data layer运维管理平台OSSIAAS统一工作台运维管理平台OSS（2/4)访问接入层Access layer业务服务层Business layer中间件层Middleware layer数据层Data layer运维管理平

19、台OSSIAAS统一工作台统一完善的运维平台CMDB服务器申请分配流程完善统一的硬件监控统一的权限管理运维管理平台OSS （3/4)访问接入层Access layer业务服务层Business layer中间件层Middleware layer数据层Data layer运维管理平台OSSIAAS统一工作台 应用开发都应该接入公司的统一日志平台，统一监控平台，自动编译和自动部署平台。统一日志为各系统提供日志采集、转发、备份，订阅等服务，并提供全网海量日志检索，预警，分析。应用场景：设定关键字，设定触发频率。一旦达到条件可以进行邮件和短信通知，提前解决线上隐患；错误快速定位；各服务器负载分析；事件

20、趋势分析；日志检索结果分享，方便协同合作时共享信息；常用检索条件设定 。运维管理平台OSS （4/4)访问接入层Access layer业务服务层Business layer中间件层Middleware layer数据层Data layer运维管理平台OSSIAAS统一工作台统一监控(UMP）应用系统监控、业务监控、云监控。应用场景：需要监控应用或服务的存活，处理异常，超时，服务可用率，TP值等并进行报警。自动编译公司项目上线流程中把源码包自动编译成可以执行文件。应用场景：正常上线，线上修改，重复上线编译打包。自动部署支持运维和开发进行批量发布上线，缩短上线时间，降低人为操作错误，规范上线流程

21、。应用场景：应用系统上线发布。IAAS接入层应用层虚拟化层ELBAutoScaling混合虚拟化 一套管理框架和技术体系，管理物理机+虚拟机+Container，适用于私有云与公有云各种技术场景弹性扩展 根据用户配置的应用负载规则进行自动扩容收缩，缩短线上反应时间混合虚拟化（物理机+虚拟机+Container）访问接入层Access layer业务服务层Business layer中间件层Middleware layer数据层Data layer运维管理平台OSSIAAS统一工作台统一工作台开发人员运维人员专注于业务开发和应用优化集成开发环境自动化测试自助化申请基础设施自动编译部署自助上线监控

22、、日志和自助查询授权访问生产环境专注于硬件系统维护硬件非实时维护基础设施监控硬件配置管理规范化、流程化、自动化，提升人效访问接入层Access layer业务服务层Business layer中间件层Middleware layer数据层Data layer运维管理平台OSSIAAS统一工作台京东云技术架构介绍京东SOA化及自动化运维服务介绍京东云数据架构介绍京东云数据中心与安全介绍交流互动京东SOA架构支撑平台分布式缓存平台分布式调度平台工作流平台RDBMSNoSQL硬件及网络设备服务器同步调用服务异步消息驱动自驱动服务数据存储硬件设施服务层硬件层组件层服务组合编排虚拟化数据层Service

23、平台分布式消息平台基础设施基础架构统一数据访问层多数据源ETL平台数据访问组件业务BPM服务支付/结算交易/计费商品管理库存管理分布式文件异步并行调用框架订单履约商家/供应商客服/售后财务/审计仓储/配送报表/分析搜索引擎数据建模频道Mobile WebTVEDMRSS/WidgetPartnerOpen Service自动化编译平台自动部署平台安全体系 运行监控体系价格管理京东自动化管理服务在线服务器申请自动编译自动部署统一监控统一日志配置管理自动化服务器自动扩容自动化管理平台自动编译架构自动部署架构统一监控架构 （监控日志同步）统一监控架构 监控日志分析报警统一日志架构京东云技术架构介绍京

24、东SOA化及自动化运维服务介绍京东云数据架构介绍京东云数据中心与安全介绍交流互动京东云数据架构JProxyMySQLIDC1HBaseHadoopJBUSHiveImpalaMongoDB缓存云大数据处理JDSJProxyMySQLIDC2HBaseHadoopHiveImpalaMongoDB缓存云大数据处理JDSJBUSJBUSWeb AppWeb AppJDS特性介绍支持MySQL,MariaDB,MongoDB等数据库服务高可用，主库故障，从库自动切换数据高可靠，定期快照备份，增量备份完善的安全组配置，有效的数据库安全防护灵活的参数组配置，根据业务特点定制优化参数针对特殊业务需求，定制

25、优化特殊的数据库版本JDS架构JProxy 功能介绍原生MySQL协议，接入使用标准MySQL客户端数据根据路由规则分库分表，对业务访问透明单库容量满，可以快速在线无缝迁移，不影响业务JProxy架构JProxy 数据拆分JProxy无缝迁移JManager - 路由管理节点路由信息中心化管理路由变更统一入口到JManager路由信息持久化到数据库路由变更信息同步推送至所有JProxy路由信息定时与所有JProxy校验JManager主备去单JTransfer - 在线迁移模块迁移计划统一提交至JTransfer模块JTransfer将迁移计划入库，定时执行迁移以库为单位JTransfer负责

26、线下源库dump,目标restore及增量复制在增量追赶到指定阈值，JTransfer负责请求JManager进行停源写入，待追赶完成，切换路由JBUS 功能概述解决分布式异构系统数据复制复制配置自动化管理支持增量复制支持DDL同步复制低延迟可用于业务跨机房数据同步4 JBUS增量抽取JBUS 跨数据中心双活系统使用情况 公有云JDS： 320个实例Jproxy： 500多个databaseJBus:300个商家的数据推送私有云JDS：124个实例，30T数据Jproxy：30多张大表，5亿SQL/天Jbus：5000张表抽取同步，300G/天京东大数据处理层次图采销订单仓储物流DB文件流式消

27、息数据采集数据加工数据清洗流式处理分布式存储数据抽取取数据分析实时分析离线计算数据挖掘可视化分析用户群分析销量预测用户行为广告投放商品推荐步骤分解统一数据模型统一抽取可视化分析数据发布和共享数据分析&挖掘在数据仓库上建立一套统一的京东电子商务建模，规范输入输出数据格式，方便数据流通共享。统一数据来源，为上层决策提供准确数据支持增强数据流通，增强信息共享，共享产生价值深度掘数据潜在价值，驱动、引领业务发展多维分析，直观展现，为决策提供更准确直观的信息中门户统一认证元数据数据安全数据标准数据质量数据库管理资源管理任务管理数据库文件日志数据源数据抽取JDSHADOOPHBASEStormERPCRMDSSFMSDMSTMS平台层统一平台应用层IDE数据指标处理云应用外部数据消息流非结构数据大数据整体架构Hadoop平台统一管理Geminifs3.0JD-yarni