企业私有PaaS云架构

1、企业私有PaaS云架构私有PaaS在乐视的实践私有：公有技术更复杂；要考虑问题太多私有的更关注核心问题实践：以务实为指导思想； 紧密结合业务特点和需求；不求高大上，但求实用只解决每个阶段的核心问题适合听众小型互联网创业公司传统企业互联网化关键词及适合听众私有PaaS在乐视的实践大纲背景及发展历程01技术实现02微服务探索03私有PaaS在乐视的实践背景及发展历程私有PaaS在乐视的实践私有PaaS在乐视的实践智能设备云平台推送同步OTA设备管理远程控制天气黄页壁纸日历闹钟视频通话网络短信多屏互动群聊浏览器免流量个人云边看边买桌面插件私有PaaS在乐视的实践云平台技术架构应用层（业务层）服务层负

2、载均衡WAF接入层动态缓存日志MQRPCmysqlredismongo资源层hbasecache私有PaaS在乐视的实践打通接入层、应用层、服务层承载了云平台95%以上的业务PaaS在云平台中的作用私有PaaS在乐视的实践PaaS发展历程：阶段一问题：团队刚起步，基础设施一穷二白典型的一体式应用，所有的 逻辑放在一个大的JAR 包里上线频繁，仅有的一个运维被折磨实现方案：中控脚本docker部署 自动化业务 标准化混合部署私有PaaS在乐视的实践问题：机器挂了要人工重新部署容器挂了要重新部署资源无法合理分配业务之间互相影响实现方案：Mesos + marathon + dockerPaaS发展

3、历程：阶段二故障 迁移资源 调度资源限制私有PaaS在乐视的实践问题：业务逐步复杂化； 一个业务由多个服务组成多个业务实现了重复的功能， 需要抽出来成为独立服务灰度发布、集中配置等新需求业务人员不知道需要多少资 源；容器评估： 健康、 忙、 闲？方案：支持灰度发布、配置集中化、 微服务PaaS发展历程：阶段三灰度 发布配置 集中化微服务支持私有PaaS在乐视的实践PaaS平台现状400+服务器3000+容器150+业务全球5个 数据中心私有PaaS在乐视的实践技术实现私有PaaS在乐视的实践系统架构虚拟集群A路由节点计算节点虚拟集群Bmarathon镜像仓库虚拟集群Cmesos masterc

4、hronos北美数据中心印度数据中心中国数据中心ceberus控制中心zeus镜像仓库ceberusceberuszookeeper私有PaaS在乐视的实践zeus +ceberus： golang自主开发mesos： = 0.23尝试自己做 containerizer和executor目前选择的是原生的docker-containerizermarathon： long-run 应用chronos：cron 应用docker： = 1.0zookeepernginx：七层负载均衡haproxy： 四层负载均衡核心组件私有PaaS在乐视的实践全球化发展战略要求应用全球部署数据中心到控制中心之间

5、的网络状况不稳定多数据中心中国 大陆北美东南亚印度控制中心私有PaaS在乐视的实践每个数据中心使用一套基础组件管理多个虚拟集群集群与集群之间使用mesosattribute进行逻辑隔离每个集群包含一组计算节点和路由节点计算节点：mesos slavedocker路由节点：nginx 或 haproxy多虚拟集群数据中心虚拟集群A路由节点nginx计算节点 Mesos slave docker虚拟集群B镜像仓库虚拟集群Cmesos masterchronosceberusmarathonzookeeper私有PaaS在乐视的实践基础镜像 + 应用代码基础镜像包含支持业务代码运行的基础组件应用代码

6、由zeus进行打包并分发到不同的数据中心不同业务可以共享相同的基础镜像接近于业务开发的习惯，学习成本低，易于接受代码源支持svn，git以及压缩包纯镜像方式业界常用的容器云部署方式支持手动/自动触发编译镜像通过全球镜像架构保证各个数据中心镜像一致两种发布方式私有PaaS在乐视的实践App是部署的最小单位用Project来聚合一组逻辑上相关的AppProject + App的组织方式私有PaaS在乐视的实践WEB：Cron：Task：暴露HTTP端口 周期性任务 一次性任务Worker： 通常不对外暴露端口Service： 微服务；暴露TCP端口多种App类型无状态私有PaaS在乐视的实践七层负

7、载均衡： nginxNginx上部署agent，接受规则变更通知规则加载：早期：Nginx reload 实现规则加载现在： 自定义 lua 模块，实现规则平滑加载支持nginx自定义配置接入层负载均衡私有PaaS在乐视的实践目的：及时报警容器资源使用图表为容器评估及扩容/缩容提供依据metrics容器：内存、CPU、网络I/O在容器外采集，更优雅前端nginx：请求数请求处理时间5xx个数Metrics collect计算节点私有PaaS在乐视的实践aresopentsdb报警处理elastic search计算节点aresKafaka集群alert路由节点aresMetrics colle

8、ct 实现私有PaaS在乐视的实践配置集中化及变更通知传统配置管理方式的缺点将配置文件和代码一起维护和部署。当运行环境存在多样性，配置与运行环境适配就存在很大的难度。采用配置文件集中管理的好处：方便维护：不同应用不同环境的配置 文件的统一管理保存，并提供可视化 界面进行文件内容的增删改查。方便部署：一次修改多个运行环境多 个实例及时生效。无状态有 状态私有PaaS在乐视的实践配置集中化实现虚拟集群A计算节点Conf agent容器A容器B本地 配置缓存Configdashboardetcd私有PaaS在乐视的实践分流点接入层分流方案Nginx + LUA模块 + redis策略库分流依据设备型

9、号IP地址区域流量百分比Cookie灰度发布匹配策略到新版本私有PaaS在乐视的实践灰度发布架构dashboardDB策略库外部请求nginxRedis 策略缓存正常版本Lua分流特点1.没有灰度版本的应用不会走灰度分流环节2.简单策略直接在nginx配置3.复杂策略调用lua代码分流分流流程1.部署灰度应用2.创建灰度策略3.关联灰度版本及分流策略4.应用策略生效应用信息库路由更新程序容器运行老代码容器运行新代码私有PaaS在乐视的实践与测试的集合DeveloperJenkinsQuick JobJenkinsSLow JobGerritTesterJekinsSub-codeTrigger

10、-jobTrigger-job产生测试报告通过/失败DeliveryJenkins sysQuick Job流程:开发工程师提交源码到Gerrit，自动触发job；Job 调用Pass rest-api，自动构建并部署测试环境；Job 触发冒烟测试用例，并生成“测试报表”；Job 执行PASS，“合入主干”。否，CI失败。Slow Job流程:开发工程师交付项目于测试工程师，自动触发job；Job 调用Pass rest-api，自动构建并部署测试环境；Job 触发全量测试用例，并生成“测试报表”。如果job 执行PASS，“测试准入”。否，准入失败。执行自动化测试用例PaaS平台编译、打包、

11、部署私有PaaS在乐视的实践微服务探索私有PaaS在乐视的实践业务逐步复杂化，从开发效率、易维护性、性能等角度 考虑，需要将功能拆解，形成独立的服务多个业务可能都实现了相同的功能，需要提取出来形成公共的服务为什么需要微服务私有PaaS在乐视的实践举个例子私有PaaS在乐视的实践两种微服务形式同步类微服务： 基于RPC直接通信异步类微服务： 基于MQ轻量级微服务框架基于thrift RPC框架改造，支持多语言修改thrift，支持调用链trace服务注册中心目前支持 etcd下一步支持 consul服务发现与负载均衡目前支持Smart client（性能更好）下一步支持Load balancer微服务架构实现接入层私有PaaS在乐视的实践应用层服务层MQpushapiworkerworkerpushdpushdpushdRPCTCP长连接示例： PaaS平台对微服务的支持私有PaaS在乐视的实践实现机制：埋点 日志输出 收集和存储日志 分析 调用链 展示Trace ID：关联一次请求相关的日志，全局唯一，在系统间传递RPC Span ID：识别日志埋点顺序和嵌套关系，在系统间 传递开始时间调用类型对端IP参考Google Dapper论文“Dapper, a Large-Scale Distributed Systems Tracing Infrastructure”/pu