容器技术与微服务架构在跨境电商领域集成实践

1、容器技术与微服务架构在跨境电商领域集成实践大纲一、跨境电商业务特征及技术特点二、微效劳架构及面临的困境三、基于Docker的私有容器云平台设计四、Docker实践中遇到的问题及解决方案五、总结容器技术与微效劳架构在跨境电商领域的集成实践一、跨境电商的业务特征及技术特点海外市场拓展效劳跨境支付DHpay综合物流效劳DHlink互联网金融效劳DHfinet社交商务Socialshops其他增值效劳跨境电商的业务特征8个多语言平台国际合作伙伴物流&支付约120万家国内供给商；1000万买家遍布全球230个国家和地区4000万在线产品业务多品类多覆盖广流量大跨境电商的技术特点可扩展高并发海外部署多机房

2、可管理可监控二、微效劳架构及面临的困境微效劳框架多语言监控治理微效劳架构要解决的问题：效劳通信、路由寻址、效劳监控、效劳治理、多语言业务代码效劳消费者Client Agent效劳提供者业务代码Server Agent效劳提供者业务代码Server Agent异构语言业务代码效劳消费者通信和路由效劳注册中心-zookeeper集群apsaras效劳治理实时数据监控历史信息统计报警效劳依赖关系分析效劳流量控制调用链路追踪性能瓶颈分析SLA分析暂停恢复下线效劳监控异构集群语言Proxy HttpKafkaStorm解耦模块化，易扩展效率开发、测试、部署高可用多实例弹性伸缩，灵活应对峰值流量分布式、独

3、立运行多机房部署效劳拆分之后静态依赖关系优势：困境 微效劳的独立性使得系统具备弹性伸缩的能力，但仍需人为介入 开发效率提高、交付速度有所提升，新业务上线仍受限于资源申请流程 微效劳架构导致模块数量快速增长，效劳粒度与资源粒度的矛盾 一台效劳器部署多个微效劳，产生资源竞争 运行环境差异性引发错误 部署海外机房周期太长每个应用一一分配资源、配置、部署 降低物力资源本钱的需求 Docker标准化：集装箱式的交付方式，快速部署，并防止运行环境差异化轻量：资源占用小、启动速度快，在一个效劳器上可以部署很多容器便捷：直接部署应用、无需申请资源隔离：一定的资源隔离性灵活：可以快速回滚和更新变更开源：生态系统

4、开展迅速本钱：搭建本钱低、学习本钱低三、基于Docker的私有容器云平台设计设计原那么兼容已有软件架构混合部署，历史资产无缝迁移减少对已有业务开发流程的影响整体架构效劳集群InfrastructureAWS*云物理机虚拟机apsaras统一监控效劳监控Docker 主机Docker效劳Docker 主机Docker效劳apsaras容器统一配置中心(Etcd)Docker Registry(Harbor)虚机效劳Service物理机效劳Service容器监控(shell +influxdb)(zk+日志分析)主机监控zabbix监控代理Swarm AgentDocker Daemon监控代理S

5、warm AgentDocker Daemon容器管理平台自定义调度策略Swarm开发运维流程变化 DEV：代码提交、构建、申请机器资源、发版 OPS：集群、主机维护一键初始化，镜像维护，线上监控DhDockerControllerJenkinsGitRegistryCluster1CommitBuild管理平台PullDocker pullMonitorDEVOPS镜像 维护主机 维护发布DockerDaemonContainerContainerDockerDaemonContainerContainerCluster2DockerDaemonContainerContainerDocke

6、rDaemonContainerContainerElastic computingdocker runMonitor四、Docker实践中遇到的问题及解决方案遇到的问题监控排障镜像浮动IP混合部署混合网段容器状态不一致Problem1- 镜像的制作和维护VS 优点： 防止mount，应用和镜像一体 缺点： 频繁构建 镜像数量猛增 改造工作量大 不同环境配置文件不同 优点： 镜像不用重新构建 缺点： 所有宿主机维护应用副本 违背了Docker集装箱原那么BaseImageAPP/BINBaseImage+ APP/BIN 开发时，镜像和应用别离， OPS维护 Dockerfile， DEV维护

7、代码 部署时，镜像和应用合体 多环境不同配置， 分布式配置管理中心+配置文件中心Container APP/BINContainer APP/BINDocker DaemonRegistryConf RepositoryDeployOPSSolution1-根底镜像+应用下载Build RepositoryDEVContainer APP/BINDEVDockerfileProblem2-混合部署的网段互通网络连通要求： 同一宿主机内的容器互通 不同宿主机之间的容器互通 容器与其他虚机、物理机互通-混合部署的必要条件Legacy资产Vmware集群物理机其他DockerDaemonContai

8、nerContainerContainerContainerDockerDaemonDocker集群Docker的网络方案bridge模式：与外界通讯用端口映射，NAT增加通讯复杂性container模式：单机的多个容器之间共享网络host模式：共享主机网络，端口无法重用，容易冲突自定义 Bridge network is useful in cases where you want to run a relatively smallnetwork on a single host. Overlay network multi-host connection， need swarm or a

9、key store. MACVLAN network multi-host connection Customized network pluginSolution2-桥接网络打通容器与局域网网络Docker集群DockerDaemonContainerEth0ContainerEth0Br0Eth0DockerDaemonContainerEth0ContainerEth0Br0Eth0物理交换机Vmware集群物理机其他Legacy资产 docker network create -driver=bridge -o =br0-gateway -aux-address DefaultGate

10、wayIPv4=54-subnet dockernet docker run -d -net=dockernet tomcat:7.0 Docker Deamon -iptables=false -ip-forward=false 优点：性能较好；可以在一台物理机上部署多个不同网段的容器 限制：Docker 1.11 版本的MacVlan仍然是experimental; 在1.12版本已标注为： MacVlan driver is out of experimental #23524MacVlanProblem3-混合网段的容器部署Problem： 网段过大导致播送风暴，混合网段如何权衡资源调

11、度和IP分配-label subnet=/24DockerDaemonContainerContainerSolution3-自定义IP资源调度策略DhDockerControllerSwarm+自定义调度策略-label=？Cluster-label subnet=/24DockerDaemonContainerContainer-label subnet=/24DockerDaemonContainerContainerProblem4-浮动ipProblem： 浮动ip 重启一下docker daemon/容器，ip就变了 Ip混乱，不利于定位问题Solution4-使用固定ip使用固定

12、ip docker run d -ip -net=dockernet tomcat引入IPAM模块，负责IP池的创立和维护，IP资源的占用和释放Problem5-排障持久化日志 将日志mount到主机，主机上运行轻量级Agent进行日志采集，集中分析实时查看：检查日志，调整配置，重启应用，查看资源使用率 装一个SSH Server vs Docker Exec别把容器当虚机使！Solution5-Docker Web ShellDocker Web Shell实现从Web浏览器以类似SSH的方式登录并操作Docker容器DhDockerControllerWeb BrowserWeb Sock

13、etDocker ExecContainer Web浏览器负责界面呈现。运行JS脚本，通过Web Socket与Docker Controller建立通信链路。 DhDocker Controller是Docker容器应用的控制中心，作为桥梁，负责消息的转发。通过Docker HTTP API与Docker Daemon建立通信链路，利用Exec Start返回的数据流承载Docker Controller和Docker Daemon之间的交互数据。 Docker Daemon提供HTTP API接口给外部系统调用以访问容器内部。 这里用到的API包括：Exec Create、Exec Sta

14、rt、Exec ResizeDockerDaemonContainerDocker Web ShellProblem6-监控方案选择docker stats， docker原生 memory计算争议 性能较差cAdvisor，Google开发，容器和主机级别监控 一定的学习本钱 与已有监控报警系统集成有难度Solution6-自研Shell实现容器级别数据收集应用级别数据统计主机级别-容器总数及状态性能由zabbix监控ShellonDocker Host数据采集InfluxDB汇总分析报警系统策略和报警ShellonDocker Host数据采集ShellonDocker Host数据采集D

15、BProblem7-容器状态的同步 异常退出 命令行创立ClusterDockerDaemonContainerContainerContainerDhDockerControllerDocker事件机制deleteduntaggedtaggeduntagimportpulldocker deletedocker importdocker pulldeletetagpushdocker tagdocker push镜像事件容器事件Solution7-监听容器事件import (osdockerApi github /fsouza/go-dockerclient)func main() docker, err := dockerApi.NewClient(*dockerHost)if err != nil