容器化技术在汽车中实践

容器化技术在长安汽车的实践重庆长安汽车股份有限公司管理创新与IT中心黄俊ThepracticeofcontainerTechnologyinChangan目录长安汽车的前世今生“互联网+”时代，积极拥抱容器化技术12容器化技术在长安汽车中的实践ThepracticeofcontainerTechnologyinChangan目录长安汽车的前世今生“互联网+”时代，积极拥抱容器化技术12容器化技术在长安汽车中的实践ThepracticeofcontainerTechnologyinChangan长安汽车的前世今生1公司简介长安汽车的前身今世与未来源自1862年上海洋炮局，是中国近代工业先驱1984年进入汽车领域，中国汽车四大车企之一中国第一自主品牌，产销突破1000万辆自主第一研发实力，连续3届6年行业第一品牌形象：年轻、时尚、活力、国际化……愿景与追求：打造世界一流汽车企业2014年，自主品牌汽车产销1000万辆长安汽车鱼嘴千亿汽车城长安汽车出口海外第一任总工程师马格里(英国)第一任总经理李鸿章容器化技术在长安汽车中的实践ThepracticeofcontainerTechnologyinChangan中国第一家也是至今唯一一家全球研发布局的汽车企业容器化技术在长安汽车中的实践ThepracticeofcontainerTechnologyinChangan公司简介长安汽车的前身今世与未来产业布局：11家生产基地30家整车及发动机工厂容器化技术在长安汽车中的实践ThepracticeofcontainerTechnologyinChangan公司简介过去，IT是手段……长安汽车信息化发展史容器化技术在长安汽车中的实践ThepracticeofcontainerTechnologyinChangan以业务集成为目的，搭建以ERP为核心的生产经营管理平台，实现了财务与业务、产供销的集成，奠定未来深化应用的基础。综合集成管理融合集团管控协同创新以支撑CPS/CA-PDS两大管理体系为重点，夯实制造、研发、管理信息化平台，为集团快速发展奠定坚实基础。以一体化管控为核心，推进系统标准化、集团化，支撑研发、制造、采购一体化，实现远程投放，快速复制。以精益管理、三大模式创新为目标，开展产业链协同、产品创新，打造世界一流汽车企业。-2006年2006-2009年2010-2011年2012年-未来，IT是产品、IT是产业在互联网+的时代，长安汽车将依托互联网思维，开展多纬度创新容器化技术在长安汽车中的实践ThepracticeofcontainerTechnologyinChangan目录长安汽车的前世今生“互联网+”时代，积极拥抱容器化技术12容器化技术在长安汽车中的实践ThepracticeofcontainerTechnologyinChangan“互联网+”时代，积极拥抱容器化技术2构建开源技术平台，引入互联网架构，推动去IOE平台为产品发展提供基础技术支撑产品应用为平台发展提供实践验证应用实例容器化技术在长安汽车中的实践ThepracticeofcontainerTechnologyinChangan简化流程贯穿开发/测试/部署各个阶段降低运维成本“一键发布”与减少故障处理时间技术标准化逐步推广“标准化”技术降低IT建设成本不论采用什么措施，技术都服务于业务，我们的目标“降本增效”Docker为长安带来的好处容器化技术在长安汽车中的实践ThepracticeofcontainerTechnologyinChangan长安汽车IT的技术栈持续集成Jenkins开发支持浏览器技术

jQuery,Bootstrap动态请求(HAProxy)缓存RedisMySQL/MongoDBGlusterFS/HDFS消息ActiveMQ/RabbitMQ前端展示层负载均衡/Webserver业务逻辑层静态资源(Varnish)Web页面交互服务层RESTapiDubboxapiSpring体系MyBatis数据访问Spark实时计算Shiro安全CXFSolr/ElasticSearch图表Flot，jPlot，echarts服务层存储层分布式Dubbox/Zookeeper前后技术框架互联网中间件数据库系统监控Zabbix日志收集分析ELK运维支持集群管理自动化部署配置管理CMDB源码审查SonarQube单元测试Junit/JMock容器化技术在长安汽车中的实践ThepracticeofcontainerTechnologyinChangan容器化技术在长安汽车中的实践ThepracticeofcontainerTechnologyinChangan长安汽车IT的技术栈适合长安IT的实际情况集群规模，人员储备，实施难度，推广难度服务编排必须解决精确时序依赖问题必须部署在自建机房内(私有云)对遗留系统改造程度小(成本与推广)某些项目需要能灵活配置容器的IP允许固定容器IP(可手工指定并重启/故障迁移时不变)要支持VMWare迁移过程足够“柔性”(网络，存储等基础设施)长安搭建Docker容器平台的需求与限制容器化技术在长安汽车中的实践ThepracticeofcontainerTechnologyinChangan演变的三个阶段引入引入，评估，小范围使用探索探寻整合解决方案，如K8s，Mesos初步平台化希云cSphere中小等规模集群实践容器化技术在长安汽车中的实践ThepracticeofcontainerTechnologyinChanganDocker组网采用host/bond方式

需要在每个OS上精确分配映射端口避免冲突Compos服务编排depends_on只判断依赖的容器是否已经运行，无法解决精确时序依赖问题

将集群部署方案拆分成多个子方案进行部署，半自动化最初的实践方式容器化技术在长安汽车中的实践ThepracticeofcontainerTechnologyinChangan集群部署/管理编写部署/运行脚本curl|sh#脚本中可包含composewgetshstartXXXXX.sh#脚本中自行判断是否为restart容器化技术在长安汽车中的实践ThepracticeofcontainerTechnologyinChangan最初的实践方式编制Docker容器合理编写dockerfile，尽量压缩image大小减少节点的pull时间Immutableimage，将“变量”尽量从image中移除容器启动时从分布式配置中心获取对应环境的配置文件容器启动成功后自动注册服务容器化技术在长安汽车中的实践ThepracticeofcontainerTechnologyinChangan最初的实践方式简单，但人工参与太多演变的三个阶段引入引入，评估，小范围使用探索探寻整合解决方案，如K8s，Mesos初步平台化希云cSphere中小等规模集群实践容器化技术在长安汽车中的实践ThepracticeofcontainerTechnologyinChangan已有的应用需要做大量的改造才能在上面运行部署、配置难度高，对人员技能要求太高图形化界面不够完善，主要得依赖命令行工具管理不兼容Docker命令行，需要学习全新的命令试用Kubernets时遇到的困难容器化技术在长安汽车中的实践ThepracticeofcontainerTechnologyinChangan网络只支持Host/Nat网络

IP-per-task不能使用于Docker不支持应用的升级回滚在Marathon中，应用只支持伸缩，重启，暂停。对于应用的整体升级，回滚，需要再做很多额外的工作部署、配置难度高试用Mesos/Marathon时遇到的困难容器化技术在长安汽车中的实践ThepracticeofcontainerTechnologyinChangan合适的，才是最好的自由度复杂度自动化容器化技术在长安汽车中的实践ThepracticeofcontainerTechnologyinChangan演变的三个阶段引入引入，评估，小范围使用探索探寻整合解决方案，如K8s，Mesos初步平台化希云cSphere中小等规模集群实践容器化技术在长安汽车中的实践ThepracticeofcontainerTechnologyinChangan图形化界面完善度高灵活的服务编排IP-Stick，采用内网IP集成度高，可维护性好希云cShpere容器化技术在长安汽车中的实践ThepracticeofcontainerTechnologyinChanganDocker组网容器化技术在长安汽车中的实践ThepracticeofcontainerTechnologyinChangan规划集群所能使用的IP地址范围（例如100个）编排了mysql、redis、mq、zookeeper等中间件集群通过内部域名访问编排了HAProxy负载均衡集群并固定IP方便设置安全策略：防火墙，DDOS，WAF等编排了车联网业务逻辑部分以及管理服务通过内部域名访问为每个服务设置启动优先级和健康检查策略实现了严格的时序依赖类似linux服务优先级，数字越小优先级越高多环境一键部署开发，测试，预发布等环境生产环境一键升级保留原有容器IP不变项目编排（以车联网为例）容器化技术在长安汽车中的实践ThepracticeofcontainerTechnologyinChanganWebservice层，提供健康检查URL，并通过5xx抛出异常服务层和存储层，通过编写脚本进行健康检查，通过抛出非0退出码表示异常。如MySQL主从，Redis集群等，通过获取服务相关的stats信息进行判断。一旦异常，可通过重启或者重新创建尝试恢复故障摘除：容器节点故障后，会在名字服务中主动摘除，直到恢复健康，这样保证了对外提供服务的质量故障恢复：重新创建但保留之前所有参数以及业务IP故障处理容器化技术在长安汽车中的实践ThepracticeofcontainerTechnologyinChangan配置集中化、版本化管理通过版本，实现快速配置回滚配置文件修改后批量下发并立即生效如调整haproxy或业务的timeout时长等集群内部各个服务关系的配置redis+sentinel配置，zookeeper配置配置管理与分发容器化技术在长安汽车中的实践ThepracticeofcontainerTechnologyinChangan规划每个主机上有规划一个日志目录，通过volume映射dockerrun–v/logs/{{.Container.Name}}:/app/logs每个主机上部署一个日志收集的容器dockerrun–v/logs:/logs:ro…定时遍历/logs下有哪些新加入的容器，并自动收集实现ELK也都通过容器来运行，并通过配置模版关联好通过RR

+label调度，使每个OS都部署一个loastash-agent”ELK日志中心化管理容器化技术在长安汽车中的实践ThepracticeofcontainerTechnologyinChangan调度策略支持cpu、mem、RR、random、label日志agent通过RoundRobin调度业务层通过cpu利用率缓存服务通过内存利用率调度存储层软件使用label+手工的方式调度负载均衡通过label+手工的方式调度调度策略容器化技术在长安汽车中的实践ThepracticeofcontainerTechnologyinChangan第一步，容器化自建系统自行编写Dockerfile乙方系统可通过bulidpack第二步，配置