某公司研发及运维自动化技术体系课件

1、快速发展中的互联网公司研发及运维自动化技术体系内容概要要第一部分分：要解解决什么么问题？快速发展展中公司司的业务务特点，如何自自建技术术设施技术架构构体系运维研发发过程的的生命周周期第二部分分：分布布式架构构&运维维研发解解决方案案1、分布布式服务务架构（雨燕/MQ/Schedule）2、运维维自动化化&标准准化（龙潭）3、项目目发布自自动化体体系（青龙/闪电/变色龙龙）4、服务务治理体体系&健健康监测测（雷达/Cat/质量量系统）5、测试试环境的的自动化化构建（青龙/龙潭）6、自动动化测试试系统（Mock/Selenium）快速公司司技术人员员快速发展展公司对技术需求求点业务边开开飞机技术边

2、修修飞机业务驱动动、快速速试错既要统一一、又要要高效打造高效效的研发&运运维自动动化技术术体系DevOps运维研发发自动化Service服务多维维度治理持续交付付能力PaaS基础服务务设施快速开发发能力服务治理理能力服务治理理、任务务调度、集群协协同、调用链分分析、接接口质量量、SQL质量、实时时日志等等打包、自自动化测测试、检检测、灰灰度发布、分分区上线线、运维维自动化化、配置标准准化、指指令标准准化等分布式框框架、存存储&缓存中间间件、自动化测测试、云云搜索、开放平平台、营销平台台等基础础设施自建技术术基础设设施（开源+自研）青龙自动化发发布系统统灰度发布布、分区区发布龙潭运维配置置自动化

3、化系统运维系统统自动发发现、标标准化配置变色龙原子指令令系统支持数百百台服务务器、数数百个原原子脚本操作龙猫云搜索平平台支持数百百个索引、上亿条条数据蓝鲸推荐计算算平台支持数亿亿用户数据计算算白虎API自动化测测试系统统、Mock模拟测试试系统支持接口口的自动化测测试、模拟测试试、Web自动化测测试API放水系统、SQL防水系统统治理系统不合合理调用用雷达实时日志志系统支持Nginx、Tomcat、BI实时日志志和离线跟跟踪雨燕分布式开开发框架架统一分布式通通信闪电配置分发发系统支持配置置项、集集群服务发现现MQ分布式消息中间件（推模式IDP、拉模式Kafka）1500w/周一周五，600w/

4、周六日KV分布式缓存系统中间件（Memcached、Redis、Tair）亿级数据据缓存、95%命中率LPFS分布式文件中间件（MongoDB）MongoDB、图片、文件DB数据库分库分表表中间件（MySQL）无限数据据量扩展展分布式任任务调度中间件（Schedule）支持100+服务、200+/日个分布布式任务务调度Push统一消息推送平台每日100w+推送量，推送至至Android、iOS、Email、SMS、微信、Comet。依赖开源源的技术术栈语言：Java(Tomcat/Spring)Shell(运维)Nodejs(前端)AndroidiOS分布式：ActiveMQKafkaZook

5、eeperRouter服务发现现Cat存储：MysqlMongodbTairMemcachedRedis计算：SolrElasticSearchHadoopHBaseStormSpark运维：LinuxNginxPuppetZabbixOpenStack项目管理理：EclipseSVNMaven构建Hudson持续集成成Confluence知识分享DMS项目管理理道运营平iOS：短信|邮件|微信|私信|台技术架构构体系业务线API：微信|微博SEO|运营推广广运开放平台台运营推广广|QQ|支付|电话|营渠Android|测试/部部署/运运维/服服务治理理C端：求职职|校招|H5|微信|APPB

6、端：猎聘聘通|面试快|微站|企业服务务|微信H端：诚列列通|面试快|微信|APPERP：网站运运营|用户管理理|销售|客服体系系开发阶段段框架Test：API|Mock|Web|测试环境境Deploy：灰度|分区上线线|配置标准准化|系统自动动化Op：报警监控控|日志追踪|流量监控控Service：API质质量|SQL质质量|服务发现现|配置|调度|调用链中Storage：关系|文件|KV|缓存|一级间件Compute：搜索|推荐|BI|解析|转换开发框架架：Spring|HTTP通信|脚本自动动化分布式：RPC调用|MQ|Zookeeper|调度运维研发发过程的的生命周周期|-分布式调调用R

7、PC|-实时推送送comet|-推消息队队列IDP|-拉消息队队列Kafka|-配置系统统Zookeeper|-调度系统统Scheduler存储中间间件|-关系存储储mysql|-文件存储储mongodb|-KV存储tair|-二级缓存存redis|-一级缓存存memcached计算平台台|-龙猫云搜搜索|-蓝鲸推荐荐|-大数据计计算|-网页解析析|-文本解析析|-Word预览运营平台台|-推送平台台Push|-短信平台台Push|-邮件平台台Mail|-微信平台台Open|-私信平台台MessageCode/build开发阶段段开发框架架|-web开发框架架Swift|-nodejs前端开发

8、发框架|-ios移动开发发框架|-android开发框架架|-shell脚本自动动化分布式中中间件Test/ci测试阶段段|-API自动化测测试|-API模拟测试试Mock|-Web自动化测测试Selenium|-微信测试试WXTest|-Open测试KATest|-测试环境境发布Release/deploy上线阶段段|-青龙发布布系统|-龙潭运维维系统|-代码检测测BuilderMonitor运维阶段段|-龙潭运维维系统|-变色龙自自动化系系统|-报警监控控系统Zabbix|-雷达日志志系统|-Puppet/McoService服务治理理|-API放水系统统APIWater|-SQL放水系统

9、统MonyogSQL|-Router服务中心心|-闪电配置置分发系系统|-调度系统统Scheduler|-调用链系系统CatChannel运营阶段段开放平台台|-微信平台台Weixin|-微博平台台Weibo|-电话平台台Jiya|-支付平台台Pay|-开放平台台API|-SEO平台Resource所有事&重要事事=架构构+运维维开发阶段段PaaS化测试阶段段自动化上线阶段段工具化架构运维运维阶段段标准化运营阶段段通道化服务治理理监控化第二部分分：分布布式架构构&运维研研发解决决方案1、分布布式服务务架构（雨燕/MQ/Schedule）2、运维维自动化化&标准准化（龙潭）3、项目目发布自自动化

10、体体系（青龙/闪电/变色龙龙）4、服务务治理体体系&健健康监测测（雷达/Cat/质量量系统）5、测试试环境的的自动化化构建6、自动动化测试试系统（Mock/Selenium）1、分布布式服务务架构DB/Cache/IndexUser1User2CV1CV2QA区HWeb3User3BWeb3CV3Dev区区HWeb4User4ScheduleMQDB/Cache/IndexDB/Cache/IndexBWeb4CV4同步线上分区区（A区区/B区区/C区区），线线上灰度度区NginxHWeb1BWeb1CWeb1HWeb2BWeb2CWeb2异步分布式事事务Feed1Feed2任务调度度Job1

11、Job2Swift/etc/router.confrouterins-user-platformautoloadinghttp:7133;http:7133;memcached4:10014;memcached5:10014;memcached6:10014;tair1:6036;tair2:6036;redis4:6003;redis5:6003;redis192.168.64.

12、16:6003;服务发现现、通信信、控制制分布式注注册中心心Router：同步调用用RPC服务协议议：HTTP协议/心跳检测测服务发现现：集群群信息统统一文件件Router.conf负载均衡衡异步调用用MQ推模式：开发快快、稳定定、实时时快拉模式：可回溯溯、日志志收集、数据同同步分布式任任务调度度Schedule调度系统统分布式事事务控制制Swift开发框架架：交易易型事务务的一致致性QA2QAnQA12、运维维研发的的自动化化体系线上IDC/IDC2线下测试试环境SVN库A区B区C区S区MVN库变色龙指指令系统统Builder构建系统统线下发布布系统青龙发布布系统龙潭运维维配置自自动化系系统

13、线上区NginxABCA区64网段段B区68网段段C区72网段段灰度区NginxS区32网段段青龙发布系统配置采集生成SVN库库MVN库库龙潭配置系统发布先配置，再发布布推送Tomcat+App配配置分发War分发war存储区kafkaredismemcachemongodbmysqlhadoopA区A区C区C 区B区B区/data/apps/project/bin/start.sh,stop.sh/bin/JAVA_OPTS/conf/server.xml/webapps/wars/logs/catalina.log/temp/workNginxjdktomcatrsyncSvnmvnage

14、nt-IpnetdiskmemdnsAPPs巢位机器/系系统/软软件运维配置置标准化化分区机器&系系统&软软件APPs巢位运维配置置标准化化3大层层次2.1、硬件标标准化：-机器标准准化：机机房、机机架位、交换机机、机器器-资源标准准化：IP、DNS-配置标准准化：机机器配置置自动化化采集、标准化化检测，KVM化2.2、软件标标准化：-软件安装装标准化化：tomcatjdkmemcachedredis.-Nginx标准化：域名、配置、发布2.3、项目标标准化：-项目配置置标准化化：S区、A区、B区、C区-支持多种种项目：tomcat、java、nodejs、Python、iosAndroid2

15、.1、硬件标标准化标准化管管理2.1、硬件标标准化自动化采采集2.1、硬件标标准化标准化校校验多套服务务器模板板标准化配配置项(上百配置置项)每日自动动化校验验运维配置置标准化化3大层层次2.1、硬件标标准化：-机器标准准化：机机房、机机架位、交换机机、机器器-资源标准准化：IP、DNS-配置标准准化：机机器配置置自动化化采集、标准化化检测，KVM化2.2、软件标标准化：-软件安装装标准化化：tomcatjdkmemcachedredis.-Nginx标准化：域名、配置、发布2.3、项目标标准化：-项目配置置标准化化：S区、A区、B区、C区-支持多种种项目：tomcat、java、nodejs

16、、Python、iosAndroid2.2、软件标标准化统一软件件规格2.2、软件标标准化自动化安安装卸载载23个标准软软件200个原子指指令2.2、软件标标准化服务自动动管理2.2、Nginx标标准化自动配配置300域名名自动化生生成自动化配配置运维配置置标准化化3大层层次2.1、硬件标标准化：-机器标准准化：机机房、机机架位、交换机机、机器器-资源标准准化：IP、DNS-配置标准准化：机机器配置置自动化化采集、标准化化检测，KVM化2.2、软件标标准化：-软件安装装标准化化：tomcatjdkmemcachedredis.-Nginx标准化：域名、配置、发布2.3、项目标标准化：-项目配置

17、置标准化化：S区、A区、B区、C区-支持多种种项目：tomcat、java、nodejs、Python、iosAndroidNginxC区Nginx.conf全站配置置Router服服务配置置/etc/router.confAPP配配置文件件/data/apps/project/bin/start.sh,stop.sh/bin/JAVA_OPTS/conf/server.xml/webapps/wars/logs/catalina.log/temp/work2.3、项目标标准化配置&生生成&发发布Nginx配置置文件龙潭配置系统生成配置龙潭配置系统发布2.3、项目标标准化项目配置置中心1、配置

18、2、生成（基于模模板Freemarker）3、推送2.3、项目标标准化推送中心心1、配置2、生成（基于模模板Freemarker）3、推送共务SandboxDB/Cache周同步OnlineDB/CacheC区QADB/CacheDevDB/CacheMock环境生产环境境3、项目目发布自自动化（青龙系系统）SVN资资源库龙潭配置置自动化化系统Mock区模拟测试试拷贝warsship:dirrestarttomcatA区B区青龙自动动化发布布平台开发环境境测试环境境灰度环境境svnup分支zipwarsship:dirrestarttomcatDev1公Dev2服Devn公共服务QAn变色龙指

19、指令系统统svnup测试分支支svnup主干zipwarzipwarsship:dirsship:dirrestarttomcatrestarttomcatQA1QA2灰度区3、项目目发布自自动化体体系3.1、青龙代代码发布布系统-灰度发布布-分区发布布：泳道道发布3.2、闪电配配置发布布系统-发布配置置信息-集群协作作：Solr、Kafka3.3、变色龙龙原子指指令-系统级操操作-系统操作作日志3.1、青龙发发布系统统灰度发布布支持多个个灰度区区同时测测试支持基于于trunk、tags的发布测试班车车批量发发布3.1、青龙发发布系统统分区发布布关闭Nginx流量，分分区发布布，对用用户无影影

20、响3.1、青龙发发布系统统随时上线线支持每周周数百次次上线，上线时时关闭服服务调用用3.1、青龙发发布系统统实时发布布日志3.2、闪电配配置分发发系统3.3、变色龙龙指令自自动化A区C区B区变色龙指指令系统统发布平台台运维平台台搜索平台台统计平台台执行指令令APIPuppetMcollective日志回写写Mco日志API指令系统统GUI3.3、变色龙龙指令自自动化300+指令集：软件安安装、卸卸载、启启动、停停止、项目发布布、系统统操作#!/bin/shPATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:/bin

21、JAVA_HOME=/usr/local/java/jdk1.7exportJAVA_HOME=/usr/local/java/jdk1.7exportTOMCAT_BASE=/usr/local/tomcatexportCATALINA_BASE=/data/apps/$PROJECT_NAMEexportJAVA_OPTS=$JAVA_OPTS.#启动Tomcatsutomcat-s$TOMCAT_BASE/bin/catalina.shstart&4、服务务治理体体系服务健康康状态检检测分布式任任务调度度（Schedule）调用链分分析（Cat）实时日志志监测（雷达系系统）API质质量治理理（APIWater)SQL质质量治理理（Monyog）4.1、服务健健康状态态检测4.2、分布式式任务调调度ScheduleNginxCWeb1CWeb2BWeb1BWeb2User1User2CV1CV2Job1Job2Feed1Feed2ScheduleMQ同步HWeb1HWeb2异步任务调度度Swift分布式调调度中心心：基于Mina分布式协协调选择服务务的单点点调度多点服务务failover长时间任任务断点点续传任务依赖赖调度4.3、调用链链分析CatagentdogServerapp