开源架构及服务介绍

上海拜服信息科技有限公司2014-6上海清算所

企业级开源架构交流汇报人介绍余军

joeyu任上海拜服开源架构总监2006-2012RedHat中国区解决方案业务总监2000-2006中国惠普高级顾问中国区HPC高性能计算集群技术顾问亚太区Linux二线支持团队成员AlphaTru64Unix高级讲师，HP-UXMC/SG讲师1998-2000上海信息技术投资有限公司项目经理，RS6000/AIX程序员国内早期开源运动的热心推动者，开源许可协议GPL中文版初版译者1998年创建中国第一个(规模最大)Linux用户协会–SHLUG()ChinaUnix集群及高可用版

版主(ID:nntp–since2006)专业研究方向开源分布式架构和高可用系统上海拜服信息科技有限公司公司成立

成为IBM/HP合作伙伴,开始为外资客户提供IT服务成为富士通服务合作伙伴为星巴克，欧尚超市，易买得等大型连锁零售行业提供IT服务成为RedHat高级合作伙伴

确立开源解决方案和专家服务作为业务核心和发展方向成为RedHat认证服务合作伙伴(CSP)开始为华东地区金融和电信客户提供专业服务同年正式成为上海市开源软件专业委员会成员成为Novell公司SuSELinux业务高级合作伙伴成为Dell中国开源解决方案供应商和服务商成为OracleMySQL,Linux,虚拟化开源方案高级合作伙伴2011年Intel中国开展Hadoop大数据解决方案合作200320052006200720082009-20102009-现在10年历程公司总部:上海,北京和成都有分公司和办事处员工70人左右，80%以上为技术工程师技术工程师认证:持有RedHatRHCE/RHCA认证,NovellNCLP认证,OracleMySQL认证，VMWareVCP认证按技术能力分为Linux系统组,开源数据库组,基础系统与工具开发组我们的金融业客户-银行业银行客户主要平台及服务主要支持应用和工作中国银联MySQL数据库,

高容量Web系统设计批量自动化运维平台设计,Apache门户Hadoop集群服务,SuSELinux服务集团短彩信平台，电子票据DB2到MySQL迁移，商户管理Web平台RISCtoIA迁移，openstack云管理后台数据库，加密发卡平台，MySQL数据库资源池管理平台,Linux/XEN运维管理规划和服务中国建设银行(总行及上海分行)Linux,Linux高可用集群前置机镜像灾备高可用咨询，实施和运维支持服务会计对账，自主发卡，总账管理，ECTIP，综合前端，会计稽核内容管理，DCC柜面，信用卡进件，SWIFT报文处理系统，钞箱管理系统，安全服务器，员工绩效考核系统，企业信息门户系统，E路通积分系统，ATMV系统，券商网点管理，BO仪表盘系统，CBPS系统，ODSB系统，分行报表平台等中国银行Linux,现场专家服务单证影像，综合门户，安全监控,总行开源架构咨询，MySQL数据库，自动化运维中国工商银行Linux,现场专家服务故障排查，应急响应，运维支持交通银行Linux,现场专家服务故障排查，应急响应，运维支持浦东发展银行Linux,现场专家服务数据汇聚平台，中移动支付网关，银税共享平台，第三方存管，卡稽核系统，证券交易所债券交易系统，西联汇款,

成都客服中心上海银行LinuxLinux高可用集群高可用咨询，实施和运维支持服务电子国债，大小额支付，开放式理财，电子工作流，电子商业汇票，数据仓库，新一代电子银行，数据传输平台，路透外汇交易，大宗农产品交易，网银平台，同城票据，在线客服中国农业银行Linux,现场专家服务报表反传项目,影像平台华夏银行Linux,Linux高可用集群,现场专家服务全国分行金融IC卡平台上海清算所Linux,现场专家服务外汇MQ询价平台，招投标平台，门户平台中国外汇交易中心Linux,现场专家服务批量自动化运维设计DNS容灾平台，央行项目，增值服务平台，BMO系统，外汇做市商报价引擎等,自动化运维工具我们的金融业客户-证券期货业交易所产品与服务主要应用和工作上海证券交易所Linux架构咨询，现场专家服务BPM/ERP平台,NTP服务器,综合门户网站基础架构平台架构咨询上海期货交易所Linux架构咨询，现场专家服务全面部署，核心交易引擎性能优化咨询，运维支持中国金融期货交易所Linux

现场专家服务模拟交易集群及网络监控深证证券交易所Linux,OracleMySQL架构咨询，现场专家服务高性能核心交易引擎日志数据库系统架构设计咨询券商/期货公司相关产品与服务主要应用和工作海通证券Linux现场专家服务故障排查，应急响应，运维支持上海证券Linux现场专家服务故障排查，应急响应，运维支持东方证券Linux,JBoss中间件故障排查，应急响应，运维支持华宝证券Linux,JBoss中间件现场专家服务综合门户平台，清算系统上海期货信息技术有限公司Linux现场专家服务CTP期货交易平台上海证券通信技术有限公司Linux现场专家服务通讯平台我们的金融业客户-保险业保险客户产品与服务主要应用和支持太平洋保险Linux现场专家服务太保网上商城Hadoop大数据分析平台故障排查，应急响应，运维支持平安保险OracleMySQL分布式架构设计及现场专家服务平安保险集团，新一贷

网销-电销融合项目长江养老保险Linux,JBoss中间件现场专家服务从交易核心到外围，所有平台故障排查，应急响应，运维支持AIA友邦保险中国LinuxJBoss

中间件JBoss

BRMS规则引擎现场专家服务BRMS开发支持服务核保业务规则计算平台故障排查，应急响应，运维支持AXA金盛人寿中国LinuxJBoss中间件现场专家服务影像和工作流系统，通讯平台，数据仓库平台,灾备系统部分电信行业–制造行业-大型国企客户产品与服务中国移动(上海)Linux现场专家服务架构咨询，故障排查，应急响应，运维支持中国电信(上海)Linux专家服务架构咨询，故障排查，应急响应，运维支持宝钢/宝信Linux现场专家服务Linux高可用,虚拟化平台云计算项目架构咨询，故障排查，应急响应，运维支持通用汽车Linux现场专家服务大规模Linux自动化运维平台开发故障排查，应急响应，运维支持大众汽车Linux现场专家服务故障排查，应急响应，运维支持上汽Linux现场专家服务HPC高性能计算集群故障排查，应急响应，运维支持中远集装箱Linux现场专家服务大规模Linux自动化运维平台开发故障排查，应急响应，运维支持议题互联网的开源架构简介金融行业的开源架构实践(案例分享)金融行业的应用场景与互联网行业的区别当前主要的主要的开源架构和基础技术金融行业适用的典型开源架构我们对于金融行业开源架构的进一步思考和研发开源及生态圈介绍开源技术引入的策略性思考1.互联网开源架构简介

核心业务平台软负载&配置中心:LVS/HAProxy/Tengine/Diamond消息中间件:MetaQ/RocketMQ,Notify服务框架:Dubbo分布式数据:

TDDL分布式日志跟踪:Tracer/EagleEye系统稳定性平台:CSP系统性能优化平台:未公布详细技术细节见阿里中间件团队官方网站/?p=335910年的系统架构进化互联网开源架构简介

核心系统平台互联网开源架构简介

核心数据平台GatewayServersOracle备库MySQL备库日志系统LogServerHadoop开发平台GatewayServersDBSync爬虫数据MapReduceJavaJobsStreamingJobsHiveJobsTimeTunnelDataX数据流向主站服务（淘宝，B2B，广告，搜索，BOSS）HbaseHbaseMysqlOracleDataXMyfoxLoaderLzLoaderOtherSystem数据产品Adhoc报表(淘数据，BusinessPreview)回流主站应用流式计算其它实时计算平台OLAPserver2.金融行业的开源实践中国银联贷款信息集中库（MySql）网销数据库（Oracle）电销数据库（Oracle）②②网销、电销通过调用公共服务，来维护双方共享的信息；网销、电销各自的，不需要共享的渠道数据，在各自的数据库维护；把所有公共模块，包装成公共服务，网，电不直接写集中库，而是通过调用公共服务来完成；网销电销客户中国平安保险集团

网销-电销融合项目业务架构①③贷款公共服务网销数据库:维护网销特有的，不需要在网电间共享的数据:如网络活动信息等电销数据库：维护电销特有的，不需要在网电间共享的数据；如坐席信息等；贷款信息集中库:维护网、电需要共享贷款信息；包括：客户信息；申请单信息；客户贷款方案信息；处理进度信息；贷款信息等；坐席①③3.金融行业的应用场景与互联网行业的区别与互联网应用的主要差异规模：无需为单一应用建立大规模集群，且没有互联网应用类型的海量并发应用：数据库的架构设计需要和应用设计开发保持一致安全：高可用和数据安全是放在第一位的团队：没有独立的开源软件核心定制开发团队运维：严格的运维和监管要求值得参考和借鉴互联网应用的地方重视结构化和非结构化数据的归集和价值挖掘性能优化的研究和实践分布式和横向扩展的架构的实践自动化运维监控的实践需要警惕和注意的拿来主义不可取，代价高，风险大开发到运维的应用交付要统筹考虑，避免脱节规范的缺失导致开源技术引入入口失守虚拟化操作系统高可用保护层数据库/数据处理层中间件业务逻辑层Web接入和展现层负载均衡层服务器/存储/网络VMWareAIX,HPUXPartitionVeritasVCS,IBMHACMP,HPMC/SGOracleDB,IBMDB2Teradata,EMCGreenplumOracleWeblogicIBMWebsphere,iLogOracleIAS,IBMIHS,MSIISF5服务器/存储/网络RHEV/OVMRedHat/OracleLinuxRHCS,Heartbeat,KeepalivedPacemaker,Corosync,DRBDPostgres,MySQL,MongoDB,Hadoop/HBase/HiveJBoss,Tomcat,BRMS,JBPMApache/Nginx/TengineLVS,HAProxy,Nginx服务器/存储/网络数据存储和管理VeritasStorageFoundationXFS,GFS,GlusterFS,HDFS典型的IT架构常见的闭源实现架构主流企业级开源架构CobblerPuppetMcoLogstashKibanaNagiosZenOSSZabbixBMCPatrolHPOpenViewIBMTivoli4.主要的开源架构和基础技术–演进RHEV/OVMRedHat/OracleLinuxRHCS,Heartbeat,KeepalivedPacemaker,Corosync,DRBDMySQL,Postgres,MongoDB,Hadoop/HBase/HiveJBoss,Tomcat,BRMS,JBPMApache/Nginx/TengineLVS,HAProxy,Nginx服务器/存储/网络XFS,GFS,GlusterFS,HDFS企业级开源架构方案CobblerPuppetMcoLogstashKibanaNagiosZenOSSZabbix高性能，高可靠性Web平台解决方案OSI4/7层负载均衡集群高性能反向代理，动静分离开源中间件解决方案开源Java应用服务器开源工作流引擎，规则引擎开源数据库，数据库集群解决方案开源大数据处理解决方案开源HA高可用集群解决方案开源集群存储，弹性分布式存储解决方案开源虚拟化解决方案开源自动化运维管理方案开源架构咨询和规划服务开源架构专家实施服务开源系统运维支持服务我们的开源解决方案和服务金融行业电信行业制造行业主要的开源架构和基础技术–方案化虚拟化操作系统高可用保护层数据库/数据处理层中间件业务逻辑层Web接入和展现层负载均衡层服务器/存储/网络VMWare生产环境Oracle/DB2核心生产服务器/存储/网络KVM开发测试环境RHCS,Heartbeat,KeepalivedPacemaker,CorosyncMySQL/Hadoop核心外围JBoss,Tomcat,BRMS,JBPM，SolrApache/Nginx/TengineLVS,HAProxy,Nginx数据存储和管理RedHatEnterpriseLinux典型的IT架构CobblerPuppetMcoLogstashKibanaNagiosZenOSSZabbixBMCPatrolHPOpenViewIBMTivoli5.金融行业适用的典型开源架构XFS,GFS,GlusterFS,HDFS6.我们对金融行业开源架构的进一步探索和研发计算资源池数据库资源池中间件资源池虚拟机VMWare/KVM/XENIaaSOpenstack/Cloudstack轻量虚拟化cgroup/namespace/unifiedfsMySQLPostgreSQLMongoDBApache/NginxTomcatJBossHAProxy/LVSMemcachedRedis自动化部署集中配置管理集中日志分析集中监控告警资源的池化，

本质上是计物理资源的归集和调度自动化运维，本质上是规范的落地HadoopSolrElasticSearch三横一纵的开源运行/管理架构我们对金融行业开源架构的进一步探索和研发计算资源池资源的池化，

本质上是物理资源的归集和调度自动化运维管理数据库资源池中间件资源池应用负载自动化部署集中配置管理集中日志分析集中监控告警资源池管理应用负载均衡

资源池调度算法实例生命周期管理实例高可用控制资源池资源回收MW实例DB实例OS实例12341234应用申请池内资源资源池调度资源，创建实例自动化部署和配置推送(监控)应用开始使用资源三横一纵的开源运行/管理架构–应用视角

7.开源及生态圈介绍-什么是开源软件在软件开发和分发的过程中，提交最终软件产品的同时，全部公开和分发该软件的源代码，并允许其它个人或组织对该软件的源代码进行修改或再分发的软件开发和传播模式。开源软件的开发和传播过程，依据开源许可证协议作为法律基础。根据开源许可证的限制范围和强度的不同，同时存在多种开源许可证供软件作者方选择。开源不等于免费,软件本身仍旧可以进行销售，只不过在销售的过程中，必须同时开放该软件的源代码或提供获取源代码的途径。商业开源软件，可以100%开源，也可以部分开源，部分闭源，但是闭源代码和开源代码的接口部分代码必须开放。开源软件基金会及其合作伙伴（商业开源公司）在统一的法律框架下，维护整个开源软件的游戏和运行规则。开源的发展脉络

回顾几乎所有Unix系统都开源Unix上绝大多数的软件都开源1976年前比尔盖茨宣布微软基于许可证的收费模式1976年2月3日RichardStallman建立GNU和自由软件基金会1984年商业软件公司普遍采用微软的基于许可证的收费模式互联网和互联网经济崛起开源软件被大量使用1995-2000传统用户在周边系统上尝试开源软件WEB门户类应用率先部署开源技术互联网公司开始进化到云计算模式(商业模式和技术平台)2003–2005传统用户周边系统规模化使用开源软件，部分用户开始在重要平台上尝试开源软件(军工，金融交易所)互联网公司大规模进入云计算和大数据应用阶段2006年–2013传统用户业务模式发生变化，电商化和互联网化业务产生，开源云计算和大数据技术引入互联网公司业务拓展进入传统行业2013

–未来5年?Openstack主流社区(Upstream)Fedora主流社区(Upstream)Linux内核主流社区(Upstream)开源软件是如何生产和流通的(生态圈)顶级开源软件基金会Linux基金会,自由软件基金会,Apache基金会,OpenStack基金会商业开源公司

打包发行，提供商业服务RedHat,SuSE,Oracle,Cloudera,Intel,MongoDB….权威合法组织政府接口中心财/才资源中心法律，规范中心厂商接口中心委员会形式管理代码审核权控制代码递交权控制成熟的全球化联合开发协作模式核心开发成员由对口基金会聘用最终用户个人开发者开源开发小团体商业公司如IBM,Intel,Oracle,RedHat,Cisco互联网如Facebook,Twitter阿里巴巴，网易策略影响资源赞助规则维护代码递交参与社区重要人事管理资源提供法律支持提供社区版代码库提供代码修订意见开发社区活动产品打包和商业发布增强企业特性提供产品