中国航信奥运信息保障

中国航信奥运信息保障

汇报内容业务概述奥运平安理念技术保障运行监控灾难恢复应急管理平安管理核心业务系统代理人客户航空公司客户航班查询订座记录CRS(ComputerReservationSystem)航班配载离港值机电子客票旅游产品航班管理座位控制收益管理航空联盟DCS(DepartureControlSystem)代理人系统离港系统航空公司系统机场客户ICS(InventoryControlSystem)其它业务支持系统航空公司系统数据仓库电子客票系统忠实客户系统收益管理系统国内运价系统备份系统

非航空产品商周边系统建设最终客户旅游系统租车系统国外GDS国外ICS旅馆系统信息提供系统天气信息目的地信息签证支付系统旅游代理人公司客户ExtranetUniscopeInternet分销系统DCPIntranet航空产品商电子商务平台CAMUCZ其它旅游代理人e境外代理人e境外代理人商务数据网络规模76个国内网络节点300多个国内城市80多个国际城市16家国内航空公司28家地区及海外航空公司超过4,700家航空旅游代理140个机场支持中国航信的商业效劳规模高度灵活、可靠直接联接SITA核心系统处理能力系统07春节07五一07十一08春节08五一08奥运ICS866911987~11051230~13771294~14481812~2027CRS143415001530~16491836~19791920~20702688~2898DCS251262315~329361~377377~393528~550订座系统2006年旅客处理量1.6亿；目前离港系统每天处理5千多个航班，处理旅客量运输顶峰期每天约60万人次。系统现状开放平台拥有312个高、中、低端生产、测试、开发效劳器分区〔包含UNIX平台和NT平台〕。主要业务包含：电子客票〔含行程单〕、运价、CUSS、OPENTKT、OPENPNR以及数据效劳等。除上述业务之外，开放平台还有包括：网上航班销售查询系统〔WEBAV〕、常客里程银行〔MBANK〕、旅店系统(HOTEL〕、油料管理系统〔FUEL〕、行李分拣〔CBI〕、黑名单系统、离港信息查询〔ADPIS〕等等。开放平台业务系统现状2007年前三季度平安生产统计数据2007年生产安全指标评价指标实际故障停机时间（分钟）可利用率CRS系统故障停机时间42.36799.9892ICS系统故障停机时间0.000100.0000DCS系统故障停机时间1.76799.9996运价系统（FARE）故障时间37.85099.9904电子客票系统（ET）故障时间39.00099.9901电子客票行程单系统（ET-IV）故障时间0.000100.0000开放平台网络原因导致故障总时间3.00099.9992核心网络0.03099.9999接入网络3.74099.9990离港E-TERM系统0.47399.9999订座E-TERM系统2.38099.9994汇报内容业务概述奥运平安理念技术保障运行监控灾难恢复应急管理平安管理“奥运〞保障总体目标&总体思路确保订座、离港系统无故障运行；流程职责清晰，应急机制有效，在出现故障后迅速恢复；建立横向联动机制，做到旅客不滞留，社会秩序不受影响。平安保障工作总体思路工作重点突出;系统运行稳定;备份资源冗余;前端应急有效;联动机制畅通;组织保障有力;系统运行保障技术方面：重点保障离港系统的无故障运行，构建同机房、同城、前端备份的离港三级备份体系；构建与核心业务相关的开放平台同机房、同城备份体系；构建订座系统同机房、同城二级备份体系；构建层次化、全冗余、多路由的网络系统。管理方面：建立健全奥运保障组织机构，组织协调奥运保障各项工作的顺利进行；建立应急机制和联动机制，应对各种紧急情况；组织多层次演练，保证应急预案有效执行，在出现重大故障时迅速恢复正常生产秩序；组织完成奥运前信息平安系统的审计和认证工作。应急演练方案机房电源从双路市电切换到柴油机供电的模拟演练，一季度一次；三大主机系统三里屯机房数据级实时备份模拟切换演练，每2个月一次；离港热备份系统建立后进行主机系统切换演练；重要的开放平台业务系统具备本机房设备级的冷备或热备条件，在每次重保之前进行实际切换演练。与每一个负责的机场签订应急协议。协议包括应急预案、应急演练方案以及主动切换到NewAPP的演练方案。保证在因离港主机故障以及核心网故障造成系统不能使用时间5分钟之内启动应急预案。NewAPP应急演练每个机场每季度一次。主动切换到NewAPP系统的航班：排名前10的机场每周2班；排名10－20的机场以及其它奥运主降与备降机场每周平均1.5班；其它机场每周1班。汇报内容业务概述奥运平安理念技术保障运行监控灾难恢复应急管理平安管理技术保障路由器中间件中间件磁盘阵列磁盘阵列CICOSYSTEMSCSCOYSTEMS光纤S/W光纤S/WCSCOSYTMSCSCOSYSTEMSS/WS/W数据库服务器数据库服务器备份机值机岛控制控制登机登机值机值机值机值机值机岛登机口控制室机场局域网下载服务器主机离港远程灾难备份SRDF航信东四主机房航信三里屯机房机场路由器其它路由器DDN传输网络NewAPP机场本地备份本地服务器采用双机热备份，发生故障时启动备机切换预案本地服务器不可恢复故障，启动Eterm终端办理预案，机场局域网故障采用手工办理预案东四机房灾难性故障时，启动业务可持续性紧急预案电信故障：1.传输网迂回路由预案；2.备份线路拨号预案；3.机场NewAPP预案机房内通讯前端故障：

1采用热备启动预案；

2.机场NewAPP预案离港主机故障：

1采用热备启动预案；

2.机场NewAPP预案主机离港同机房双机热备份主机系统可靠性策略东四机房三里屯机房CRSHA12CPUICSHA12CPUDCSHA8CPUDorado280-ACRSHB12CPUICSHB12CPUDCSHB8CPUDorado280-BCRSHC12CPUICSHC8CPUDorado380-A12CPUDBSRDF/ADB热备份CRSHB12CPUICSHB12CPUDCSHB8CPUDorado280–C(upd)CRSHC12CPUICSHC8CPUDorado380-B12CPU热备份预投产测试8CPUIX6800测试系统8CPUIX5800研发系统8CPUIX4800在全国前50家机场部署完成NewAPP备份示意图数据平安－冗余与备份多重的数据保护所有USERTIP数据库文件是双LEG或UNITDUPLEX；所有系统文件及应用程序文件磁盘是UNITDUPLEX；所有磁盘有镜像备份。每日磁带备份数据库数据每日备份三次，数据覆盖周期为30天；程序文件及其它数据文件每日备份一次，数据覆盖周期60天；AUDIT数据保存周期为180天；HISTORY数据保存周期为5年以上。运行系统等级保护资源配置要求核心业务系统重要业务系统一般业务系统生产系统资源配置可靠性要求负载均衡或HA架构HA或ACTIVE/STANDBY架构ACTIVE/STANDBY架构稳定性要求物理独立的运行环境逻辑独立的运行环境共享运行环境性能要求平常>40%CPUIDLE

高峰>20%CPUIDLE

po/fr<1/6

I/OWAIT<10%平常>35%CPUIDLE

高峰>20%CPUIDLE

po/fr<1/6

I/OWAIT<15%平常>30%CPUIDLE

高峰>20%CPUIDLE

po/fr<1/6

I/OWAIT<20%监控要求监控扫描频率<3分钟监控扫描频率<5分钟监控扫描频率<10分钟PM维护频度每季度一次每季度一次每半年一次应急处理要求5分钟内采取应急处理10分钟内采取应急处理20分钟内采取应急处理开发系统资源配置物理独立的运行环境逻辑独立的运行环境共享运行环境测试系统资源配置功能测试：物理独立的运行环境

压力测试：高优先级预定功能测试：共享运行环境，用户独立

压力测试：较高优先级预定功能测试：共享运行环境，用户独立

压力测试：低优先级预定备份系统资源配置本地磁带备份异地灾难备份系统本地磁带备份本地磁带备份人力资源配置至少两名业务代表

每名业务代表至少具备3年以上维护经验至少两名业务代表

每名业务代表至少具备2年以上维护经验至少两名业务代表

每名业务代表至少具备1年以上维护经验网络运行管理消除网络的单故障点，提供高可靠性运行环境迂回路由多种线路备份方式ISDNVPN模拟拨号采用主备机采用负载均衡技术业务应用特点大主机集中式处理实时交易对时延敏感对策多运营商网络资源网通电信联通多Internet出口采用冗余线路网络平安核心平安2004年7月网络平安工程进入实质阶段实现“两网〞别离建立和完善网络身份认证系统实现对远程VPN访问的强身份认证部署防病毒系统和补丁系统Internet出口部署防病毒过滤系统节点平安2005年初，对北京、上海、广州的重点机场重新进行网络平安设计和建设。将机场离港系统与当地办公系统、其他企业网、INTERNET出口进行合理划分并适当部署平安策略，确保机场生产系统的平安。两地机房互为备份4/76/413/1PEK-6509-SLT210M光纤备份VLAN30VLAN31PEK-6509-DS06/15/6VLAN29PEK-6509–DS1PEK-6509-SLT14/13/54/25/25/615540-115540-315540-215540-4东四、三里屯两个机房IP数据：通过裸光纤互联〔DWDM〕，四根裸光纤分别连接两套DWDM设备，互为备份，自动切换〔附图1〕非IP数据〔LANA&LANB〕：通过四条512KDDN互联；DWDM预留3个波通道作为这四条线路的备份；手动切换〔附图2〕“两网〞别离核心网办公网接入网东四三里屯两网内部采用动态路由协议核心资源网：EIGRP接入网：OSPF和EIGRP并存两网之间的互联采用负载均衡技术平安策略两网之间实施静态路由路由控制防火墙互联实现策略控制核心资源网与接入网之间通过静态路由互联实现通过防火墙对重要区域进行隔离保护主机前端区开放效劳器区节点网络节点线路及备份骨干节点2M带宽的SDH其他节点64K以上带宽的DDN多数节点采用ISDN备份局部节点采用IP-VPN备份少数采用线拨号备份节点路由及备份节点划分为骨干节点和下联二级节点全国10大骨干节点下联节点订座节点28个，离港节点48个ospfarea0成都ospf150西安ospf172沈阳ospf35厦门ospf112广州ospf123深圳ospf128昆明ospf162首都机场ospf255上海ospf96北京EIGRP在全国各节点生产接入路由器、互联防火墙上部署访问控制策略限制节点未经授权的应用接入防御病毒的入侵。机房环境冗余供电两机房均采用双路电网供电，高压电源互为热备份；高压供电设备采用ABB产品；低压供电设备采用德国产品；三里屯场地供电容量为2000KVA；东四场地供电容量为6000KVA。UPS不间断电源〔UPS〕支持保护系统的容量为800KVA，采用四机并联运行方式，到达了设备级全冗余；UPS蓄电池组可以保障在供电中断后，继续向计算机系统供电15分钟；UPS配备远程集中监控系统，由专业人员进行7*24*365监控；电池组那么配置实时测量装置，确保电池始终处于良好效劳状态。柴油机柴油发电机组，具有8小时的储藏油量，UPS电源中断后，柴油发电机系统在15秒内进行响应；三里屯场地两台柴油机发电量为573KW；东四场地两台柴油机发电量为800KW的柴油发电机；通过计算机监控系统对所有供配电设备进行7*24小时的实时监控。消防报警系统机房地板天花板均安置了温感、烟感探测器及红外探头，能自动发出报警信息并自动启动灭火装置；效劳器、主机具有独立消防报警系统；选用美国KIDDEFM200气体灭火系统，能在数秒钟内扑灭火灾，无剩余物，无二次危害，不会对计算机设备造成损害；四个消防分区相互独立，防火隔断确保火灾不会蔓延。汇报内容业务概述奥运平安理念技术保障运行监控灾难恢复应急管理平安管理主机平台自动监控SPO〔SinglePointOperations〕工具UNISYS平台广泛使用的集中监控平台，C/S架构；为提高操作员的工作效率，目前所有的主机系统均连入SPO，一线操作人员在一台显示器上就可以监视所有系统的运行情况。AMS〔AutomationMessageSystem〕信息自动应答系统，用于对主机系统Console出现的各类信息进行自动处理；专人负责AMS工作的审查、监督及确认工作，以及AMS程序的测试、实现和生效工作；通过AMS的使用大幅提高了信息响应速度、减少了人为失误的可能。开放平台自动监控UNI-CENTER监控SIGHTLINE-WEB监控网络运行监管网络管理系统组成：采用IBMTivoli的NetView平台Ciscoworks2000：监控思科设备RouterExplorer：检查路由状况NTG：监控广域网流量报表工具：brio监控全网网络设备，包括所有思科的路由器、交换机、局部北电设备、Fortinet防火墙分布式网管：十个分中心，其中，上海、广州的设备部署到当地机房平安管理系统采用Arcsigh台收集、分析平安事件收集的事件种类：多种防火墙日志、防病毒报警、VPN日志、ACS认证信息、ACE认证信息后台进行关联分析开放平台监督系统采用NetIQ平台监控Windows效劳器通过管理效劳器的console台查看所有的数据信息和报警，以及加载的监控任务实现自动报警SNMP信息转发到网管平台其它监管工具在关键点部署Sniffer进行实时监控和troubleshooting平安扫描工具ISSInternetScanner：对于生产的开放系统，每个季度扫描一次绿盟扫描器：针对办公桌面系统环境自动监控温度、湿度监控UPS监控动力系统监控汇报内容业务概述奥运平安理念技术保障运行监控灾难恢复应急管理平安管理灾难恢复－主机SRDF示意图应对灾难：应对东四机房长时间断电、火灾等机房级故障。技术原理：基于EMC公司磁盘SRDF技术。数据以实时或准实时方式进行传输。为提高资源利用率，三里屯备份资源平时被复用为测试、研发资源。所需时间：灾备系统启动指令下达后1小时内。生产系统DBLeg1DBLeg2BackupDBSRDF备份系统DB东四机房三里屯机房数据平安－灾难恢复中国航信的灾备根底设施主要包括如下5个局部：6套UNISYS大型主机6台光纤交换机16台企业级磁盘阵列4台DWDM，16个波通道EMCSRDF软件实施了SRDF备份，可以确保生产数据无丧失，即：RPO〔RecoveryPointObject〕=0;一旦出现数据中心级的灾难，备份系统可以在1小时左右恢复业务效劳，即：RTO〔RecoveryTimeObject〕<1h。每周两次的磁带数据运送；即将完成建造东四与三里屯机房间双向的远程磁带机连接。直接将数据备份到异地机房。每年针对3个生产系统共组织6次模拟切换演练。所有演练过程均电子存档；通过模拟演练结果及时调整灾备流程。开放平台灾难备份方案示意图建立东四到三里屯之间基于SRDF的备份架构；东四机房出现灾难时，电子客票、运价等核心系统可以立即启动业务连续性方案。汇报内容业务概述奥运平安理念技术保障运行监控灾难恢复应急管理平安管理应急管理2007年发布公司总体应急预案－?中国民航信息网络股份应急管理体系?明确了应急管理工作的各责任部门与领导，明确了应急通报与应急指挥流程。明确了应急管理的内控管理程序制订了公司级、部门级应急管理预案共建立、健全专项应急预案131项9689125运行部网络部客户服务部研发部电子商务部应急预案的演练制定了年度应急预案演练方案，全年预计开展应急演练工作222次从4月开始截止到11月底，公司〔不含分支机构〕已经开展了102次应急演练工作〔包括：灾备系统切换演练、油机启动演练、备份线路切换演练、备机切换演练等大型演练工程〕各分支机构配合机场积极开展NewAPP演练制定了NewAPP应急流程以及应急演练流程，并上报了民航总局；落实各机场NewAPP演练和启动责任；向负责离港前端系统本地效劳的公司各分支机构下达了离港前端备份系统应急演练指标截止到11月底，公司已有22家分支机构协助35家机场开展了63次大规模应急演练，约1132个航班主动切转到备份系统进行了操作演练。横向联动机制中国航信与优利、EMC、IBM、SUN、CISCO等厂家均有较好的合作关系；与中国电信、网通、联通电信提供商都有各种保障协议；配合HPSERVICEDESK软件，对效劳商在工程实施过程中或故障解决过程中的表现予以评价和打分，作为实施效劳商管理的根本依据;2007年6月对MA的情况进行专项平安审计；6月份与中国电信配合进行了应急演练奥运期间的应急规划建立奥运应急指挥的通报体系。包括：内部通报以及对民航局的外部通报；建立横向联动机制：与电信部门的公保协议；提供商：UNISYS、IBM、HP、SUN、EMC等MA;公安部门的防侵入、防病毒；奥运会的值班保障机制；建立所有应急相关人员的联络机制；组织应急预案的最后演练；完成奥运保障的内部审计、外部审计。汇报内容业务概述奥运平安理念技术保障运行监控灾难恢复应急管理平安管理平安管理体系—?信息平安管理体系?总体方针目标与原那么平安组织体系公司平安生产组织架构平安生产职责平安策略数据平安、网络平安、应用平安物理平安、应急恢复、人员平安病毒防护、系统平安平安管理制度平安策略数据平安策略：维护业务数据，实现信息系统关键业务数据的机密性、完整性和可用性保护病毒防护策略：建立防病毒体系，实现信息系统的完整性和可用性保护应急恢复策略：建立应急预案、快速处置措施和通报机制实现对平安事件的快速响应和恢复，尽可能少的降低客户损失。帐号口令策略：从口令管理角度建立信息系统根本口令平安保障体系。平安教育策略：提高普通员工的平安意识和平安防范能力；提高管理员的平安技术水平和平安事件处理能力。平安审计策略：监督平安标准落实情况，及时发现平安策略、平安制度以及其他管理流程、文档的的缺陷；及时的发现平安漏洞、入侵事件；监督管理员等岗位行为，提高员工平安生产意识。系统开发策略：通过在系统开发过程中严格执行制定的规定来实现对业务应用系统的平安开发和平安使用。工程建设必须同步考虑信息平安防护措施和进行平安评估。第三方平安策略：从第三方角度建立中航信信息系统的根本第三方平安保障体系。管理制度流程贯穿整个系统维护工作，几乎所有日常维护工作都有技术文档或管理流程；以ISO9001－2000标准建立流程维护体系，流程的建立、修改、废止等都有严格的流程控制；通过网站等方式，标准工作行为，加强管理力度；通过每年两次定期考核的方式，强化维护人员对流程的认识程度。事件、问题、变更管理遵照ITIL理念进行突发事件管理、问题管理及变更管理。使用HPServiceDesk软件产品为根底平台，以自主开发的管理