一卡通平台系统应急预案

1、一卡通平台系统应急预案深圳数智国兴信息科技有限公司一卡通技术部2016-01-13修订历史记录版本日期AMD修订者说明2016-01-13AM刘运亚2016-01-15AM刘运亚（A-添加，M-修改，D-删除）目录总则5,编写目的5.适用范围6.编写人员62 .应急处理流程6.原则6.触发条件6.实施流程7.职责分工73 .系统描述11.物理拓扑图11.设备列表11.系统软件安装/部署12.应用软件安装/部署12.数据库安装部署13安装Windows200813用光盘启动系统13安装Windows200813安装数据库14加载系统数据库14启动操作144 .WEB服务器安装部署14.安装Win

2、dows200814,安装TOMCAT14.WEB应用安装部署15.启动操作155 .应用服务器安装部署15安装Windows200815.安装15.应用的安装部署15.启动操作156 .文件服务器安装部署16.安装Windows200816.安装16.应用的安装部署16.启动操作16.关联系统16.数据库备份17数据备份177 .应急详细技术方案18.故障判断18故障判断流程18流程说明18.单点服务器故障19故障类型119故障类型219数据库损坏或者服务器系统崩溃19.数据库软件20.磁盘阵列21配置信息恢复21文件系统数据恢复21.服务器硬件21.系统软件22.网络设备22.电源设备22

3、8 .系统恢复确认23.主机系统检查23.应用程序检查239 .附件一、备份操作步骤23.数据库备份23逻辑备份23物理备份24.数据库备份数据恢复24总则1.1. 编写目的本文的编写目的是为各个用户的应急处理提供操作指导，确保在系统异常时，可以有序的实施恢复操作，及时恢复业务1.2. 适用范围适用系统：一卡通系统适用对象：各个用户系统管理员、维护支撑人员以及其他管理人员。1.3. 编写人员一、一卡通系统应急预案编写工作小组人员名单：刘运亚2 .应急处理流程2.1. 原则支撑系统应急处理遵循“先疏通，后抢修”的原则，在较短时间内尽可能恢复业务，减少业务受影响的范围，缩短业务受阻的历时：1 .确

4、保网络安全，最大限度地预防业务中断，防止业务性能下降扩散。2 .应急处理尽量简单、明了，尽量优先恢复业务，保证网络效益最大化。3 .业务应急按照不同业务类别实施不同的应急策略，优先满足面向客户的业务恢复。2.2. 触发条件同时具备以下条件的时候，经省移动公司批准后启用应急处理流程:1 .是否开启应急处理流程；2,判断100分钟内无法排除;3 .严重影响业务；2.3. 实施流程2.4. 职责分工角色职责描述部门姓名联系电话备注(*)协调部门1、向用户解释系统状况；2、协调相关部门协同处理移动运维部门分公司监控中心上级领导1、向省公司或分公司移动运维部门领导汇报故障处理进度；2、部门间沟通协调。3

5、、决定是否启用应急环境。故障协调人员1、组织维护人员分工协作；2、向上级领导汇报进度；移动运维部门故障处理人员1、判断故障移动运维部门点；2、提出并实施解决方案或应急措施；3、系统恢复后检查系统状况；4、编写故障分析报告。厂家支撑1、协助平台供应商报障电400-6809856人员判断故话障点，可电话技术支持，必要时必须赶到现场处理故障；2、按维保合同提供必要的备件；3、协助分析故障原因并协助整改。业务配合1、执行市场部彭波发人员业务应技术支持中心刘运亚急措施，向用户解释系统状况；研发中心杨杰2、系统恢复后检查应用系统状况。3 .系统描述3.1. 物理拓扑图3.2. 设备列表设备名称操作系统用途

6、仔列号IP地址ykt_SDJN-YPT-YKT-03LinuxSUSE生产环境NFC数据库1ykt_SDJN-YPT-YKT-06WindowsServer2008R2生产环境数据采集服务器2ykt_SDJN-YPT-YKT-05WindowsServer2008R2生产环境数据访问节点生产环境NFCWEB应用入口3ykt_SDJN-YPT-YKT-04WindowsServer2008R2生产环境数据访问节点生产环境数据库服务器4ykt_SDJN-YPT-YKT-01WindowsServer2008R2生产环境WE眩用入口3.3. 系统软件安装/部署设备名称安装软件作用数据库服务器SQLS

7、erver2012应用服务器OneCardReport项目一卡通云平台和报表项目MyRest、cloudweb项目一卡通云平台后台程序与BOS堂口程序MyRest、cloudwebsmartcar项目为APP后台接口程序3.4. 应用软件安装/部署注意：apk需放在smartcardappspkgs目录下1 .把项目源代码导入（选Jiimport）Eclipse开发工具。2 .根据部署的服务器修改对应项目的配置文件card项目：修改src/文件修改resturl值，把IP地址修改成Web服务器的路径示例：:8080/MyRest/（只需要修改IP地址和端口号）修改reporturl值，把IP地

8、址修改成Web服务器的路径示例：:8080修改url值修改成数据库平台库的库名，与数据库服务器的IP修改username值：数据库对应的登陆账户名修改password值：数据库对应的密码OneCardReport项目：报表项目。在Webroot/reports/目录下，每张报表有单独的数据集，需要填写数据库对应的地址.与账户密码.密码采用BASE64力口密。示例：<propertyname="odaURL"></property><propertyname="odaUser">sa</property>&l

9、t;encrypted-propertyname="odaPassword”encryptionID="base64">SEYzZ3hyWTk</encrypted-property>cloudweb项目：修改src/main/conf/props/修改值（对应的数据IP地址与库名端口号）修改值（对应的数据库登录名）修改（数据库对应的密码）3,把修改好的项目源代码导出成War包4 .把相应War包解压到服务器Tomcat下的webapps目录下,启动Tomcat,完成部署。5,完成部署后输入正确的IP地址加上端口号与项目名可以访问项目示例：3.5

10、. 数据库安装部署1.1 安装Windows20081.1.1 用光盘启动系统重新启动系统并把光驱设为第一启动盘，保存设置并重启。将2003安装光盘放入光驱，重新启动电脑。刚启动时，当出现如下图1所示时快速按下回车键，否则不能启动2003系统安装。1.1.2 安装Windows2008光盘自启动后，如无意外即可见到安装界面从光盘读取启动信息，很快出现如下图所示。全中文提示，“要现在安装Windows,请按ENTER,按回车键。许可协议，这里没有选择的余地，按“F8”。这里用“向下或向上”方向键选择安装系统所用的分区，这里准备用C盘安装2003,并准备在下面的过程中格式化C盘。选择好分区后按“E

11、nter”键回车，安装程序将检查C盘的空间和C盘现有的操作系统。下图表示安装程序检测到C盘已经有操作系统存在，提出警告信息。如果你选择安装系统的分区是空的。在这里我坚持用C盘安装系统，根据提示，按下键盘上的"C'键后出现如下图所示。下图最下方提供了5个对所选分区进行操作的选项，其中“保存现有文件系统（无变化）”的选项不含格式化分区操作，其它都会有对分区进行格式化的操作。这里，我用“上移”箭头键选择“用NTFSt件系统格式化磁盘分区”格式化C分区完成后，创建要复制的文件列表，跟接着开始复制系统文件随后的操作按照系统操作步骤一步步进行即可完成WindowsServer2003的安

12、装。1.2 安装数据库平台数据库为SQLSERVER2008R2,安装图解如下：1.3 加载系统数据库(1) 首先建立数据库。用Sa用户登录后，在数据库，新建数据库中建立OCard_HZ_Basea据库。(2) 建立sdykt用户打开MicrosoftSQLServerManagementStudio,在安全性-用户名中创建sdykt用户，访问密码设为abcd,并把该用户设为sdykt数据库的用户。(3) 导入OCard_HZ_Base系统数据库在OCard_HZ_Base数据库上右键任务还原数据库上操作，将导入到数据库中。1.4 启动操作在系统找到相应的服务启动：4.WEES艮务器安装部署4

13、.1. 安装Windows20084.2. 安装4.3. 安装TOMCATTomcat的安装过程如下4.4. WEB应用安装部署(1) 将程序打包的文件复制到tomcat安装路径的webapps目录下，(2) 解压后配置访问端口，编码，内存范围已经数据库连接地址(3) 在tomcat安装目录的conf目录下配置端口访问控制参数4.5. 启动操作在tomcat安装目录的bin目录下找到，双击打开启动tomcat,然后再浏览器中输入ip+端口+项目名访问.5.应用服务器安装部署1.5安装Windows20081.1. 安装1.2. 应用的安装部署(1) 将应用的安装文件复制到tomcat安装目录的

14、webapps下，然后解压。(2) 配置好访问端口和数据库连接。1.3. 启动操作在tomcat安装目录的bin目录下找到，双击打开启动tomcat,然后再浏览器中输入ip+端口+项目名访问6 .文件服务器安装部署6.1. 安装Windows20086.2. 安装6.3. 应用的安装部署(1) 在tomcat安装目录下的webapps文件夹下新建文件夹upload(2) 设置文件夹upload的读写权限，然后再里面建分类文件6.4. 启动操作在tomcat安装目录的bin目录下找到，双击打开启动tomcat,然后再浏览器中输入ip+端口+项目名访问.6.5. 关联系统系统名称关联业务故障对系统

15、的影响一卡通会议签到系统业务开通如果不能访问平台，会议签系统仍然可以应用，当能再次连接平台时数据重新同步。一卡通考勤管理系统业务开通如果不能访问平台，考勤系统仍然可以应用，当能再次连接平台时数据重新同步。一卡通门禁管理系统业务开通如果不能访问平台，门禁系统仍然可以应用，当能再次连接平台时数据重新同步。一卡通消费系统业务开通如果不能访问平台，消费系统到仍然可以应用，当能再次连接平台时数据重新同步。6.6. 数据库备份6.6.1. 数据备份设备名称备份内平台数据库容备份方数据库软件自动备份法备份周每天备份期及时9:30分间点14:30分21:30分00:15分备份介质保存期9:30、14:30、2

16、1.:30f限00:15三个月7 .应急详细技术方案7.1. 故障判断7.1.1. 故障判断流程7.1.2. 流程说明1） 故障发生和现象描述：a）软件或硬件导致宕机，如：数据库、磁盘不可访问、主机不能正常运行、网络不正常、电源掉电、运行温湿度等环境条件超标等b）操作系统CPU占用率大于95懈严重影响业务超过30分钟c）操作系统内存消耗超过95嘛严重影响业务超过30分钟d）操作系统I/O等待率大于50懈严重影响业务超过30分钟e）磁盘使用率达到100%f）应用程序运行异常，导致业务系统不可用g）系统双击工作异常，严重影响业务处理h）业务处理性能比平时慢50%Z上且持续一段时间2） 网络和服务器

17、可用行检查：包括PINGTELNET佥查等3） 数据库可用行检查：包括SQLPLU防问、表空间、数据库死锁、等待事件、数据库日志查看等4） 服务器系统资源使用情况检查：包括CPU内存、磁盘空间、系统I/O的使用率和系统日志查看等5） 应用程序健康性检查：包括服务CORE服务排队、服务挂死、域间通讯检查和程序运维日志查看等6） 检查的顺序建议按照网络、系统、数据库、中间件和应用日志的顺序进行检查，可以根据故障现象进行实际的调整7） 定位故障等级包括单点故障、多点故障、其他故障8） 需要应急处理的故障如下：故障序号故障现象描述故障等级处理办法备注1如果平台上面设备最舟-次通讯时间与现实时间相差5分

18、钟以上，或者大批量通讯异常单点故障参昭输入平台网址无法显示登陆界面或者显示404单点故障参昭登陆网址到登陆界面输入正确的用户账号密码无反应单点故障参昭数据库服务器不能正常使用，或者该服务器系统崩溃无法正常开机运行多点故障参昭八、7.2. 单点服务器故障7.2.1. 故障类型17.2.2. 故障类型27.2.3. 故障类型3“数据库备份数据恢复”恢复数据库7.2.4. 数据库损坏或者服务器系统崩溃如果出现数据库损坏或者数据库服务器系统崩溃，无法开机正常运行。可以在备用服务器上面参照“应用软件安装/部署”重新部署该项目，并且按照“数据库备份数据恢复”恢复数据库7.3. 数据库软件数据库出现紧急故障

19、乃至数据丢失、数据库不可用时，主要通过逻辑恢复和物理恢复两种方式来完成。在执行恢复操作时，一般建议联系集成商和ORACLE、助进行实施。第一种情况：【故障现象】：归档日志目录满的情况。【解决办法】：先将归档日志临时移至其他目录，然后做备份处理：Mv数据库目录log_1*备份数据库目录启动NBU&份软件进行归档日志备份。第二种情况：【故障现象】：单个表或部分表数据丢失的情况。【解决办法】：如果有近期的逻辑备份，可以考虑通过从逻辑备份中导出进行表恢复。但需要考虑恢复的时间点要求问题。第三种情况：【故障现象】：数据库无法打开等情况，采用RMAN4行恢复。【解决办法】：因为硬件原因或数据库内部

20、自身的原因，数据库无法打开，需要全库恢复，部分表空间数据损坏，可以考虑进行部分表空间的恢复。这个恢复操作主要通过调用rman脚本进行恢复。建议这个操作在其他设备上进行：1 .如果有另一套阵列设备环境，建议在新阵列环境上进行恢复。2 .按照原有的配置重新划分卷组、文件系统。3 .在操作系统上按照原有的配置重新划分diskgroup和lv。4 .调用rman脚本进行数据库恢复，需时约4-12小时。5 .如果没有阵列设备，直接在原来的环境上进行恢复。7.4. 磁盘阵列如磁盘阵列故障无法修复时，可使用最近备份进行恢复。7.4.1. 配置信息恢复阵列配置信息的恢复需要建立在原来信息备份的基础上。阵列配置信息的备份主要是记录配置参数。7.4.2. 文件系统数据恢复阵列的文件系统数据出现丢失时，可以使用最近的备份进行恢复。由于阵列的数据量大，目前我们一般都通过备份软件（DP或NBU采用磁带库进行数据备份。7.5. 服务器硬件第一种情况：【故障现象】：服务器硬盘损坏【解决办法】：尝试从镜像盘启动，同时按照维保的厂家报障流程进行报障处理。第二种情况：【故障现象】：其他部件损坏服务器硬件的故障，按照维保的厂家报障流程进行报障处理。7.6. 系统软件【故障现象】：linux系统配置文件丢失，无法正常启动。【解决办法】：采用系统备份带恢复操作系统。在磁带机中，