事故报告样例模板

事故报告事故–汉庭酒店上海浦江联航路店PMS无法使用事故时间:08/25/2014事故信息事故ID:2014082501简略描述：汉庭酒店上海浦江联航路门店反馈其PMS无法使用，简单确认只此一家店碰到故障。经检查发现PMS库多数表中均没有该酒店数据，后检查分库迁移配置表时发现，今天的PMS分库2迁移，多删除了1家酒店(汉庭酒店上海浦江联航路店)，原因是上周分库2的数据迁移线上演练时，漏删除了主PMS库中配置表与上海浦江联航路店相关的记录，而今天PMS分库2正常迁移后，删除的操作步骤(job,依赖于配置表)中除了删除正常迁移那家门店数据之外，一并删除了汉庭酒店上海浦江联航路店的数据，这个失误从而导致了故障。影响范围:仅汉庭酒店上海浦江联航路店PMS无法使用影响时长：844分钟解决办法：周波联系董雁在第3台服务器上还原PMS数据到2014-08-2516:55分。李斌准备从第3台服务器上恢复该门店数据的脚本，并在还原后负责实施。状状告之门店相关情况，让门店先使用应急报表进行业务，告之恢复预计3小时以上。恢复后联系状状进行门店回访及验证。发生时间:16:5608/25/2014解决时间:7:0008/26/2014参与人员：李斌、周波、董雁、肖飞、庹新林、张状状附：事故时间点回顾日期时间描述/事件/行动2014082517:15张状状接门店汉庭酒店上海浦江联航路店反馈其PMS无法使用，简单确认只此一家店碰到故障，并反馈此信息给肖飞和李斌。2014082517:20肖飞检查后发现该酒店楼层信息，房态信息，接待单信息等主要表数据均不存在。并让状状联系李斌检查是否和分库有关。2014082517:25李斌检查发现PMS库多数表中均没有该酒店数据，后检查分库迁移配置表时发现，今天的PMS分库2迁移，多删除了1家酒店(汉庭酒店上海浦江联航路店)，原因是上周分库2的数据迁移线上演练时，漏删除了主PMS库中配置表与上海浦江联航路店相关的记录，而今天PMS分库2正常迁移后，删除的操作步骤(job,依赖于配置表)中除了删除正常迁移那家门店数据之外，一并删除了汉庭酒店上海浦江联航路店的数据，这个失误从而导致了故障。2014082517:35肖飞、庹新林、李斌、周波、张状状讨论解决方案。1．周波联系董雁在第3台服务器上还原PMS数据到2014-08-2516:55分。2．李斌准备从第3台服务器上恢复该门店数据的脚本，并在还原后负责实施。3．状状告之门店相关情况，让门店先使用应急报表进行业务，告之恢复预计3小时以上。4．恢复后联系状状进行门店回访及验证。2014082518:04向马绍秋汇报事件相关情况。2014082518:30周波、董雁配合还原PMS数据。2014082606:00PMS数据还原到2014-08-2516:55分完成，历时11.5小时。2014082607:00李斌将汉庭酒店上海浦江联航路店数据成功恢复到2014-08-2516:55分，并回访该门店。2014082607:30李斌联系肖飞、潘明启一起配合该门店进行夜审，最终该门店成功夜审，PMS正常使用。根本原因分析事故ID:2014082501是否找到根本原因是根本原因分析原因是上周分库2的数据迁移线上演练时，漏删除了主PMS库中配置表与上海浦江联航路店相关的记录，而今天PMS分库2正常迁移后，删除的操作步骤(job,依赖于配置表)中除了删除正常迁移那家门店数据之外，一并删除了汉庭酒店上海浦江联航路店的数据，这个失误从而导致了故障。这是个操作失误，引起操作失误的根本原因是操作习惯不好，对操作手册的执行不到位。事故跟进1）流程1.整理以PMS为核心的日常操作手册，所有操作必须严格按照操作手册操作，每名DBA的操作工艺均标准化，并定期复核。2.重大变更或者复杂操作必须写CheckList，必须严格按照CheckList操作，CheckList需要记录和留档，并定期复核。2)技术1.PMS分库迁移CheckList中增加1步迁移前创建数据库快照，以解决出现紧急情况时，可以快速回退数据。根本原因查找截止日期（若根本原因未找到）N/A改进项编号改进项描述负责人计划完成时间状态1整理以PMS为核心的日常操作手册，所有操作必须严格按照操作手册操作。庹新林/周波9/5未完成2重大变更或者复杂操作必须写CheckList，必须严格按照CheckList操作，CheckList需要记录和留档。DBA3分库迁移的CheckList增加3个步骤：1)数据迁移配置初始化前增加1个步骤：检查配置表配置是否正常。2)删除变更涉及门店Hivemap表