XXX单位EMC双机热备维护事件

1、8月23日xxx双机热备维护事件23日上午接公司任务， 要求去 XXX 单位在双机热备上将 E 分区也加入双机热备共享盘， 受 EMC 热备软件控制管理，实现 E 分区上的数据和软件双机热备。到达 XXX 单位机房后打开双机热备软件查看，发现主机 2 图标为红色，表示主机 2 已 掉线无法和主机 1 心跳同步， 但是此时任然是主机 2 在对外提供应运系统服务。 经过检查各 项设置，以及网络通信情况，没有发现任何故障， 随后询问单位相关管理人员，可否重启服 务器2,装在服务器2的0A系统是否要退出才可关闭系统重启， 得到答复说0A不用退出， 万维系统可暂时中断，可直接重启服务器，随即重启服务器2

2、，重启后发现两台服务器双机热备连接正常, 随后配置将 E 盘加入双机热备共享盘, 再次重启服务器 2,重启进入系统时, 发现 0A 自启动时已报错,提示大意为找不到文件路径,进入 EMC 热备软件发现 E 分区共 享盘已经开始同步， 还有之前的共享 D分区也开始同步，此时知道，0A启动时提示找不到 文件路径的原因就是因为 E分区已经被热备软件控制接管，0A系统无法访问读取 E分区。由于 0A 系统没有在双机上安装,没有加入双机热备,所以 E 分区是不应该加入双机热备 共享盘的。此时立刻将资源组脱机,删除加入资源组的E 分区,在数据源里删除加入的 E共享盘, 再次重启服务器 2,启动后 E 分区

3、已经不在热备软件共享盘资源里, E 分区已经变为 普通分区。但是此时发现 0A 依然在启动时报错,中断无法登陆使用。此时原来的 D 共享 盘又再次从头开始同步, 在终端测试万维系统也无法登陆使用。 现在服务器上的两个应运系 统全部不能使用。万维系统不能使用的原因是当数据共享盘在完全同步时,类似于ghost 镜像,此时应运服务停止对外服务。 在双机热备两台服务器通信正常情况下是不会进行完全同步的,而是实时在后台同步数据, 此时应运系统对数据共享盘读写正常, 对外应运服务不受影响。 双机热 备软件只有在两种情况下才会进行完全数据同步工作,第一种情况是在新安装热备软件时, 第一次数据完全同步； 第二

4、种情况是在双机热备正常运行过程中, 由于其中一台服务器掉线, 导致掉线的服务器共享盘和对外服务的服务器对应的共享盘数据差别太大而必须进行完全 同步。此次共享盘完全同步就是服务器2掉线造成,掉线的原因可能是因为在 21日机房停电导致。虽然已经将加入共享盘的 E 分区重新变为普通分区,但是安装在 E 分区的 0A 系统还 是无法正常运行, 咨询 0A 系统运维人员, 运维人员的解答是因为我们在重启服务器时没有 正常退出0A系统，退出的方法是在 OA “DOS”界面命令提示符后输入 ”Q”回车即可，如 果没有正常退出就关闭系统, 在下次启动操作系统时, 0A 系统启动时就要重新扫描数据库, 查找数据

5、，时间大致需要 15分钟后0A才能正常运行。但是过了 15分钟之后在终端测试， 发现 0A 系统还是无法正常访问,再次咨询 0A 运维人员, 0A 运维人员说在他们那端发现 有一个服务没有启动,启动服务后 0A 系统访问正常。在下午 2 点多后,双机热备共享盘同步完毕,双机热备软件界面里一切显示绿色正常, 但是万维系统还是无法正常使用, 此时联系万维公司, 万维公司工程师上门后检查发现万维 系统已损坏, 共享盘有大量损坏文件无法读取, 经过运行磁盘扫描修复程序后, 损坏的文件 可以删除重建,当万维系统故障处理完成可以登录后,发现7月 29日之后大约 500份文件已经丢失。 此时分析这一系列故障

6、, 万维系统文件损坏混乱的原因是, 当双机热备掉线的服 务器正常上线后在共享盘在完全同步过程中服务器多次重启,因为共享盘在同步未完成时重启服务器后同步工作会自动从零开始同步, 就像分区在做 GH0S 镜像过程中强制终止一样, 会导致分区上的文件丢失和损坏及混乱。而 7月 29日之后的文件丢失是因为热备软件在自 动同步共享盘时同步方向搞错, 本应该是将数据较新的数据向数据少的另一台服务器共享盘 同步,却把数据少的共享盘数据同步到数据新的服务器共享盘上。丢失的文件在24 日已经 通过我方维护人员扫描后全部导入万维系统。此次事件总结如下：关于 OA 系统，首先是 OA 系统及数据全部在第二台服务器的

7、 E 分区。并没有在第一台 服务器上安装， OA 系统服务也没有加入双机热备管理软件，受热备软件管理控制，所以 E 分区是不可以加入双机热备共享盘的，由于 OA 系统相应服务没有加入热备软件控制管理。 E 分区加入热备共享盘后会导致 OA 系统无法正常访问读写数据，导致 OA 系统故障。第二，根据在 XXX 单位日常服务的同事反应，当双机热备的对外提供应运的服务器切 换到第一台服务器时， OA 系统也无法正常运行。据此推测有两种情况，首先是第二台服务 器 E 分区上安装的 OA 系统可能是和服务器上 SQL 数据库有关联，当承担对外服务的服务 器切换到第一台服务器时，第二台服务器的数据库服务会

8、被 EMC 热备软件关闭而导致 OA 系统故障，第二就是 OA 系统在安装时可能使用了 EMC 热备软件设定的虚拟映射 IP 地址， 当双机热备的对外提供应运的服务器切换到第一台服务器时，虚拟的 IP 地址映射的已经是 第一台服务器了，但事实上 OA 系统是安装在第二台服务器的 E 分区的。第三，OA系统在退出时一定要在桌面 OA系统启动窗口中命令提示符后键入“ Q”回 车退出后才可以关闭或重启操作系统。 否则在下次启动进入系统后 OA 系统会重新扫描数据 库，查找文件，导致 OA 系统大约需要 15 分钟后才能正常使用。关于双机热备 ，双机热备的两台服务器在断电关机后， 再次开机时， 开启的

9、顺序是有讲 究的。就是需要哪台服务器作为主机对外提供服务时， 就要先开哪台服务器， 之后再开备机， 都开启后要在热备软件主界面里检查， 看看有无显示橙色或红色的项目， 如果有看看是哪一 项，然后找到原因处理即可。而双机热备服务器在关闭时，要先关闭备机，再关主机，如果 先关主机， 对外应运服务会自动被双机热备软件切换到备机。 此次事件热备软件在做数据同 步时， 同步反的原因就是， 虽然显示第二台服务器掉线， 但是当时对外提供应运服务的还是 第二台服务器。 当重启第二台服务器的过程中对外应运的服务器已经被双机热备软件切换到 了第一台服务器上。 由于掉线时间较长， 服务器重启后， 双机热备恢复正常后

10、发现数据共享 盘差异较大， 势必要对数据共享盘做完全同步。 热备软件数据同步的规律是正常情况下数据 同步实时在后台即时同步， 而不影响应运服务对数据的访问读写操作， 同步的方向是对外提 供服务的服务器， 也就是主机的共享盘作为源数据盘把数据同步到备机的对应共享盘。 此次 就是因为第二台服务器重启后， 双机热备恢复了正常， 但此时对外应运的服务器已经切换到 了第一台服务器， 所以完全同步就把第一台服务器的数据共享盘作为原数据给第二台服务器 同步。结果就是不完整的旧数据覆盖了新数据，导致近期500 份文件丢失。当前 XXX 单位双击热备使用状况： 现在由于万维系统只有一个加密狗是插在第二台服 务器

11、上，且0A系统只安装了一台服务器，也安装在第二台服务器上，所以现在的情况是双 机热备不能发挥应有的作用， 一旦双机热备切换到了第一台服务器， 必须手动切换回第二台 服务器， 因为第一台服务器没有万维系统的加密狗， 也没有安装 0A 系统。 切换到第一台服 务器后两个应运系统全部无法使用。解决方案： 解决方案只有两种办法， 一种是万维系统再提供一个加密狗装在第一台服务 器，在确认 EMC 这个双机热备软件支持 0A 系统后，让电子政务办给第一台服务器也安装 0A 系统，然后我方将 0A 系统服务加入双机热备软件资源组，并将 0A 系统安装分区加入 双击热备共享盘， 0A 系统完全受热备软件统一管

12、理控制。 真正实现两种应运服务双机热备。 第二种方案就是如果电子政务办不同意安装两台服务器， 那就只有把 0A 系统迁出双机热备 的服务器， 安装在其他服务器上， 让万维的系统在双机热备上正常运行。 两个应运服务互不 干扰。避免此类事件再次发生的教训： 最主要的是数据安全，在没有外接存贮的情况下，双 击热备并不能对数据保证安全， 只是尽量保证对外应运服务不中断， 所以我方维护人员必须至少每周对服务器上的数据进行备份， 每天上班后都要在机房巡视一下， 看看双机热备系统 是否正常工作，有无报警或报错，如有异常，通知公司，由公司指定人员去处理，并对每次 处理事件详细记录并上报。第二，如果双机热备服务

13、器要停机，或已停机， 在开机和关机顺 序上是有讲究的。如果两台服务器都在关机状态下，要开机时想让哪一台服务器作为主机， 那就要先看哪一台服务器，后开备机。如果要关闭双机服务器时要先关备机，再关主机。如 果双机热备服务器都在运行， 但是在热备软件里出现了异常， 比如某项资源报警， 或出现一 台服务器脱机等其他异常， （在 EMC 双机热备软件界面里只有全部项目显示为绿色才是完 全正常，如果是橙色就是告警， 红色为严重告警， 总之如果不是绿色就不完全正常）要首先 在热备软件里查看当前是哪台服务器是在对外提供服务， 这时就要注意双机热备同步的规律 “数据同步方向是对外提供服务的服务器共享盘作为源数据， 数据同步到备机， 备机的共享 盘数