数据迁移整合方案

历史数据的迁移整合本次系统是在原有系统的基础上开发完毕，因此，新旧系统间就存在着切换的问题。另外，新开发的系统还存在与其它某些应用系统，例如，公司信用联网应用系统、公司登记子网站、外资登记子网站等系统进行整合使之成为一种互相连通的系统。本章将针对新老系统迁移和整合提出解决方案。新老系统迁移整合需求分析系统迁移又称为系统切换，即新系统开发完毕后将老系统切换到新系统上来。系统切换得重要任务涉及：数据资源整合、新旧系统迁移、新系统运行监控过程。数据资源整合包含两个环节：数据整顿与数据转换。数据整顿就是将原系统数据整顿为系统转换程序能够识别的数据；数据转换就是将整顿完毕后的数据按照一定的转换规则转换成新系统规定的数据格式，数据的整合是整合系统切换的核心；新旧系统迁移就是在数据对的转换的基础上，制订一种切实可行的计划，确保业务办理顺利、平稳过渡到新系统中进行；新系统运行监控就是在新系统正常运转后，还需要监控整个新系统运行的有效性和对的性，方便及时对数据转换过程中出现的问题进行纠正。系统整合是针对新开发的系统与保存的老系统之间的整合，以确保新开发的系统能与保存的老系统互动，确保业务的顺利开展。重要的任务是接口的开发。需要进行迁移整合的系统数据迁移整合分析根据招标文献工商总局新建系统的数据库基于IBMDB2，而原有系统的数据库涉及ORACLE，SQLServer，DB2。这种异构数据在总局重要存在于两个方面，即部门内部的异构数据和上下级部门之间的异构数据。同时，系统的技术构件有.NET和J2EE两大类。对于部门内部的异构数据的集成采用数据移植的办法，如：如果数据有基于DB2管理的，有ORACLE管理的，有SQLServer管理的，就根据新系统DB2的规定，把ORACLE的数据迁移到DB2数据库中，把SQLServer的数据迁移到DB2数据库中。上下级国工商局之间的异构数据的集成运用数据交换系统来完毕，重点在于数据库存储原则、交换原则的制订和恪守，确保数据的共享，这部分工作由数据中心完毕。系统迁移和整合目的系统迁移的重要目的：确保系统正常运行在数据转换过程中，由于原有的系统数据的复杂性，给数据转换工作带来了很大的难度，为了在新系统启动后不影响原系统正常的业务，因此数据转换完毕后，必须确保新系统的正常运行。确保原有系统在新系统中的独立性原有系统是独立运行的系统，数据在新系统中即使是集中寄存的，但是各个系统由于存在业务上的差别，数据在逻辑上应当保持一定的独立性。系统整合的目的：确保直接关联的系统互动，确保业务的正常办理。例如公众服务系统与基本业务系统之间互动，基本业务与协同业务之间互动等等。系统切换方案系统切换工作流程系统切换涉及前期调研、数据整顿、数据转换、系统切换、运行监控五个阶段。系统切换的整个工作流程以下所示。系统切换工作环节前期调研阶段前期调研是数据转换中很重要的一种环节，也是至关重要的一部分。在进行数据转换工作前，我们需要先认真阅读系统的有关文档，如《数据字典》、《系统概要设计报告》等，来熟悉原有的系统。固然在阅读文档的过程中必定还会有理解不清晰的地方，这时还需要熟悉原有系统的工程师的协助。数据转换的前期工作就是对原系统做一次彻底的全方面理解，重要需要的考虑的有下面某些状况：原系统的网络构造；原系统的业务范畴、存在几套业务系统以及他们之间的关系；原系统的开发商、开发工具、开发平台以及采用的数据库；原系统的数据分布状况：涉及数据范畴、数据量大小等；原系统的业务流程；原系统的数据流程；原系统的数据构造；在理解这些要素的基础上，需要编写《前期调研分析报告》。调研报告重要包含以下某些方面：1、将全部数据表进行分类，如系统参数类、代码类、综合业务类、有关业务类等等。2、对全部数据表的数据构成、数据来源、用途等进行描述。3、并非全部的数据都是需要进行转换的，在《数据字典分析报告》中要指出那些数据表是需要进行转换的，那些是不需要进行转换的，对于不需要转换的表要阐明不需要转换的因素。4、描述数据在各表中的流向，对于核心的或复杂的业务点要做具体阐明。转换设计阶段转换设计阶段重要是完毕新旧数据字典的对照，同时明确各个表中具体数据字段的转换方式。在转换设计阶段重要是编写《数据字典对照报告》《数据字典对照报告》重要描述新旧系统数据表间的对照关系以及代码对照关系。以新系统为准，原系统作参考，将原系统的数据字典对应到对应的系统数据字典中。在对照过程中，需要遵照数据照搬原则，数据尽量不要作解决。在数据字典对照表中需要进行转换的数据字段应当一一对应，对新旧数据表中字段的名称、类型、精度等都要有具体的描述，同时还要明确数据的转换方式。数据转换方式重要有下列几个：直接转换。直接转换方式是最惯用的方式，就是将原表中对应字段的数据原封不动的搬到新表中来。按照“数据照搬”原则，我们应当应当尽量采用这种办法。程序转换。对那些需要进行计算才干进行转换的数据将采用程序转换方式进行。代码对照。某些代码字段，往往新旧系统的编码不相似，这时就需要参考代码对照表进行代码对照转换。类型转换。少数数据可能需要对类型进行转换，如就表以字符串‘YYYY-MM-DD’来寄存日期，而新表中以DATE型来寄存日期，这时就需要进行类型转换。常量转换。新表中某些字段可能存在缺省值，这时将采用常量转换方式，当旧表没有对应字段或旧表对应字段数据为空时，将直接在新表中写入缺省数据。不转换。对于旧表有但新表中没有的字段将不作任何转换。新旧系统代码对照列出了全部需要进行转换的新旧系统数据表中存在的二级代码间的对照关系，重要以二级代码对照表的形式来反映。数据迁移方案数据整顿方略数据整顿就是将原系统数据整顿为系统转换程序能够识别的数据。数据整顿大致分为两个阶段：第一阶段就是将不同类型来源数据采集备份到统一的数据库中；第二阶段就是将原始数据进行整顿，按照不同的规定分类进入不同的中间数据库，为数据转换提供中间数据。数据整顿过程采用了下列办法：确保原始数据的完整性在进行数据整顿之间，我们先需要对原始采集数据进行备份。备份的目的有两个：一种是统一数据库，便于数据转换，另一种就是为后来数据追根溯源提供参考根据。在本系统中，我们将采用DB2作为备份统一数据库。数据分级过滤方略数据分级过滤就是把数据按照不同的数据级别进行分类整顿进入不同的中间数据库中。本系统中我们把数据分为三个级别：废弃数据、待调节数据、可转换数据。废弃数据就是该部分数据的存在对系统资源造成浪费的数据，并且会影响后来系统的运行。待调节数据就是该部分数据严重影响新系统的运行，必须进行人工调节后，方可进行数据转换。可转换数据就是该部分数据不需做任何解决，基本满足数据转换的规定或者是该部分数据新系统建议调节，但是不影响系统的运行，能够等新系统运行后再调节，这样可觉得数据转换工作节省诸多时间。借助数据整顿有关工具数据整顿非常艰巨，涉及的数据量很大，通过人工检查是不可能完毕的，因此必须编写有关的数据整顿工具完毕数据整顿。涉及数据整顿工具和数据纠错工具。数据整顿工具负责将原始备份数据库中的数据进行分类进入不同的中间数据库；数据纠错工具负责提供和谐、方便的工具界面供顾客方有关人员完善和纠正错误数据。运用中间库作为桥梁由于原系统和新系统的数据库构造可能不同，因此采用中间库作为衔接新旧系统数据的重要桥梁，对于建立新旧系统的对照关系很重要。一旦业务人员对新系统中某项转换数据存在疑问的状况下，就能够通过中间库的关联，顺利找出原数据。数据转换数据转换就是将整顿后的数据，根据对照表的规定进行转换，并写入到新系统。这个过程能够通过交换系统实现。数据整顿与转换环节设计数据移植方案设计数据移植方案重要涉及下列几个方面工作：研究历史数据的构造、来源、数据项定义、取值等现状，研究新旧数据库构造的差别，评定和选择数据移植的软硬件平台、选择数据移植办法、选择数据备份和恢复方略、设计数据移植和测试方案等。源数据库数据清理对于一种运行已久的数据库，重要存在三种数据库垃圾：数据库对象垃圾、数据库权限垃圾、数据垃圾。数据库对象的清理不是一件容易的工作，需有认真负责的态度，要有耐力，任何错误的清理不仅会造成前端不能运行，并且将会造成数据的丢失。因此清理数据库对象可能需要一种安全、精确，可很快恢复的办法。首先要认识数据库资源，涉及数据库对象，如表、数据库事件、过程、函数，数据库构造关系，在此基础上结合运行系统，确认数据库垃圾，制订合理的垃圾清理方案，达成清理垃圾的目的。重要办法是对数据库数据进行整合和分解，整合有关数据减少数据的重复，分解数据则可是数据团体更趋向合理，固然整合和分解要以适合新设计的数据库构造为基础，方便简化转化程序。进行数据模拟移植根据设计的数据移植方案，建立一种模拟的数据移植环境，它既能仿真实际环境又不影响实际数据，然后在数据模拟移植环境中测试数据移植的效果。数据模拟移植前也应按备份方略备份模拟数据，方便数据移植后能按恢复方略进行恢复测试。测试数据模拟移植根据设计的数据移植测试方案测试数据模拟移植，也就是检查数据模拟移植后数据和应用软件与否正常，重要涉及：数据一致性测试、应用软件执行功效测试、性能测试、数据备份和恢复测试等。准备实施数据移植数据模拟移植测试成功后，在正式实施数据移植前还需要做好下列几个方面工作：进行完全数据备份、拟定数据移植方案、安装和配备软硬件等。正式实施数据移植按照拟定的数据移植方案，正式实施数据移植。数据整顿和转换的核心技术对于多源异构数据库之间的数据转换，由于目的数据库的格式和约束的限制严格，直接编写转换程序实现困难，可在原有数据库系统中编写转换程序。对于源数据库、目的数据库构造有差别的数据，建立中间过渡库，中间库在原数据库平台中建立，但构造与目的数据库的构造相似。将源数据库转入中间库的过程是一种数据的重新组合和关联的过程，将是转换的中心和重点工作，需要对源数据库与新数据库的数据关系进行进一步分析，对每一种数据库写出转换方略。非空解决：对于应当非空但实际为空的统计制订解决规则。取值约束解决：对于有取值范畴约束的字段进行规范化解决，即将转换后的数据取值规范到该范畴内。主键解决：重新对中间库进行编号。填写外键：每个数据库或多或少存在外键，外键越多，标明与其它库关联越多，这样的库应后解决；反之，外键越少的库应当先解决。唯一键解决：对规定唯一的数据项（主键、唯一键）进行唯一检测，并对检测出的不唯一的统计，制订解决规则。附加分散解决：对某些表中的某些字段进行数据规范化解决，即将不合规范的数据替代成规范的数据，几个表之间的关联解决，以及某些特殊解决等。数据一致性解决：对于有多个数据源的数据进行一致性检查,制订解决规则。新旧系统切换第一步：编写《系统切换方案》。系统切换方案涉及系统切换办法、系统切换计划等内容。第二步：组织有关人员对《系统切换方案》进行评审，如果未通过，则需要调节系统切换方案。第三步：进行业务系统数据转换。在进行业务系统数据转换前，需要先选择一种时间点进行业务系统数据采集。该时间点的选择以完毕一种完整的业务周期为准。l转换时机根据以往的经验，我们建议将正式数据转换的时间放在月结刚刚完毕后并且最佳是节假日。l准备工作正式数据转换前的准备工作是非常多的，现列举以下：编写具体的《数据转换指南》。《数据转换指南》应当是在前面的几次试转换过程中编写并完善的，要具体阐明数据转换的全过程，涉及：准备工作、执行环节、注意事项等。编写执行脚本。在前面几次试转换的基础上编写并完善好数据转换执行脚本。执行脚本涉及：转换执行脚本、验证执行脚本等。全部的脚本都必须安装执行的先后次序编写，在正式转换时将按照次序来执行。数据库环境准备。根据以往的经验，在正式转换阶段出现的异常往往都是有数据库方面的，大部分是由于数据库环境没有准备好。数据库方面需要做好以下几方面的准备：表空间划分、大数据文献准备、大回滚段准备、创立索引等。其它必要准备。在正式转换前，老系统要停止使用，同时在还需要把老系统的数据做一次完整的备份。l执行过程数据转换时将按照已经编写好的转换执行脚原来进行。对没一步的操作都要做好日志统计，日志分两种，一种是计算机自动产生的日志，如LOG文献；另一种是在转换执行过程中手工做的统计。在正式转换时，规定最少两人一起工作，其中一人负责操作，另外一人负责监督，两人都必须做好统计。每执行完一条转换命令后都需要去查看某些错误统计表，如果出现异常错误信息，需要暂停转换执行，对错误分析解决完毕后才干继续执行。l验证过程转换执行结束后，需要对转换的成果进行验证，验证时按照已经编写好的验证脚原来进行，验证最佳由两名以上的人员分开来进行，在验证过程中做好每一步的验证统计。如果在验证过程中没有发现异常，并且几名验证人员的验证统计都非常一致，则能够认为已经通过验证。l收尾工作数据转换工作执行完毕后，需要对关闭原有系统全部的业务经办功效，只开发查询功效，方便业务人员在需要时能够继续查询旧系统中的数据。对新系统的数据进行一次物理备份，同时启动新系统数据库的重做日志功效。到此时为止新旧系统数据转换工作全部结束，整个应用系统将切换到新系统上来运行。第四阶段：新系统运行监控及数据整顿在全部新系统平稳运行后，还需要进行定时的运行监控以及对部分数据进行调节。对于那些对系统运行未造成影响的，在数据整顿过程中，没有进行数据修正，因此在系统平稳运行后，需要对这些数据进行调节。系统切换保障方法系统在整个切换过程中，安全、平稳过渡是第一位的。我们将采用以下方法确保系统切换安全：数据备份在进行新旧系统数据转换时，对原系统数据进行备份以确保历史数据的可追溯性。一旦在新系统中业务办理出现问题，则能够通过追溯历史数据来判断是数据转换错误，还是新系统程序存在BUG。数据测试数据测试分为两个层次测试，一种是数据监测性测试，就是在数据转换完毕后，测试数据的转换对的性；二是验证性测试，验证性测试通过使用已经通过功效测试的新系统办理实际业务来验证数据转换的对的性。数据测试是一种核心环节，关系到系统切换的成功与否，因此必须加大测试力度来确保数据转换的对的性。而与数据测试有关的系统功效测试也必须重视，由于如果系统功效如果存在问题，则数据测试也就无法确保对的性。切换点的选择系统在什么时候进行切换，也是一种很核心的问题。普通状况下，我们都选择一种业务周期结束，下一种业务周期开始的时候进行切换。切换方式的选择系统切换有两种方式，一种是新旧系统并轨运行，一种是新系统单轨运行。对于第一种方式旧系统为主，新系统为辅，在时机成熟的时候在切换到新系统运行；第二种是以新系统为主，旧系统为辅，旧系统只是验证新系统业务办理的对的与否。第一种方式安全系数由于过渡期时间