历史数据迁移方案

历史数据迁移设计由于本项目目前存在大量的数据，需要迁移到新系统中，为确保数据迁移工作保质保量，如期进行，为确保数据迁移后能够正常访问，我们从如下几方面进行设计：数据迁移策略数据迁移的策略是指采用什么方式进行数据的迁移。结合不同的迁移方法，主要有一次迁移、分次迁移、先录后迁、先迁后补等几种方式可供选择：1．一次迁移一次迁移是通过数据迁移工具或迁移程序，将需要的历史数据一次性全部迁移到新系统中。一次迁移的优点是迁移实施的过程短，相对分次迁移，迁移时涉及的问题少，风险相对比较低。其缺点工作强度比较大，由于实施迁移的人员需要一直监控迁移的过程，如果迁移所需的时间比较长，工作人员会很疲劳。一次迁移的前提是新旧系统数据库差异不大，允许的宕机时间内可以完成所有数据量的迁移；2．分次迁移分次迁移是通过数据迁移工具或迁移程序，将需要的历史数据分几次迁移到新系统中。分次迁移可以将任务分开，有效地解决了数据量大和宕机时间短之间的矛盾。但是分次切换导致数据多次合并，增加了出错的概率，同时为了保持整体数据的一致性，分次迁移时需要对先切换的数据进行同步，增加了迁移的复杂度。分次迁移一般在系统切换前先迁移将静态数据和变化不频繁的数据，例如代码、用户信息等，然后在系统切换时迁移动态数据，对于静态数据迁移之后发生的数据变更，可以每天同步到新系统中，也可以在系统切换时通过增量的方式一次同步到新系统中；3．先录后迁先录后迁是在系统切换前，先通过手工把一些数据录入到新系统中，系统切换时再迁移其它的历史数据。先录后迁主要针对新旧系统数据结构存在特定差异的情况，即对于新系统启用时必需的期初数据，无法从现有的历史数据中得到。对于这部分期初数据，就可以在系统切换前通过手工录入；4．先迁后补先迁后补是指在系统切换前通过数据迁移工具或迁移程序，将原始数据迁移到新系统中，然后通过新系统的相关功能，或为此专门编写的配套程序，根据已经迁移到新系统中的原始数据，生成所需要的结果数据。先迁后补可以减少迁移的数据量。数据迁移方法根据业务数据的存储数据量以及安全性考虑，数据迁移可以采取不同的方法进行，归纳起来主要有三种方法，即系统切换前通过工具迁移、系统切换前采用手工录入、系统切换后通过新系统生成：1、系统切换前通过工具迁移系统由于数据量大，对数据正确性要求较高，因此适用通过ETL工具进行迁移。在系统切换前，利用ETL（ExtractTransformLoad）工具把旧系统中的历史数据抽取、转换，并装载到新系统中去。其中ETL工具可以购买成熟的产品，也可以是自主开发的程序。这种方法是数据迁移最主要，也是最快捷的方法。其实施的前提是，历史数据可用并且能够映射到新系统中。2、系统切换前采用手工录入对于无法通过工具迁移的数据，可以考虑在切换前使用手工录入。在系统切换前，组织相关人员把需要的数据手工录入到新系统中。这种方法消耗的人力、物力比较大，同时出错率也比较高。主要是一些无法转换到新系统中的数据，和新系统启用时必需要而旧系统无法提供的数据采用这种方法，可作为第一种方法的有益补充。3、系统切换后通过新系统生成在系统切换后，通过新系统的相关功能，或为此专门开发的配套程序生成所需要的数据。通常根据已经迁移到新系统中的数据来生成所需的信息。其实施的前提是，这些数据能够通过其它数据产生。数据迁移步骤系统数据迁移的目标是充分利用已有系统产生的各类业务数据，减少系统初始化的工作量，使得新系统和原有系统之间平滑过渡，无缝对接。数据迁移的可分为迁移规划、数据整理、数据试迁移和数据正式迁移四个步骤。其流程如下图所示：数据迁移的四个阶段的目标和着重点不同，迁移规划阶段确定数据迁移的目标和范围，并确定迁移的人员和工作计划。数据迁移准备阶段主要对原数据进行校验并进行数据清理、数据整理，保证数据迁移不会受原数据中的异常数据影响。数据试迁移阶段主要完成迁移程序的开发和验证，迁移程序完成原有系统中的数据资源和各级部门管理的相关信息资源中可复用到的历史数据的转换、清理工作，并通过测试对比保证数据迁移工具的正确性。最后的数据正式迁移阶段，完成全部可复用数据的迁移工作，保证业务的正确性和连续性。迁移规划迁移规划阶段主要对迁移过程进行整理规划，并明确需要的各类软硬件资源和组织机构。此阶段的主要工作如下：1、成立数据迁移小组数据迁移小组的成员应包括本系统得分析设计人员，原系统的开发设计人员、原系统的维护管理人员和主要使用人员等组成；2、明确系统迁移计划的目标迁移计划的目标包括对迁移数据的范围、内容以及最终在新系统中的使用范围的明确；3、明确系统迁移工作的质量要求需要明确对迁移数据的质量要求，包括最终对数据迁移效果的定义和校验方法，可以定义几张统计表对比迁移前后数据的一致性和完整性等；4、制定项目实施时间表。最终制定迁移的时间进度表，明确迁移的任务。数据整理数据迁移准备是对原系统业务数据，进行遵守统一标准的规范性整理、补齐数据内容的完整性整理和实现数据的正确性整理，一般包括内部整理和外部核对两部分。具体过程是，首先按照全国统一标准并结合飞标监管应用系统建设应用的需求，建立结构规范的临时数据库（简称为整理库或中间库），把在原有系统中的数据资源及各部门管理的相关信息资源中能够可复用的历史数据转换导入该库。然后对导入的信息进行初步比较、核查、校正以后，采用逻辑推理、经验判断、合理数值范围检验等方法，进行合法性检查及代码过滤等方面的审核和筛选，滤出可疑数据和缺失数据，并提交至外部核对环节，由相关主管部门对外部核对返回后的数据进行审核，据此进行完整性和正确性修正，包括补充缺失数据、更正错误数据、剔除冗余数据、清理垃圾数据、调整矛盾数据等。随后再次进行上述逻辑审查工作，如此反复直至数据补齐记实。1、历史数据整理对历史数据的数据库结构、代码表、业务管理和数据逻辑进行分析和整理。此阶段需要根据原系统的数据库设计以及系统设计文档为基础、并与原系统开发设计人员以及熟悉原系统的管理维护、业务使用人员的配合，最终形成原数据的分析报告作为后续数据整理，校验、迁移的基础。2、数据校验数据校验是在数据整理完毕后，对实际数据的质量进行校验和整理的过程，其主要目的是对原系统的数据质量情况进行分析和排查，在迁移之前将有问题的数据清理处理完毕。数据校验分为完整性校验、有效性校验和一致性校验三种:（1）完整性校验一些老的数据由于采集的时间比较早，采集手段相对比较落后，因此可能会存在信息不全的情况。另外新系统由于采用了最新的技术并与最新的业务需求及管理需求联系在一起，因此与老系统相比在设计上肯定会有较大的提升，对于数据的要求也会更加的严格和全面，这就导致有些数据放在老系统中来看是比较完整的，但是放在新系统中，却还是有所欠缺。对数据完整性进行校验时，要以新系统的数据要求为基准，检验新系统中规定不可为空的数据或在新系统中非常关键的一些数据在老系统中是否存在。对于校验出来不完整的数据要交由用户方补齐。（2）有效性校验人工采集数据或旧系统对输入数据的校验不严密，都可能会造成无效数据的存在，校验无效数据主要是通过对数据取值范围的校验来实现。有效性的校验一般主要针对代码值的校验，如：“1”代表男性，“2”代表女性，如果数据中出现性别代码为“1”，“2”之外的代码，则就是无效数据了。数据有效性校验首先要明确需要进行校验的目标数据及有效值范围。一般说来代码类的数据都是需要进行有效性校验的，这些数据的有效值范围也比较容易确定。另外还有些数据如出生日期、年龄等也是需要进行校验的。这些数据的有效值范围相对来讲比较难确定一些，但基本上都能确定一个比较合理的取值区间。校验出来的无效数据需要交给用户进行更正，对于更正的结果需要进行重新校验。 （3）一致性校验数据的一致性校验一般是通过同一表内或多个数据表间的相关数据项的比较来进行的，如：明细汇总数据和统计数据的一致性比较、等。由此可见，要校验历史数据的一致性就必须对原有系统的数据表间的各种关系，数据流向等非常的清楚。检验出来的不一致数据需要交给用户方进行更正，对于更正的结果要进行重新校验。3、异常数据处理异常数据处理就是对数据校验发现的不完整或者不一致的数据进行处理和调整。（1）对于不完整的数据需要根据已有的数据进行推导和补充，但这种补充必须依据业务的内在逻辑，并得到业务人员的认可；（2）对于无效数据需要进行清理和补充，无法对应的数据需要删除、代码不存在的数据项需要根据实际情况进行补充或者校正、对于不合理的数据需要提交业务人员判断并做出相应的处理；（3）对于不一致的数据需要将数据提交业务人员进行分类处理，确定哪一方数据为准，并相应调整另一方数据；（4）数据异常处理完毕后需要再次进行数据校验，并再次对校验的异常数据进行处理，直到所有数据都整理完毕。数据试迁移数据试迁移阶段是根据数据迁移准备阶段产生的数据分析报告和数据校验的结果开始将原有系统的部份复用数据实际迁移到新系统中，迁移的过程需要首先进行数据的迁移设计，将原系统的指标与新系统的对应指标进行匹配，设计数据转换和清洗的规则，然后进行迁移测试，验证迁移程序的稳定性、容错性和正确性，并根据试迁移的结果对数据迁移工具进行调整，最后对迁移的数据与原数据进行对比，根据对比的结果调整迁移程序并重复测试直到达到原定的质量要求为止。数据迁移设计在对历史数据进行整理迁移设计阶段需要编写《数据字典对照报告》，《数据字典对照报告》主要描述新建应用系统数据与历史数据之间的对照关系以及代码对照关系。以新建应用系统为准，原系统及各部门负责管理的相关数据资料作为参照，将历史数据分别对应到相应的新建系统数据字典中。在对照过程中，需要遵循数据照搬原则，数据尽量不要作处理。在数据字典对照表中需要进行转换的数据字段应该一一对应，对新旧数据表中字段的名称、类型、精度等都要有详细的描述，同时还要明确数据的转换方式。数据迁移开发测试根据数据迁移的设计，需要开发数据迁移的程序用于实际的数据迁移工作，程序的开发必须完全符合设计的功能，保证各种数据转换的正确性，正确性是数据迁移程序的关键。为保证数据迁移工具的正确性需要对迁移工具进行测试运行，为了不影响原有系统的运行，需要部署专门的测试环境，在测试环境中运行测试程序，首先保证程序可以完整地运行，将所有的数据转换成新系统数据，这一过程实际上是对系统迁移工具基本流程和容错性的验证，完成后就可以开始后续的迁移结果比对，对工具的正确性进行验证。迁移结果比对调整迁移结果比对调整阶段是对迁移程序的正确性进行校验，采取两个方法进行，分别是原系统数据比对方法和新系统运行校验方法：1、原系统数据比对将历史数据和新建应用系统数据进行比对，检验数据是否完整准确地迁移到新系统中，校验的方法包括简单的数据量对比，数据统计报表对比。首先进行数据量对比，对新旧数据中同样信息的数据量进行对比，从数量上保证数据的一致性。然后分别利用新旧两套数据生成相同的报表数据，对比报表数据的一致性，对于发现的不一致数据进行逐个的对比，分析数据不一致发生的原因，并修改迁移程序，继续测试并对比调整，直到所有数据一致性比对通过。2、新系统运行校验在数据一致性比对通过后，可以保证迁移数据与原数据一致，但迁移数据如果需要在新建系统中能够安全稳定的使用，还需要保证迁移数据符合新建应用系统的功能和标准规范。为了保证新系统上线运行，需要在部分迁移数据上试运行新系统，保证数据可以正常的查询，显示，各种数据状态正常，各项功能完整正常。如果发现系统功能不正常是由于数据造成的，还需要调整迁移程序，并重新进行比对测试和运行校验测试，直到所有比对结果符合，所有系统功能正常。数据正式迁移数据正式迁移阶段就是飞标监管应用系统上线替换原有信息应用系统的过程。此阶段的重点是保证新旧系统的平稳过渡，无缝对接，保证业务人员的工作不受影响。系统切换分成三个步骤，分别是：原系统停机、数据正式迁移和新系统上线。1、原系统停机（非工作时间）在进行数据正式迁移之前需要首先将原系统停机，否则将不能保证数据完整的迁移到新系统中，原系统的停机时间应该选择在非工作时间，尽量减小对业务办理的影响，同时要求在原系统停机前业务人员将所有正在办理的业务完成办理，保证业务流程都是完整的，以免造成办理过程中的业务无法继续办理的问题；2、数据正式迁移在原系统停机、保证业务数据已经不再变换后，运行数据迁移工具，将原系统数据分批迁移到新系统中，完成后再次运行迁移结果比对程序，比对数据迁移一致性和新系统功能完整性；3、新系统上线数据正式迁移完成并比对测试通过后，重新启动原有系统。数据迁移校验在数据迁移完成后，需要对迁移后的数据进行校验。数据迁移后的校验是对迁移质量的检查，同时数据校验的结果也是判断新系统能否正式启用的重要依据。可以通过两种方式对迁移后的数据进行校验。对迁移后数据的校验有别于迁移前历史数据的质量分析，主要是检查指标的不同。迁移后数据校验的指标主要包括以下五个方面：1、完整性检查，引用的外键是否存在；2、一致性检查，相同含义的数据在不同位置的值是否一致；3、总分平衡检查，例如指标的总和与分部门、分户不同粒度的合计对比；4、记录条数检查，检查新旧数据库对应的记录条数是否一致；5、特殊样本数据的检查，检查同一样本在新旧数据库中是否一致。新旧系统查询数据对比检查，通过新旧系统各自的查询工具，对相同指标的数据进行查询，并比较最终的查询结果；先将新系统的数据恢复到旧系统迁移前一天的状态，然后将最后一天发生在旧系统上的业务全部补录到新系统，检查有无异常，并和旧系统比较最终产生的结果。数据迁移工具数据迁移工具采用灵活配置的方式实现在数据迁移过程中的数据采集，转换，清洗，装载等各步骤，可以满足各业务数据的迁移需求。数据采集工具数据采集工具是一种问答式采集向导的数据采集工具，通过简单明了的操作提示和向导说明，用户可以很容易理解每一步如何分析数据，如何进行操作，从而帮助用户进行自定义设置完成数据采集。系统可以识别并采集多种数据库格式的数据源（SQLServer、Access、FoxPro、dBase、Excel、Oracle、文本等）的业务数据。数据迁移人员可以根据数据迁移工作的实际需要选择导入业务数据库中的相关的数据表，同时对于所选择的某一数据表也可设置其具体采集属性，可以灵活的选择要采集的字段、修改某一字段的显示名称以及字段类型等。数据清理工具本功能可以辅助现场检查人员对数据表的合规性和完整性进行检查，并且可以方便的对数据进行整理清洗，得到符合数据规划要求的检查数据中间表、要