历史数据迁移方案设计V1.3

历史数据迁移方案1.历史数据迁移总体方案1.1方案描述方案：分两批或屡次迁移 假设历史数据量庞大，在上线当天的规定时间范围内无法迁移完成，那么可考虑进行分批迁移。 可设定历史数据迁移分为多批进行：迁移时以某个时间节点为基准，对数据进行划分，按照时间节点将影像案件划分成两个或多个时间段。比方迁移影像案件的最新修改时间在2021年1月1号~2021年12月31号内的影像数据，以2021年11月30号为时间点，将时间范围划分为两段，分成两批在两个不同时间进行迁移：第一局部划分比拟多的数据：2021年1月1号~2021年11月30号第二局部划分比拟少的数据：2021年12月1号~2021年12月31号两个时间段，分两批进行迁移，第一次迁移大局部的数据，第二次在上线当天迁移少局部数据，节省上线当天数据迁移的时间，同时配合多线程进行同步迁移。迁移步骤简述：迁移机器申请和环境搭建。迁移机器Web环境搭建，历史影像数据磁盘挂载等。核心工程组将历史影像数据信息转换填充到影像迁移表。双方检验填充到迁移表的数据是否正确。启动迁移程序，开始迁移。迁移数据验证和抽检。迁移流程图：1.2迁移后历史数据变更处理对历史数据迁移后存在变更的数据处理方案：比方迁移2021年1月1号~2021年12月31号，以2021年11月30号为时间点，将时间范围划分为两段：第一局部划分比拟多的数据：2021年1月1号~2021年11月30号第二局部划分比拟少的数据：2021年12月1号~2021年12月31号 第一局部数据在2021-12-01开始至2021-12-30日迁移完成，2021-12-01日开始，有用户对“2021年1月1号~2021年11月30号〞时间段的数据进行了修改操作，那么核心会将数据的最新修改时间更新为“2021年12月1号~2021年12月31号〞，即在第二次迁移的时间范围内，在第二次迁移时，自动将这局部数据进行标记，再重新进行迁移。2.历史数据迁移数据映射设计2.1迁移信息提供核心提供影像相关信息，并将数据填充到影像迁移表中，影像迁移表的机构见HYPERLINK2.2影像系统迁移表结构小节。需要的信息如下：业务类型码〔假设没有，需要根据业务规那么生成〕业务类型名〔假设没有，需要根据业务规那么生成〕业务号上传人ID上传人姓名上传人所属机构号上传人所属机构名称图片所属单证小类码图片所属单证小类名称图片文件名图片上传时间图片绝对路径图片页码号2.2影像系统迁移中间表结构B_BATCH(影像信息主表，表示迁移影像数据的主业务信息，需要核心向此表填充数据)字段名称类型是否主键含义APP_CODEVARCHAR2(50)是业务类型BUSI_NAMEVARCHAR2(100)业务类型名BUSI_NOVARCHAR2(50)是业务编号ORG_CODEVARCHAR2(50)缓存机构号CREATE_DATEVARCHAR2(50)迁移记录创立时间CASE_TIMEVARCHAR2(50)影像案件的时间HAS_MIGRVARCHAR2(50)是否需要迁移。0：不需要1：需要迁移IS_MIGRVARCHAR2(50)是否迁移成功标识。0未迁移1成功2迁移失败UPLOAD_TIMEVARCHAR2(50)影像迁移的上传时间MIGR_CODEVARCHAR2(10)迁移线程码XLVARCHAR2(50)无用处VIP_FLAGVARCHAR2(4)无用处IS_MIGRATEDVARCHAR(4)是否已迁移过0未迁移1成功2迁移失败3案件已存在，重复迁移CREATE_USERVARCHAR(50)上传人用户IDMERGERCOUNTNUMBER无用处B_BATCH_FILE表〔迁移影像明细表，表示迁移影像批次的文件明细详情，需要核心向此表填充数据〕字段名称类型是否主键含义FILE_IDVARCHAR2(50)是文件IDAPP_CODEVARCHAR2(50)是业务类型BUSI_NOVARCHAR2(50)是业务号FILE_NAMEVARCHAR2(100)文件名CLASSIFY_IDVARCHAR2(50)文件单证小类码CLASSIFY_NAMEVARCHAR2(100)文件单证小类名FILENET_IDVARCHAR2(300)FileNet文件IDSCAN_USERVARCHAR2(50)资料上传人IDSCAN_TIMEVARCHAR2(50)资料上传时间PAGE_NONUMBER图片的页码号IS_DELETEDVARCHAR2(4)无用处SYD_PAGE_NAMEVARCHAR2(64)迁移后图片的名称说明：以下字段需要遵守影像平台单证定义的标准进行填充：APP_CODE(业务类型)：不可自定义BUSI_NAME(业务类型名称)：不可自定义ORG_CODE(缓存机构号)：不可自定义CLASSIFY_ID(单证类型ID)：不可自定义CLASSIFY_NAME(单证类型名称)：不可自定义2.3迁移文件类型处理确定迁移文件中，包含的文件格式，如：tif，jpg。