数据迁移和系统切割策略课件

1、房地产市场基础信息数据标准第二讲数据标准编制组 潘兰平2012-01-05 数据标准与应用开发建设目录数据标准的主要内容1现有系统的应对策略23数据迁移和系统切割策略总结4数据标准的主要内容5包括5章和附录：1总则2术语和定义3数据分类4数据编码及结构5 数据质量控制要求附录 A另外，附“标准用词说明”和条文说明第一章 总则阐明指定本标准的目的和适用范围本标准规定了建立房地产市场信息系统基础信息的相关内容，包括基础信息的采集、审核、汇总、分析和发布。本标准分别描述数据分类、数据来源与质量控制、数据编码与数据结构等内容。本标准适用于城市或城乡房地产市场信息系统基础信息库的建设与数据交换。数据标准

2、的主要内容第二章 术语和定义列示本标准中的专业词汇基础数据从业主体数据业务数据发布数据数据标准的主要内容第三章 数据分类提纲挈领，设定分类方法，大类如下：基础数据：基础物理数据和基础权属数据。从业主体数据：房地产企业和从业人员。业务数据：测绘成果业务类数据和交易登记业务类数据。发布数据：新建商品房信息、存量房信息和从业主体信息。数据标准的主要内容第四章 数据编码及结构分类编码：实现数据同质，便于数据共享和交换。分为四级分类，共设置73个子类。各级要素代码采用两位数字层次码组成。格式及举例：XXXXXXXX一级分类二级分类三级分类四级分类分类编码一级分类二级分类三级分类四级分类10000000基

3、础数据10010000基础物理数据10010400户数据10010402分户房产平面图数据标准的主要内容第四章 数据编码数据结构描述：基础数据属性结构：25个从业主体数据属性结构： 5个业务数据属性结构：26个发布数据属性结构： 17个总计：73个数据标准的主要内容第四章 数据编码分类总表：一级分类：4个；二级分类：9个；三级分类：23个；四级分类：64个数据标准的主要内容第五章 数据质量控制要求确定数据的来源、质量控制和其它要求。来源：明确来源方式、责任部门。质量控制：完整性、准确性、一致性、时效性、精度、误差或异常的识别和修订、持续性等。其它：必须包含的信息、业务要求的信息等。数据标准的主

4、要内容附录属性值字典表：88个代码分为一级和二级字典，一级字典全国统一，二级字典需考虑各城市情况进一步统一或分别定义。数据标准的主要内容目录数据标准的主要内容1现有系统的应对策略23数据迁移和系统切割策略总结4实施技术规范和数据标准，必然涉及现有系统如何改造的问题，具体有两种策略：升级改造：是指现有系统基本符合技术规范和数据标准的要求，但需要进行局部改造，使之达到标准的要求。重构系统：是指按照技术规范和数据标准的要求将现有系统完全重建。现有系统的应对策略一、升级改造：升级改造适用于现有系统基本满足技术规范和数据标准要求、自身业务管理需求以及后续发展需要的情况，通过进一步完善和补充，优化系统。在

5、数据方面可以调整表结构，在系统方面可以调整功能。实施周期较短，可以快速见效。现有系统的应对策略实施技术规范和数据标准，现有系统的两种应对策略：二、重构系统：重构系统适用于现有系统在满足技术规范和数据标准的要求方面存在较大欠缺，或无法满足自身业务管理需求以及后续发展需要的情况。应通过重新设计和开发，形成标准化的系统架构。难点是需要解决好数据迁移和系统切割的问题。该策略实施周期较长。实施技术规范和数据标准，现有系统的两种应对策略：现有系统的应对策略重构系统的基本步骤：试运行设计开发需求确认数据迁移系统切割现有系统的应对策略在重构系统中必须面对和解决的问题：1. 用户操作习惯的问题现象：用户不习惯新

6、的操作方式，经常抱怨。解决方法：设计时加强易用性设计，实施时加强用户操作培训和试运行。如C/SB/S现有系统的应对策略在重构系统中必须面对和解决的问题：2. 老系统中的业务到新系统中办理的问题现象：要求老系统在办业务流程能够在新系统中继续流转。解决方法：在办案件在切割前在老系统中办结，不能办结的回退到初始节点或删除，以后在新系统中重新办理。现有系统的应对策略在重构系统中必须面对和解决的问题：3. 系统之间的接口的问题现象：新系统的各子系统之间有接口，与老系统之间也会有接口。在设计新系统时，就必须考虑这些接口的形式，如： 中间库 数据库视图 API WebServices登记成果一手房二手房现有

7、系统的应对策略关于重构系统策略的建议在老系统向新系统过渡的过程中，应避免将老系统的数据问题带到新系统。由于对新系统本身的熟悉过程需要时间磨练，应加强对业务人员的指导，避免业务人员的抵触情绪。几点措施：强化培训业务人员，熟悉系统的操作，强化管理；在大型节假日进行系统上线，有各种预备方案；通过行政发文强调新系统上线的时间节点以及重要性。现有系统的应对策略目录数据标准的主要内容1现有系统的应对策略23数据迁移和系统切割策略总结4正式迁移方案测试方案设计分析准备正式实施迁移日志检验效果试迁移部分数据检验迁移效果有效性检验措施系统切割措施应急处理措施完整性、规范性和有效性检查数据库结构分析新旧数据对照分

8、析数据迁移的基本步骤数据迁移和系统切割策略数据迁移工作中的协作要求：开发单位主管部门整理部门开发单位的责任制定技术方案提供迁移工具提供技术支持主管部门的责任确认技术方案确认数据源确认数据成果整理部门的责任现场勘查数据修补测/补录验证数据正确性数据迁移和系统切割策略数据迁移的几种策略：先整理再迁移，一次切割逐步迁移逐步切割先迁移再整理，一次切割数据迁移和系统切割策略先整理再迁移，一次切割：周期较长，短期内人力、资金压力大数据整理彻底，一劳永逸数据准确度高系统上线运行时间较晚将历史数据集中整理好后一次性迁移入库。可以专门组织一支队伍进行数据的整理、迁移、检查和入库。也可以按照区、市、县分解，分批次

9、整理和迁移入库。应充分试运行，做好应急预案，保持运行监控。数据迁移和系统切割策略逐步迁移、逐步切割：可以较早上线运行数据质量可控对业务人员要求较高新老系统并行，新系统新数据，老系统老数据，成熟一块，替换一块，逐步过渡。可以按业务划分，哪块业务的数据质量达标了，就将业务转移到新系统中进行。数据迁移和系统切割策略先迁移再整理，一次切割：系统可以快速上线运行数据达到高准确度所需周期很长数据质量无法保证，不知哪一天会出问题老系统的数据问题会带到新系统中先将历史数据做适当规格化后迁移入库，而忽略其中可能存在的错误，遇到了再修正。遇到一个问题就解决一个问题。数据迁移和系统切割策略采用数据先整理后迁移、一次

10、切割的方式：对历史数据进行整理，修正错误， 摸清数据现状。可以集中人力、物力、财力在有限的时间内完成数据整理和迁移工作，周期可控。排除新系统上线运行的数据障碍，确保运行顺畅。数据迁移和系统切割策略采用数据先迁移后整理、一次切割的方式：搁置现状，问题迁移。对于数据整理和迁移工作缺乏整体规划，周期较长。新系统缺乏高标准。数据迁移和系统切割策略GIS数据测绘数据权属登记数据GIS数据测绘数据权属登记数据GIS数据测绘数据权属登记数据测绘数据权属登记数据1234【例】搭建楼盘表、挂接权属数据的四个方法：数据迁移和系统切割策略【例】空库上线能够保证与历史数据的关系一致性可能会继承历史数据中存在的错误新系统可以较早上线运行后续数据完善处理仍需花费较大代价利用老的登记系统中积累的权属数据，反推相关的房屋、土地数据，建立虚拟楼盘表，再通过数据整理、修补测、数据补录等手段完善楼盘表。当不具备完善的测绘、成果机制时，可以采用这种方法。数据迁移和系统切割策略目录数据标准的主要内容1现有系统的应对策略23数据迁移和系统切割策略总结4技术规范和数据标准是“姊妹篇”：技术规范指明了系统应该如何架构；数据标准指明了数据的关系和结构；二者应紧密结合使用。总结第一：各