数据同步复制与集成解决方案

1、技术创新，变革未来数据同步、复制与集成解决方案 数据集成2 数据同步与复制1软件安装配置环境准备要运行美创数据支撑平台软件必须安装Oracle公司的JAVA运行环境，需要运行java 1.7或者更高版本。安装好java环境后，在操作系统环境变量path中配置jre路径；如果已经拥有JAVA运行环境，则无需重新安装。软件安装美创数据支撑平台软件是绿色免安装版本，压缩包解压后可直接使用。资源库安装配置资源库运行配置创建一个资源库用户，打开oralce数据库，例如创建一个用户名及密码为zyk的用户（用户名及密码可以根据用户具体需求改变）创建用户：create user zyk identified

2、by zyk;赋权限：grant connect,resource,dba to zyk;打开美创数据支撑平台软件，运行Spoon.bat启动-初始化界面在Spoon界面，点点击导航栏，工具-资源库-连接资源库，点击加号，添加新的资源库。弹出框跳出选择资源库类型，选择第一项数据库做为资源库点击确定后进入以下界面点击“新建”进入以下页面输入 主机名称/数据库名称/端口号/用户名/密码/连接名称点击测试，弹出正确连接到数据库说明测试连接成功点击确认，进入到资源库信息框点击创建或更新选择”是” 选择”否“，之后资源库脚本自动进行安装 资源库成功创建后，点击确定写上名称与描述，点击确定。输入用户名和密

3、码，为admin/admin。资源库创建成功之后，不需要再重复创建资源库。生成License每一个数据支撑平台软件都需要有一个license。.mchz机器码获取 文件夹下，运行get.bat，将生成的cpu_serial.txt发回公司，然后收到一个mchz.license的文件，放到.mchzlicense 文件夹下。表复制自动配置建立生产库和目标库连接点击导航栏，文件-新建-转换，创建一个转换点击主对象，转换- 转换 1- DB连接- 新建，新建一个连接建立一个生产库的连接。点击主对象，转换-转换 1-DB连接-新建，用同样方法建立一个目标库连接。表复制配置点击工具- 向导- MCHZ

4、copy tables如果需要同步的每一张表都有主键， 则选择下一步；不然选择主键来自 文件，点击下一步。有主键情况下的下一步：主键来自文件的下一步：新建一个txt文件，格式如 用户名.表名;主键 每张表一行，联合主键的话用逗号(,)隔开，然后将文件导入下一步输入转换名称，作业名称，选择作业生成的目录，点击结束。自动生成表复制的转换和作业成功。时间字段的特殊处理查询每一张表的字段类型，当有Data或者Timestamp字段类型的时候，需要特殊处理。打开需要配置时间字段的子转换，在MchzOperateMerge和Switch/Case之间加一个Mchz 字段选择的插件。在字段选择第三页数据元进

5、行配置字段名称选择时间字段，类型Data的一般格式为yyyy-MM-dd:HH:mm:ss，类型Timestamp的一般格式为yyyy-MM-dd:HH:mm:ss.SSSSSSSSS。抽取端配置生产库创建管理用户-查看要创建的用户是否已经存在Select username from dba_users where username=ODC;-创建管理用户create user odc identified by odc default tablespace odc_tps;-授权，DBA权限在安装成功后可以收回GRANT CONNECT TO odc;GRANT ALTER ANY TABL

6、E TO odc;GRANT ALTER SESSION TO odc;GRANT CREATE SESSION TO odc;GRANT FLASHBACK ANY TABLE TO odc;GRANT SELECT ANY DICTIONARY TO odc;GRANT SELECT ANY TABLE TO odc;GRANT RESOURCE TO odc;GRANT DBA TO odc;-安装成功后可以收回dba权限，但是要授予UNLIMITEDTABLESPACE权限GRANT UNLIMITED TABLESPACE TO odc;或者alter user odc quota

7、unlimited on users;生成安装包FOR WINDOWS打开主转换（表复制中输入的转换名称），打开MchzGetXml点击初始化数据源服务器地址是需要部署抽取端的IP地址，转换服务器IP就是部署本数据支撑平台的IP地址，数据库抽取用户名/密码即之前在生产库创建的用户名/密码。点击“Next”（下一步）点击初始化本地服务服务中有mchzExtService服务进程中有mgr.exe进程中有mgr.exe点击结束FOR LINUX点击初始化数据源打开主转换（表复制中输入的转换名称），打开MchzGetXml服务器地址是需要部署抽取端的IP地址，转换服务器IP就是部署本数据支撑平台的I

8、P地址，数据库抽取用户名/密码即之前在生产库创建的用户名/密码。下一步：点击结束进入mchz/app目录，对mcextClinetLinux赋权限第一次执行initMgr.sh，下次启动运行./guardctl命令查看进程是否存在生产库部署抽取程序将刚才生成的tar包上传到服务器，（例如放在home/mchz文件夹下），解压tar包，tar vfx XX.tar赋权限： chmod +x -R XX进入目录，进入bin，第一次运行 ./initExt.sh下次启动运行./guardctl命令校验运行ps -ef|grep extract查看是否有进程数据支撑平台服务器.mchzappmcext

9、ClinetWindowsxml文件夹下面是否有aa000000文件配置文件说明.perties配置邮件信息.perties配置短信信息.mchzconfigMchzConfig.xml配置文件告警配置.perties配置邮件信息.perties配置短信信息当程序遇到错误而终止运行的时候，程序会发送告警邮件或者短信错误处理在主转换的mchzGetXml中，mchz错误处理选上，则表示开启错误处理。当mchz表输出、mchz 更新、mchz删除报错的时候，会

10、生成一个临时文件。在转换第二次运行的时候，会再执行一次，如果再无法成功操作数据库，会生成SQL语句等待人工查看 数据集成2 数据同步与复制1基于美创数据集成平台的数据集成案例：通过集成病人在医院就医过程中的手术，处方用药，医嘱等综合信息，以单体病人作为切入点，实现对病种的分析。功能模式：WEB页面搜索的形式提供医生对病案的检索分析。全量数据初始化全量数据初始化：考虑全量运行时的性能以及平台的稳定性考虑，采用分批处理的方式，将整个索引的同步分拆成几个片段执行主调度JOB：设置病人编号区间：表输入组件内容：with a as (SELECT MIN(t.PATIENT_NO) MIN_NO, MA

11、X(t.PATIENT_NO) MAX_NO, (MAX(t.PATIENT_NO)-MIN(t.PATIENT_NO)/20000 QJ FROM zy_patient_information t,gy_brlb t1WHERE t.brlb=t1.xh AND 信息科用)SELECT DISTINCT (CASE WHEN MIN_NO+(rownum-1)*20000=MAX_NO THEN MAX_NO ELSE MIN_NO+(rownum-1)*20000 END) START_NO, (CASE WHEN MIN_NO+(rownum*20000)MAX_NO THE

12、N MAX_NO ELSE MIN_NO+(rownum*20000) END) END_NOFROM a CONNECT BY ROWNUM QJ+1 ORDER BY START_NO根据病人的病人编号，按2W等分ETL_FULL将之前设置的病人编号区间取出来设置为变量全量核心数据录入：集合增量的数据集成首先配置XML读取插件的相关配置，配置文件在KETTLE安装根目录下的mchz下设置XML文件的格式:mchz.xpath,XML读取插件的名字,XML全路径名，起始读取文件及文件位置每一个索引的组成可以大致分解为2部分：1.主对象,既最外层的不可分解的基础列2.子对象,主对象下的可嵌套的

13、列，列为JASON所以在设计增量时，处理的有限原则应该是，先主对象，后子对象（子对象并发处理）上图中，显示ZY_PAT。住院病人信息表格为主对象数据来源，所以其他表格的增量处理都要阻塞在主对象的处理之后场景1：子对象为单一数据来源第一步：确定主对象ID第二步：表格本地增量聚合第三步：生成JSAON子对象第四步：根据子对象的DML类型，分流处理配置下图组件时，需要注意：针对子对象的DML操作，需要定义操作类型，子对象的ID，以及父对象的ID场景2：子对象为多数据来源JASON数据来源SELECT BAJKXH AS V_PATIENT_NO, D.JBMC V_JBMC, C.SSMC V_SSMC, B.SSRQ V_SSRQ,A.BRXH V_BRXH, B.SXH V_SXH, C.SSXH V_SSXH, D.JBXH V_JBXH FROM B