DSGRealSync日常维护手册1

第页日常维护手册迪思杰（北京）数码技术有限公司\o"1-3"\h\z\u1数据同步175548818\h31.1首次全同步及环境概述175548819\h31.1.1首先在目标端初始化复制进程175548820\h31.1.2在源端初始化复制进程175548821\h41.1.3全同步过程中源端日志监控175548822\h41.1.4全同步过程中目标端的日志监控175548823\h61.2单独同步1张或几张表175548824\h72如何设置日志分析间隔175548825\h83日常运行过程中的日志监控175548826\h83.1源端日常分析的进度175548827\h83.2目标端日常装载的进度175548828\h93.3源端日常传送的进度175548829\h103.4目标端日常接收的进度175548830\h103.5源端日常是否1积压175548831\h113.6目标端日常是否1积压175548832\h113.7源端传送的具体信息175548833\h123.8目标端装载的具体信息175548834\h124维护需要过滤的操作175548835\h134.1过滤操作的意义175548836\h134.2支持的过滤操作种类175548837\h135出现停机情况时软件的维护操作175548835\h14数据同步首次全同步及环境概述此种情况操作发生在首次初始化同步或是发生了如程序出现问题、或归档数据时开启了大量不写日志的操作等特殊情况下，需要重新全同步所进行的操作。首先在目标端初始化复制进程$执行停止当前复制进程初始化复制环境，注意该命令只在需要进行全同步时才运行，执行该命令后现有的复制关系将被清空，只能重新发起全同步操作后才能开始同步工作。启动复制进程. 检查复制进程启动状态124991009:46200:00:00400012500124991009:46200:05:204000125191009:46200:00:001000011252112519009:46200:00:00100001125181009:46200:00:000112522125181709:46200:09:0901125091009:46200:00:001112511125091909:46200:09:5211125231009:46200:00:002112524125232209:46200:11:3221125121009:46200:00:003112516125122709:46200:13:5531124931009:46?00:00:000043200上图为4个并发进程的启动情况，现场–s进程启动个数可能根据现场启动的并发数不同而不同。在源端初始化复制进程$执行停止当前复制进程初始化复制环境，注意该命令只在需要进行全同步时才运行，执行该命令后现有的复制关系将被清空，只能重新发起全同步操作后才能开始同步工作。启动复制进程检查复制进程启动状态194451009:45500:00:004002194611009:45500:00:00400019469194614409:45500:22:004000194551009:45500:00:0011945619455009:45500:00:001194341009:45?00:00:0043200194331009:45?00:00:0043200如上图所有进程均正常启动表明复制进程正常启动3)源端下执行即可正常发起全同步操作全同步过程中源端日志监控1）通过–f命令查看全同步抓取日志进程的日志信息在同步导出的过程中显示导出百分之多少和导出多少M，可以监控到源端同步导出的进度。/*开始抽取表，显示百分比（0.81%），已经抽取的大小（10），读取速度（R9:1.11），压缩速度（C0:0.00），写速度（W0:0.13），平均速度（P:1.11），总共耗时（E:322）*/1.63%20(R9:3.331:16.581:0.05:1.66:0:651)2.44%30(R9:3.335:11.111:0.06:2.00:0:1010)3.25%40(R9:3.332:11.112:0.04:2.22:0:1411)4.07%50(R9:3.333:7.144:0.03:2.38:0:1699)4.88%60(R9:3.331:12.502:0.08:2.50:0:2022)5.69%70(R9:3.332:0.002:0.00:2.59:0:2297)12621441554025122621451120262145(0)线程、日志大小、号、标志位、块大小、下一块、标志位（8为当前日志）15545-100245(0)-112849/*正在处理15545号日志，在100245块，偏移量0*/6.50%80(R9:3.330:40.001:0.06:2.67:0:2586)0x0000.0045612019-8-19:12:36:30(U:1:1:400):15545,:110484,:4480x0000.0045b72019-8-19:12:36:40(U:1:0:718)$7.32%90(R9:1.880:0.000:0.06:2.55:0:2882)2）查看导出结束的标志在日志中出现如下的打印信息：1950(2938)14175248011094130185.6930539.13131418.00111625.83(63.00%)575.91(s)显示导出完成3）通过–f命令查看发送数据进程的信息进程会把同步期间产生新交易的1进行发送，看这个文件是否有传送新的1全同步过程中目标端的日志监控1）$通过–f0命令查看目标端目录下的0、15文件，看是否同步的文件在正常装载以及每个队列装载到的具体1文件个数，以开始的文件为首次同步产生的日志文件。2）$通过命令查看目标端目录下的0、1、目录中源端同步导出传到这些目录下的1文件是否在减少，文件有两列第一列的数字表示装载了多少个1文件，第二列的数字表示从源端接收到了多少个1文件，所以可以通过判断第一列的数字是否增长，来确定目标端同步装载的进度。3）$通过查看目标端目录下的文件，如果这个文件不断的增大说明源端导出传送过来的数大于目标端同步装载的1个数；如果这个文件在不断的减少说明源端传送过来的数小于目标端同步装载的1个数，或源端导出完毕不再传送目标端在不断的装载1文件；当文件里面的数表示源端导出传送到目标端，目标端还有多少个1未装的个数，所以当文件里面的数为零时，表示目标端同步装载完成。4）$通过–f0查看目标端目录下的0文件，以开始的文件为增量装载的日志文件:112019-06-12:17:31:41:6000(2086):212019-06-12:17:31:41:0060(2086):312019-06-12:17:31:41:0600(2086):412019-06-12:17:31:41:56000(2086):512019-06-12:17:31:41:56000(2086):612019-06-12:17:31:41:56000(2086)的日志，说明目标端同步装载完成。5)$通过查看目标端的装载情况。单独同步1张或几张表由于只是想单独同步1张或几张表，并且不影响其他现在正在复制表的正常复制，而且要单独同步的表已经在下面文件中中的项中，所以只需要修改＝中中的内容，改为要单独同步1张或几张表的表名即可。操作步骤如下：当前文件内容为：如果需要单独同步用户下的表，需要修改文件按需求修改完文件后进入源端目录注：只有执行此命令后，才会再此查询里配置信息，只是修改完或起停进程并不重新读取里配置信息查看源端文件如果有出现表示源端新加的表同步完成，查看目标端0进行实时装载后，表示新同步的表目标端同步完成，进入实时同步阶段如何设置日志分析间隔>:5000013该日志间隔可以在1－5秒间任意设置，设置成几秒中每隔几秒钟就会去读取一次在证券行业推荐使用3秒注：3读取日志间隔日常运行过程中的日志监控源端日常分析的进度1）查看源端目录下的文件，可以查到源端已经分析完的数据库日志文件。第一列表示主机节点，第二列表示已经分析完的数据库日志文件号。2）查看源端目录下的文件，可以查看源端分析到什么时间的交易。如下的日志：2019/06/1217:26:2012048002355122047990110x54c92235.187048.02019-06-12:17:26:20:235.187048.0(:235.204799)...2019-06-12:17:26:21:235.197287.460(:235.204799)0x0000.054c92d42019-6-12:17:26:15(U:1:2488842:0:0)红色时间表示源端数据库交易操作时间蓝色时间表示源端分析此交易的时间两者相减可以得出源端分析滞后的时间3）查看源端目录下的文件，可以知道源端分析出交易的具体信息。如下的日志：2019-06-12:17:26:37:5242864804440002019-06-12:17:26:38:1290520195560002019-06-12:17:28:19:5242864804440002019-06-12:17:28:20:129052019556000红色部分表示：源端传送此1文件的系统时间蓝色部分表示：源端传送此1文件的大小紫色部分表示：源端传送此1文件的具体交易类型及相应交易类型的个数目标端日常装载的进度查看目标端目录下的0文件。如如下0文件：:112019-06-12:17:31:41:19556000(2086):212019-06-12:17:31:41:01955600(2086):312019-06-12:17:31:41:00019556(2086)红色部分表示：目标端装载相应1文件的编号蓝色部分表示：目标端装载此1文件的系统时间紫色部分表示：此1文件的具体操作的类型及相应的个数绿色部分表示：装载此1花费的时间2）查看目标端目录下的文件，可以知道目标端装载的具体信息。如如下的文件：0/4038331::2019-07-2413:21:31(),0x002839c9,2019-07-2413:21:02(),0x0028394,2019-07-2413:21:03(),0x00283939,2019-07-2413:21:03(),0x0028396,2019-07-2413:21:03(),0x00283914,2019-07-2413:21:032019-07-24:13:21:33:3561220100140/4038341::2019-07-2413:21:33(),0x002839d7a2,2019-07-2413:21:03(),0x00283939,2019-07-2413:21:04(),0x0028396b,2019-07-2413:21:042019-07-24:13:21:33:48371592014红色部分表示：目标端日常接收到的1文件编号及在目标端保存创建此1文件目标端的系统时间蓝色部分表示：目标端日常接收到此1在源端内部的号和在源端交易的源端系统时间紫色部分表示：目标端日常接收到此1在目标端装载完的目标端系统时间及相应此1文件的大小和相应交易的类型和相关交易的个数紫色时间减去蓝色时间：表示源端在数据库里真正交易时间和目标端真正装载到数据库时间的相差时间（当然要保持源端主机和目标端主机系统时间一致）源端日常传送的进度查看源端目录下的文件，查看源端日常传送的进度。如如下文件：2019-07-24:11:30:28:2.3763821(14295646742266)...2019-07-24:11:30:28:2.3763821252019-07-24:11:30:32:2.3763831(14295646742266)...2019-07-24:11:30:32:2.376383111红色部分表示：源端日常传送此1文件的系统时间蓝色部分表示：源端传送此1文件的具体编号紫色部分表示：源端传送此1文件的时间目标端日常接收的进度查看目标端目录下的文件，查看目标端日常接受的进度。如如下文件：2019-07-24:11:37:21:,0,136...332019-07-24:11:37:21:,0,198...58红色部分表示：目标端日常接收此1文件的系统时间蓝色部分表示：目标端日常接收此1文件的类型。表示实时，表示紫色部分表示：目标端日常接收此1文件的所在队列。多队列分0，1，2等绿色部分表示：目标端日常接收此1文件的大小棕色部分表示：目标端日常接收此1文件花费的时间源端日常是否1积压查看源端目录下是否有大量1文件积压，正常的情况下目录下不会有很多1文件存在。如果存在不过数量不多，并且1文件的最小编号始终在变化，说明可能是传送的慢；查看源端目录下的文件，看是否有变化（而且不是重试的信息）查看源端目录下的2文件，看是否第一列和第二列数值是否相差很大。第二列比第一列大很多说明源端日常1有积压，另外第一列数值不再变化，说明源端日常1文件有积压（当然这两种情况在同步某张或某些表的时候，会有这种情况发生，因为在这同步某张或某些表的没有完成时，新生成的1文件是不会传送到目标端的，源端会造成1文件的阶段时间积压）造成源端积压的可能原因：源端目标端之间的网络故障目标端进程停止源端发送停止或出错目标端日常是否1积压1）查看目标端目录下的0目录下是否有大量1文件积压查看目标端目录下的0文件是否有日志累加写入（不是重复信息）查看目标端0目录下的文件，第一列和第二列的数值是否相差很大，如果第二列比第一列数值大很多说明目标端日常1文件有累积，同时如果第一列数值长时间不变动，说明目标端日常1文件有累积。源端传送的具体信息1）查看源端目录下的文件，可以知道源端分析出交易的具体信息。如如下的日志：2019-06-12:17:26:37:5242864804440002019-06-12:17:26:38:1290520195560002019-06-12:17:28:19:5242864804440002019-06-12:17:28:20:129052019556000红色部分表示：源端传送此1文件的系统时间蓝色部分表示：源端传送此1文件的大小紫色部分表示：源端传送此1文件的具体交易类型及相应交易类型的个数目标端装载的具体信息查看目标端目录下的文件，可以知道目标端装载的具体信息。如如下的文件：0/4038331::2019-07-2413:21:31(),0x002839c9,2019-07-2413:21:02(),0x0028394,2019-07-2413:21:03(),0x00283939,2019-07-2413:21:03(),0x0028396,2019-07-2413:21:03(),0x00283914,2019-07-2413:21:032019-07-24:13:21:33:3561220100140/4038341::2019-07-2413:21:33(),0x002839d7a2,2019-07-2413:21:03(),0x00283939,2019-07-2413:21:04(),0x0028396b,2019-07-2413:21:042019-07-24:13:21:33:48371592014红色部分表示：目标端日常接收到的1文件编号及在目标端保存创建此1文件目标端的系统时间蓝色部分表示：目标端日常接收到此1在源端内部的号和在源端交易的源端系统时间紫色部分表示：目标端日常接收到此1在目标端装载完的目标端系统时间及相应此1文件的大小和相应交易的类型和相关交易的个数紫色时间减去蓝色时间：表示源端在数据库里真正交易时间和目标端真正装载到数据库时间的相差时间（当然要保持源端主机和目标端主机系统时间一致）维护需要过滤的操作过滤操作的意义提供过滤操作功能是为了有效的防止生产系统上由于误操作执行了或