数据采集方法及装置、计算机设备及计算机可读存储介质

(19)中华人民共和国国家知识产权局

(12)发明专利申请

(10)申请公布号CN113010556A

(43)申请公布日2021.06.22

(21)申请号202110284259.3

(22)申请日2021.03.17

(71)申请人中国建设银行股份有限公司

地址100033北京市西城区金融大街25号

(72)发明人周鸿马骏霍延林莉萍

林继承魏珊珊王健勇

(74)专利代理机构北京三友知识产权代理有限

公司11127

代理人贾磊李辉

(51)Int.CI.

G06F76/2455(2019.01)

G06F16/242(2019.01)

G06F76/28(2019.01)

权利要求书3页说明书13页附图9页

(54)发明名称

数据采集方法及装置、计算机设备及计算机

可读存储介质

(57)摘要

101

本发明公开了一种数据采集方法及装置、计

算机设备及计算机可读存储介质,该方法包括根

据业务需求确定预先配置的目标数据采集模板;

目标数据采集模板包括目标数据采集条件及符

合目标数据采集条件的目标数据查询主题；目标

数据采集条件包括目标交易数据的指标维度及

加工规则；目标数据查询主题包括不同指标维度

的目标交易数据;根据不同指标维度的目标交易

数据及目标交易数据的加工规则采集目标交易

数据。本发明将交易数据划分为不同的指标维

度，预先配置数据采集模板中交易数据的加工规

v则及不同指标维度的交易数据，提高采集数据的

g灵活性;直接利用不同指标维度的交易数据及交

2易数据的加工规则采集交易数据,提高采集数据

§的效率。

r-H

g

CN113010556A权利要求书1/3页

1.一种数据采集方法，其特征在于，包括：

根据业务需求确定预先配置的目标数据采集模板；目标数据采集模板包括目标数据采

集条件及符合目标数据采集条件的目标数据查询主题；目标数据采集条件包括目标交易数

据的指标维度及目标交易数据的加工规则；目标数据查询主题包括不同指标维度的目标交

易数据；

根据目标数据采集模板中不同指标维度的目标交易数据及目标交易数据的加工规则

采集目标交易数据。

2.如权利要求1所述的数据采集方法，其特征在于，还包括：

根据接收到的模板配置指令配置数据采集模板;和/或

根据接收到的采集条件配置指令配置数据采集模板中的数据采集条件。

3.如权利要求2所述的数据采集方法，其特征在于,还包括：

根据接收到的主题配置指令配置数据采集模板中的数据查询主题;和/或

根据接收到的数据配置指令配置数据查询主题中不同指标维度的交易数据。

4.如权利要求3所述的数据采集方法，其特征在于，根据接收到的模板配置指令配置数

据采集模板,包括：

根据接收到的定制化模板配置指令配置定制化数据采集模板；

根据接收到的采集条件配置指令配置数据采集模板中的数据采集条件，包括：

根据接收到的定制化采集条件配置指令配置数据采集模板中的定制化数据采集条件。

5.如权利要求4所述的数据采集方法，其特征在于，根据接收到的主题配置指令配置数

据采集模板中的数据查询主题,包括：

根据接收到的定制化主题配置指令配置数据采集模板中的定制化数据查询主题；

根据接收到的数据配置指令配置数据查询主题中不同指标维度的交易数据,包括：

根据接收到的定制化数据配置指令配置定制化查询主题中定制化指标维度的交易数

据。

6.如权利要求1所述的数据采集方法，其特征在于,还包括：

通过即席查询工具访问数据库表的方式采集交易数据。

7.如权利要求1所述的数据采集方法，其特征在于，根据业务需求确定预先配置的目标

数据采集模板，包括：

根据业务需求确定预先配置的第一系统的第一数据采集模板;第一数据采集模板包括

第一数据采集条件及符合第一数据采集条件的第一数据查询主题;第一数据采集条件包括

第一交易数据的指标维度及第一交易数据的加工规则;第一数据查询主题包括不同指标维

度的第一交易数据;及

根据业务需求确定预先配置的第二系统的第一数据采集模板;第二数据采集模板包括

第二数据采集条件及符合第二数据采集条件的第二数据查询主题;第二数据采集条件包括

第二交易数据的指标维度及第二交易数据的加工规则;第二数据查询主题包括不同指标维

度的第二交易数据；

根据目标数据采集模板中不同指标维度的目标交易数据及目标交易数据的加工规则

采集目标交易数据,包括：

根据第一数据采集模板中不同指标维度的第一交易数据及第一交易数据的加工规则

2

CN113010556A权利要求书2/3页

采集第一交易数据;及

根据第二数据采集模板中不同指标维度的第二交易数据及第二交易数据的加工规则

采集第二交易数据；

数据采集方法还包括：

将通过第一系统采集的第一交易数据和通过第二系统采集的第二交易数据确定为目

标交易数据。

8.如权利要求6所述的数据采集方法，其特征在于，通过即席查询工具访问数据库表的

方式采集交易数据,包括：

通过即席查询工具访问第一系统数据库表的方式采集第一系统的交易数据;和/或

通过即席查询工具访问第二系统数据库表的方式采集第二系统的交易数据。

9.一种数据采集装置，其特征在于，包括：

模板确定模块，用于根据业务需求确定预先配置的目标数据采集模板；目标数据采集

模板包括目标数据采集条件及符合目标数据采集条件的目标数据查询主题；目标数据采集

条件包括目标交易数据的指标维度及目标交易数据的加工规则；目标数据查询主题包括不

同指标维度的目标交易数据；

数据采集模块，用于根据目标数据采集模板中不同指标维度的目标交易数据及目标交

易数据的加工规则采集目标交易数据。

10.如权利要求9所述的数据采集装置，其特征在于，还包括：

模板配置模块，用于根据接收到的模板配置指令配置数据采集模板;和/或

采集条件配置模块，用于根据接收到的采集条件配置指令配置数据采集模板中的数据

采集条件。

11.如权利要求10所述的数据采集装置，其特征在于，还包括：

主题配置模块，用于根据接收到的主题配置指令配置数据采集模板中的数据查询主

题;和/或

数据配置模块，用于根据接收到的数据配置指令配置数据查询主题中不同指标维度的

交易数据。

12.如权利要求11所述的数据采集装置，其特征在于，模板配置模块包括：

定制化模板配置单元，用于根据接收到的定制化模板配置指令配置定制化数据采集模

板；

采集条件配置模块包括：

定制化采集条件配置单元，用于根据接收到的定制化采集条件配置指令配置数据采集

模板中的定制化数据采集条件。

13.如权利要求12所述的数据采集装置，其特征在于，主题配置模块包括：

定制化主题配置单元，用于根据接收到的定制化主题配置指令配置数据采集模板中的

定制化数据查询主题；

数据配置模块包括：

定制化数据配置单元，用于根据接收到的定制化数据配置指令配置定制化查询主题中

定制化指标维度的交易数据。

14.如权利要求9所述的数据采集装置，其特征在于，还包括：

3

CN113010556A权利要求书3/3页

即席查询模块，用于通过即席查询工具访问数据库表的方式采集交易数据。

15.如权利要求9所述的数据采集装置，其特征在于，模板确定模块包括：

第一模板确定单元，用于根据业务需求确定预先配置的第一系统的第一数据采集模

板;第一数据采集模板包括第一数据采集条件及符合第一数据采集条件的第一数据查询主

题;第一数据采集条件包括第一交易数据的指标维度及第一交易数据的加工规则；第一数

据查询主题包括不同指标维度的第一交易数据;及

第二模板确定单元，用于根据业务需求确定预先配置的第二系统的第一数据采集模

板;第二数据采集模板包括第二数据采集条件及符合第二数据采集条件的第二数据查询主

题;第二数据采集条件包括第二交易数据的指标维度及第二交易数据的加工规则；第二数

据查询主题包括不同指标维度的第二交易数据；

数据采集模块包括：

第一交易数据采集单元，用于根据第一数据采集模板中不同指标维度的第一交易数据

及第一交易数据的加工规则采集第一交易数据;及

第二交易数据采集单元，用于根据第二数据采集模板中不同指标维度的第二交易数据

及第二交易数据的加工规则采集第二交易数据；

数据采集装置还包括：

交易数据确定模块，用于将通过第一系统采集的第一交易数据和通过第二系统采集的

第二交易数据确定为目标交易数据。

16.如权利要求14所述的数据采集装置，其特征在于，即席查询模块包括：

第一即席查询单元，用于通过即席查询工具访问第一系统数据库表的方式采集第一系

统的交易数据;和/或

第二即席查询单元，用于通过即席查询工具访问第二系统数据库表的方式采集第二系

统的交易数据。

17.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计

算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8任一所述数

据采集方法。

18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利

要求1至8任一所述数据采集方法的计算机程序。

4

CN113010556A说明书1/13页

数据采集方法及装置'计算机设备及计算机可读存储介质

技术领域

[0001]本发明涉及计算机技术领域，尤其涉及数据采集方法及装置、计算机设备及计算

机可读存储介质。

背景技术

[0002]本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述

不因为包括在本部分中就承认是现有技术。

[0003]功能齐备的数据采集系统和完善的数字化治理水平是商业银行实现穿透式管理、

精细化管理和合规经营的基础。而在此基础上，商业金融机构的系统还要充分考虑当地监

管要求和信息安全法规对此提出的挑战。为此，提升金融数据采集系统的数据管理和应用

能力，改善提升金融机构系统的数字化治理和管理精细化水平，更好发挥数据资产赋能经

营管理的作用势在必行。然而，现有的金融系统数据挖掘及应用能力较为欠缺，对机构管理

和风险控制都形成掣肘;数据应用能力欠缺又反之制约了金融系统的数据挖掘能力，限制

了收益水平的提升。问题主要体现在以下几个方面：

[0004]一是数据采集方式落后，无法满足当前监管、审计和内部管理的灵活需要。当前金

融系统的数据采集功能在数据采集方面过分依赖于固定报表开发需求的方式，这种方式的

时效性低，周期长，人力投入大,且境内外沟通成本高，故而难以快速高效地满足金融机构

的监管报送和业务分析需求。

[0005]二是数据挖掘能力欠缺,在数据应用方面缺乏自主性。金融系统的数据采集功能

尚无法使用适当的数据平台和工具，自主根据金融机构自身业务需要和当地监管要求的变

化，灵活高效地采集各业务领域的数据。

发明内容

[0006]本发明实施例提供一种数据采集方法,用以提高数据采集系统采集数据的灵活性

和效率，该数据采集方法包括：

[0007]根据业务需求确定预先配置的目标数据采集模板；目标数据采集模板包括目标数

据采集条件及符合目标数据采集条件的目标数据查询主题；目标数据采集条件包括目标交

易数据的指标维度及目标交易数据的加工规则；目标数据查询主题包括不同指标维度的目

标交易数据；

[0008]根据目标数据采集模板中不同指标维度的目标交易数据及目标交易数据的加工

规则采集目标交易数据。

[0009]本发明实施例还提供一种数据采集装置，用以提高数据采集系统采集数据的灵活

性和效率,该数据采集装置包括：

[0010]模板确定模块，用于根据业务需求确定预先配置的目标数据采集模板；目标数据

采集模板包括目标数据采集条件及符合目标数据采集条件的目标数据查询主题;目标数据

采集条件包括目标交易数据的指标维度及目标交易数据的加工规则；目标数据查询主题包

5

CN113010556A说明书2/13页

括不同指标维度的目标交易数据；

[0011]数据采集模块，用于根据目标数据采集模板中不同指标维度的目标交易数据及目

标交易数据的加工规则采集目标交易数据。

[0012]本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并

可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述数据采集方

法。

[0013]本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有

执行上述数据采集方法的计算机程序。

[0014]本发明实施例中，根据业务需求确定预先配置的目标数据采集模板；目标数据采

集模板包括目标数据采集条件及符合目标数据采集条件的目标数据查询主题；目标数据采

集条件包括目标交易数据的指标维度及目标交易数据的加工规则；目标数据查询主题包括

不同指标维度的目标交易数据;根据目标数据采集模板中不同指标维度的目标交易数据及

目标交易数据的加工规则采集目标交易数据。本发明实施例将交易数据划分为不同的指标

维度,预先配置数据采集模板中数据采集条件的交易数据的加工规则及数据查询主题中不

同指标维度的交易数据，能够提高采集数据的灵活性；直接利用数据采集模板中不同指标

维度的交易数据及交易数据的加工规则采集交易数据,能够提高采集数据的效率。

附图说明

[0015]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现

有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本

发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下,还可以

根据这些附图获得其他的附图。在附图中：

[0016]图1为本发明实施例提供的数据采集方法的实现流程图；

[0017]图2为本发明实施例提供的数据采集方法的另一实现流程图；

[0018]图3为本发明实施例提供的数据采集方法中步骤201至步骤204的实现流程图；

[0019]图4为本发明实施例提供的数据采集方法的又一实现流程图；

[0020]图5为本发明实施例提供的数据采集方法中步骤101至步骤102的实现流程图；

[0021]图6为本发明实施例提供的数据采集方法中步骤401的实现流程图；

[0022]图7为本发明实施例提供的数据采集装置的功能模块图；

[0023]图8为本发明实施例提供的数据采集装置的另一功能模块图；

[0024]图9为本发明实施例提供的数据采集装置中模板配置模块801、采集条件配置模块

802、主题配置模块803及数据配置模块804的结构框图；

[0025]图10为本发明实施例提供的数据采集装置的又一功能模块图；

[0026]图11为本发明实施例提供的数据采集装置中模板确定模块701及数据采集模块

702的结构框图；

[0027]图12为本发明实施例提供的数据采集装置中即席查询模块1001的结构框图；

[0028]图13为本发明实施例提供的基于业务需求需要采集的“净利息收入表”示意图。

6

CN113010556A说明书3/13页

具体实施方式

[0029]为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发

明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并

不作为对本发明的限定。

[0030]图1示出了本发明实施例提供的数据采集方法的实现流程，为便于描述，仅示出了

与本发明实施例相关的部分，详述如下：

[0031]如图1所示,数据采集方法，其包括：

[0032]步骤101,根据业务需求确定预先配置的目标数据采集模板；目标数据采集模板包

括目标数据采集条件及符合目标数据采集条件的目标数据查询主题；目标数据采集条件包

括目标交易数据的指标维度及目标交易数据的加工规则；目标数据查询主题包括不同指标

维度的目标交易数据；

[0033]步骤102,根据目标数据采集模板中不同指标维度的目标交易数据及目标交易数

据的加工规则采集目标交易数据。

[0034]本发明实施例将纷繁杂乱的交易数据按照不同的指标维度进行划分，划分为不同

指标维度的交易数据。其中，该指标维度可以包括交易时间、交易机构、交易金额及交易方

向等。本领域技术人员可以理解的是，该指标维度还可以包括除上述指标维度之外的其它

指标维度,例如交易类型等等。

[0035]在采集数据之前，根据不同的业务需求或者业务类型预先配置多个数据查询主

题，数据查询主题包括一个或多个不同指标维度的交易数据。数据查询主题中不同指标维

度的交易数据可以基于业务场景灵活配置。数据查询主题的设计与建立打破了数据孤岛，

将混乱的交易数据重塑成统一的指标维度，允许有权限的用户灵活地选择或配置指标维度

从而组成业务场景所需的数据查询主题。

[0036]与此同时沉淀并提取一些共性的数据查询主题，避免大量重复操作占据各类资

源。此外，数据查询主题既支持明细查询也支持汇总查询，提高用户体验感的敏捷程度。数

据查询主题的建设、不断优化与升级，从无到有、从普通到改革，使得数据查询主题变成顺

利满足日常经营分析和监管要求的重要运营基石。

[0037]以下表一示例性的提供多个数据查询主题，分别适用于不同的业务场景：

商业贷款查询主题定期存款查询主题活期存款查询主题外汇查询主题

债券查询主题客户查询主题授信额度查询主题ATM交易查询主题

电子银行交易查询主题贸易融资查询主题客户重要指标查询主题汇款查询主题

财务会计查询主题支付结算查询主题同业存放查询主题综合理财查询主题

衍生品合约查询主题费用查询主题存款查询主题资产负债查询主题

新国结合约查询主题交易明细查询主题合约查询主题•••

[0039]表一数据查询主题

[0040]另外，基于预先配置的数据查询主题,进一步基于数据查询主题及业务需求预先

配置适用于不同业务场景的数据采集模板，以形成数据采集模板集合。其中，数据采集模板

包括数据采集条件及符合数据采集条件的数据查询主题，该数据查询主题与业务需求相对

应。该数据采集条件包括交易数据的指标维度及（不同指标维度的）交易数据的加工规则。

[0041]具体在采集目标交易数据时，首先基于业务需求从数据采集模板集合中确定适用

7

CN113010556A说明书4/13页

于该业务场景的预先配置的目标数据采集模板。该目标数据采集模板包括了目标数据采集

条件及符合目标数据采集条件的目标数据查询主题:目标数据采集条件包括目标交易数据

的指标维度及目标交易数据的加工规则;适应该业务场景的目标数据查询主题包括不同指

标维度的目标交易数据。

[0042]最后，根据目标数据采集模板中不同指标维度的目标交易数据及目标交易数据的

加工规则采集目标交易数据。

[0043]在本发明实施例中，根据业务需求确定预先配置的目标数据采集模板；目标数据

采集模板包括目标数据采集条件及符合目标数据采集条件的目标数据查询主题；目标数据

采集条件包括目标交易数据的指标维度及目标交易数据的加工规则；目标数据查询主题包

括不同指标维度的目标交易数据;根据目标数据采集模板中不同指标维度的目标交易数据

及目标交易数据的加工规则采集目标交易数据。本发明实施例将交易数据划分为不同的指

标维度，预先配置数据采集模板中数据采集条件的交易数据的加工规则及数据查询主题中

不同指标维度的交易数据，能够提高采集数据的灵活性；直接利用数据采集模板中不同指

标维度的交易数据及交易数据的加工规则采集交易数据，能够提高采集数据的效率。

[0044]图2示出了本发明实施例提供的数据采集方法的另一实现流程，为便于描述，仅示

出了与本发明实施例相关的部分，详述如下：

[0045]在本发明的一实施例中，为了提高数据采集模板/数据采集条件/数据查询主题/

交易数据配置的灵活性，如图2所示，在上述图1所示方法步骤的基础上，数据采集方法还包

括：

[0046]步骤201,根据接收到的模板配置指令配置数据采集模板。和/或

[0047]步骤202,根据接收到的采集条件配置指令配置数据采集模板中的数据采集条件。

和/或

[0048]步骤203,根据接收到的主题配置指令配置数据采集模板中的数据查询主题。和/

或

[0049]步骤204,根据接收到的数据配置指令配置数据查询主题中不同指标维度的交易

数据。

[0050]在配置数据采集模板时，可以基于接收到的模板配置指令配置数据采集模板。另

外，还可以基于接收到的配置修改指令对配置好的数据采集模板进行修改，以提高数据采

集模板配置的灵活性。例如对数据采集模板包含的数据采集条件或数据查询主题等进行修

改，修改可以包括数据采集条件或数据查询主题的增加、数据采集条件或数据查询主题的

删除，数据采集条件或数据查询主题等名称的替换修改等。

[0051]在配置数据采集条件时，可以基于接收到的采集条件配置指令配置数据采集条

件。另外，还可以基于接收到的配置修改指令对配置好的数据采集条件进行修改，以提高数

据采集条件配置的灵活性。例如对配置好的数据采集条件等进行修改，修改可以包括数据

采集条件的增加、数据采集条件的删除,数据采集条件名称的替换修改等。

[0052]在配置数据查询主题时，可以基于接收到的主题配置指令配置数据查询主题。另

外，还可以基于接收到的配置修改指令对配置好的数据查询主题进行修改，以提高数据查

询主题配置的灵活性。例如对数据查询主题包含的交易数据的指标维度或指标维度下的交

易数据进行修改，修改可以包括交易数据的指标维度或指标维度下的交易数据的增加、交

8

CN113010556A说明书5/13页

易数据的指标维度或指标维度下的交易数据的删除，交易数据的指标维度或指标维度下的

交易数据等名称的替换修改等。

[0053]在配置数据查询主题中不同指标维度的交易数据时，可以基于接收到的数据配置

指令配置数据查询主题中不同指标维度的交易数据。另外，还可以基于接收到的配置修改

指令对配置好的数据查询主题中不同指标维度的交易数据进行修改，以提高数据配置的灵

活性。例如对数据查询主题包含的交易数据的指标维度或指标维度下的交易数据进行修

改，修改可以包括交易数据的指标维度或指标维度下的交易数据的增加、交易数据的指标

维度或指标维度下的交易数据的删除，交易数据的指标维度或指标维度下的交易数据等名

称的替换修改等。

[0054]在本发明实施例中，根据接收到的模板配置指令配置数据采集模板，能够提高数

据采集模板配置的灵活性;根据接收到的采集条件配置指令配置数据采集模板中的数据采

集条件，能够提高数据采集条件配置的灵活性;根据接收到的主题配置指令配置数据采集

模板中的数据查询主题，能够提高数据查询主题配置的灵活性;根据接收到的数据配置指

令配置数据查询主题中不同指标维度的交易数据，能够提高交易数据配置的灵活性。

[0055]图3示出了本发明实施例提供的数据采集方法中步骤201至步骤204的实现流程，

为便于描述，仅示出了与本发明实施例相关的部分，详述如下：

[0056]在本发明的一实施例中，为了满足数据采集模板/数据采集条件/数据查询主题/

交易数据的定制化需求，如图3所示，步骤201,根据接收到的模板配置指令配置数据采集模

板，包括：

[0057]步骤301,根据接收到的定制化模板配置指令配置定制化数据采集模板。

[0058]步骤202,根据接收到的采集条件配置指令配置数据采集模板中的数据采集条件,

包括：

[0059]步骤302,根据接收到的定制化采集条件配置指令配置数据采集模板中的定制化

数据采集条件。

[0060]步骤203,根据接收到的主题配置指令配置数据采集模板中的数据查询主题，包

括：

[0061]步骤303,根据接收到的定制化主题配置指令配置数据采集模板中的定制化数据

查询主题。

[0062]步骤204,根据接收到的数据配置指令配置数据查询主题中不同指标维度的交易

数据,包括：

[0063]步骤304,根据接收到的定制化数据配置指令配置定制化查询主题中定制化指标

维度的交易数据。

[0064]在数据查询主题的指标维度日益丰富成型与逐步完善的牢固地基,在此基础上设

计了自由组合指标形成分析报表、支持数据分析、清洗数据与浅层挖掘的接口与功能，“主

动”演变出更多运用数据的业务场景，未雨绸缪迎接日新月异的新业务，从而提高竞争力。

[0065]此外，“被动”接纳用户要求的一些业务场景，比如支持分行验证债券逆回购的一

些业务需求，从已有的一些固定报表、接口，配合业务测试，进一步完善了沉淀下来的固定

报表、接口，挖掘出报表、接口的适用更多地潜在的业务场景，降低用户操作繁琐性。

[0066]即在采集交易数据时，可以基于特定的业务场景或者业务需求，灵活的配置定制

9

CN113010556A说明书6/13页

化数据采集模板、数据采集模板中的定制化数据采集条件、数据采集模板中的定制化数据

查询主题及定制化数据查询主题中的定制化指标维度的交易数据，以满足数据采集的定制

化需求。

[0067]在本发明实施例中，根据接收到的定制化模板配置指令配置定制化数据采集模

板，能够满足数据采集模板的定制化需求;根据接收到的定制化采集条件配置指令配置数

据采集模板中的定制化数据采集条件，能够满足数据采集条件的定制化需求;根据接收到

的定制化主题配置指令配置数据采集模板中的定制化数据查询主题,能够满足数据查询主

题的定制化需求;根据接收到的定制化数据配置指令配置定制化查询主题中定制化指标维

度的交易数据，能够满足交易数据的定制化需求。

[0068]图4示出了本发明实施例提供的数据采集方法的又一实现流程，为便于描述，仅示

出了与本发明实施例相关的部分，详述如下：

[0069]在本发明的一实施例中，为了进一步提高数据采集的灵活性和效率，如图4所示,

在上述图1所示方法步骤的基础上，数据采集方法还包括：

[0070]步骤401,通过即席查询工具访问数据库表的方式采集交易数据。

[0071]完整的系统体系之下都必“进可攻退可守”。前面预先配置的数据采集模块及数据

查询主题重点在于“进可攻”，即席查询工具的设定如同项目管理的风险管理，重在“退可

守”。在数据的各种用途上,有概率遇到完全不在限定范围内的特殊数据需求，且这类需求

通常具有突发性、临时性、高响应性的特点，为解决这样的痛点，即席查询应运而生。

[0072]即席查询是■—种基于SAS（StatisticsAnalysisSystem,统计分析系统）等数据

访问工具，以编写SQL（（StrueturedQueryLanguage，结构化查询语言）脚本的方式自定义

数据采集条件，直接访问数据库表以获取数据结果的应用模式。即席查询可以做到：（A）通

过数据访问工具访问数据库表获取数据；（B）提供一些临时且急迫的数据使用需求的服务;

（C）能提供一些日常报表以外的数据，以便支持分行进行数据分析和挖掘。

[0073]在本发明实施例中，通过即席查询工具访问数据库表的方式采集交易数据，能够

进一步提高数据采集的灵活性和效率。

[0074]图5示出了本发明实施例提供的数据采集方法中步骤101至步骤102的实现流程,

为便于描述，仅示出了与本发明实施例相关的部分，详述如下：

[0075]在本发明的一实施例中，为了保障系统独立性及数据安全性，如图5所示，步骤

101,根据业务需求确定预先配置的目标数据采集模板,包括：

[0076]步骤501,根据业务需求确定预先配置的第一系统的第一数据采集模板；第一数据

采集模板包括第一数据采集条件及符合第一数据采集条件的第一数据查询主题;第一数据

采集条件包括第一交易数据的指标维度及第一交易数据的加工规则;第一数据查询主题包

括不同指标维度的第一交易数据;及

[0077]步骤502,根据业务需求确定预先配置的第二系统的第一数据采集模板；第二数据

采集模板包括第二数据采集条件及符合第二数据采集条件的第二数据查询主题;第二数据

采集条件包括第二交易数据的指标维度及第二交易数据的加工规则;第二数据查询主题包

括不同指标维度的第二交易数据。

[0078]步骤102,根据目标数据采集模板中不同指标维度的目标交易数据及目标交易数

据的加工规则采集目标交易数据,包括：

10

CN113010556A说明书7/13页

[0079]步骤503,根据第一数据采集模板中不同指标维度的第一交易数据及第一交易数

据的加工规则采集第一交易数据;及

[0080]步骤504,根据第二数据采集模板中不同指标维度的第二交易数据及第二交易数

据的加工规则采集第二交易数据。

[0081]相应的，数据采集方法还包括：

[0082]步骤505,将通过第一系统采集的第一交易数据和通过第二系统采集的第二交易

数据确定为目标交易数据。

[0083]数据使用是把双刃剑。过分开放，数据活跃度高但有数据泄漏的潜在危机;过分保

守，数据安全得以保证但运用效率低、施展空间受限。利用数据查询主题建立数据采集模板

的模式是将每个系统视为一个单元，数据采集模板由系统创立且仅在系统内部使用，则平

衡了数据矛盾的问题，具有以下两个优点：

[0084](1)双重保障个性化。数据采集模板既可以由每个系统的数据服务人员根据本系

统的业务场景需求而自行定制。而遇到相对复杂的业务场景，可以寻求其它系统的数据(信

息)管理部门数据服务团队人员的帮助，由数据服务人员做好需求分析、归类形成其它系统

的数据采集模板后推送给业务人员，既保留个性化定制也支持高速响应，避免复杂模版降

低了使用频率，并能逐步推广成重要堡垒。

[0085](2)资源分配优化、敏捷高效。在实际场景中，业务人员使用数据采集模板体验无

缝衔接，等同于使用固定报表，无需任何过渡与额外培训I。对于数据服务团队，接到新的业

务需求，首先可以分析是否通过定制和发布数据采集模板满足与实现。如满足则无需进行

另外系统开发，在保质保量前提下，精准要求精准成果，拥有敏捷开发的优势使得响应时效

相对从前提高数倍。

[0086]数据查询主题既“共享”也注重“隐私”。“共享”各个系统必需的、合规的公用数据,

也提供不同系统保护每个特色系统的“隐私”数据，形成良好的数据安全体系。在不同“隐

私”系统上，支持制作该系统的数据采集模板和数据查询主题,通过发布系统的个性化数据

采集模板和个性化数据查询主题，可实现仅限于在本系统内部共享，解决了数据使用问题

的双刃剑，既有数据屏蔽却不墨守成规,保证了系统独立性及数据安全性。

[0087]具体在采集不同系统的交易数据时，根据业务需求分别确定预先配置的第一系统

的第一数据采集模板，以及第二系统的第一数据采集模板;进而基于第一数据采集模板中

不同指标维度的第一交易数据及第一交易数据的加工规则采集第一交易数据，基于第二数

据采集模板中不同指标维度的第二交易数据及第二交易数据的加工规则采集第二交易数

据，最后将通过第一系统采集的第一交易数据和通过第二系统采集的第二交易数据合并作

为目标交易数据，以满足系统独立性及数据安全性。

[0088]在本发明实施例中，根据业务需求确定预先配置的第一系统的第一数据采集模

板,根据业务需求确定预先配置的第二系统的第一数据采集模板;根据第一数据采集模板

中不同指标维度的第一交易数据及第一交易数据的加工规则采集第一交易数据，根据第二

数据采集模板中不同指标维度的第二交易数据及第二交易数据的加工规则采集第二交易

数据,将通过第一系统采集的第一交易数据和通过第二系统采集的第二交易数据确定为目

标交易数据，能够保障系统独立性及数据安全性。

[0089]图6示出了本发明实施例提供的数据采集方法中步骤401的实现流程，为便于描

11

CN113010556A说明书8/13页

述，仅示出了与本发明实施例相关的部分，详述如下：

[0090]在本发明的一实施例中，为了进一步保障系统独立性及数据安全性，如图6所示,

步骤401,通过即席查询工具访问数据库表的方式采集交易数据,包括：

[0091]步骤601,通过即席查询工具访问第一系统数据库表的方式采集第一系统的交易

数据。

[0092]和/或

[0093]步骤602,通过即席查询工具访问第二系统数据库表的方式采集第二系统的交易

数据。

[0094]为保障系统独立性及数据安全性，（第一系统的操作人员）仅能通过即席查询工具

访问第一系统数据库表的方式采集第一系统的交易数据，而不能通过即席查询工具访问第

二系统数据库表的方式采集第二系统的交易数据。

[0095]同样的，（第二系统的操作人员）仅能通过即席查询工具访问第二系统数据库表的

方式采集第二系统的交易数据，而不能通过即席查询工具访问第一系统数据库表的方式采

集第一系统的交易数据。

[0096]在本发明实施例中，通过即席查询工具访问第一系统数据库表的方式采集第一系

统的交易数据，通过即席查询工具访问第二系统数据库表的方式采集第二系统的交易数

据，能够保障系统独立性及数据安全性。

[0097]本发明实施例还提供一种数据采集装置，如下面的实施例所述。由于这些装置解

决问题的原理与数据采集方法相似，因此这些装置的实施可以参见方法的实施，重复之处

不再赘述。

[0098]图7示出了本发明实施例提供的数据采集装置的功能模块，为便于说明，仅示出了

与本发明实施例相关的部分，详述如下：

[0099]参考图7,所述数据采集装置所包含的各个模块用于执行图1对应实施例中的各个

步骤,具体请参阅图1以及图1对应实施例中的相关描述,此处不再赘述。本发明实施例中，

所述数据采集装置包括模板确定模块701及数据采集模块702。

[0100]模板确定模块701,用于根据业务需求确定预先配置的目标数据采集模板；目标数

据采集模板包括目标数据采集条件及符合目标数据采集条件的目标数据查询主题:目标数

据采集条件包括目标交易数据的指标维度及目标交易数据的加工规则；目标数据查询主题

包括不同指标维度的目标交易数据。

[0101]数据采集模块702,用于根据目标数据采集模板中不同指标维度的目标交易数据

及目标交易数据的加工规则采集目标交易数据。

[0102]在本发明实施例中，模板确定模块701根据业务需求确定预先配置的目标数据采

集模板；目标数据采集模板包括目标数据采集条件及符合目标数据采集条件的目标数据查

询主题；目标数据采集条件包括目标交易数据的指标维度及目标交易数据的加工规则；目

标数据查询主题包括不同指标维度的目标交易数据;数据采集模块702根据目标数据采集

模板中不同指标维度的目标交易数据及目标交易数据的加工规则采集目标交易数据。本发

明实施例将交易数据划分为不同的指标维度，预先配置数据采集模板中数据采集条件的交

易数据的加工规则及数据查询主题中不同指标维度的交易数据，能够提高采集数据的灵活

性;数据采集模块702直接利用数据采集模板中不同指标维度的交易数据及交易数据的加

12

CN113010556A说明书9/13页

工规则采集交易数据，能够提高采集数据的效率。

[0103]图8示出了本发明实施例提供的数据采集装置的另一功能模块，为便于说明，仅示

出了与本发明实施例相关的部分，详述如下：

[0104]在本发明的一实施例中，为了提高数据采集模板/数据采集条件/数据查询主题/

交易数据配置的灵活性,参考图8,所述数据采集装置所包含的各个模块用于执行图2对应

实施例中的各个步骤，具体请参阅图2以及图2对应实施例中的相关描述,此处不再赘述。本

发明实施例中，在上述图7所示模块结构的基础上，所述数据采集装置还包括模板配置模块

801、采集条件配置模块802、主题配置模块803及数据配置模块804。

[0105]模板配置模块801,用于根据接收到的模板配置指令配置数据采集模板。和/或

[0106]采集条件配置模块802,用于根据接收到的采集条件配置指令配置数据采集模板

中的数据采集条件。

[0107]主题配置模块803,用于根据接收到的主题配置指令配置数据采集模板中的数据

查询主题。和/或

[0108]数据配置模块804,用于根据接收到的数据配置指令配置数据查询主题中不同指

标维度的交易数据。

[0109]在本发明实施例中，模板配置模块801根据接收到的模板配置指令配置数据采集

模板，能够提高数据采集模板配置的灵活性;采集条件配置模块802根据接收到的采集条件

配置指令配置数据采集模板中的数据采集条件，能够提高数据采集条件配置的灵活性;主

题配置模块803根据接收到的主题配置指令配置数据采集模板中的数据查询主题,能够提

高数据查询主题配置的灵活性；数据配置模块804根据接收到的数据配置指令配置数据查

询主题中不同指标维度的交易数据，能够提高交易数据配置的灵活性。

[0110]图9示出了本发明实施例提供的数据采集装置中模板配置模块801、采集条件配置

模块802、主题配置模块803及数据配置模块804的结构示意，为便于说明，仅示出了与本发

明实施例相关的部分，详述如下：

[0111]在本发明的一实施例中，为了满足数据采集模板/数据采集条件/数据查询主题/

交易数据的定制化需求,参考图9,所述模板配置模块801、采集条件配置模块802、主题配置

模块803及数据配置模块804所包含的各个单元用于执行图3对应实施例中的各个步骤，具

体请参阅图3以及图3对应实施例中的相关描述,此处不再赘述。本发明实施例中，所述模板

配置模块801包括定制化模板配置单元901。

[0112]定制化模板配置单元901,用于根据接收到的定制化模板配置指令配置定制化数

据采集模板。

[0113]所述采集条件配置模块802包括定制化采集条件配置单元902。

[0114]定制化采集条件配置单元902,用于根据接收到的定制化采集条件配置指令配置

数据采集模板中的定制化数据采集条件。

[0115]所述主题配置模块803包括定制化主题配置单元903。

[0116]定制化主题配置单元903,用于根据接收到的定制化主题配置指令配置数据采集

模板中的定制化数据查询主题；

[0117]所述数据配置模块804包括定制化数据配置单元904。

[0118]定制化数据配置单元904,用于根据接收到的定制化数据配置指令配置定制化查

13

CN113010556A说明书10/13页

询主题中定制化指标维度的交易数据。

[0119]在本发明实施例中，定制化模板配置单元901根据接收到的定制化模板配置指令

配置定制化数据采集模板，能够满足数据采集模板的定制化需求;定制化采集条件配置单

元902根据接收到的定制化采集条件配置指令配置数据采集模板中的定制化数据采集条

件，能够满足数据采集条件的定制化需求;定制化主题配置单元903根据接收到的定制化主

题配置指令配置数据采集模板中的定制化数据查询主题，能够满足数据查询主题的定制化

需求；定制化数据配置单元904根据接收到的定制化数据配置指令配置定制化查询主题中

定制化指标维度的交易数据，能够满足交易数据的定制化需求。

[0120]图10示出了本发明实施例提供的数据采集装置的又一功能模块，为便于说明，仅

示出了与本发明实施例相关的部分，详述如下：

[0121]在本发明的一实施例中，为了进一步提高数据采集的灵活性和效率,参考图10,所

述数据采集装置所包含的各个模块用于执行图4对应实施例中的各个步骤,具体请参阅图4

以及图4对应实施例中的相关描述,此处不再赘述。本发明实施例中，在上述图1所示功能模

块的基础上，所述数据采集装置还包括即席查询模块1001。

[0122]即席查询模块1001,用于通过即席查询工具访问数据库表的方式采集交易数据。

[0123]在本发明实施例中，即席查询模块1001通过即席查询工具访问数据库表的方式采

集交易数据,能够进一步提高数据采集的灵活性和效率。

[0124]图11示出了本发明实施例提供的数据采集装置中模板确定模块701及数据采集模

块702的结构示意，为便于说明，仅示出了与本发明实施例相关的部分，详述如下：

[0125]在本发明的一实施例中，为了保障系统独立性及数据安全性,参考图11,所述模板

确定模块701及数据采集模块702所包含的各个单元用于执行图5对应实施例中的各个步

骤，具体请参阅图5以及图5对应实施例中的相关描述,此处不再赘述。本发明实施例中，所

述模板确定模块701包括第一模板确定单元1101及第二模板确定单元1102。

[0126]第一模板确定单元1101,用于根据业务需求确定预先配置的第一系统的第一数据

采集模板;第一数据采集模板包括第一数据采集条件及符合第一数据采集条件的第一数据

查询主题;第一数据采集条件包括第一交易数据的指标维度及第一交易数据的加工规则；

第一数据查询主题包括不同指标维度的第一交易数据。

[0127]第二模板确定单元1102,用于根据业务需求确定预先配置的第二系统的第一数据

采集模板;第二数据采集模板包括第二数据采集条件及符合第二数据采集条件的第二数据

查询主题;第二数据采集条件包括第二交易数据的指标维度及第二交易数据的加工规则；

第二数据查询主题包括不同指标维度的第二交易数据。

[0128]所述数据采集模块702包括第一交易数据采集单元1103及第二交易数据采集单元

1104。

[0129]第一交易数据采集单元1103,用于根据第一数据采集模板中不同指标维度的第一

交易数据及第一交易数据的加工规则采集第一交易数据。

[0130]第二交易数据采集单元1104,用于根据第二数据采集模板中不同指标维度的第二

交易数据及第二交易数据的加工规则采集第二交易数据。

[0131]所述数据采集装置还包括交易数据确定模块1105。

[0132]交易数据确定模块1105,用于将通过第一系统采集的第一交易数据和通过第二系

14

CN113010556A说明书11/13页

统采集的第二交易数据确定为目标交易数据。

[0133]在本发明实施例中，第一模板确定单元1101根据业务需求确定预先配置的第一系

统的第一数据采集模板，第二模板确定单元1102根据业务需求确定预先配置的第二系统的

第一数据采集模板;第一交易数据采集单元1103根据第一数据采集模板中不同指标维度的

第一交易数据及第一交易数据的加工规则采集第一交易数据，第二交易数据采集单元1104

根据第二数据采集模板中不同指标维度的第二交易数据及第二交易数据的加工规则采集

第二交易数据，交易数据确定模块1105将通过第一系统采集的第一交易数据和通过第二系

统采集的第二交易数据确定为目标交易数据，能够保障系统独立性及数据安全性。

[0134]图6示出了本发明实施例提供的数据采集装置中即席查询模块1001的结构示意，

为便于说明，仅示出了与本发明实施例相关的部分，详述如下：

[0135]在本发明的一实施例中，为了进一步保障系统独立性及数据安全性,参考图12,所

述即席查询模块1001所包含的各个单元用于执行图6对应实施例中的各个步骤，具体请参

阅图6以及图6对应实施例中的相关描述,此处不再赘述。本发明实施例中，所述即席查询模

块1001包括第一即席查询单元1201和/或第二即席查询单元1202。

[0136]第一即席查询单元1201,用于通过即席查询工具访问第一系统数据库表的方式采

集第一系统的交易数据。

[0137]第二即席查询单元1202,用于通过即席查询工具访问第二系统数据库表的方式采

集第二系统的交易数据。

[0138]在本发明实施例中，第一即席查询单元1201通过即席查询工具访问第一系统数据

库表的方式采集第一系统的交易数据，第二即席查询单元1202通过即席查询工具访问第二

系统数据库表的方式采集第二系统的交易数据，能够保障系统独立性及数据安全性。

[0139]本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并

可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述数据采集方

法。

[0140]本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有

执行上述数据采集方法的计算机程序。

[0141]以下结合一具体实例，示例性说明本发明数据采集模板的配置和数据采集的过

程：

[0142]（一）数据采集模板的配置

[0143]基本分析思路:通过完成以下几个步骤，保障所定制的数据采集模板口径是清晰

的，数据是准确的、可信的。

[0144]明确业务需求和分解业务需求:这是数据采集模板定制的基础，决定着数据采集

模板定制的成败。明确需求就是要明确想要看什么交易数据、从哪些指标维度看交易数据。

分解需求就是将想查的交易数据从业务语言转化为数据语言。数据语言体现为:数据采集

条件，数据采集条件包括交易数据的指标维度，不同指标维度的交易数据的加工规则，不同

指标维度的交易数据的展现维度等。

[0145]编制数据采集模板:涉及确认交易数据的指标维度和不同指标维度的交易数据的

加工规则，具体包括:交易数据的指标维度（定位到具体的交易数据）；（2）不同指标维度的

交易数据的加工规则（确定聚合函数）o

15

CN113010556A说明书12/13页

[0146]运行、验证、调试数据采集模板:运行查询、验证数据,根据采集到的数据确定是否

符合业务需求。判断：不同指标维度的交易数据的加工规则（取数逻辑是否正确或业务口径

是否合理）。

[0147]如果符合业务情况，则保存为数据采集模板；如果和业务实际有差异，需分析不同

指标维度的交易数据的加工规则（取数逻辑或业务口径）是否存在问题。如存在问题则调整

数据采集模板,重新运行和验证,直到符合业务需求。

[0148]（-）基于数据查询主题的数据采集模板的定制实例

[0149]下面以一个实例为例，说明基于数据查询主题的数据采集模板的定制操作步骤。

[0150]如图13所示，示出了基于业务需求需要统计的“净利息收入表”。经过分析确定数

据采集条件为：（A）代客发起标志：1表示对私客户；（B）外汇产品类型:SPOT；（C）日期可选。

在开始编制数据采集模板前，需要将需求明确到以上程度。

[0151]确认使用表一示例的外汇合约查询主题定制此数据采集模板。使用workspace工

具，进入数据采集模板编辑界面。挑选右侧外汇合约查询主题列表中的不同指标维度的交

易数据拖入数据采集模板编辑页面，并根据需求更改交易数据的指标维度名称和不同指标

维度的交易数据的加工规则（不同指标维度的交易数据的表达式定义）。

[0152]设置筛选器，即运行查询时提示用户输入的参数名称，如业务日期。运行报表，验

证数据。对页面进行排版美化，并对记录格式进行调整，例如排序、汇总等。

[0153]本发明克服金融系统数据采集方式落后、数据挖掘能力欠缺的屏障，通过建立不

同业务领域的数据查询主题和允许用户利用数据查询主题的交易数据自行定制数据采集

模板的方式，提升金融系统的数据管理和应用能力，改善提升金融系统数字化治理和管理

精细化水平,减少金融系统在信息化过程中的成本投入，提高在数据应用方面的自主性。

[0154]综上所述，本发明实施例中，根据业务需求确定预先配置的目标数据采集模板；目

标数据采集模板包括目标数据采集条件及符合目标数据采集条件的目标数据查询主题；目

标数据采集条件包括目标交易数据的指标维度及目标交易数据的加工规则；目标数据查询

主题包括不同指标维度的目标交易数据;根据目标数据采集模板中不同指标维度的目标交

易数据及目标交易数据的加工规则采集目标交易数据。本发明实施例将交易数据划分为不

同的指标维度，预先配置数据采集模板中数据采集条件的交易数据的加工规则及数据查询

主题中不同指标维度的交易数据，能够提高采集数据的灵活性;直接利用数据采集模板中

不同指标维度的交易数据及交易数据的加工规则采集交易数据，能够提高采集数据的效

率。

[0155]本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序

产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实

施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机

可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产

品的形式。

[0156]本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程

图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流

程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序

指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产

16

CN113010556A说明书13/13页

生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实

现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

[0157]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特

定方式工作的计算机可读存储器中，使得