银联商务数据中心大数据建设需求

银商数据中心大数据建设需求

(V0.2)

银联商务技术开辟中心

2022-4-24

银商数据中心大数据建设需求

版本控制信息

版本日期拟稿和修改说明

初稿2022-4-20胡府捷拟初稿

V0.12022-4-24胡府捷增加技术要求，重新梳理章节

V0.22022-4-24胡府捷增加数据中心系统的描述，修改反馈要

求

本文档中的所有内容为银联商务有限公司的机密和专属所有。未经银联商务有限公司的明

确书面许可，任何组织或者个人不得以任何目的、任何形式及任何手段复制或者传播本文

档部分或者全部内容。

第2页

银商数据中心大数据建设需求

目录

1、数据中心数据现状............................................................4

1.1数据中心核心信息数据情况...............................................4

1.2数据中心与外部系统信息交互情况........................................5

1.3数据中心目前的数据存储情况.............................................5

2、数据中心系统现状............................................................6

2.1系统架构................................................................6

2.2功能描述................................................................6

2.3面临的问题..............................................................7

3、项目建设目标................................................................8

3.1业务目标................................................................8

3.1.1.建立数据模型分析平台，开展持卡人交易行为分析....................8

3.12建立基于大数据平台的海量数据统计平台............................8

3.13能满足对海量历史数据进行快速查询的要求..........................8

3.2技术目标................................................................9

4、反馈应答要求................................................................9

反馈文档要求.............................................................9

计划安排.................................................................10

应答时间.................................................................10

第3页

银商数据中心大数据建设需求

1、数据中心数据现状

1.1数据中心核心信息数据情况

商户群BKfi嶷信息（stM）、T表

态档案

数据中TH谑丸

•锲墓全潼水

•清分系统流水

•结灯系统流水

交舄流水•»•代增值温水

信总•二代潦水

J・・综合说水

・愤付卡系统流水

•分支机构本地增侦流水

敷器加工、处瞳•手机平台交易流水

准实时谟水a

•全民付、《通、实名支付

汇总类

•二代已上续传叔瞽落水

商户交易汇总表

经设交易汇总表

数据中心对外展示功能主要基于业务数据查询平台，其主要功能

包括：关键指标展示、多维分析、专题明细查询、常用数据浏览、静

态报表下载以及部份业务参数管理和维护。

数据中心保存的数据主要包含三大类：交易流水类数据、商户档

案类数据和汇总统计类数据，均为结构化数据。

第4页

银商数据中心大数据建设需求

1.2数据中心与外部系统信息交互情况

1.3数据中心目前的数据存储情况

数据中心目前数据量情况为全库18T,其中流水类数据为10T

包括综合流水（90亿条记录），新一代增值流水（FJNL），清分流水。

每日增量流水约1200万条记录。

商户信息数据按天保存，商户数约为300万，终端数约为480

万。每天数据量约为10Go

第5页

银商数据中心大数据建设需求

2、数据中心系统现状

2.1系统架构

2.2功能描述

新一代流水、清分流水、结算流水和BMS商户数据分别以文本和

oracledmp格式通过ftp方式传输到数据中心服务器上，每天定时

由批处理服务器通过批量框架（C++）调用批量过程按分支机构并发

地将文件或者DMP包导入数据库中。并通过调用存储过程完成数据

的清洗、关联、数据补齐工作。

批量过程完成元数据加工工作后，按各种业务维度按天、按月汇

总交易数交易金额和收益等数据并生成关键指标数据。目前数据中有

各种维度的汇总统计表80余张。

完成汇总后，批量框架服务会根据关键指标数据生成cognos

第6页

银商数据中心大数据建设需求

cube,并刷新cognos服务;同时报表生成程序会根据中间汇总表

生成预定的报表文件。

终端用户以web访问方式通过查询平台可以查询定制的报表或

者者通过cognos组件以仪表盘方式查询各动态报表。用户亦可通

过拖拉拽方式自由组合维度和度量生成报表表格，通过cube可以

实现数据的多维分析和动态钻取。

2.3面临的问题

1.单库查询方式的数据存储容量有限，很难做到数据的长期保存和

查询。

2.新增中间统计汇总需求或者中间统计汇总口径发生变化时，对存

量数据的重新汇总需要耗费很漫长的时间。

3.无法满足海颗史数据随机Bi旬的需求。

4.数据备份艰难，超大容量数据库在备份和恢复方面存在很大艰难,

成本极演）。

5.数据分析处理能力有限，仅能按日进行数据统计，无法进行海量

数据抽取运算。

第7页

银商数据中心大数据建设需求

3、项目建设目标

3.1业务目标

2022年大数据建设工作主要包括：

3.LL建立数据模型分析平台，开展持卡人交易行为分析

持卡人交易行为分析是已交易流水中的卡号为对象，根据持卡人

历史消费情况进行数据拟合，根据一笔实际消费信息快速计算出该持

卡人下一笔可能的消费目的，为精准营销提供支持。持卡人行为分析

除了分析模型建立外，还包含了商圈的识别，目前我们已对部份商户

地址进行了坐标化（百度坐标）。该行为分析的时限要求是1秒内且

在1000TPS的情况下延时不超过5秒。

3.12建立基于大数据平台的海量数据统计平台

海量历史数据统计要求是非实时的，是针对一定统计口径进行汇

总的批处理要求。例如一定统计口径下针对90亿条流水按天生成汇

总的中间结果，速度要求是小时级。

3.13能满足对海量历史数据进行快速查询的要求

海量历史数据快速查询要求对海量历史流水按一定条件进行快

第8页

银商数据中心大数据建设需求

速查询，需实现分页技术。此需求要求搜索的数据量大，响应速度快,

要求能在分钟级内从大数据平台返回数据集给前端应用。

3.2技术目标

1.具备强大计算处理能力和存储能力。

2.采用X86框架服务器，无需采购高端机器（小型机），节省硬

件投入。

3.尽可能保持现有基于SQL92标准的使用习惯，也不排除对应

用进彳强当修改以适应新的数据库层■勾。

4提供使用灵便方便的数据接口，供各类业务系统对数据进行快

旬。

5节点扩展快捷，不影响现有节点工作。

4、反馈应答要求

反馈文档要求

1.应结合银商现有数据中心的现状、存在的问题以及大数据分

析的需求给出适合的技术方案。

2.大数据平台建设不代表取代原数据中心。技术方案须涵盖大

数据处理平台并体现对现有数据中心系统的优化整合，明确大数据处

理平台和数据中心间的关系。

4.技术方案应包