大数据处理综合处理服务平台的设计与实现

-精选财经经济类资料- -最新财经经济资料-感谢阅读- 1 大数据处理综合处理服务平台的设 计与实现 （广州城市职业学院 广东 广州 510405） 中国论文网 /8/view-12938569.htm 摘要：在信息技术高速发展的今 天，金融业面临的竞争日趋激烈，信息 的高度共享和数据的安全可靠是系统建 设中优先考虑的问题。大数据综合处理 服务平台支持灵活构建面向数据仓库、 实现批量作业的原子化、参数化、操作 简单化、流程可控化，并提供灵活、可 自定义的程序接口，具有良好的可扩展 性。该服务平台以 SOA 为基础，采用 云计算的体系架构，整合多种 ETL 技 术和不同的 ETL 工具，具有统一、高 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 2 效、可拓展性。该系统整合金融机构的 客户、合约、交易、财务、产品等主要 业务数据，提供客户视图、客户关系管 理、营销管理、财务分析、质量监控、 风险预警、业务流程等功能模块。该研 究与设计打破跨国厂商在金融软件方面 的垄断地位，促进传统优势企业走新型 信息化道路，充分实现了“资源共享、 低投入、低消耗、低排放和高效率”， 值得大力发展和推广。 关键词：面向金融，大数据，综 合处理服务平台。 一、研究的意义 目前，全球 IT 行业讨论最多的 两个议题，一个是大数据分析“Big Data”， 一个是云计算 “Cloud Computing”。中国五大国有商业银行发 展至今，积累了海量的业务数据，同时 还不断的从外界收集数据。据 IDC（国 际数据公司）预测，用于云计算服务上 的支出在接下来的 5 年间可能会出现 3 倍的增长，占据 IT 支出增长总量中 25%的 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 3 份额。目前企业的各种业务系统中数据 从 GB、TB 到 PB 量级呈海量急速增长， 相应的存储方式也从单机存储转变为网 络存储。传统的信息处理技术和手段， 如数据库技术往往只能单纯实现数据的 录入、查询、统计等较低层次的功能， 无法充分利用和及时更新海量数据，更 难以进行综合研究，中国的金融行业也 不例外。中国五大国有商业银行发展至 今，积累了海量的业务数据，同时还不 断的从外界收集数据。通过对不同来源， 不同历史阶段的数据进行分析，银行可 以甄别有价值潜力的客户群和发现未来 金融市场的发展趋势，针对目标客户群 的特点和金融市场的需求来研发有竞争 力的理财产品。所以，银行对海量数据 分析的需求是尤为迫切的。再有，在信 息技术高速发展的今天，金融业面临的 竞争日趋激烈，信息的高度共享和数据 的安全可靠是系统建设中优先考虑的问 题。随着国内银行业竞争的加剧，五大 国有商业银行不断深化以客户为中心， -精选财经经济类资料- -最新财经经济资料-感谢阅读- 4 以优质业务为核心的经营理念，这对银 行自身系统的不断完善提出了更高的要 求。而“云计算 ”技术的推出，将成为银 行增强数据的安全性和加快信息共享的 速度，提高服务质量、降低成本和赢得 竞争优势的一大选择。 面向金融领域的海量数据综合处 理服务平台融合了分布式云计算技术、 SOA 技术、ETL 技术、作业调度技术， 以 SOA 为基础，采用云计算的体系架 构，整合多种 ETL 技术和不同的 ETL 工具，为金融行业建立统一、高效、可 拓展的面向金融领域的海量数据综合处 理服务平台。该平台支持灵活构建面向 数据仓库、数据集市、数据集文件进行 海量数据的处理、加工和交换，实现批 量作业的原子化、参数化、操作简单化、 流程可控化，并提供灵活、可自定义的 程序接口，具有良好的可扩展性，是一 个基础服务框架的产品平台。该系统整 合金融机构的客户、合约、交易、财务、 产品等主要业务数据，提供客户视图、 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 5 客户关系管理、营销管理、财务分析、 质量监控、风险预警、业务流程等功能 模块。系统支持构筑面向运营的服务平 台，可以按功能点或数据量来向使用方 收费，使用方按格式要求提供数据，然 后点击相关功能模块得到目标结果。 随着全球各行业对数据整合应用 需求的扩大， “面向金融领域的海量数据 综合处理服务平台” 的需求将会越来越 大。该平台为银行、证券、保险行业等 金融领域服务业创新和转型升级提供决 策支持，能有效推进信息化技术在传统 金融优势产业的融合渗透，属于国家优 先发展和重点支持技术领域。从宏观的 角度来看，通过本服务平台的实施，能 促进我国金融信息化的发展，调整产业 结构，同时增强企业品牌竞争力，提高 企业在国内外信息科技领域的知名度， 打破跨国厂商在金融软件方面的垄断地 位，促进传统优势企业走新型信息化道 路，完善社会主义市场经济体制，符合 我国“十二五 ”规划刚要发展的特点，对 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 6 全面建设小康社会新胜利、推进中国特 色社会主义伟大事业，具有十分重要的 意义。 二、 平台设计的技术线路 1、 基础技术架构采用了当前先 进的云计算技术，系统采用基于 Hadoop 架构计算模式，突破传统数据 库系统对海量数据处理的速度限制，通 过对大量数据的并发访问和处理，极大 地提高了数据处理效率。 2、 基于 SOA 方式的批量处理 作业调度逻辑设计，采用集中式管理、 分布式、多节点并行运算的设计概念， 实现跨平台、面向数据、高效并发调度 多个海量批处理作业。 3、 采用 ETL 技术，完成海量 数据从源系统到数据仓库再到数据集市 加工、处理、集成的过程。同时，平台 支持整合主流的 ETL 工具 （DataStage、Informatica、Sagent 等） 和对可执行程序和存储过程的调用。 4、 采用作业调度技术，通过统 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 7 一的操作平台和图形化界面，定义批量 作业的调度策略和调度规则，实现跨平 台、跨系统的批量作业的调度、执行和 监控；同时，平台通过并发控制和动态 负载均衡实现性能的最大优化。 5、 采用影像处理技术实现影像 的扫描、处理、分类、上传。影像扫描 通用平台集成了一系列对文件处理、文 件扫描、影像处理、文件上传的逻辑， 通过一系列的抽象和转化，使开发人员 可以忽略内部细节而直接针对业务逻辑 进行设计。 6、 通过工作流技术实现业务线 上的流转和审批，并结合电子化影像， 极大地提高了工作效率。 三、平台的功能与架构 1、数据整合层 通过 SOA 技术、ETL 技术、 hadoop 的 HDFS 技术、影像处理技术， 高效整合来自各个业务系统的数据，保 证系统数据的一致性、准确性和完整性。 数据经过加工处理，根据数据格式和数 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 8 据量，分别存储在关系型数据库、 hadoop HBASE、影像存 教校再 根据主题应用，将数据整合加工存储在 “应用数据存储 ”，为用户提供一个统一 的干净的数据视图。 2、基础架 构层 采用 hadoop 来构建分布式并行 计算平台，主要由 MapReduce 的算法 执行和一个分布式的文件系统 （HDFS）两部分组成， hadoop 在可伸 缩性、健壮性、计算性能和成本上具有 无可替代的优势。 采用公司有自主知识产权的 ETL 软件包或整合主流的 ETL 工具 （DataStage、Informatica、Sagent 等） 来构建数据 ETL 平台。 采用 Brio 构建数据查询、分析、 统计报表平台。 采用 Oracle 和 hadoop HBASE 搭 建数据存储平台。Oracle 采用传统的方 式存储数据。HBase 是 Hadoop 的一个 子项目，HBase 采用了 Google BigTable -精选财经经济类资料- -最新财经经济资料-感谢阅读- 9 的稀疏的、面向列的数据库实现方式， 建立在 hadoop 的 hdfs 上，一方面用了 hdfs 的高可靠性和可伸缩行，另外一方 面用了 BigTable 的高效数据组织形式， 为海量数据加工处理存储提供了很好的 解决方案。 采用 JBPM 管理并配置流程，实 现对流程的读取和保存操作，并推动流 程的流转。 采用 Websphere 支持 WEB 应用， 用户只需通过浏览器即可登录系统进行 相关操作，提高了易用性和可维护性。 3、集成与服务层 集成与服务层整合了 ETL 引擎、 作业调度引擎、规则引擎、影像处理引 擎、工作流引擎来实现关键技术路径， 并通过组件化设计，保证了系统的灵活 性和可扩展性。系统还提供了管理监控 服务、云计算服务、数据平台服务等。 4、应用层 在数据整合层、基础架构层、集 成与服务层的基础上实现针对业务数据 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 10 加工、客户视图、客户关系管理、营销 管理、财务分析、资产质量监控、风险 预警、业务分析、统计报表等应用。 系统物理架构如下： 数据源：数据来源于多个业务 系统； ETL 服务器：多台服务器组成 集群，部署 hadoop HDFS、datastage 工 具、etl 软件包，实现海量数据的综合处 理； 存储服务器：多台服务器组成 集群，部署 oracle 数据库、hadoop HBASE 来存储数据，部署影像存储平 台来存储影像文件； WEB 应用服务器：部署 IBM Webspshere application Server，支持 WEB 应用，部署 JBPM 支持工作流应 用； 分析应用服务器：部署 Brio 服务器，支持分析、统计、报表应用； 客户端：客户端采用普通 PC，客户端浏览器要求 IE5.5 以上； -精选财经经济类资料- -最新财经经济资料-感谢阅读- 11 网络：服务器、客户端通过 TCP/IP 网络进行连接。 四、关键技术与创新性 云计算技术：本服务平台采用高 性能的分布式云计算技术，实现海量文 件存储、海量数据存储和统一的海量数 据处理编程方法和运行环境。云计算主 要基于虚拟化和分布式并行架构两大核 心技术，虚拟化平台将服务器虚拟为多 个性能可配的虚拟机，对整个集群系统 中所有虚拟机进行监控和管理，并根据 实际资源使用情况对资源池灵活分配和 调度。虚拟化技术不仅消除大规模异构 服务器的差异化，其形成的计算池可以 具有超级的计算能力。分布式并行架构 是云计算的另一个核心技术，用于将大 量的低配置机器整合为一台高性能计算 机，提供海量的数据存储和处理服务。 SOA 技术： 面向服务的体系结 构（service-oriented architecture，SOA）是一个组件模型， 它将应用程序的不同功能单元（称之为 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 12 服务）通过这些服务之间定义良好的接 口联系起来。接口是独立于实现服务的 硬件平台、操作系统和编程语言的。采 用 SOA 技术实现处理、运行、监控服 务之间的松耦合，使系统变得更加灵活， 以适应不断变化的业务需求和环境。 ETL 技术： ETL 中三个字母分别 代表的是 Extract、Transform、Load， 即抽取、转换、加载。ETL 作为构建数 据仓库的一个重要环节，负责将分布的、 异构数据源中的数据如关系数据、平面 数据文件等加工到临时中间层，然后进 行清洗、转换、集成，最后加载到数据 仓库或数据集市，作为联机分析处理、 数据挖掘的数据基础。采用自主开发的 ETL 工具或整合主流 ETL 工具，通过 周期性的刷新，为用户提供一个统一的 干净的数据视图，为数据分析提供一个 高质量的数据源。 作业调度技术：数据仓库、数据 集市的批量作业数量很多、处理流程和 作业依赖关系复杂多样、性能低下，是 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 13 ETL 处理加工遇到的常见问题，系统采 用作业调度技术，通过统一的操作平台 和图形化界面，定义批量作业的调度策 略和调度规则，实现跨平台、跨系统的 批量作业的调度、执行和监控。针对数 据量巨大、源数据文件多、加工逻辑复 杂的系统，使用作业调度技术达到简化 管理复杂度，提高系统总体性能的目的。 影像处理技术：采用我公司自有 知识产权的影像扫描通过平台来实现影 像的处理及上传。 扫描影像：作为一个插件，该软 件可以在 IE 浏览器平台上调用各种扫 描设备扫描图像，并按照预先设定的摸 板，对影像自动存盘，并对扫描的影像 进行数据格式压缩，确保传输文件的大 小。 影像处理：对扫描出来的影像提 供了预览的功能，支持放大、缩小查看。 对影像还具有自动去黑点、去黑框、自 动纠偏，以及旋转角度等功能。 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 14 影像分类：对扫描的影像文件提 供分类文件夹，便于用户按照实际的业 务需求来进行分类。 文件操作：支持影像文件的一般 操作，如复制、粘贴、删除、建立文件 夹等功能，并支持缩略图的拖拉操作。 影像上传：对于指定的影像资料， 在特定的目录下，支持影像的上传功能， 由服务器进行影像的存放及稻菘飧 新。在传输过程中严格保证文件传