集团大数据平台整体方案项目概述

1、集团大数据平台整体方案项目概述1.1 建设背景1.1.1 集团已有基础经过十几年的信息化建设，集团已经积累了覆盖邮务、速递物流、金融三大板块的海量生产和经营数据，这些数据分布在集团各类应用系统和数据库中，支撑着集团业务的发展。集团初步搭建了由名址系统、 量收系统、 速递平台系统、数据分析平台组成的初步的数据仓库，为数据分析挖掘工作打下了一定的技术基础。组建了专业的组织架构促进企业数据管理与应用的规范化与制度化。集团已成立数据中心，集团数据中心和各省的数据分析团队已经进行了多个专题的数据分析与成果应用的尝试。1.1.2 痛点及需提升的能力集团拥有丰富的客户资源，海量的数据积累。在大数据时代，要充

2、分挖掘数据价值，跟上时代的步伐。板块间数据存在壁垒，共享不足，无法实现集团企业数据的充分有效利用。数据存在冗余、分散、安全性差、一致性差等问题，应建立有效的数据管控体系，打破信息孤岛、实现企业信息数据共享、提升数据价值。非 / 半结构化数据利用不足，需利用大数据技术加强应用。1.1.3 大数据趋势随着移动互联网、云计算、物联网和大数据技术的广泛应用，现代社会已经迈入全新的大数据时代。掌握大数据资产，进行智能化决策，已成为企业胜出的关键。越来越多的企业开始重视大数据战略布局，重新定义自己的核心竞争力， 从数据中揭示规律， 了解过去、 知悉现在、洞察未来，数据驱动企业运行与决策的科学性，构建智慧企

3、业，打造核心竞争力。数据的爆炸式增长以及价值的扩大化，将对企业未来的发展产生深远的影响，数据将成为企业的核心资产。如何应对大数据，挖掘大数据的价值，让大数据为企业的发展保驾护航，将是未来信息技术发展道路上关注的重点。1.2 建设目标1.2.1 总体目标根据集团信息化规划，遵循“互联网 + ”的理念，建设集团大数据平台，实现集团数据资源的集中及整合，构建集团统一的数据模型，提高企业数据的处理效率与共享程度。实现对集团企业内部数据和外部数据的分析挖掘，对内对外提供数据服务。 为全网提供决策支持、 产品创新、 交叉营销、服务支撑、风险管控以及流程优化等支撑服务。集团大数据平台将在 Hadoop 和云

4、计算等技术的基础上，对现有量收系统、数据分析综合服务平台的历史数据、数据模型、报表应用等进行移植，全面整合集团业务数据。数据来源涵盖集团所有的生产和管理系统，并可接入同业及相关市场甚至互联网信息，建立从业务层到管理层到决策层的智能分析体系，模拟量化风险和收益，实现对集团各种业务数据进行分类、管理、统计和分析等功能，给各级管理人员提供各类准确的统计分析预测数据，使其能够及时掌握全面的经营状况，为宏观决策提供支持；为基层业务人员提供详尽的数据，供其对各自的工作目标、当前和历史状况进行准确的把握，对业务活动进行有效支撑；满足集团经营管理及决策支持，建设国内一流，世界领先的大数据平台。1.2.2 分阶

5、段建设目标第一阶段目标利用大数据技术， 搭建大数据平台， 实现统一数据交换、数据管控、企业级数据分析、数据可视化展现服务等功能。完成邮务和速递数据资源的归集、加工和整理，取代现有的量收系统， 集成现有的数据分析综合服务平台， 搭建高性能、扩展性强的数据计算和数据分析环境。建立集团统一的数据模型，实现数据的标准化和规范化。对集团各板块及外部的结构化数据、 半 / 非结构化数据进行采集和存储， 围绕“服务支撑、风险管控、流程优化、交叉营销、产品创新、决策支持”六个重点应用方向进行大数据成果应用。第二阶段目标全方位整合集团数据资源，利用专业的数据分析工具，提升数据分析质量与效率，完善数据分析应用模型

6、及相关指标，深入推广六个重点应用方向，逐步提供面向移动互联网的快速服务，不断优化生产工作流程，实现降本增效，为科学运营和决策提供支撑。1.3 与相关系统的关系1.3.1 数据分析综合服务平台数据分析综合服务平台是依托集团综合网，实现邮务数据集中及整合，为集团公司和各省分公司提供企业数据分析挖掘服务，对内对外提供数据服务的信息系统。该系统使用 Oracle 数据库，目前数据量已达到 9TB ，平均日增长量约 22GB 。目前该系统已经对接了 13 个业务系统（集邮系统、报刊系统、电商平台 - 机票、网运系统、邮资封片卡系统、短信平台、农资分销系统、贺卡兑奖平台、营业系统、 投递系统、 客管系统、

7、 订单系统、 国际业务平台） ，实现了 31 个省的邮务类数据的上传及下载。系统实现将数据由全国中心推送至省中心；实现已有专题分析的固化，包括报刊、约投挂号、 国内国际小包专题分析结果的固化展现；实现将接入系统的数据按照业务规则进行后台加载、评估、清洗、重构，并按照客户维度进行数据整合；提供对内对外数据服务，支持客户数据的上传和结果下载、邮编匹配、地址清洗匹配等功能。数据分析综合服务平台是大数据平台的子集，数据分析综合服务平台的数据是大数据平台的数据集市之一。1.3.2 量收系统量收系统是通过从集团生产经营业务系统及其他相关系统中自动采集、汇总、上传业务量、业务收入信息（简称量收信息），进行稽

8、核、查询、分析、预警等应用的信息管理系统。该系统使用Teradata的数据仓库和Oracle的数据库，数据使用空间已接近15TB。目前该系统已经对接了8 个业务系统（速递平台、集邮系统、营业系统、订单系统、报刊系统、农资分销系统、邮资机管理系统、电商平台），此外，通过营业系统还接入商函、国际普邮、电子商务、短信等业务数据。现有使用用户 2.9 万个，提供近 500 张报表的查询，实现集团业务量收入的统计分析，为企业的经营管理起到了很重要的作用，但随着管理要求的不断提高，量收系统的能力已捉襟见肘。集团大数据平台建成后，将替代量收系统。1.3.3 金融大数据平台大数据平台从金融大数据平台获取金融客

9、户、市场营销等数据分析结果以及相关数据，与金融大数据平台互为数据源，用于支撑集团邮务、速递物流和金融板块对数据分析的需求。1.3.4 各生产系统大数据平台从各生产系统获取交易数据、基础数据等，对数据进行分析挖掘，将分析成果反馈回各生产系统用于支撑生产运营。1.3.5 CRMCRM系统实现以客户为中心的集团与板块间的协同管控，以及集团各环节间客户营销及服务的协同管理。大数据平台将实现CRM 系统的部分数据分析功能。1.4 公司介绍和优势特点1.4.1 IDEADATA北京爱狄特信息科技有限公司（IDEADATA ）成立于2011年 3 月，总部设在北京，在南京及沈阳等地设有技术研发中心和办事机构

10、。公司注册资金2080 万，是北京市高新技术企业。公司专注于企业级数据（仓）库和大数据领域的技术和应用，业务和技术能力发展迅速，核心和骨干成员均具有领域内资深的业务经验、技术能力以及落地实践，对基于从集群到云平台、从传统数据库到MPP 以及 Hadoop的各种数据管理和应用平台架构及演进路线图均有深刻的理解和积累。公司通过不断的实践积累，独立研发了包括结构化、半结构化 / 非结构化数据结构在内的一系列从数据获取（抽取）、数据管理到数据应用的多项拥有自主知识产权的产品和服务，包括数据平台交互系统、数据 BI 分析系统、 智能地址匹配系统、互联网信息获取与分析系统（iRIS ）、自然语言处理（iN

11、LP ）和机器学习挖掘算法等方面。另外，公司积极与国内外大数据领域先进的解决方案、平台和工具厂商包括Teradata 、南大通用、 IBM 、星环科技（ Transwarp ）、Trinity和 SAS 等都有深入和紧密的合作关系及基础。在质量管理体系上， 公司以 GB/T19001-2008 质量管理体系 - 要求为标准， 进行周密的质量管理体系策划， 建立了完整的质量管理体系，获得了认证中心颁发的质量管理体系认证证书。公司在组织结构中设立了过程管控委员会，专职负责贯彻实施公司质量方针、质量目标，维护 ISO9001 质量管理体系有效运行，控制产品质量，实现产品和服务质量的持续改进。公司财务

12、及营运状况良好，具有一般纳税人资格，具备独立、完整的会计核算和内部控制体系，配备专业的会计核算与管理人员，财务核算制度健全，能够据以如实核算，准确及时的反映生产经营成果。公司严格执行企业会计准则和企业会计制度的有关规定，以权责发生制为记账原则，以实际成本为计价基础，财务报表在所有重大方面均能公允反映公司的财务状况以及经营成果和现金流量。公司始终坚持 “服务的价值在于帮助客户成功”的理念，为客户提供的产品和服务追求“专业、专注、极致、价值”。1.4.2 TRANSWARP星环信息科技 （上海） 有限公司 （以下简称 “星环公司” ）是一家高科技大数据公司。公司致力于大数据基础软件的研发，目前拥有

13、超过 300 人的 Hadoop 专业团队，大部分来自于 IBM 、Intel 、 Microsoft 、Oracle 、 EMC 等知名企业，其中技术研发人员占 80% 以上。无论是团队规模， 还是人员的整体能力，在全球大数据平台领域都处于领先位置。在国际知名咨询机构 Gartner 发布的 2016 版数据仓库及数据管理解决方案市场的魔力象限报告中，来自中国的公司星环科技（ Transwarp ）是唯一一家上榜的中国公司，也是魔力象限远见者（ Visionaries ）领域中全球最具有前瞻性的公司。图 2-1 Gartner 2016数据仓库魔力象限评测结果星环科技从事大数据核心平台的研发

14、与服务，基于TDH大数据平台软件全国产化，将大数据技术与传统数据仓库结合，已经为国内多家金融银行机构提供专业化的数据仓库服务，包括江苏银行、恒丰银行、民生银行、中泰证券等。星环公司已经在国内建立 200 多个大数据应用案例， 覆盖行业包括金融、运营商、互联网、政府、能源、制造业、军工、教育、交通运输、公安等行业，目前是国内市场落地案例最多、应用范围最为广泛的大数据平台提供商，星环公司已经成为全球瞩目的大数据平台商。1.4.3 我们的优势北京爱狄特信息科技有限公司与星环信息科技（上海） 有限公司紧密协作，参与集团大数据平台项目建设，与其他友商相比具有以下四方面的优势特点：1完全支持传统数仓的企业

15、级Hadoop产品产品和实施本地化，源码自主安全可控。国内最多的大数据2我们的优势平台项目建设落地案例4（超过 200 ）项目成员大部分有邮政项目经验，熟悉邮3政数据和业务流程；其中，核心骨干成员也包括量收一期、二期等项目的总体架构师、项目经理和核心开发人员。图 2-2 公司优势(1) 大数据平台产品技术优势SQL on Hadoop 技术领先国内外厂商。 SQL 99 、SQL 2003 标准的全面兼容性，支持 PL/SQL 、分布式事务、分布式内存 OLAP/Cube 等平台特性， 为企业级数仓建设奠定坚实的平台基础。国内首家实现并成功运用Hadoop onDocker分布式容器集群管理平

16、台技术。 Transwarp Operating System (TOS)是为大数据应用量身订做的云操作系统，支持一键部署TDH ，基于优先级的抢占式资源调度和细粒度资源分配，让大数据应用轻松拥抱云服务。(2) 具有基于 Hadoop 平台成功建设企业级数仓的丰富经验星环 Hadoop平台产品已在国内100 多个大数据项目建设中得以应用，行业覆盖金融、运营商、互联网、政府、能源等行业，其中有多个基于Hadoop平台完全实现企业级数仓系统的成功案例，在企业级数仓平滑可靠迁移及替换国外MPP 数仓系统、 高性价比提升企业数仓性能方面，积累了丰富的实践经验。作为Hadoop创新应用的开拓者，星环公司目前已成为在国内市场落地案例最多、应用范围最为广泛的大数据平台提供商。(3) 大数据分析挖掘团队的专业实施经验优势爱狄特公司在大数据可视化交互展现和多维分析查询、大数据分析挖掘、自然语言处理（iNLP ）、地址清洗匹配服务等方面积累了自有的产品技术并成功运用到集团、金融保险、 IT 等行业。经历多年大数据实战项目的锻炼，培养建立起了一支专业的大数据分析挖掘团队，能够运用多种分析挖掘工具和并行化算法库，从大数据中挖掘客户价值，为集团、金融、 IT 等行业的经营分析、决策支持提供专业的技术