大大数据处理技术参考架构

1、实用文档大数据处理技术参考架构中国金融电寻便公司China Finance Computerization Corp.二0一五年十二月文案大全实用文档目录1. 背景12. 技术目标23. 技术要求24. 大数据处理业务场景35. 大数据处理技术对比 45.1. MPPW HADOO&SAR啦术对比45.2. HADOO&SAR啦术优势65.3. HADOOp匡架对比 65.4. HADOO使用情况75.5. HADOO血缘关系85.6. 行业大数据应用场景对比分析 126. 大数据处理参考架构 136.1. 参考架构136.2. 与JAVAEE体系对比146.3. 参考架构运行状态 147.

2、总结与思考16附录：名词解释 18文案大全实用文档1.随着大数据时代的到来，数据由海量拓展为多样，在注重计算速度的同时更 加关注挖掘有价值的数据。以IOE体系为核心的数据计算和存储方式越来越不能 满足目前大数据处理在性能和成本上的综合要求。为适应对大数据处理的要求， 众多的分布式计算平台随之兴起，在对众多分布式计算平台进行权衡的同时， 增 强自主创新能力，以满足人民银行对信息技术安全可控的要求。在核心应用自主研发、核心知识自主掌控的氛围下，保障大数据技术达到灵 活可用的目标，确保数据和信息的有效、及时，确保信息系统的可靠、灵活。同 时，充分的利用开源产品透明公开的关键信息，做到对技术细节的掌控

3、和验证， 开源产品的特点也更能够激发开发者的热情并推进技术的快速变革。在 互联网+”的战略布局下，当利用信息通信技术把互联网和包括金融行业 在内的相关行业结合起来时，能够更加合理和充分的利用大数据技术促进互联网 金融的健康发展。当前互联网金融的格局中，由传统金融机构和非金融机构组成。 传统金融机构的发展方向主要为传统金融业务的互联网创新以及电商化创新、手机APP服务等；非金融机构的发展方向则主要是指利用互联网技术进行金融运 作的电子商务企业、P2P模式的网络借贷平台，众筹模式的网络投资平台或掌上 理财服务，以及第三方支付平台等。在金融行业新兴业态下，为促进互联网金融 的健康发展,为全面提升互联

4、网金融服务能力和普惠水平, 为有效防范互联网金 融风险及其外溢效应而提供技术支撑。在金融领域，新生业态层出不穷，金融机构日益多样化，金融资产的流动性 快速上升，金融体系的关联度、复杂度大幅提高。金融业的快速发展和创新，使 货币政策操作环境、传导渠道发生重大变化。在数据的处理分析上，对原有的宏 观审慎分析框架及其有效性、准确性提出了挑战。文案大全实用文档2 .技术目标获得最优系统价值，满足大数据的处理性能，节约系统建设成本。充分利用开源产品，做到对技术细节的掌控和验证，以保障大数据技术 达到灵活可用。增强自主创新能力，满足人民银行对信息技术安全可控的要求。有效提供技术支撑，适应金融行业新兴业态下

5、对大数据技术的需要。3 .技术要求在满足海量数据高效处理的同时，对用户的访问能够保持较高的实时性， 快 速响应用户的请求。采用的大数据技术架构能够支持水平扩展(Scale-out),适应未来五年对大 数据存储和处理的需要。采用的大数据技术架构能够支持故障的检测和自动快速恢复，确保系统的高可用性。在满足大数据业务场景性能要求的同时，采用更加经济的大数据技术解决方 案。文案大全实用文档4 .大数据处理业务场景以统计分析类的业务场景为例，针对大数据的处理主要经过采集、 存储、校 验、审核、汇总、计算、分析挖掘等过程，在数据粒度上，既要包逐笔的标准化 源数据，还要包括不同层次的总量指标数据，从而实现对

6、统计体系业务的全覆盖、报文落地 .alp（逐笔数据） 情文件名校验解压报文,也班力强社宜询 段驻结果宓附查地格式校除，读取格式校监规切（DB）逐条记录逐个字段校驶，处理仍挺实时叠边.校验结果实时直惘 .指标计算读取指标算法CDH）计匏指标数据、熊翅遂例墟实时查询指标汇总读取工总关系CDB）汇总指标数据，.处西埼祝其田了迦.指标/逐笔数据实时叫谢逻轼校验读取跳捌校验规则口-逐条规则校驶（&0P校骁结果空时竟谣报表数据生成选取生一成规则日日生成中间表数擀,报表实时查询无遗漏。统计分析类大数据处理、报表展现和信息发布的典型流程如下图所示:信息共享发布敕据逐年，指M、也用* 共享发布接口（JSON.

7、XML）* 数据可视化展现* 管时驾映舱仪表盘展现 （行颔导视图）* 移动BI展现* 管理驾驶检数据分折统计分析类业务的特点主要包括： 在每个处理环节中，均能够为业务操作员提供实时的业务处理情况或处 理结果的查询。 校验、汇总、计算等环节中，所涉及到的运算规则均定义在数据库或配 置文件中，在执行处理之前，需要获取运算规则。 在报表数据生成或信息发布环节，能够提供逐笔数据、指标数据、汇总 数据和报表数据的实时查询，并能够通过 BI工具访问以上数据。 统计类的数据查询多为综合查询，条件通常可由用户在查询前定制，有 查询响应实时性、查询条件多样性、查询多表关联性的特点。 能够灵活的通过数据挖掘技术对

8、数据进行价值分析，例如：R语言。 能够灵活的使用数据可视化技术对数据进行互动展现，例如： EChars统计系统业务量以每月增量40亿笔进行估算（以每笔1KB估算，约4TB/月 增量数据；每笔数据平均包含20个字段），现有存量数据大约在20TB。增量数 据在当月5-8日进行校验、审核等处理，数据处理过程希望在 T+0完成。实时查 询业务为用户随机进行。在使用数据进行分布式计算时，一般情况当月4TB的数 据全部参与计算。比较复杂场景之一是逻辑校验部分的算法， 按不同的规则，有 的规则会使用到当月的全部增量数据参与校验，有的规则会按金融机构维度使用当前机构的历史数据参与校验。文案大全实用文档5.大数

9、据处理技术对比目前对海量数据进行分布式处理的技术主要分为两类： MPP （Massively Parallel Processing 大规模并行处理技术；MPP技术大多用于数据仓库领域，是将任务并行的分散到多个服务器节点 上，在每个节点上计算完成后，将各自部分的结果汇总在一起得到最终的结果的 一项技术，典型的代表例如：Teradata, HP Vertica EMC Greenplum, GBase Oracle Exadata 等。Apache Hadoop Spark技术。Hadoop&Spark是由Apache基金会所开发的分布式系统基础架构， 它所解决 的核心问题是，通过部署在低廉的硬

10、件上的、 可以协同工作的软件组件，来完成 分布式数据存储、高吞吐量数据访问、以及高负载的分布式计算。近些年在众多 行业都得到广泛应用。5.1. MP吗 Hadoop&Spark 技术对比集群规模上，MPP技术支持近百个节点（中国大陆很少有100+节点的案例）。 Hadoop&Spark技术支持几千个节点。扩容影响上，MPP技术扩容通常导致停机、服务中断；数据需要重新分布， 性能严重下降。Hadoop&Spark技术扩容无需停机、服务不中断；数据无需重新 分布，新数据自动被分配到新的节点中，性能没有影响。数据分布方式上，MPP技术以预定义数据分布策略，按列进行散列或轮询 分布；真实数据通常有倾斜

11、，将导致数据不均匀分布，对计算效率影响较大。 Hadoop&Spark技术中，数据按预配置的块大小自动均匀分布，通过 blockmap映 射表查询数据位置；数据分布均匀、扩容无需停机。处理数据量上，MPP技术在数十TB级别。Hadoop&Spark技术在PB级别。容错能力上，MPP技术不存放中间结果，出错时需要重新执行整个任务。 Hadoop&Spark技术存放中间结果，出错时只需要重新运行出错的子任务并发能力上，MPP技术多用于分析型应用场景，数据装载时建立索引较慢； 通常不超过数百个并发。Hadoop&Spark技术数据装载快，采用公平调度/配额调度；可支持上亿用户并发数据插入、查询、检索

12、。数据存储对象，MPP技术支持结构化数据，Hadoop&Spark技术支持结构化、 半结构化、非结构化数据。文案大全实用文档应用运算逻辑实现方式上， MPP技术SQL语言，Hadoop&Spark技术支持SQL2003 部分 PL/SQL R、Java Scala等。数据访问接口，MPP技术支持JDBC ODBC Hadoop&Spark技术支持JDBCODBC R语言接口等。集群规模MPP近百个节点（中国大陆很少 有100+节点的案例）Hadoop&Spark几千个节点动态土展 运算能力扩容通常导致停机、服务中 断；数据需要重新分布，性能严 重卜降。扩容无需停机、服务不中断； 扩容时数据无需

13、重新分布，新数据自动 被分配到新的节点中，性能没有影响。数据分布 方式数据以预定义的分布策略，按列进行散列或轮询分布； 真实数据通常后倾斜，将导 致数据/、均匀分布，对计算效率影响较大。数据以预定义的块大小自动均匀分布，通过blockmap映射表查询数据位 置；数据分布均匀、扩容无需停机。处理数据 量数十TBPB容错能力/、存放中间结果,出错时需 要重新执行整个任务存放中间结果，出错时只需要重新 运行出错的子任务用于分析型应用场景，数据 装载时建立索引较慢； 通常不超过数百个并发。数据装载快，采用公平调度/配额调度；可支持上亿用户并发数据插入、查询、 检索。数据存储 对象结构化数据结构化、半结

14、构化、非结构化数据应用运算 逻辑实现方式SQL语言SQL2003 部分 PL/SQL R JavaScala 等文案大全实用文档MPPHadoop&Spark数据访问 接口JDBC ODBCJDBC ODBC R语言接口等索引支持支持（rowkey索引、二维索引、全 文关键字索引）5.2. Hadoop&Spark 技术优势存储、处理、分析PB级别的结构化、半结构化、非结构化数据。低成本运算能力，使用低成本的存储和服务器构建，仅花费40%左右价格,便可以达到甚至超越IOE架构的性能。动态扩展运算能力，扩容无需停机、服务不中断，数据无需重新分布，新数 据自动被分配到新的节点中，性能没有影响。高扩

15、展能力，集群规模可扩展至几千个节点。高容错能力，数据处理过程中存放中间结果，出错时只需要重新运行出错的 子任务。应用运算逻辑，支持Java R语言、Scala、SQL2003。5.3. Hadoop框架对比Apache HadoopCloudera CDHHortonworks HDP开源程度完全开源部分开源（包含免费版/企业版）完全开源（包含免费版/企 业版）技术支持无每年按节点数量收费每年按节点数量 收费集群部署复杂容易容易集群监控较易容易容易文案大全实用文档Apache HadoopCloudera CDHHortonworks HDP集群管理较易容易容易专有代码依赖无有（如：管理工具）

16、无主要特点Apache Hadoop 已经形成生态系统， 除了包含HDFS、 YARN MapReduce, 还包含了很多其他 Apache项目，如： HBase、 Hive 、 ZooKeeper； Ambari、 Sqoop等等，使用者 可以根据需要自由组 合。通过添加专有代码实现的 Cloudera Manager 完 成集群的部署和管理， 并对集群的节点及服务 进行实时监控。所有解决方案都 通 过 Apache Software Foundation 以项目 形式开发，HDP内 无需专用扩展。避 免随着扩展而背离 主干，以及随之而 来的兼容性问题。5.4. Hadoop使用情况25%5

17、1%24%开源版本发行版（免费）根据咨t机构 Wikibon在2014年进行的一项调查，部署Hadoop的机构中， 仅有25%是付费用户，而有51%是基于Hadoop的开源版本自行开发，还有24% 的用户则是使用Cloudera、Hortonworks等Hadoop开发商推出的免费版本。B发行版（付费）文案大全实用文档5.5. Hadoop血缘关系docpBH 一PBdUum storeLIfi3OpenAppfl：Wurkllwhilegiraledi InsLallarBigShccls文案大全Tfljd Precis sing Engin* & 匕卬 * Qb+EILJAdaptive

18、Alg dH hnni：ZocKeaperEnhan-ssdSfrcurikC*u 口皿USM SympliwiiyFile System_lIBM BiglnsightS1基于Apache Hadoop框架的存储，管理和分析Internet级 别数据量的半结构化和非结构化数据的方案，具备企业级管理、工作流管理、安 全管理、可视化挖掘与展现等能力，能与现有基础设施和大数据流计算技术集成。 产品设计思路是基于 Apache Hadoop框架，在保持完全100% Apache Hadoop 兼容的情况下，加入 旧M的项目和研究开发的分析能力。整体架构如下图所示：IBM InfoSphere Big

19、insights实用文档EMC Pivotal HD是EMC公司进行自主研发的 Hadoop商业化产品，在2013 年2月独立推出的商业发行版（2013年以前EMC和MapR公司在Hadoop领域 为合作伙伴）。Pivotal HD产品包括Hadoop 2.0的MapReduce和HDFS可以利用 Hive、HBase Pig开发语言、Yarn资源管理、Mahout分析工具和 Zookeeper工 具等。还包括 Hardware Virtual Extensions （HVE）组件，它可以让 Hadoop集群 知道自己是建立在虚拟机还是物理服务器上。整体架构如下图所示：Pivotal HD A

20、rchitecturespringSpring Data FrmeworKConabOTatiQH 民OrEtiestratlonPivotal HDRecjrce Managemerit & WarkincwApplicationsi： Pivotal Pivoui MO AMM ViueMapR Hadoop! MapR Technologies1于2011年正式发布的产品，目标是 使Hadoop变为一个速度更快、可靠性更高、更易于管理、使用更加方便的分布 式计算服务和存储平台，同时性能也不断提高。它将极大的扩大了Hadoop的使用范围和方式。它包含了开源社区许多流行的工具和功能，例如Hb

21、ase Hive。它还100% Apache Hadoop的API兼容。目前有M3 （免费版）和M5 （收费版） 两个版本。整体架构如下图所示：OozieVaidyaHBaseFfumeMAPR CONTROL SYSTEMDISTRIBUTION FORLDAPr ND IntegrationQuotas, Alerts, AlarmsNagrosIntegrationIntegrationDirect AccessRea time DataflowsData Placement ControlLocal MirroringDhtributed NameNode HAruJobTrackcr

22、 HADirect ShufflellMMapR He at mapCLL REST APIMahoutE.ASYMapR VolumesSqoopGangliaZookeeperDependableDirect Access NFSruMirroring andSnapshotsMapR s High Performance文案大全实用文档大云趋势科技Hadoop解决方案主要基于Hortonworks发行版，同时也提供 了对Cloudera Hadoop发行版的支持。整体架构如下图所示：音智达Hadoop解决方案基于Cloudera Hadoop发行版。整体架构如下图所CDHBATCHANA

23、LYTICSEARCHMACHINESTREAM3 RD PART/P1ROCESSINGSQLENGINELEARMINGPROCESSINGAPPSM*pRipdWC*FCSfWKi iMiipRUCg$p*rk)CPirtnmJHn?P R由MaJheuUWORKLOAD MANAGEMENTSTORAGE FOR ANY TYPE OF DATAFilesystemIHDF5JUNIFIED. ELASTIC. RESILIENT, SECURE isentrviOnline NqSQL由由muATA INTEGRA ION f5qooti可酬.N5 浪潮Hadoop解决方案基于Int

24、el Hadoop发行版。整体架构如下图所示:Intel* Manager for Hadoop* 软件部署、配直、监控、告警和安全Pig*剧本编写Hive*皿廷询聘墙咪僚muEnuz1t-Bd&OQZ文案大全实用文档华为 Fusioninsight Hadoop完全基于 Apache Hadoop组件构建的 Hadoop 产品，在 Apache Hadoop版本的基础上对 HBase. HDF用口 MapReduce等组件增 加了 HA、查询和分析功能，进行了性能优化，并及时回馈 Hadoop社区，保持 版本同步，接口与社区版本完全一致。整体架构如下图所示：DaTaFarmPlugin AP

25、Inager系统管理Hadoop APIMPP数据治理Hadoop安全管理Ooze星环科技Transwarp Data HubTDH）基于Apache Hadoop组件构建，并在 此基础之上研发了交互式 SQL分析引擎Inceptor、实时NoSQL数据库Hyperbase 和Transwarp Manager等引擎。同时支持R语言数据挖掘、机器学习、实时流处 理、全文搜索和图计算和系统安装及集群配置功能。整体架构如下图所示：Transwarp ManagerHyperbaseInceptorDiscoverStream流处理数据挖掘 机器学习PL/SQL批处理 交互式分析NoSQL数据库 搜

26、索、图计算资源管理YARN 2.5(内置Tmnswarp Extension)批处理机器学习工作流数据集成日志采集专浸素 Pag 0.13 Mahout 0.9 Oozie 4.0,1 Sqoop 1-4.5 Flume 1.4 .Search L3.1优化存储HDFS2.5(FjSTranswarpErasureCodej批处理框架协作服务M 叩/R educe2Zao kee per 3.4,5Trans warp ProprietaryDATA H U Apache Projects文案大全实用文档5.6.行业大数据应用场景对比分析文案大全实用文档6.大数据处理参考架构6.1. 参考架构

27、结合统计分析Web应用的数据处理典型场景，在Hadoop&Spark开源框架中， 分布式文件系统HDFS资源调度引擎YARN内存计算引擎Spark、挖掘分析引 擎SparkR分布式迁移引擎Sqoop等较为符合统计类应用场景。分布式文件系统HDFS是Hadoop体系中数据存储管理的基础，也是高度容 错的系统，能检测和应对硬件故障，用于在低成本的通用硬件上运行。 资源调度 引擎YARN是通用资源管理系统，可以为上层应用提供统一的资源管理和调度。 计算引擎 MapReduce,用以进行大数据量的计算。Hadoop的MapReduce与Common、HDFS一起，构成了 Hadoop发展初期的三个组件

28、。分布式数据仓库 Hive是建立在Hadoop基础上的数据仓库架构，为数据仓库的管理提供的主要功 能包括：数据ETL工具、数据存储管理和大型数据集的查询和分析能力。分布式 协作服务ZooKeeper,提供了统一命名服务、状态同步服务、集群管理、分布式 应用配置项的管理等。ZooKeeper通过封装好复杂、易出错的关键服务，将简单 易用的接口和性能高效、功能稳定的服务提供给用户。分布式迁移引擎Sqoop主要作用是在结构化数据存储与 Hadoop之间进行数据交换。Sqoop可以将一个 关系型数据库（如：MySQL DB2等）中的数据导入Hadoop的HDFS Hive中， 也可以将HDFS Hiv

29、e中的数据导入关系型数据库中。内存计算引擎Spark是与Hadoop相似的开源集群计算环境，Spark启用了内存分布数据集，基于内存进行 分布式计算，除了能够提供交互式查询外，还可以优化迭代工作负载。配置管理 监控服务Ambari是基于Web的工具，用于配置、管理和监视 Hadoop集群，并 支持 HDFS MapReduce Hive、ZooKeepeK Sqoop 等框架。Ambari 还提供了集 群状况仪表盘，以及查看 MapReduce、Hive应用程序的能力，以友好的用户界 面对它们的性能进行诊断。下图基于Apache Hadoop的开源框架，给出了大数据处理的参考架构。文案大全实用

30、文档上报,数据社,数据1内存计算引颦Spark资源调度引隼YARNF分布式 迁移引擎 5qoop计鳏引引MapRedxE分布式文件系统HDF5Web；“t 用校验审核现有系统 数据分布式数据仓库HiveSQL 弓 1 擎 Hive on Spark系纯管理统计类系统数据处理流程主要包括以下步骤：采集（解压报文等文件操作）-校验（每笔数据各字段的格式校验、各笔数据之间的逻辑关系校验等）-审核（与 历史数据的比对，同期/上期；或执行自定义审核SQL算法等）-汇总计算（指 标计算、数据汇总等）-查询-数据分析-报表-信息发布。结合统计类系统的处理 流程，对于现有系统的数据，可以通过分布式迁移引擎 S

31、qoop将数据同步至分布 式文件系统HDFS中加以分析利用。对于采集数据的校验审核、汇总计算等应用功能,以甯过分布式数据仓库Hive或直接内存计算引擎次“进行异步计算和处理七纵曾据处理电密勺状态版布式数据库t HBase直朝KdFSWeb层口监控心平的信心对，度甲相应白机息LWub应用）业务逻辑层-逻辑层与数据持.6.2. 与JavaEE体系对比数据持久层流式计算挖掘分析 引擎 引擎 SparkRHive on Sparkqoop6.3.参考架构运行状态通过下图的能够看出，参考架构在运行时，各引擎在主机节点中均会有对应 的进程，YARN勺集群在运行时提供了资源的调度和管理，ZooKeeper的

32、集群在运 行时为各引擎提供了高可用的保障。Spark引擎中的进程分为Master和Worker, 当节点故障时，由协作服务ZooKeeper进行Master切换，保障Spark的持续可用文案大全W电卬应用Wb应用Host 1Host 2MasterZooKeeperZooKeeperWorkerSparkYARNYARNHDFSHDFSSparkWorker文案大全实用文档W自b应用W&b应用Wmb应用Host 3Host NCluster1MasterMasterClusterZooKeeperZooKeeperWorkerWorkerSparkSparkYARNHDFS实用文档7.总结与思

33、考大数据是指不用随机分析法（如：抽样调查）这样的捷径，而采用所有数据 进行分析处理。大数据的主要特点包括：海量的、高增长率的（Volume）,数据处理模式的高效性（Velocity）,数据来源、种类的多样化（Variety）,待探勘的数 据价值（Value。从业务角度来看，在数据来源和种类多样化的环境中为了能够更加深入的对 数据价值进行探勘，还需要注重以下几方面：1 .数据来源的准确。大数据应用的核心是挖掘数据价值，而挖掘数据价值 的前提是数据来源的准确性。没有准确的数据来源，很难得到有价值的结果。2 .数据质量的持久。为了充分挖掘大数据的价值，业务系统必须持久的保 证数据质量。高质量的数据不

34、仅仅体现在质量管控， 更要有持续的治理。业务系 统中需要有完善的数据质量管理流程，能够作用于数据生命周期的不同阶段。3 .数据标准的一致。大数据在挖掘分析之前需要先将数据标准化，利用标 准化后的数据进行分析。单个业务系统内部的数据标准化主要体现在数据无量纲 化处理，即：解决数据的可比性（如：指标数据的定性转定量处理）。多个业务系统之间的数据标准化主要体现在数据的公共维度所遵循标准的一致性上。业务系统在规划阶段，必须充分使用人民银行公共代码规范， 将业务数据的公共维度 与规范统一，并遵循人民银行信息技术标准体系。4 .数据价值的探索。在大数据时代中业务系统已经逐渐由功能是价值转变 为数据是价值，

35、对大数据价值的挖掘是探索性的。大数据的出现填补了无数的空 白，面对海量的、高增长率的、种类多样化的大数据仅采用传统的数据分析方法 是不够的，需要采用大数据的思维模式，例如：由传统的因果思维转变为相关思 维，深入的探索数据的关联性。从而能够更加有效的进行预测分析、辅助决策， 为央行履职提供更强有力的支撑。面对海量、高增长率、多样化信息资产的诸多特点，在技术上我们需要引入 新的处理模式以具有更强的决策力、洞察发现力和流程优化能力。结合统计分析类业务在数据处理和数据展现环节的特点进行分析以及对原 型系统的测试情况，数据处理环节采用Hadoop&Spark技术较为适宜，主要包括: 采集（解压报文、每笔

36、数据各字段的格式校验等文件操作）、校验（各字段的合文案大全实用文档规校验、数据之间的逻辑关系校验等）、审核（与历史数据比对，同期/上期；或 执行审核SQL算法等）、汇总计算（指标计算、数据汇总等）各环节处理情况监控、以及挖掘分析（基于全量数据）、数据存储（TBPB、数据整合加工和数 据分发。数据展现环节采用关系型数据库集群技术较为适宜，主要包括：报表、 综合查询（具有实时、多表关联、自定义条件或表样的特点）、多维分析（如：维度表、事实表）。在研发能力方面，现有的技术团队在 Hadoop&Spark技术方面的技能和经验 比较欠缺，特别是大数据相关的技术正处于成长阶段， 技术团队丰富的实践经验 尤

37、为重要，否则难以快速响应和处理突发问题。具有大数据处理需求的系统在建 设过程中，可以考虑通过与实施经验丰富的、 有较强的自主研发能力的大数据技 术平台厂商或技术团队进行合作。一方面，能够通过借鉴外界成熟的实践经验， 来应对研发能力不足所带来的风险；另一方面，能够引入外界技术力量对系统研 发过程进行指导，促进大数据技术团队的组建。文案大全实用文档附录：名词解释大数据：由维克托迈尔-舍恩伯格和肯尼斯库克耶在2008年8月提出， 大数据指不用随机分析法（如：抽样调查）这样的捷径，而采用所有数据进行分 析处理。全球最具权威的IT研究与顾问咨询机构Gartner将大数据定义为，需要 新处理模式才能具有更

38、强的决策力、洞察发现力和流程优化能力的海量、 高增长率和多样化的信息资产。旧M提出大数据的5V特点，Volume （大量）、Velocity （高速）、Variety （多样）、Value （价值）和 Veracity （真实性）。2015年8月国 务院在促进大数据发展行动纲要中指出，大数据是以容量大、类型多、存取 速度快、应用价值高为主要特征的数据集合，正快速发展为对数量巨大、来源分 散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、 提升新能力的新一代信息技术和服务业态。互联网+: “互联网+”是把互联网的创新成果与经济社会各领域深度融合， 推动技术进步、效率提升和组织变革，提升实体经济创新力和生产力，形成更广 泛的以互联网为基础设施和创新要素的经济社会发展新形态。IOE:指服务器提供商旧M,数据库提供商Oracle,存储设备提供商EMC的 简称。互联网金融：是传统金融机构与互联网企业利用互联网技术和信息通信技术 实现资金融通、支付、投资和信息中介服务的新型金融业务模式。P2P借贷：peer to peer网络借贷的一种模式，包括个体网络借贷（即 P2P