大数据技术发展趋势

目录/CONTENTS数据管理系统大分析大资产大事务交易、对账、社交、订票统计报表用户行为分析、智能推荐营销、预测性维护数据管理系统三明治理论应用硬件对数据进行存储、管理、加工支持上层的应用磁带存储数据数据库管理系统关系模型商用数据库Oracle、DB2数据仓库，面向大型决策支持系统分布式数据库1950-196019701980199020002010分布式系统HadoopHadoop生态+Spark开源数据最新分布式数据库MycatOracleRac面向大型金融机构的交易系统，主要用来对账互联网应用快速发展，要求分布式的架构移动互联网/web2.0出现了平民化的开源数据库，同时面向分析的数据仓库出现了数据管理系统发展历史数据管理系统在发展过程中分化为面向事务处理的OLTP数据库和面向分析决策的OLAP数据库在商业产品之外，诞生了开源的数据库产品，开源成为一个主流方向，技术和产品百花齐放摩尔定律失效和互联网业务推动下，单机无法承载，系统必须向分布式架构转移目录/CONTENTS数据管理系统大分析大资产大事务大分析：分析架构的变化Teradata一体机IBMnetteza一体机银行的报表谷歌的互联网广告用户行为分析和用户画像推荐系统GFS、MapReduce、Bigtable，部署在X86服务器上Greenplum、Vertica等MPP数据库Hadoop、Spark等开源技术，部署在X86服务器上Greenplum在2016年进行开源金融、电信、公安、交通、政务、能源等行业报表、精准营销、风控、舆情、预测性维护等应用互联网业务推动下，数据爆发式增长，使得单机无法承受，系统必须向分布式架构转移从互联网公司发动的分析架构的革命，借助开源民众化的思想，迅速扩展，经过10年的发展影响到了各个行业大数据分析架构的另外一个主要特点，在线2003谷歌发布DFS的论文DougCutting与MikeCafarella一起基于谷歌论文实现了Hadoop的代码。。2004谷歌发布MapReduce的论文20062006谷歌发布了Bigtable的论文。2007Powerset基于Bigtable研发了HBase2008雅虎在生产环境中使用Hadoop集群，Hadoop渐渐成为互联网企业的数据仓库2009Ucberkley的AMPlab研发出Spark第一个SQLonHadoop引擎Hive诞生20092012Hadoop成为企业级的成熟产品Spark成为下一代计算引擎20142016谷歌开源深度学习框架Tensorflow大分析：大数据分析技术发展当代数据架构师面临挑战主要来自扩展性和多种异构硬件。由单核向多核的扩展演变为多种类型的GPU、FPGA、ASIC等存储中的变量在于NVRAM有可能替换DRAM成为主存大分析：趋势数据管理平台HadoopMPP内存数据库元数据数据标准数据模型数据质量数据挖掘数据可视化报表OLAP数据采集批量采集流式采集网络爬虫NoSQL数据库流计算批计算图计算舆情大数据应用风控营销资源API数据API工具API混搭：企业像搭积木一样使用开源的大数据技术融合：以SQL为牵引力的在线分析和在线事务会趋向融合架构分离：大数据平台和深度学习平台一段时间将持续分割状态，直到迎来下一次融合描述发生了什么为什么发生全面了解原因，进行预防对预测的可能结果进行反馈处理描述预测解释反馈分析本身将经历四个阶段大分析：信通院和数促会开展大数据产品标准化与评测基础产品数据资产管理数据集成数据管理数据交换共享HadoopMPP数据库NoSQL数据库流处理分析应用BI工具用户行为分析用户画像舆情风险控制数据挖掘工具数据运营从2015到2017年启动Hadoop和MPP两项评测，共31家企业的33个产品通过评测，其中26款Hadoop产品，7款MPP数据库产品，总测试项目达52个致力于推动大数据产品和工具的成熟，统一标准，输出经验目录/CONTENTS数据管理系统大分析大资产大事务大资产：大数据意味着每个行业都将从数据贫农过渡到数据大户交通电信医疗社交网络移动互联网能源大资产：数据资产管理的变迁数据盘点数据汇集数据治理数据应用和评估数据运营需求梳理搭建组织架构大资产：数据资产管理实施路径有哪些数据、分散在哪里、规模多大、产生的频率多高定义数据标准，建立大数据平台，进行数据汇集。根据应用需要，引入外部数据规范化内部外数据标准对数据的质量进行整治了解数据的分布和血缘关系划分数据安全等级、和数据权限构建数据应用，对数据使用活性、成本、应用的价值进行评估大资产：趋势与挑战企业和行业数据将实现汇聚企业和企业、行业和行业之间将形成安全合规的数据流通通道，使能全链路数据分析区块链、机器学习、知识图谱等技术将用于数据流通、数据管理等方向大集中新手段全链接数据归属和价值难估算数据流通不顺畅、不规范数据基础薄弱趋势挑战数据安全管理机制数据使用规范身份识别信息验证数据转移方式授权方式及流程接口审计征信类产品及服务金融风控类产品及服务数据交易平台精准营销类产品及服务位置信息类产品及服务第一批测试已完成第一批测试已完成标准制订中标准待制订第一批测试已完成维度大资产：信通院和数促会开展数据资产管理研究开展区块链等新技术在数据流通中的应用研究，启动数据价值评估等研究发布数据资产管理白皮书大数据服务规范与评测目录/CONTENTS数据管理系统大分析大资产大事务大事务：事务数据发展对比银行核心交易系统IBM大机、小机+DB2Oracle一体机从商业数据库Oracle、DB2等迁移到MySQL+x86服务器1980年数据库诞生以来1995年MySQL等开源数据库互联网的交易系统增加单机性能Scaleup利用中间件进行开源数据库的分库分表，集中管理，手工或者半自动的进行一致性补偿Scaleout基于Paxos和Raft一致性协议的分布式事务数据库，节点间互相感知、通信、自组织利用多台小机来进行扩展CPU的摩尔定律失效业务量逐年增加（双11、秒杀）单机数据库的性能到瓶颈，需要换条车道国家安全考虑大事务：分布式数据库发展历程19782005商业数据库Oracle、DB2等商业数据库开始兴起，关系型模型、完整的事务。开源数据库标题在此录入上述图表的描述说明，在此录入上述图表的描述说明，在此录入上述图表的描述说明，在此录入上述图表的描述说明。NoSQL数据库和数据库中间件在此录入上述图表的描述说明，在此录入上述图表的描述说明，在此录入上述图表的描述说明。NewSQL在此录入上述图表的描述说明，在此录入上述图表的描述说明，在此录入上述图表的描述说明，在此录入上述图表的描述说明。199520121995年后出现了开源数据库MySQL和PostgreSQL数据库本身对单机性能不断的优化，和遵循摩尔定律的硬件性能提升BigTable，弥补了分布式文件系统对小对象的插入、更新、随机读请求的缺陷。解决了扩展性的问题。HBase是BigTable的开源实现，MongoDB、Redis、Cassandra等一系列优秀NoSQL数据库兴起关系数据库中间件和分库分表方案谷歌Spanner和F1实现了关系型模型和流畅扩展性的融合，支持分布式事务，全球分布国内在2013、2014年开始探索分布式数据库，蚂蚁金服Oceanbase、PingCAPTidb大事务：趋势云化数据库会随着业务云化，这对数据库也是一个挑战，因为数据库天生就是有状态的，数据总是要存储在物理的磁盘上A运维自动化通过机器学习等算法，实现数据库的辅助运维BOLTP和OLAP融合减少了数据的移动，一套标准语法和规则对数据进行读写和分析C多租户数据在底层打通，上层通过权限，容器等技术进行隔离D大事务：行业使用的挑战A多种技术路线，定义争议大不清楚什么是分布式事务数据库不清楚技术方案有哪些如何使用分布式事务数据库CBD行业使用经验和迁移路径不明确各个行业的实践刚刚开始需求不明确，需要什么样的技术和产品如何从原有系统迁移到分布式数据库迁移的风险不清楚如何后续进行运维标准和评价指标缺失缺少评价分布式数据库的体系缺少标准化的面向分布式数据库的测试场景和测试用例缺少分布式数据库的迁移规范缺少分布式数据库的运维规范评测工具缺失国内外没有相应的性能和基础能力评测工具更缺少面向金融行业场景的评测工具大事务：信通院和数促会工作计划编写发布国内第一个金融行业分布式事务数据库白皮书，定义、技术路线、使用场景、建设和迁移经验、案例。围绕金融分布式事务数据库的选型、迁移、建设、运维，形成系列配套的技术规范。详细理论指导。将推出国内外第一个金融分布式事务数据库的基准测试工具，引领国际基准测试的方向。对国内分布式数据库进行评测，了解最新技术进展，将实际情况反馈回白皮书、技术规范中。白皮书测试工具技术规范测试活动成立金融分布式事务数据库项目组:支付清算协会、中国信息通信研究院中信银行、建设银行、光大银行、民生银行、北京银行蚂蚁金服、华为、中兴、腾讯、南大