大数据技术专题研究

大数据技术专题研究2017.3.3大数据概述1大数据主要技术、厂商、产品2目录能力储备分析3讨论4大数据概述大数据概念大数据（bigdata）是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据概述体量大Volume类型多Variety价值密度低Value速度快Velocity非结构化数据的超大规模和增长总数据量的80~90%比结构化数据增长快10倍到50倍是传统数据仓库的10倍到50倍大数据的异构和多样性很多不同形式（文本、图像、视频、机器数据）无模式或者模式不明显不连贯的语法或句义大量的不相关信息对未来趋势与模式的可预测分析深度复杂分析（机器学习、人工智能Vs传统商务智能(咨询、报告等）实时分析而非批量式分析数据输入、处理与丢弃立竿见影而非事后见效大数据的4V特性文件存储数据分析数据计算数据存储平台管理数据集成数据源Database

Web

Log…现代数据处理

能力组件现代数据处理框架

计算存储｝容错｝｝大数据概述大数据的三大关键问题——存储、计算、容错大数据概述大数据产业大数据产业是指一切与支撑大数据组织管理和价值发现相关的企业经济活动的集合产业链环节包含内容IT基础设施层包括提供硬件、软件、网络等基础设施以及提供咨询、规划和系统集成服务的企业，比如，提供数据中心解决方案的IBM、惠普和戴尔等，提供存储解决方案的EMC，提供虚拟化管理软件的微软、思杰、SUN、Redhat等数据源层大数据生态圈里的数据提供者，是生物大数据（生物信息学领域的各类研究机构）、交通大数据（交通主管部门）、医疗大数据（各大医院、体检机构）、政务大数据（政府部门）、电商大数据（淘宝、天猫、苏宁云商、京东等电商）、社交网络大数据（微博、微信、人人网等）、搜索引擎大数据（百度、谷歌等）等各种数据的来源数据管理层包括数据抽取、转换、存储和管理等服务的各类企业或产品，比如分布式文件系统（如Hadoop的HDFS和谷歌的GFS）、ETL工具（Informatica、Datastage、Kettle等）、数据库和数据仓库（Oracle、MySQL、SQLServer、HBase、GreenPlum等）数据分析层包括提供分布式计算、数据挖掘、统计分析等服务的各类企业或产品，比如，分布式计算框架MapReduce、统计分析软件SPSS和SAS、数据挖掘工具Weka、数据可视化工具Tableau、BI工具（MicroStrategy、Cognos、BO）等等数据平台层包括提供数据分享平台、数据分析平台、数据租售平台等服务的企业或产品，比如阿里巴巴、谷歌、中国电信、百度等数据应用层提供智能交通、智慧医疗、智能物流、智能电网等行业应用的企业、机构或政府部门，比如交通主管部门、各大医疗机构、菜鸟网络、国家电网等大数据概述大数据与云计算、物联网的关系云计算、大数据和物联网代表了IT领域最新的技术发展趋势，三者相辅相成，既有联系又有区别云计算实现了通过网络提供可伸缩的、廉价的分布式计算能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。云计算关键技术包括：虚拟化、分布式存储、分布式计算、多租户等。云计算大数据概述大数据与云计算、物联网的关系云计算、大数据和物联网代表了IT领域最新的技术发展趋势，三者相辅相成，既有联系又有区别物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人员和物等通过新的方式联在一起，形成人与物、物与物相联，实现信息化和远程管理控制。物联网中的关键技术包括识别和感知技术（二维码、RFID、传感器等）、网络与通信技术、数据挖掘与融合技术等。物联网大数据概述大数据与云计算、物联网的关系大数据概述1大数据主要技术、厂商、产品2目录能力储备分析3讨论4大数据主要技术技术体系数据可视化技术数据处理技术数据存储技术数据采集技术数据安全技术系统运维技术大数据主要技术主要技术说明数据采集技术通过ETL抽取、文件适配器、网络抓取、实时数据采集等多种技术从外部数据源导入结构化数据（关系库记录）、半结构化数据（日志、邮件等）、非结构化数据（文件、视频、音频、网络数据流等）及实时数据。数据存储技术负责进行大数据的存储，针对全数据类型和多样计算需求，以海量规模存储、快速查询读取为特征，存储来自外部数据源的各类数据，支撑数据处理层的高级应用。数据处理技术对多样化的大数据进行加工、处理、分析、挖掘，产生新的业务价值，发现业务发展方向，提供业务决策依据。数据可视化技术是关于数据之视觉表现形式的研究，主要旨在借助于图形化手段，清晰有效地传达与沟通信息数据安全技术解决从大数据环境下的数据采集、存储、分析、应用等过程中产生的诸如身份验证、授权过程和输入验证等大量安全问题。由于在数据分析、挖掘过程中涉及企业各业务的核心数据，防止数据泄露，控制访问权限等安全措施在大数据应用中尤为关键。系统运维技术全面监测大数据处理全过程中各参与方的整体状态，支持大数据应用功能的配置化定义，可快速扩展应用功能。技术分类大数据主要技术两大核心技术分布式存储分布式处理GFS\HDFSBigTable\HBaseNoSQL（键值、列族、图形、文档数据库）NewSQL（如：SQLAzure）MapReduce大数据大数据主要技术hadoopHDFS（HadoopDistributedFileSystem）sparkopenstackMapReduceStormHPCCNoSqlgfsApacheDrillRapidMinerPentahoBIZookeeper关键技术介绍大数据主要技术关键技术介绍-Hadoop一个分布式系统基础架构，由Apache基金会所开发。Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（highthroughput）来访问应用程序的数据，适合那些有着超大数据集（largedataset）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streamingaccess）文件系统中的数据。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。大数据主要技术关键技术介绍-HDFSHadoopDistributedFileSystem，简称HDFS[1]，是一个分布式文件系统。HDFS有着高容错性（fault-tolerant）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高吞吐量（highthroughput）来访问应用程序的数据，适合那些有着超大数据集（largedataset）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以实现流的形式访问（streamingaccess）文件系统中的数据。HDFS开始是为开源的apache项目nutch的基础结构而创建，HDFS是hadoop项目的一部分，而hadoop又是lucene的一部分。大数据主要技术关键技术介绍-NoSQLNoSQL(NoSQL=NotOnlySQL)，意即“不仅仅是SQL”，是一项全新的数据库革命性运动，早期就有人提出，发展至2009年趋势越发高涨NoSQL的拥护者们提倡运用非关系型的数据存储，相对于铺天盖地的关系型数据库运用，这一概念无疑是一种全新的思维的注入。可以处理超大量的数据。NoSQL对大型企业来说还不是主流。大数据主要技术关键技术介绍–其他大数据厂商及产品大数据应用类大数据数据源类大数据基础设施类大数据分析类大数据厂商及产品1.大数据基础设施类1)硬件类主要厂商有华为、中兴、联想、浪潮、IBM、HP、戴尔等。2)软件类基于大数据基础设施提供云服务的有AmazonWebServiceElasticMapReduce、GoogleBigQuery、Infochimps、MicrosoftWindowsAzure，阿里云等。软件类主要厂商有达梦、南大通用、人大金仓、博晓通等。大数据厂商及产品2.大数据分析类1)分析解决方案在这里，最耀眼的明星当属Hadoop，Hadoop已被公认为是新一代的大数据处理平台，Cloudera、Hortonworks、MapR、Informatica、Microsoft以及Oracle都纷纷投入了Hadoop的怀抱。其他还包括HP的Vertica、EMC的GreenplumHD、IBM的BigInsights、用友、久其、永洪科技、星图数据、北斗天成、智慧图等。2)数据可视化主要厂商有TeraDataAster、SAS、TableauSoftware、Tibco、EMCGreenplum、海云数据、国云数据、数字冰雹、曼恒数字等。3)精准营销有腾讯、新浪、搜狐、网易、微众、迅雷、今日头条、博易智讯等。4)分析服务提供舆情分析的服务主要有方正、Talkingdata、中科数据、红麦、拓尔思等。大数据厂商及产品2.大数据分析类-分析解决方案平台解决方案厂商除去IBM、SAP、Oracle、微软、惠普国外代表厂商，在国内有星环科技、帆软软件、用友、永洪等等。星环科技星环信息科技主要从事大数据时代核心平台数据库软件的研发与服务，被Gartner列为国际主流Hadoop发行版厂商。其产品TranswarpDataHub提供高速SQL引擎TranswarpInceptor,NoSQL搜索引擎TranswarpHyperbase、流处理引擎TranswarpStream和数据挖掘组件TranswarpDiscover。帆软软件帆软软件由报表软件FineReport起家，目前已成为报表领域的权威者，拥有10年企业数据分析的行业经验。后发布的商业智能自助式BI工具FineBI，提供包括Hadoop、分布式数据库、多维数据库的大数据可视化分析；提供PC端、移动端、大屏的可视化方案，广泛应用于银行、电商、地产、医药、制造、电信、制造、化工等行业，拥有成熟的行业化解决方案。大数据厂商及产品2.大数据分析类-数据可视化数字冰雹数字冰雹主营大数据可视化业务，提供集设计、程序开发、硬件集成为一体的解决方案，广泛应用于航天战场、智慧城市、网络安全、企业管理、工业监控等领域。海云数据海云数据的产品——图易能够集成用户内部系统大量结构化、非结构化数据，在真实的数据源上，将行业大数据进行多维度的可视分析。目前主要应用于公安、航空、快消、制造、金融、医疗、信息安全等领域。

星图数据星图数据是互联网大数据服务公司，涉及线上零售、线上娱乐、线上教育等领域。基于分布式大数据获取与存储系统进行大数据处理及分析，具有自有的大数据分析体系和云计算处理技术。大数据厂商及产品2.大数据分析类-精准营销分析大数据技术使得用户在互联网的行为，得到精准定位，从而细化营销方案、快速迭代产品。这方面的厂商有GrowingIO、神策数据等。GrowingIOGrowingIO是基于互联网的用户行为数据分析产品，具有无埋点的数据采集技术，可以通过网页或APP的浏览轨迹、点击记录和鼠标滑动轨迹等行为数据，进行实时的用户行为数据分析，用于优化产品体验，实现精益化运营。神策数据与GrowingIO类似，也是基于用户网络行为，采集数据进行分析。技术上提供开放的查询API和完整的SQL接口，同时与MapReduce和

Spark等计算引擎无缝融合，随时以最高效的方式来访问干净、规范的数据。大数据厂商及产品2.大数据分析类-分析服务提供舆情分析的有百度统计、品友互动、Talkingdata、友盟、中科数据等等。百度统计百度统计是专业的网站流量分析工具，和GA类似，提供免费的流量分析、来源分析、网站分析等多种统计分析服务，能够告诉用户访客是如何找到并浏览用户的网站，在网站上做了些什么，以此来改善访客在用户的网站上的使用体验。Talking

DataTalkingData是独立的第三方移动数据服务品牌。其产品及服务涵盖移动应用数据统计、移动广告监测、移动游戏运营、公共数据查询、综合数据管理等多款极具针对性的产品及服务。在银行、互联网、电商行业有广泛的数据服务应用。友盟+第三方全域大数据服务提供商，通过全面覆盖PC、手机、传感器、无线路由器等多种设备数据，打造全域数据平台。提供全业务链数据应用解决方案，包括基础统计、运营分析、数据决策和数据业务等，帮助企业实现数据化运营和管理。大数据厂商及产品3.大数据应用类1)商业智能产品BI产品主要有Oracle的Hyperion、SAPBusinessObjects，MicrosoftBusinessIntelligence、IBMCongnos，SAS，HP的Autonomy、QlikView等