版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、大数据技术专题研究2017.3.3大数据概述1大数据主要技术、厂商、产品2目 录能力储备分析3讨论4大数据概述大数据概念大数据(big data)是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据概述体量大Volume类型多Variety价值密度低Value速度快Velocity非结构化数据的超大规模和增长总数据量的8090%比结构化数据增长快10倍到50倍是传统数据仓库的10倍到50倍大数据的异构和多样性很多不同形式(文本、图像、视频、机器数据)无模式或者模式不明显不连
2、贯的语法或句义大量的不相关信息对未来趋势与模式的可预测分析深度复杂分析(机器学习、人工智能Vs传统商务智能(咨询、报告等)实时分析而非批量式分析数据输入、处理与丢弃立竿见影而非事后见效大数据的4V特性文件存储数据分析数据计算数据存储平台管理数据集成数据源Database Web Log现代数据处理能力组件现代数据处理框架计算存储容错大数据概述大数据的三大关键问题存储、计算、容错大数据概述大数据与云计算、物联网的关系云计算、大数据和物联网代表了IT领域最新的技术发展趋势,三者相辅相成,既有联系又有区别云计算实现了通过网络提供可伸缩的、廉价的分布式计算能力,用户只需要在具备网络接入条件的地方,就可
3、以随时随地获得所需的各种IT资源。云计算关键技术包括:虚拟化、分布式存储、分布式计算、多租户等。云计算大数据概述大数据与云计算、物联网的关系云计算、大数据和物联网代表了IT领域最新的技术发展趋势,三者相辅相成,既有联系又有区别物联网是物物相连的互联网,是互联网的延伸,它利用局部网络或互联网等通信技术把传感器、控制器、机器、人员和物等通过新的方式联在一起,形成人与物、物与物相联,实现信息化和远程管理控制。物联网中的关键技术包括识别和感知技术(二维码、RFID、传感器等)、网络与通信技术、数据挖掘与融合技术等。物联网大数据概述1大数据主要技术、厂商、产品2目 录能力储备分析3讨论4大数据主要技术技
4、术体系数据安全技术系统运维技术大数据主要技术主要技术说明数据采集技术通过ETL抽取、文件适配器、网络抓取、实时数据采集等多种技术从外部数据源导入结构化数据(关系库记录)、半结构化数据(日志、邮件等)、非结构化数据(文件、视频、音频、网络数据流等)及实时数据。数据存储技术负责进行大数据的存储,针对全数据类型和多样计算需求,以海量规模存储、快速查询读取为特征,存储来自外部数据源的各类数据,支撑数据处理层的高级应用。数据处理技术对多样化的大数据进行加工、处理、分析、挖掘,产生新的业务价值,发现业务发展方向,提供业务决策依据。数据可视化技术是关于数据之视觉表现形式的研究,主要旨在借助于图形化手段,清晰
5、有效地传达与沟通信息数据安全技术解决从大数据环境下的数据采集、存储、分析、应用等过程中产生的诸如身份验证、授权过程和输入验证等大量安全问题。由于在数据分析、挖掘过程中涉及企业各业务的核心数据,防止数据泄露,控制访问权限等安全措施在大数据应用中尤为关键。系统运维技术全面监测大数据处理全过程中各参与方的整体状态,支持大数据应用功能的配置化定义,可快速扩展应用功能。技术分类大数据主要技术hadoopHDFS(Hadoop Distributed File System)sparkopenstackMapReduceStormHPCCNoSqlgfsApache DrillRapidMinerPent
6、aho BIZookeeper关键技术介绍大数据主要技术关键技术介绍 - Hadoop一个分布式系统基础架构,由Apache基金会所开发。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。Hadoo
7、p的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。大数据主要技术关键技术介绍 - NoSQLNoSQL(NoSQL = Not Only SQL ),意即“不仅仅是SQL”,是一项全新的数据库革命性运动,早期就有人提出,发展至2009年趋势越发高涨NoSQL的拥护者们提倡运用非关系型的数据存储,相对于铺天盖地的关系型数据库运用,这一概念无疑是一种全新的思维的注入。可以处理超大量的数据。NoSQL对大型企业来说还不是主流。
8、大数据主要技术关键技术介绍 其他大数据厂商及产品大数据厂商及产品1.大数据基础设施类1)硬件类主要厂商有华为、中兴、联想、浪潮、IBM、HP、戴尔等。2)软件类基于大数据基础设施提供云服务的有Amazon Web Service Elastic MapReduce、Google Big Query、Infochimps、Microsoft Windows Azure,阿里云等。软件类主要厂商有达梦、南大通用、人大金仓、博晓通等。大数据厂商及产品2.大数据分析类1)分析解决方案在这里,最耀眼的明星当属Hadoop,Hadoop已被公认为是新一代的大数据处理平台,Cloudera、Hortonwo
9、rks、MapR、Informatica、Microsoft以及Oracle都纷纷投入了Hadoop的怀抱。其他还包括HP的Vertica、EMC的GreenplumHD、IBM的Big Insights、用友、久其、永洪科技、星图数据、北斗天成、智慧图等。2)数据可视化主要厂商有TeraDataAster、SAS、Tableau Software、Tibco、EMC Greenplum、海云数据、国云数据、数字冰雹、曼恒数字等。3) 精准营销有腾讯、新浪、搜狐、网易、微众、迅雷、今日头条、博易智讯等。4)分析服务提供舆情分析的服务主要有方正、Talking data、中科数据、红麦、拓尔思等
10、。大数据厂商及产品2.大数据分析类 - 分析解决方案平台解决方案厂商除去IBM、SAP、Oracle、微软、惠普国外代表厂商,在国内有星环科技、帆软软件、用友、永洪等等。星环科技星环信息科技主要从事大数据时代核心平台数据库软件的研发与服务,被Gartner列为国际主流Hadoop发行版厂商。其产品Transwarp Data Hub提供高速SQL引擎Transwarp Inceptor, NoSQL搜索引擎Transwarp Hyperbase、流处理引擎Transwarp Stream和数据挖掘组件Transwarp Discover。帆软软件帆软软件由报表软件FineReport起家,目前
11、已成为报表领域的权威者,拥有10年企业数据分析的行业经验。后发布的商业智能自助式BI工具FineBI,提供包括Hadoop、分布式数据库、多维数据库的大数据可视化分析;提供PC端、移动端、大屏的可视化方案,广泛应用于银行、电商、地产、医药、制造、电信、制造、化工等行业,拥有成熟的行业化解决方案。大数据厂商及产品2.大数据分析类 - 精准营销分析大数据技术使得用户在互联网的行为,得到精准定位,从而细化营销方案、快速迭代产品。这方面的厂商有GrowingIO、神策数据等。GrowingIOGrowingIO是基于互联网的用户行为数据分析产品,具有无埋点的数据采集技术,可以通过网页或APP的浏览轨迹
12、、点击记录和鼠标滑动轨迹等行为数据,进行实时的用户行为数据分析,用于优化产品体验,实现精益化运营。神策数据与GrowingIO类似,也是基于用户网络行为,采集数据进行分析。技术上提供开放的查询 API 和完整的 SQL 接口,同时与 MapReduce 和Spark等计算引擎无缝融合,随时以最高效的方式来访问干净、规范的数据。大数据厂商及产品2.大数据分析类 - 分析服务提供舆情分析的有百度统计、品友互动、Talking data、友盟、中科数据等等。百度统计百度统计是专业的网站流量分析工具,和GA类似,提供免费的流量分析、来源分析、网站分析等多种统计分析服务,能够告诉用户访客是如何找到并浏览用户的网站,在网站上做了些什么,以此来改善访客在用户的网站上的使用体验。TalkingDataTalkingData是独立的第三方移动数据服务品牌。其产品及服务涵盖移动应用数据统计、移动广告监测、移动游戏运营、公共数据查询、综合数据管理等多款极具针对性的产品及服务。在银行、互联网、电商行业有广泛的数据服务应用。友盟+第三方全域大数据服务提供商,通过全面覆盖PC、手机、传感器、无线路由器等多种设备数据,打造全域数据平
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 关于金属材料服务协议合同模板
- 国内金融租赁合同金额
- 2024-2025学年新教材高中政治第2单元认识社会与价值选择第4课第1框人的认识从何而来练习含解析部编版必修4
- 脑梗死手术后病人的护理
- 2024热水工程合同书范本
- 2024ui设计外包文档ui设计外包合同范本
- 专题13 习作训练(讲义+试题) -2023年四升五语文暑假衔接课(统编版)
- 2024广告服务合同范本
- 2024建筑工程设计居间合同范本
- 2024建筑工程拆迁房屋合同格式工程
- 11 对人有礼貌 教学设计-2024-2025学年道德与法治一年级上册统编版
- 教育软件在线购买与使用授权协议
- 爱国主义教育法答题题库
- 细菌课件2024-2025学年(2024)人教版七年级生物上册
- XX银行关于开展中国银行业自律公约等行规行约落实情况的自查报告
- 电子版门窗合同范本
- 四川省宜宾市南溪区2022-2023学年七年级上学期期中历史试题
- 2024巴黎奥运会秋季开学第一课主题班会
- 中等职业技术学校园艺技术专业建设规划(2021-2025)
- 工业用地开发项目社会稳定风险分析
- 《丝绸服饰文化》课件-第一讲丝绸的起源与发展
评论
0/150
提交评论