大数据的应用

大数据的应用大连东软信息学院计算机科学与技术系张冬青“大数据的应用”学习路线图深入认知初识大数据算法与理论大数据系统与实践NoSQLHadoop大数据带来的思维变化大数据带来的价值链大数据发展现状与未来大数据vs人类什么是大数据大数据的特性大数据与传统技术的关系大数据与其他新兴技术的关系什么是大数据百度百科：大数据(bigdata)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。维基百科：大数据是由数量巨大、结构复杂、类型众多数据构成的数据集合，是基于云计算的数据处理与应用模式，通过数据的整合共享，交叉复用形成的智力资源和知识服务能力。我的观点：大数据是由大量异构的数据组成的数据集合，它是可以应用合理的数学算法或工具从中找出有价值的信息，为人们带来利益的一门新兴学科。什么是大数据2009年，甲型H1N1流感在全球爆发传播，为了发现和控制疫情，各国政府和卫生相关部门付出了巨大努力，但得到的数据仍然滞后一两周，而Google对人们的搜索的历史记录进行处理，建立合理的数学模型后，得到的预测结果与官方的数据相关性高达97%，能够立刻判断出流感是从哪里传播出来的，没有一两周的滞后。Google处理了5000万条历史记录、4.5亿个不同的数学模型。什么是大数据Farecast是一个对机票价格进行预测的公司，帮助消费者抓住最佳购买机票的时机，使乘客节省很多钱。最初预测系统建立在41天之内的12000个价格样本基础上，数据是从旅游网站上抓取的，如今已经拥有超过2000亿条飞行记录。系统只推测机票的价格何时最便宜，不关心是什么原因导致的价格下降。Farecast→Bing大数据的特性大数据的特性

更关注相关性

主要用于预测

数据量巨大

实时性要求高大数据与传统数据库的区别大数据是在传统数据库学科的分支——数据仓库与数据挖掘的基础上进一步发展起来的。但有两点比较主要的不同：结构化程度传统数据库保存的是结构化或者半结构化的数据，以二维表或者标准XML文件的方式存储数据，由于结构清晰，处理相对容易；大数据面向的是一切计算机可以存储的数据格式，包括互联网上的各种网页、图片、音频、视频，包括办公文档、报表，包括人们在搜索引擎中输入的关键词、在社交网络中的留言、喜好，也包括各种传感器自动收集的监控结果等等，显然不同的格式处理起来更加困难。异常数据的处理传统数据库通常把异常数据先剔除，应用在需要高精确度的领域，如银行对每个账户的管理；大数据则允许异常数据存在，更多应用在预测方面，找出大量数据中隐藏的关联关系，少量异常数据不会对总体结果产生影响。大数据与其他新兴技术的关系大数据、物联网、云计算、移动通信等都是近年涌现出来的新兴概念，彼此之间不是孤立的，而是存在着内部联系。大数据带来的思维方式的变化处理的对象往往是全部数据，而不是部分数据的采样采样的不合理会导致预测结果的偏差，在大数据时代，依靠强大的数据处理能力，应该去处理全部的数据。不再执迷于精确性精确的、规范化的、可以被传统数据库处理的数据只占全部数据的5%，必须接受不精确性才能处理另外95%的数据。错误的数据是客观存在的，竭力避免它就失去了应有的客观性和公平性。大数据的简单算法比小数据的复杂算法更有效。更加关注相关性，而不是因果性预测依靠的是相关性。很多情况下知道“是什么”即可，不必知道“为什么”。大数据的价值链数据数据的掌控者，拥有或者可以收集大量数据的公司。海量的数据就是财富，可以考虑自己分析或者卖数据给其他公司。技术技术供应商或者分析公司。掌握了从海量数据中分析出有用信息的技能或者工具，但本身不一定拥有数据。思维有创新思维的人或者公司。他们对大数据敏感，有怎样挖掘数据的新价值的独特想法。我们应如何学习大数据知识技术人员创业人员其他决策者大数据人类应如何对待大数据机遇大数据能够为人类带来新的理念、新的价值，推动社会的快速进步，能够让人类发现一些以往未曾发现的潜在关联。风险个人隐私如何保护数据垄断、独裁数据主宰一切掌控法律法规的建立人类的思考vs大数据的结论国内外现状Google、IBM、Amazon、Oracle、Microsoft、EMC等IT行业巨头已经在大数据产业链开始行动，从不同的角度挖掘大数据的价值。腾讯、百度、新浪、淘宝等国内知名互联网和电商公司也快速加入到大数据队伍中，对已经持有的大数据进行挖掘，以便改善自身的服务。国内外政府机构对大数据的重视更多在于报告和组织会议上，行动的步伐远远不及企业。如今，我们处在大数据时代拥抱大数据参考资料推荐参考文献[1]维克托·迈尔-舍恩伯格,肯尼斯·库克耶.大数据时代.浙江人民出版社.2013.1[2]陆嘉恒.大数据技术的学习指南.电子工业出版社.2013.4[3]AnandRajaraman,JeffreyDavidUllman.大数据：互联网大规模数据挖掘与分