大数据详细介绍

大数据详细介绍.随着移动互联、社交网络和电子商务的普及，互联网应用领域不断拓展，我们正在进入一个数据爆炸的时代，即大数据时代。大数据对社会经济、政治、文化和人类生活等方面产生了深远的影响，同时也提出了新的挑战和机遇。大数据是当下最热门的IT行业术语，围绕着大数据的商业价值的利用，数据仓库、数据安全、数据分析、数据挖掘等已成为行业人士争相追捧的利润焦点。大数据时代的背景是信息爆炸时代产生的海量数据，这一现象越来越受到关注。大数据时代的到来已经出现在《纽约时报》和《华尔街时报》的专栏封面上，甚至进入美国白宫网的新闻。在国内，大数据时代也已经成为一些互联网主题的讲座沙龙中的热门话题。国君证券、国泰君安、银河证券等也将大数据时代写进了投资推荐报告。大数据时代的到来得益于移动互联、社交网络和电子商务的发展，这些应用拓展了互联网的疆界和应用领域。然而，我们在享受便利的同时，也无偿贡献了自己的个人信息。每个人在互联网进入到大数据时代，都将是透明性存在。各种数据正在迅速膨胀并变大，它决定着企业的未来发展。虽然现在企业可能并没有意识到数据爆炸性增长带来的隐患，但是随着时间的推移，人们将越来越多地意识到数据对企业的重要性。大数据时代对人类的数据驾驭能力提出了新的挑战，也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。大数据指的是海量的数据信息，它每年都在以惊人的速度增长。互联网上的数据每年将增长50%，每两年便将翻一番。此外，数据不仅仅是指人们在互联网上发布的信息，全世界的工业设备、汽车、电表上有着无数的数码传感器，随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化，也产生了海量的数据信息。Gartner研究机构定义了“大数据”的概念，即指海量、高增长率和多样化的信息资产，需要新的处理模式才能具有更强的决策力、洞察发现力和流程优化能力。最早引用“大数据”这个术语的是apacheorg的开源项目Nutch，用于描述更新网络搜索索引需要同时进行批量处理或分析的大量数据集。随着谷歌MapReduce和GoogleFileSystem（GFS）的发布，“大数据”不再仅用来描述大量的数据，还包括处理数据的速度。“大数据”是指超过传统数据库系统处理能力的数据，其数据规模和传输速度要求很高，或者其结构不适合原本的数据库系统。为了获取其中的价值，必须选择另一种方式来处理它。数据中隐藏着有价值的模式和信息，而当今的各种资源，如硬件、云架构和开源软件使得大数据的处理更为方便和廉价。对企业组织来讲，大数据的价值体现在分析使用和二次开发上。分析使用能揭示隐藏其中的信息，而二次开发则能创造出新产品和服务。随着云计算时代的到来，大数据也吸引了越来越多的关注。大数据通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。大数据是数据分析的前沿技术，能够从各种各样类型的数据中快速获得有价值信息。这一点促使该技术具备走向众多企业的潜力。大数据是一个涵盖多个领域的概念，包括大数据技术、大数据工程、大数据科学和大数据应用等。目前，人们主要关注大数据技术和大数据应用，而大数据工程和科学问题则尚未受到足够的重视。大数据工程涉及到大数据系统的规划、建设、运营和管理，而大数据科学则关注于发现和验证大数据规律，以及与自然和社会活动之间的关系。在大数据时代，数据具有四个特性。首先，数据量呈现出海量性，预计到2020年，全球数据量将扩大50倍。其次，数据类型呈现出多样性，包括新型多结构数据，如网络日志、社交媒体、互联网搜索、手机通话记录和传感器网络等。第三，数据的高速性指的是数据被创建和移动的速度，企业需要快速创建、处理和分析数据，以满足用户的实时需求。最后，数据易变性指的是数据具有多层结构，呈现出多变的形式和类型，这对于传统的应用软件进行分析造成了很大的挑战。除了以上四个特性之外，大数据还呈现出其他三个特征。首先，数据类型繁多，包括网络日志、音频、视频、图片和地理位置信息等等，这对于数据的处理能力提出了更高的要求。其次，数据价值密度相对较低，如何通过强大的机器算法更迅速地完成数据的价值“提纯”，是大数据时代亟待解决的难题。最后，数据的价值随时间演变，需要不断地分析和挖掘，以获取更多的价值。和挑战随着大数据技术的不断发展，未来的发展方向和趋势也变得越来越清晰。首先，大数据技术将更加普及和应用于各个行业和领域，从而实现更多的商业价值。其次，人工智能和机器学习等技术将与大数据技术相结合，进一步提高数据处理的效率和精度。同时，数据安全和隐私保护的挑战也越来越严峻，需要加强技术和法律方面的保障。最后，大数据技术的发展还需要更多的人才和投资支持，以推动其在各个领域的广泛应用和创新发展。虽然大数据目前在国内还处于初级阶段，但是商业价值已经显现出来。未来，数据可能成为最大的交易商品。但是，仅仅拥有大量数据并不能算是大数据，而是要满足数据量大、数据种类多、非标准化数据的特征才能真正称之为大数据。因此，大数据的价值是通过数据共享和交叉复用来获取最大的数据价值。从长远来看，大数据将会与基础设施一样，有数据提供方、管理者、监管者，数据的交叉复用将大数据变成一大产业。大数据的整体态势和发展趋势主要体现在几个方面：大数据与学术、大数据与人类的活动、大数据的安全隐私、关键应用、系统处理以及整个产业的影响。随着大数据的发展，数据规模将变得更大，数据资源化、数据的价值凸显、数据私有化出现和联盟共享。大数据的发展也将催生许多新兴职业，例如数据分析师、数据科学家和数据工程师。有非常丰富的数据经验的人才将成为稀缺人才。随着大数据的发展，数据共享联盟将逐渐壮大成为产业的核心一环。然而，随着大数据的共享越来越大，隐私问题也随之而来，例如每天手机产生的通话、位置等等。这给带来了便利的同时也给带来了个人隐私的问题。数据资源化，大数据在国家、企业和社会层面成为重要的战略资源，成为新的战略制高点和抢购的新焦点。随着社会的不断发展，大数据对IT技术架构的挑战、大数据的生态环境问题、大数据的应用及产业链将日益突出。大数据提供了成功的新前线，企业数据本身就蕴藏着价值，但是将有用的数据与没有价值的数据进行区分看起来可能是一个棘手的问题。除了掌握的人员情况、工资表和客户记录，其他数据也拥有转化为价值的力量。例如，一段记录人们如何在您的商店浏览购物的视频、人们在购买您的服务前后的所作所为、如何通过社交网络联系您的客户、是什么吸引合作伙伴加盟、客户如何付款以及供应商喜欢的收款方式等所有这些场景都提供了很多指向，将它们抽丝剥茧，透过特殊的棱镜观察，将其与其他数据集对照，或者以与众不同的方式分析解剖，就能让您的行事方式发生天翻地覆的转变。很多公司仍然只是简单地堆积信息，把它们当作必须保存的信息，而不是将其作为战略转变的工具。然而，数据和人员是业务部门仅有的两个无法被竞争对手复制的财富。在善用的人手中，好的数据是所有管理决策的基础，带来的是对客户的深入了解和竞争优势。因此，数据是业务部门的生命线，必须让数据在决策和行动时无缝且安全地流到人们手中。数据应该随时为决策提供依据。政府公开道路和公共交通的使用信息为一些私营公司提供了巨大的价值，这些公司能够善用这些数据，创造满足潜在需求的新产品和服务。企业需要向创造和获取数据方面的投入索取回报。有效管理来自新旧来源的数据以及获取能够破解庞大数据集含义的工具只是等式的一部分，但是这种挑战不容低估。产生的数据在数量上持续膨胀，富媒体需要新的方法来发现，合作和交流系统以非结构化文本的形式保存数据，必须用一种智能的方式来解读。然而，应该将这种复杂性看成是一种机会而不是问题。处理方法正确时，产生的数据越多，结果就会越成熟可靠。传感器、GPS系统和社交数据的新世界将带来转变运营的惊人新视角和机会。自从有了IT部门，董事会就一直在要求信息管理专家提供洞察力。商业智能稳居CXO们的重中之重。在理想的世界中，IT是巨大的杠杆，改变了公司的影响力，带来竞争差异、节省金钱、增加利润、愉