《大数据技术对社会发展的影响研究》5200字（论文）

I大数据技术对社会发展的影响研究摘要人类社会随着信息技术的飞速发展，已步入数字信息时代。所有的信息都是根据自己的不同需要，确定自己不同的利益，但是，所有有用的信息，都是通过对海量数据进行挖掘和分析而获得。海量数据也是随时间的推移而不断生成和流动的、逐步蔓延，构成大数据。用大数据来形容数据量十分庞大，但也凸显了对数据处理的快捷性，所以，大数据已经成了数据分析领域最前沿的技术。大数据并不局限于技术维度，是能力，是思想的时代。以大数据，云计算为代表的新一代信息技术，正改变着社会发展的面貌。文章首先从大数据技术出现和发展入手进行了阐述，对大数据主要特点进行归纳和提炼，对大数据的技术体系进行了综合梳理，以及针对不同的数据处理场景，总结出适用于大数据技术手段，并且阐述大数据技术发展给我国经济和社会发展带来的巨大作用。关键词：大数据技术；社会发展；影响目录TOC\o"1-3"\h\u23439引言 163611大数据技术的产生与发展 1116411.1大数据的内涵 1179351.2大数据技术的发展现状 113081.2.1大数据技术的概念 1186771.2.2大数据技术发展现状 2266522大数据的主要特征 2167722.1体量巨大 2276212.2速度快 2305662.3维度众多 3270442.4具有高度的复杂性 3303612.5依附属性强烈 3324733大数据的技术架构 326084大数据对社会发展产生的影响 4101324.1大数据技术是社会变革的力量 4199934.2大数据技术经济变革的力量 4265384.3大数据技术重构了互联网 561574.4大数据影响着社会信息化的进程 525172结语 514619参考文献 6引言纵观计算机技术发展史，从1980年左右，随着个人计算机的开始流行，人类社会先后出现过三次信息化浪潮，数字技术已经由军事领域进入到经济社会的方方面面。存储设备的容量，CPU的处理能力、网络带宽和其他基础设施的水平迅速迭代升级，触发数据生成，发送，储存、处理方式的持续跃迁在于数据的处理、算力与算法在一起兴盛下，以大数据技术作为新兴数字技术体系的典型代表，促进了第三次信息化浪潮在世界范围内蔓延。大数据技术在人类社会发展中已成为底层驱动力量，促进了生产力的发展、生产关系发生了深刻的变化。1大数据技术的产生与发展1.1大数据的内涵大数据概念出现之初，人们对于大数据的认识与了解，主要是从数据规模开始的，但是在信息技术不断发展的今天，对于大数据，理解一直在改变。大数据概念改变的原因，是因为数据量的巨大并不是大数据的唯一特征，大数据、大规模数据这样的概念只关注数据的大小本身，未能全面地反映数据处理的发展和它的应用，直到今天，大数据这一概念已扩展至各个学科，各个产业。大数据并不是个准确概念，一开始，是指待处理数据量太大，超过普通计算机能够携带的最大内存量。在这种情况下，工程师必须提高处理资料的手段，由此产生了一些新型处理技术如：谷歌的MapReduce技术和Hadoop平台，这些技术使人们能够处理的数据量极大地增加了”。所以大数据不只是规模数据上的汇集，但它是集数据对象、技术和应用三方面结合的共同体等。1.2大数据技术的发展现状1.2.1大数据技术的概念广义的大数据技术基于Web2.0环境，基于数据挖掘，处理，分析和共享大量数据的一种技术。大数据时代的到来使得企业管理发生了重大变化，”大数据思维“也随之应运而生。”在国外谷歌、亚马逊、微软等公司在大数据技术方面处于领先地位。大数据技术的应用领域十分广泛，包括政府管理、金融理财、商业运营、教育培训、医疗健康等等。在中国也有不少企业和个人通过大数据分析开发出基于大数据应用平台的产品。大数据技术已经进入到从概念走向现实的阶段，它将改变人们的工作方式、学习方式、生活方式和思维模式，从而影响社会经济发展的方方面面，并引发巨大的变革与创新。1.2.2大数据技术发展现状提及大数据技术，绕不过去的两个核心概念就是MapReduce和HadoopoMapReduce是谷歌公司于2004年在OSDI（操作系统设计与实现研讨会）上发布的，它是一种编程模型，用来执行大规模数据集（大于1TB）的并行操作。该模型具有高效性和可扩展性，适用于对计算能力要求较高的领域中，比如金融、电信等行业以及政府机构等部门。MapReduce最大的优点是能够把一个大数据集分解为若干小作业集，执行并行计算处理。谷歌公司因开发出一系列大数据处理技术而应运而生，并公认是大数据技术（例如：2003年在SOSP（操作系统规范研讨会）上发布的GFS<GoogleFileSystem），它是一种分布式文件系统，主要用于存储大量非结构化数据：2006年在OSDI上发布的BigTable，主要应用于对大规模结构化数据进行分布式存储数据库管理。如果谷歌打开大数据技术的大门的话，那么Apache软件基金会则为数据处理提供了一个广阔的平台—ApacheSoftwareFoundations，它是一个非营利性组织，设立目的在于支持开源软件项目。Hadoop可以由单个服务器延伸至数千台服务器，所有的本地计算与存储服务均能在机器上实现。通过将多个服务器之间的连接进行整合，形成一个统一的整体来处理大量不同类型的数据分布，从而实现分布式的大规模数据处理。Hadoop由Java语言编写，它以谷歌公司推出的大数据技术为基础，自主设计，它的核心就是以GoogleMapReduce编程模型为基础的数据处理模型HadoopMapReduceoHadoop中的其他框架项目，这些框架项目都和谷歌大数据技术相对应，比如：储存非结构化数据分布式文件系统HDFS对应谷歌GFS；提供结构化数据服务，分布式数据库HBase对应谷歌BigTable。在这些基础上，结合用户需求和应用场景开发出了各种功能，包括数据管理，数据挖掘等多种业务模式。Hadoop实际上是谷歌大数据技术的开源实现，可以说，在数据技术方面，Hadoop等同于桌面系统Linux，Android，移动系统，集开源技术于一身。2大数据的主要特征数据量庞大，快速，种类多样、复杂性高，是大数据最重要的自然特征。在大数据逐渐成为推动数字经济的核心因素的今天，让它和劳动，资本，科技、土地共同组成了新的经济范式，关注并发挥数据要素的价值，已经成为社会各方面普遍共识。2.1体量巨大针对目前各个领域数据集合进行TB,PB中数据量级单位无法满足需要，现在已经开始用EB,ZB来测量。2.2速度快泛指处理速度和生成速度。大数据通常与人工智能一起、物联网与其他技术的联合运用，需要实时响应数据。大数据处理效率，也叫“1秒定律等”，即可得到秒级的分析结果。2.3维度众多大数据有很多的层面。就拿人来说，有性别，年龄，身高和体重等因素、身份证号码，学历、家庭住址和其他许多性质。数据多维度、多层次属性被运用于社会生产各领域，可加快流程再造，提高了生产效率，加快供需信息匹配，提升协同效率，由此产生了更多的价值。2.4具有高度的复杂性大数据具有高度的复杂性。由于记录工具的差异以及应用场景的差异，在一方面，数据结构各不相同，呈现文字，图像，音频等、视频和其他形式；另一方面又出现了内容逻辑层面上的貌似凌乱，现实中有章可循。2.5依附属性强烈它有别于传统的有形资源，大数据是虚拟的，无形的，不能独善其身，常常要靠硬件设备来储存，有赖于软件平台的阅读，运行。数据仅存储于对应的介质中，由装置进行展示，数据才可以通过更加直观的形式进行感知，测量和传递、分析和应用、数据质量、有了价值，才能进行评价。数据具有虚拟性、无形性的特点决定它的管理离不开数据平台的管理，数据的价值，平台算力的体现、算法模型紧密相关，迫使现有的资产管理办法不断升级和改进川。LG的主要生产要素土地是农业时代关键的生产要素；工业时代是劳动，资本为基础的、技术作为一种关键的生产要素；在数字时代，当各国把数据作为第五生产要素说，大数据会介入市场投人，经营、产出与分配等环节。3大数据的技术架构大数据处理技术可分为两类：批处理与流处理。一般情况下，数据批处理是对T+1的数据进行，用于支持数据应用，主要是“看”数据。批处理很适合于分布式数据仓库历史数据的分析与计算称，比如，在总数与平均数的计算中，对数据集进行整体处理是非常重要的，而不应该把它看成是多个记录的一个集合。这些运算都需要在执行计算时，数据保持其自身状态。数据处理耗时和数据量成正相关，所以，批处理不适用于处理时间有特殊要求的情况。数据批处理平台一般与Hadoop,Hive，数据仓库，ETL，维度建模等技术、数据公共层与其他连接。数据流式的处理平台，具有即时处理数据的功能，可以达到秒级，甚至毫秒级的延迟，可以支持实时化、数据分析与展现类应用的在线化等等。流处理是指在时间上进行并行操作的数据处理方式。流处理系统能够处理近乎无限制的数据，但在同一时间内，它只能处理一个（真正的流处理）或者非常小的（微批处理）的数据，在各种记录之间仅保持最小数量。流式技术是一种高效的数据处理方法，能在一个相对短的时间内完成大量数据的快速计算和存储，并且能够保证所有数据都被正确地进行读取和使用。流式处理最适用于一些工作负载类型，有接近实时处理要求的工作。在对数据流式处理进行研究时，我们通常会用到一些度量指标。例如，对服务器或者应用程序的错误日志进行解析，及其他以时间为标准的衡量指标，等等。随着网络环境日益复杂及用户对服务要求越来越高，需要一种能够支持多种应用且具有高度灵活性的流式处理平台来满足这些特殊情况下的应用需求。数据流处理平台的支撑技术主要包括4个方面：实时数据获取（如Flume）、信息中间件（如Kafka）、流计算框架（如StormSparkFlink和beam等）以及实时数据存储（如列族存储的HBase）。这些技术构成了当前流式数据处理平台的核心关键技术。当前主流实时数据平台，也是以这4个方面的相关技术为基础，构建了自己典型的技术架构。4大数据对社会发展产生的影响4.1大数据技术是社会变革的力量在大数据时代，各国争夺控制权就是争夺权力。未来十年，我国大数据建设将围绕大智慧展开，判断我们国家有没有大智慧，其核心准则就是国民幸福。而国民幸福首先表现在民生上：透过大数据来看，我们处理人们之间关系的方式，是不是比过去更有意义了：第二，生态：透过大数据，看到了我们的社会和自然、在人与自然关系方面是否做到了前所未有的合理。4.2大数据技术经济变革的力量大数据刺激内需急剧上升，导致行业发生剧变。生产者有其价值，而消费者，才有了价值。有了意义，才能有价值，消费者不同意的话，便无法销售，价值也无法实现；消费者若同意，便卖出了，价值也得到了体现。大数据能帮我们在消费者身上解析含义，从而有助于生产者获得更大价值。大数据技术能够构建较高智慧城乡水平。过去在城市化建设中，物质资源高度密集，能耗高，物耗大，污染严重。大数据时代将城镇建设带入了一条通过数据流动来进行资源配置的新发展路径。智慧城乡注重用数据流分配资金流与物流，带动城乡一体化的建设与发展。大数据技术能够指导各行业数据业务的转型升级。大数据的又一变革性影响是把数据业务转化为各行业主营业务，从而使产业发生了业态变化。比如电信业最初主营业务就是语音业务，数据业务仅仅是辅助性业务。但是在移动网络上，数据业务提升到主营业务，而且语音业务也变成了副业。再比如就流通业而言，以交易为最初主营业务，服务于交易的数据分析，属于副业。如今，数据业务又成了流通业中的一项主要业务。又比如在金融业中，原以经营金融业务为主，通过佣金挣钱：而且今天的清算结算也许是自由的，以支付信息衍生信息增值业务获取利润。4.3大数据技术重构了互联网云计算与大数据带来了如IT生产力，计算范式等、开发方式等偏架构以及技术上的改变，它们最重要的价值是使社会得到革新和提升，推动互联网的重构。4.4大数据影响着社会信息化的进程信息以数据为中心。不管使用的硬件如何，采用何种手段，装的是什么样的系统，流通在其中的始终是数据。运用信息技术，将有效数据进行挖掘，做到充分整合与流通，推动产业结构升级，推动创新驱动。结语大数据技术的不断发展，给社会社会发展带来了巨大冲击，我们的国家应该看到变化趋势，把握变革先机，从而争取发展机遇，对大数据技术的把握是必要的。并在大数据研发建设中采取如下政策和措施：建立完善运行机制，构建大数据具有动态性和秩序性、可持续发展是一项系统工程，一定要树立好、完备的运行机制，为推动施工过程各环节规范有序，做到融合，完成更好顶层设计。规范一整套符合条件的建设标准，我们要确立针对不同对象、涵盖各领域、大数据建设标准持续，动态地更新，为了使不同层次，不同类型的信息系统能够网络互联、资源共享，信息互通作准备。简单地说就是大数据时代已经来临，它推动着社会生产力的变革与创新。大数据技术对各类产业的发展都产生着冲击，大数据时代所面临的挑战，不仅表现为如何运用大数据技术对巨量数据进行加工，并从海量数据中获得宝贵信息，还表现为如何强化大数据技术研究与发展、占领时代发展前沿，推动社会全面发展变革等方面。参考文献[1]ZhaoY,WuJ.Dache:ADataAwareCachingforBig-DataApplicationsUsingTheMapReduceFramework[C]//2013Proceeding