大数据技术在计算机中的运用

大数据技术在计算机中的运用引言进入新世纪以来，以互联网为主线的计算机应用发展十分迅速，近年来，微博、微信、社交网络圈、物联网、导航、电子商务等概念的提出以及实现在很大程度上改变了人们的口常生活，同时也带来了海量的数据，人类正进入大数据时代，对于大数据的定义，学术界、计算机应用界进行了大量的研究与探讨，分别从各自的角度提出了关于大数据的定义。美国计算机巨头iym公司认为大数据时代下，计算机所处理的数据具有海量的数据量，常规的对数据量的衡量(兆，my)已不足以满足需求;数据的种类繁多，既有科学计算领域的结构化的数据，同时也有视频监控、电子商务信息处理的非结构化的数据，对于这些不同类型的大数据，相应的应用范围十分广泛。为了处理这些海量数据，我们对计算机的运算速度提出了很高的要求，常规数据处理速度和效率已经不能适应大数据时代下的数据处理。iym认为满足数据量大、数据种类多以及处理速度快的海量数据就是大数据。此外，还有不少研究人员、工程实践单位认为，计算机处理的数据必须是具有价值或意义(values)，因此，也有研究者认为大数据必须满足:海量、多种、快速、价值的特征才能称之为大数据。大数据处理方法11.1流处理模型与批处理模型计算机对数据的处理过程常分为串行和并行处理，大数据的处理方法大致也分为两种模型:流处理模型和批处理模型。简单的说，流处理是采用对信息直接进行处理的技术，而不经过对信息的存储过程;而批处理则是先把信息存储起来，然后再对信息进行处理。1.1.1流处理模型对于那些对处理响应速度要求较高的数据，宜采用流处理技术，否则，经过存储之后再处理，得到的处理结果已经过时，不再适应当时的条件(如工业环境发生了变化等)，因此，对数据的处理也失去了意义。一般来说，银行、证券、股票等金融领域，实时数据交换系统等对数据的处理速度要求比较高，因此适宜采用流处理模型进行处理。采用流处理模型对大数据进行处理就是把数据视为水流一样，不断获得的数据处理对象组成数据流结构，每当收到一个数据处理对象，就立即对其进行处理，并迅速将处理结果返回。由于流处理模型对数据处理的实时性要求非常高，数据不经过存储过程就直接在内存中进行处理，因此内存容量往往限制了流处理模型对大数据的处理效率，在采用流处理模型进行处理时，往往需要根据处理对象设计巧妙的数据结构，以提高对大数据的处理效率。1.1.2批处理模型批处理模型与流处理模型不同，它是先把待处理数据分块，然后把这些数据块分别交给不同的处理区进行数据处理。批处理的基本原理就是把问题进行分割，分别交给不同的处理区，这样避免了数据的传输过程中的空间和时间的消耗。流处理模型和批处理模型都能有效地实现对大数据的处理，但是在大数据的实际处理过程中，往往不单独应用某一种处理模型，而是经常把流处理模型和批处理模型结合起来进行数据处理。以电子商务为代表的互联网应用带来了大量的数据，在对这些海量数据进行处理时，往往根据数据对实时处理要求的高低采用不同的处理模型，对于要求在秒甚至毫秒级处理速度的数据处理工作往往采用流处理模型进行处理;对于以天甚至周为周期进行处理的数据，往往采用批处理模型以离线的方式进行数据处理;而对处理周期要求为分钟或小时的处理对象，既可以采用流处理模型也可以采用批处理模型。1.2大数据处理流程大数据的处理流程大致为:对海量数据源进行信息提取，将提取出的数据按照适当的方式进行存储，根据应用对象对数据处理速度和空间的要求，采用某种恰当的数据处理技术对大数据进行处理，将数据处理结果返回给用户，这里的用户可能是实际的用户也可能是调用大数据处理流程的某一程序或任务。概括起来，大数据的处理主要包括数据的提取、分析和解释工作。大数据具有多样性，即数据的来源不同，数据的组织结构比较复杂，因此，为了有效地处理庞杂的数据(其中大部分数据是无效甚至是无用的)，首先需要进行的工作就是从海量数据中提取出有效部分，描述分析对象的实体以及实体之间的联系(又称关系)，得到这些关系和实体之后进行数据之间的聚类，将其组织成统一的结构进行存储，得到可以进一步处理的中间数据。针对源数据进行的数据的提取和统一组织工作，在数据库领域已经有了成熟的研究，因此可以借鉴相关成果进行中间数据的提取和集成工作。数据分析是针对数据提取得到的中间数据进行分析，它是大数据处理的核心工作。数据分析的对象是数据处理提取得到的中间数据，大数据分析技术可以借鉴传统的数据处理技术，例如机器学习、数据挖掘等技术，但是并不能直接套用，需要一些改进，因为数据提取得到的中间数据依然具有很大的数据量，这其中必定仍然含有很多无效、无用的信息，因此需要对数据进行进一步的清理工作。由于大数据处理的对象是海量的数据，因此对数据的处理速度往往更加受到关注，在大数据处理的算法设计中，经常需要在处理精确度和处理速度之间进行合理的折衷。另外，不同的处理对象之间的处理过程具有很大的相似性，因此在算法设计过程中应该在算法的可移植性上给予充分的考虑，并且，当数据量增长到一定规模时，对于小量数据能够有效进行处理的算法并不一定适应于大数据的处理。数据解释是大数据处理的结果展示阶段。数据处理阶段得到的结果，往往只有领域内的技术人员才能够看懂，因此为了使使用户能够理解数据分析结果，还需要对结果进行解释，传统方法是以文本的形式存储结果或者通过显示终端显示结果，但是大数据量较为庞杂，因此其各实体之间的联系也是较为复杂的，故采用传统方法并不合适。在实际工程中，可采用以标签云、历史流等为代表的可视化技术进行解释。1.3大数据处理技术及工具1.3.1云计算云计算是一种计算机概念的具体实现，这些概念涉及的范围十分广泛，如分布式计算、并行计算以及网格计算，云计算在这些概念的基础上进行了扩展。云计算中的云是一个虚拟的容器，这个容器中包含了计算机范畴内的可利用资源，例如硬件、系统开发平台以及输入输出服务等。云计算的有效实现需要计算机操作系统中各种概念、技术的支持，这些技术主要包括数据存储和处理、索引的技术，例如计算机文件操作系统、数据库系统、数据的索引、查询系统和数据分析技术等。1.3.2大数据处理工具对于传统的数据进行处理，最为有效的就是关系数据库模式。但是它并不适用于大数据的管理、存储和处理工作。hardtop是当前大数据处理领域较为流行的工具，ha-droop综合了大数据处理技术所要求的文件操作系统、数据库系统、数据的索引查询技术以及数据分析技术，从某种意义上说，hardtop为大数据处理工具的开发实现树立了一个标杆。当前针对大数据处理工具的开发、创新、实现主要是基于数据对象的特点对halloo}，进行有效地改进。当然，除hardtop之外，还有很多大数据处理工具，这些工具要么是与halloo}，类似，要么是针对特定领域数据专用的大数据处理工具。大数据在信息处理技术中的应用案例2社交网络平台facebook在国外十分流行，每天产生大量的数据量，现有数据总量，每天数据增量也有60tb,facebook所需要解决的问题就是海量数据处理问题。在facebook的大数据信息处理平台中，关系数据库技术作为系统的两端，在前端用于获取数据，为大数据处理平台提供数据源，在后端则把数据处理结果组织起来，支持用户的查询操作，并把查询操作结果返回给用户终端显示。整个平台的核心是大数据处理、分析部分，这一部分在hivy-hadopt集群中进行，前端获取的数据装载到hive系统中，进行数据的聚集、分析操作，并且把数据的分析结果存储在后端的关系数据库中。另外，在hive系统中，支持即席查询的集群的作用是为了减轻即席查询对hive系统的压力，将数据复制到一个备份的hive系统中，该备份系统专门应对即席查询。大数据应用发展所面临的机遇与挑战3大数据环境下，计算机技术与互联网技术发挥各自的优点，为用户带来了前所未有的良好体验，然而，大数据同样带来了一些新的问题与挑战，这给计算机的应用和信息处理带来了巨大的挑战。3.1数据转换大数据时代信息处理所面向的对象是海量的、分布在各地的异构数据，为了对这些数据进行有效的处理，首先需要进行的是对这些异地异构数据进行数据集成。与传统的数据集成技术相区别的是:数据类型不再是结构化的，而是半结构化、结构化以及非结构化混杂在一起;随着以手机、平板、掌上电脑为代表的智能终端设备的迅速普及，数据产生的时间、空间发生了很大的变化;数据的存储方式也不再是传统的数据库方式，为了应对数据爆炸所带来的海量数据，在对数据进行处理时，首先需要把数据的存储方式进行转换。3.2数据安全保护大数据由于数据量大，信息繁杂，因此更容易遭受攻击，它成了计算机病毒和网络攻击的新对象，因此信息安全技术在很大程度上影响着用户对大数据应用的信任度，同样决定了大数据所能发展到的高度。同样由于数据量大，数据泄漏的可能性大幅度增加，传统数据的处理可以采用流处理模型直接在内存中进行存储，而大数据的处理往往要经过数据的集中存储过程，因此数据泄漏的风险加大。大数据时代的发展所面临的一个主要的问题就是数据安全技术的发展。3.3数据足迹保护大数据时代，用户在计算机、网络、互联网中的行为会以0，1数据的形式记录下来，因此用户的隐私保护问题也面临着巨大的挑战。用户在网络中的行为之间具有联系性，在某一时刻的数据泄漏可能并不会威胁到用户的数据安全，但是如果多个时刻的信息泄漏，并且将这些信息联系起来，就有可能把用户的行为联系起来，从而造成了用户的隐私泄漏。3.4通数据管理硬件节能海量的数据存储、管理依赖于大量的高性能计算机、服务器、数据存储介质的服务，在这个过程中，带来了大量的能源消耗，因此对低功耗硬件的开发、升级进展也在很大程度上制约着大数据应用的发展。大数据的发展方向4针对当前的大数据应用所面临的挑战和机遇，为了进一步拓展大数据应用的广阔前景，还需要广大研究人员进一步针对如下几个问题展开大量的研究:海量的数据存储、管理依赖于大量的高性能计算机、服务器、数据存储介质的服务，在这个过程中，出现了大量的能源消耗，同时，上述硬件在工作时产生了大量的热，这对硬件本身也是一种威胁，一旦硬件损坏，数据将面临着灭顶之灾，因此，开发低功耗硬件以及性能可靠的硬件温度保护系统是大数据应用发展必须解决的问题;大数据的处理技术研究较为深入，但是基于大数据的面向用户、面向市场的应用服务并不多，加强技术向应用的转化，为用户提供更多、更优质的数据管理、服务将有很大的市场;大数据的各供应商之间接口标准化问题将关系到用户能否无缝对接各供应商提供的服务，同时，接口标准化也能为供应商提供有序、公平的市场竞争机会。结束语本文从大数据发展的现状、大数据处理的方法和流程、大数据处理的关键技术以及大数据应用面临的机遇与挑战的角度探讨了大数据在计算机信息处理技术中的应用。同时，针对大数据应用所面临的机遇和挑战，文中也提出了一些大数据在计算机信息处理技术中应用所需要进一步解决的问题与建议。

大数据与计算机技术的应用分析引言大数据技术的不断发展，计算机技术的相关应用呈现出良好的态势，与各个行业进行深度的融合。计算机技术在处理数据信息方面有着明显的优势，能够在短时间内更好满足社会发展对数据处理的要求，为社会的进步提供了强大的技术力量。从计算机应用技术的本质而言，虚拟化的运行模式带来较大的运行负担，需要对计算机设备进行及时的更新处理，从而提升应用的效果。要把大数据背景下需要处理的数据业务进行准确分类，立足于数据信息的实际价值，对数据业务进行个性化处理，从而展现出数据信息所代表的各类应用属性，构建稳定的数据链条，促进计算机应用技术的发展。1研究背景大数据是信息技术快速发展的产物，基于宏观层面来说，大数据就是把现有的信息进行规模化分析和应用，使得各项的数据信息都能准确体现应有的价值。在具体的实践中，大数据技术需要依托于各种设备才能完成相关的信息处理。基于微观角度分析，大数据是作为一种储存信息数据的工具，把现有的数据信息资产化，为各个行业的发展提供高效的数据计算性能，拓宽行业的发展渠道和方向。从大数据未来的发展来讲，计算机能有效利用和发挥大数据技术的优势，围绕万物互联，将社会生产生活的主体信息进行数据化转变，构建数字化的社会，推动现代化的进程。2大数据与计算机技术的融合应用在公共安全中的应用。大数据背景下在带来社会快速发展的同时，也为公共安全埋下一定的隐患，但是通过计算机应用技术能有效增强公共安全，避免出现安全事件。在实践过程中，计算机设备能对大数据挖掘出的数据信息进行全天候的分析和处理，积极查找影响公共安全的数据信息，一旦发现及时传输给相关部门的数据信息系统中，让相关部门采取有效的措施，避免网络安全事故的发生。除此之外，计算机应用技术在计算机网络系统优化的过程中也能发挥重要的作用。通过计算机应用技术，可以把整个信息系统的工作流程进一步优化，实现线上线下的同步，有效提升相关部门的反应速率，提升服务质量。同时，计算机应用技术基础上构建的网络安全技术，能将计算机使用者由于操作失误所导致的安全问题进行快速识别，并及时采取对应的措施，在提升服务质量的同时，构建安全的网络操作环境。在农业生产经营中的应用。（1）合理规划农作物种植方案。利用计算机应用技术能对农作物种植的土地自然环境等进行智能化的数据分析，从而找到该环境内种植农作物需要的各种要素，并根据不同的农作物计算出相应的种植密度，通过计算机实现科学管控，在最大程度上保证经济效益。（2）科学调控农作物生长要素。在农作物种植的过程中，需要对施肥和浇水进行合理把控，利用传感器收集农作物生长过程中对各种要素的需求，然后依托计算机网络进行动态控制。这样一来，既能保证农作物的健康生长，也能降低种植成本。（3）实现农作物自产自销。农作物种植的最终目的在于收割后的售卖。在计算机应用技术的辅助下，让农作物的收割实现自动化。并利用互联网平台，及时对农作物进行销售，让农业的效益速率进一步提升。同时，围绕农作物构建的物联网系统，能实时追踪农作物的动态，搭建全过程的销售网络，达到实时销售的目的。有效推动教育取得新成就。计算机应用技术在教育领域的应用，有效推动教育领域的信息化，在丰富教育内容的同时进一步丰富教育的载体和教学的方式，构建了线上线下联动的教育模式，打破时间和空间对教育的限制。在教育实践中，依托计算机应用技术打造的微课、慕课等教学平台，让教学的内容更加具体化、精简化，进一步贯彻双减政策，为学生核心素养提升创造良好条件。同时，计算机应用技术把教育的空间限制彻底打破，远程教学、在线教学成为常态化，特别是疫情期间有效解决线下授课的困境。通过计算机技术载体，把教学端和学生端互联互通，实现通过视频的面对面教学，创造了线上互动教学的情景，达到了和线下教学一样的效果，实现了停课不停学的教学要求。此外，在VR技术的辅助下，更是可以创作出虚拟的教学环境，让学生身临其境，打造全方位立体化的教学氛围，让学生对知识的理解和记忆更加深刻，进一步增强教学的效果和质量。3基于大数据的计算机应用技术发展趋势更加巨型化。大数据背景下，数据信息之间的沟通和交流增加的频繁。因此，对数据信息的处理速度和质量提出更高要求。为更好满足这一特性，在未来的发展过程中，计算机应用技术将向着更加巨型化的方向发展，不断拓展对数据信息的储存和处理能力，在面对大量数据信息时实现快速准确的分析和处理，构建起以技术为驱动计算机信息体系。更加智能化。大数据背景下，所产生的数据量和数据种类都是非常丰富的，且在数据传输和处理的过程中，不同的数据信息需要适用于不同的分析和处理原则。因此，未来计算机应用技术的发展必须要围绕不同数据信息的不同诉求，向着更加智能化的方向发展，能准确识别信息的种类，从而采用不同的数据处理方法，显现信息的影响价值。未来智能化的发展需要依托于智能的互联系统，让各类信息实现无差别传输，在计算机网络和大数据充分融合的条件下，让数据信息的处理过程更多以数据为根本的驱动，从而精准响应使用者的诉求，实现智能化的展示。更加微型化。计算机应用技术的实现需要依托相关的载体，大数据技术同样需要相关的载体进行处理，而且人们对于计算机相关设备的追求更加注重轻便性，因此，未来的发展趋势将是不断地向着微型化的方向发展。计算机应用技术的微型化发展，要把数据信息的储存和处理