浅析云环境下的大数据关键技术

1、浅析云环境下的大数据关键技术摘要：云环境下，大数据技术的应用有利于提供丰富的 数据信息资源，满足人们获取信息资源需要。同时，为促进 其作用有效发挥，应该提高技术水平，确保大数据技术的安 全与可靠，使其更好发挥作用。该文对云环境下的大数据关 键技术进行初步的探讨和分析，并分析了大数据关键技术面 临的挑战，提出相应的完善措施，希望能为实际工作开展提 供启示。关键词：云环境；大数据；关键技术；节能技术；数据 容错技术当今世界，计算机和信息技术迅猛发展。云计算和大数 据逐渐渗透到人们的日常生活和学习当中，为人们生活和工 作提供便利。同时，为促进其作用有效发挥，应该把握大数 据的关键技术，促进技术水平提

2、高，促进其作用有效发挥， 更好满足人们生活和工作需要，让云计算和大数据技术有效 服务于人们的生活与工作。1. 云环境下大数据关键技术的作用技?g需求是大数据关键技术开发和应用首先需要明白的内容，对后续技术开发和具体应用发挥指导作用。具体是 指对云环境下大数据技术在性能、 功能、设计等方面的期望。 需求分析的目的是阐述大数据技术的目的及意义，为大数据 技术作用的发挥和有效应用提供指导。1.1 为大数据技术的应用创造条件 计算机和大数据技术在应用中，不仅推动信息技术的现 代化，还能提升技术管理水平。尤其是在数据应用和处理工 作中，更需要开发相应的技术系统， 把握大数据的关键技术， 顺应这种趋势，

3、对大数据进行有效处理， 促进工作水平提高。 同时在技术开发和应用过程中，还要考虑技术的可扩展性以 及与其他技术的兼容性，为技术升级和更新创造良好条件。 大数据关键技术应用中，应该进行综合全面考虑，应用信息 技术和互联网技术，进行技术管理、系统管理、用户管理等 各项功能操作，为大数据的有效利用，作用的充分发挥创造 条件。1.2 促进大数据技术管理水平提高和作用的有效发挥 总的来说，云环境下，大数据处理流程如图 1 所示，其 关键技术具备以下几项功能：满足技术更新和升级需要，注 意技术研发和创新，大数据技术具备让管理员与用户互动的 功能，采用科学管理模式促进技术管理效率提高，大数据技 术满足系统开

4、发，技术创新和发展的需要。在具备这些功能 的前提下，合理进行云环境下的信息系统设计，促进大数据 技术管理水平提高，为大数据技术水平提升和作用的充分发 挥创造便利。2. 云环境下大数据关键技术的类型云环境下， 大数据技术的类型更加丰富， 作用更为明显， 能有效满足系统运行需要，为人们生活和工作提供便利。具 体来说，大数据关键技术包括以下几种类型。2.1JSP技术大数据和云环境的具体应用中，为保证数据安全可靠， 应该注重先进技术的应用，为人们使用计算机构建先进、安 全、可靠的工作平台。同时也方便信息资料查阅，满足人们 使用信息资源的需要。同时，在云环境大数据支持下，能够 加快设备运行速度，方便信息

5、资料查询，让使用计算机的工 作流程得到简化，有利于提升工作效率。云环境下，JSP技术的组件性能较高，技术难度低，方便信息资料的使用和维 护。并且系统的独立性强度，具有兼容性特征，能够重复使 用，操作起来简单方便，具有良好的兼容性，可以有效满足 大数据运行需要，为各项活动开展创造条件。具体工作中， JSP技术向客户端发出请求，并在服务器支持下转换和编译， 高效处理发出的请求，满足人们使用的需要。2.2Java Bean 技术JavaBean技术是一段Java小程序，利用Java语言编写， 结构简单，使用方便，在系统运行中发挥积极作用，它的主 要构成内容包括属性、事件、方法。每个JavaBean技

6、术可以实现一个较为独特的功能，通过对该技术的组合和应用，可 以生成新的应用程序， 为人们使用计算机创造条件。 JavaBean 还能实现一次性编写，使用简单，操作方便，不受时间和地 点束缚，为云环境下使用该技术提供便利。2.3JDBC 技术具体是指Java数据库连接技术，主要构成内容包括接口 和类，采用的是Java语言进行编写，可用于执行SQL语句。具体的程序开发和应用中，利用Java语言就可以完成数据库 应用程序的编写任务。 大数据环境下，JDBC技术具有重要作 用，可以建立与数据库之间的密切联系，方便数据库信息传 递和使用，并有效处理数据库的返回结果。通过JDBC技术的应用， 能提高系统性

7、能， 确保工作平台有效开展各项活动， 节约技术运行时间，提高设备综合性能，让数据库有效发挥 作用。2.4SQL Server数 据库SQL Server数据库也是大数据环境下重要的技术类型， 它不仅能存储大量数据，还方便数据资料查询，满足用户使 用信息资源需要，进而提高数据处理效率，确保信息技术处 理效果。具体来说，云环境下，SQL Server数据库的综合性能高，系统管理工作水平高， 具备强大的数据信息处理能力， 能够保证数据安全，并具有强大的数据复制和管理功能。有 利于提供良好的平台开发条件，方便用户操作，促进数据处 理水平提升。2.5 节能技术 云环境下，节能技术扮演着十分重要的角色。它

8、包括硬 件和软件两个组成部分，硬件部分通过节能体系与节能结构 来实现，软件部分通过节点动态运作方式来实现。通过该技 术的应用，能有效降低云环境的能耗。2.6 数据容错技术 该技术的应用能提高大数据信息的可靠性，利用多样数 据丢失后可以方便找回的特征，进而对数据进行处理。但该 技术可能加大系统能耗，需要利用复制容错技术和纠删码容 错技术（如图 2 所示）恢复和改进。2.7 云存储技术 云存储技术也是非常关键的内容，主要包括存储虚拟化 技术、重复数据删除技术、 分布式存储技术、 数据备份技术、 存储加密技术等。3. 云环境下大数据关键技术的保障措施 云环境下，为确保大数据关键技术作用的有效发挥，应

9、 该提供相应的保障措施，创造良好的硬件和系统运行环境， 并加强大数据的安全管理工作。 3.1 合理配置硬件运行 环境包括服务器和PC客户端，服务器由文件、数据、应用程序服务器组成。最好采用3T以上硬盘，4G内存，Core双核四线程以上处理器，选用DELL HPJBM任意一款服务器即 可，采用四核CPU 32G内存、500G硬盘，可以同时支持几 百台PC机访问。PC客户端最低标准为Intel Celeron处理系 统、512M内存、160G硬盘。通过保证硬件环境，满足云环 境和大数据运行需要，为促进大数据技术作用的有效发挥奠 定基础。3.2 确保系统运行环境良好大数据运行环境方面， 系统在 Wi

10、ndows 平台上运行， 只 需 Windows Server20002003以上的操作系统即可， 客户端 在Win dows XP上运行。并对开发工具进行有效利用与整 合，既满足大数据运行需要，还能提高运行效率，方便大数 据系统以后的更新和升级，也便利系统功能的拓展与完善。在大数据运行环境方面，选用SQL Server2000,同时还合理应用 Aeeess, Oracle, Sybose, SQL Server等,以？M 足系统 开发需要，完善数系统功能，提高大数据工作效率。一般而 言,系统运行和开发环境为： Windows 2003 Advanced Server/XP+Tomcat 6.

11、x,主要工具为 Drearnweaver&O , MyEclipe&5 ,同时还根据系统设计需要合理采用 Tomcat6.0, SOL Server 2000，Windows XP 操作系统。这样既满足大数据 运行需要，还能完善系统设置，也为大数据更新和升级、功 能进一步完善创造条件。3.3 采取相应的安全保障措施 一方面，为保障大数据的安全，与 Internet 连接设置防 护墙技术，进行用户权限设置，设置安全密码，安装防病毒 软件，去掉测试账号和共享账号。另一方面，为保障大数据 的安全，严格限制管理权限和用户访问权限，使用安全的密 码，设置强度高的密码， 重视记录数据库日志

12、的审核与管理。 另外为保证权限级别安全，系统还给不同用户分配不同访问 权限，禁止未注册用户访问，对用户名和密码进行校验和审 核，防止非法访问，确保数据信息安全。建立并落实安全管 理制度，加强云环境和大数据运行的管理，杜绝不法分子篡 改数据，实现有效保障大数据安全的目的。4. 云环境下大数据关键技术面临的挑战及展望 由于管理措施不健全，一些工作人员的技术水平偏低， 制约大数据关键技术作用的发挥，需要采取完善措施。4.1 面临的挑战 例如，网络发展滞后，加大数据处理难度。或者数据丢 失，可能导致数据的真实性不足。此外，个性信息安全泄露 也是需要解决的问题。4.2 展望 在数据存储位置对数据进行处理，做好数据评估和分析 工作，从大量数据中精确定位，进而收集高质量的数据进行 处理。注重数据