




版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、基于Web平台的数据库加密技术应用探究内容简介: 摘 要: 随着信息技术与互联网技术发展,Web技术的应用更加广泛,尤其以BS结构为基础的Web应用技术最为突出,Web数据库的应用也随之广泛。与此同时,与Web安全息息相关的数据库安全问题日益突出,如何保障Web数据库安全,避免数据被窃 论文格式论文范文毕业论文摘 要: 随着信息技术与互联网技术发展,Web技术的应用更加广泛,尤其以BS结构为基础的Web应用技术最为突出,Web数据库的应用也随之广泛。与此同时,与Web安全息息相关的数据库安全问题日益突出,如何保障Web数据库安全,避免数据被窃取、篡改等问题成为Web应用安全的一个重要课题。因此
2、,基于Web应用技术,分析探讨了BS构架下数据库加密的具体策略,提出基本的应用方案,为Web应用安全工作提供相应参考。 关键词: Web平台;数据库;加密技术;应用策略 中图分类号: TP30 9.7 1 Web平台数据库安全特点 1.1 Web数据库特点 Web数据库又称网络数据库,是在传统关系数据库的基础上融合了网络技术的一种的严谨模式,简单可以理解为因特网与数据库结合的产物。Web数据库的出现使得网络查询、检索更容易实现。 相对于传统关系数据库而言,Web数据库本身存在相对独立的特征,主要包括几个个方面: 存储信息广泛、数据结构相对灵活、能够实现更多样化的编译、支持更多的数据类型。除此之
3、外,随着Web数据库技术的发展,为了应用网络查询、检索的需要,Web数据库也拥有了改进的索引机制,能够有效提高查询效率和查询质量,更符合网络应用的特点。 在传统关系型数据库安全研究领域,最常用的数据库保护方法是通过设置复杂口令和访问权限,但是数据库管理员账户的安全问题就成为了严重隐患,因此出现了使用数据加密技术保证数据库信息安全的方法。在数据库中,由于数据组长度相对较短,存取时间较长,密钥的相应生命周期浮动较大,如果采用单一密钥无法起到良好的保密效果,如果采用独立密钥则会导致密钥过多致使管理复杂,进而引发查询响应速度过慢的问题,不符合Web数据库应用的需求,因此Web数据库的加密技术也出现了相
4、应的改进。在现代化的Web服务系统中,数据库加密方案通常采用DBMS内核加密,这一加密技术可以与DBMS无缝结合,并实现更为强大的加密功能,但目前DBMS内核加密算法的可选性较低,灵活性不足,而且由于在硬件层面进行加密,也会在一定程度上增加服务器负载,影响Web服务的高效性。由于内核加密的缺陷,因此出现了DBMS外层加密技术,通过封包对服务实现加密,能够有效降低运行复杂,同时加密过程与加密数据被分开,安全性得到再次提升,由于加密本身的条件问题也可以实现端到端的密文传输,进一步提升加密效果。 2 BSWeb平台构架下的数据加密模型分析 1 BSWeb平台构架特征 BS结构是BroserServe
5、r结构的简称,即浏览器服务器结构,这一结构的特点是Web应用、功能的使用直接通过浏览器即可实现,不需要客户端,在PC端已经能够实现较高的安全保障。在目前Web应用领域,AtiveX技术的普遍使得这一结构的安全性和便利性得到再次提升。在目前常见的Web平台构架中,BS结构相对于CS结构而言不需要对PC端应用进行专门的应用管理,但由于访问的简便性以及功能的下移,使得安全管理中服务器安全条件的要求提升,服务器的负载有小幅增加的现象。 2 典型的DSP加密结构分析 在BS结构下的Web平台数据库通过DSP模型,能够实现较佳的加密效果,这一模型本身与BS结构十分相似能够充分适应网络环境的特点。 用户对数
6、据进行增、删、改等操作时,涉及到明文数据到密文数据的转换,需要数据加密模块。数据加密模块通过在数据操作过程中隐藏的数据窗口来实现,用户对明文数据窗口的操作同步映射到隐藏的密文数据窗口中,对明文数据的保存操作同步映射到密文数据窗口的保存操作。在DSP模型中,敏感信息加密后存放在数据库端,需求用户发送查询请求后会经过加密然后再发送,并能够同时实现本地的短期查询与服务器长期查询,执行密文查询的过程中,查询结果还需要进行再次加解密过程,有效增加的数据的安全性。 3 加密算法优选方案 3.1 常规数据加密方法的对比 数据库加密算法必须适应数据库系统的特性,如强度高、加解密速度快、适应明文数据长度变化范围
7、大、数据加密后尽量不增加存储空间等。目前常用的密码可以分为三类,序列密码、分组密码和公开密钥密码。序列密码算法将明文与随机序列直接运算,得到的每一位密文与明文其他位数据无关。该类算法运算速度高,并且产生的密文一般与明文长度一样。但是如果得到数量较多的密文对,则较容易破译。该算法常用于一次一密的传输加密。分组密码算法将明文按固定长度分组,对各分组使用不同的密钥加密。密文中的每位数据不仅与密钥有关,还与分组中其他明文数据有关。分组加密算法较难破译,但是密钥分发及管理。公开密钥算法即非对称密钥算法,运算速度很慢,不适合用于大数据量加解密。 通过对比来看,能够同时适应数据库加密需求以及Web平台特点的
8、加密算法为分组加密算法。 3.2 DES加密算法及密钥管理 通过前文分析可知,适用于Web平台数据库加密的算法为分组加密算法,而在分组加密算法中,DES算法是运行速度最快的一种。该算法由IBM公司研制,为用户提供一个双向通道A和B共享一个密钥,双方既可以用该密钥加密信息形成密文并传送出去,又可以把收到的密文用该密钥进行解密。加密的数据和加密密钥都是64位,有效长度为56位,其余8位用于奇偶校验位。由于DES算法密钥长度有限,在一定程度上影响了加密效果,因此在Web平台数据库应用中建议使用多重算法,可以有效解决密钥长度不足的问题。 在密钥管理中,通信过程中密钥的保护问题同样值得重视。为了保证敏感
9、数据信息的安全,我们要计算子密钥组的结果M,M为密钥的乘积的合集。然后将结果M单独存放在非系统数据库中,专门建立一个非SQLSERVER数据库文件,如数据库中建立一个表,专门放置M。而且对这个文件进行加密,防止信息的泄漏。为了保证一个密钥长期使用,防止被非法分子破解,密钥必须有更新功能。系统在对新的密钥进行检查无误后,对信息表中的所有敏感信息进行重新加密。 4 应用方案优缺点概述 本次设计的在于实现已有Web平台基础的条件下,实现破译成本增加、加强数据安全性的主要目标。 在安全性方面,DSP结构下的外围加密技术与DES加密算法的结合,能够有效保障数据库存储数据的安全性,同时采用的密钥算法与管理
10、技术能够在在任何情况下不作明文存储(包括在数据库内)、密钥在任何情况下不作明文传输(主要指在网络上)、对密钥进行变换的算法具有最高级的加密强度并永不公布、在密钥意外泄露时可以通过更改密钥及更改用户登录权限等简单手段迅速处理,并且不会影响其它密钥的安全性。 当然此设计的数据库加密框架方案对系统响应速度有一定影响,在有较大量的数据访问查询需求时可能出现一定的延迟或响应缓慢的现象,主要因素有两点: 其一,认证请求本身增加了客户端与认证服务器的网络负担;其 二,解析加密数据时会产生额外的解析时间。 5 结束语 对BS结构特点下的Web平台数据库加密思路进行了分析说明,针对其特点提出了DBMS外围加密的
11、DSP结构,结合应用需求与特点,提出了采用多层DES加密算法以及基于PKI的私钥认证思路。提供的加密系统、算法、密钥管理方案具有相对良好的加密效果与响应速度,能够有效保证服务器性能,可作为普通Web平台数据库加密的参考。 参考文献: 张敏,徐震,冯登国编著.数据库安全.北京: 科学出版社,201X. 李东风,谢昕.数据库安全技术研究与应用.计算机安全,201X(0 1) . 内容简介: 摘 要: 随着互联网、笔记本电脑、个人数字代理(PDA)和家电数字化等现代化技术的发展,人们利用信息技术进行通信联系和信息交流的空间不断加大、灵活性不断增强, 无线网络 成为技术发展和社会应用的新生事物,受到了
12、社会各界的广 论文格式论文范文毕业论文摘 要: 随着互联网、笔记本电脑、个人数字代理(PDA)和家电数字化等现代化技术的发展,人们利用信息技术进行通信联系和信息交流的空间不断加大、灵活性不断增强,“无线网络”成为技术发展和社会应用的新生事物,受到了社会各界的广泛关注和普遍应用,是网络发展商竞相争抢的新领域,目前已广泛应用于高校、交通、军队、医护管理、工厂车间、展览、会议、旅游服务、移动办公等行业中。与此同时,随着无线网络的使用更加的方便,无线网络所面临的问题越来越多,对无线网络安全的概念、特点、现状和应用领域进行分析,以期更多的学者和学生从事无线网络的安全方面的研究。 关键词: 无线网络;安全
13、;应用 中图分类号: TP393 随着互联网技术的飞速发展,计算机通信网络从传统的有线网络发展至今天的无线网络,而作为无线网络的主要网络之一的无线局域网WLAN(Wireless Loal Area Netork)被众多家庭和企业用户所认识,实现了人们移动办公的梦想,由于无线网络的用户日益增多,覆盖面越来越大,应用领域日趋广泛,无线网络的安全问题受到越来越多的关注。 1 无线局域网的概念及其特点 WLAN是利用无线通信技术在一定的局部范围内建立网络,是计算机网络与无线通信技术相结合的产物,它以无线传输介质(无线多址信道、微波、卫星等)作为传输的介质,提供传统有线局域网LAN(Loal Area
14、 Netork)的功能,能够使用户真正地实现随时、随地的宽带网络接入。 目前各团体、企事业单位、单个家庭广泛地应用了WLAN技术来构建其办公网络,随着互联网技术的进一步的发展,WLAN正在逐渐从传统意义上的局域网技术发展成为“公共无线局域网”,成为国际互联网宽带接入手段,实现“无论您在任何时间、任何地点都可以轻松上网”的功能。 无线局域网的特点主要有: 1.1 高移动性。无线网络通过特定的无线电波来传送信号,在有效的发射频率范围内,任何具有合适接收设备的人都可以捕获该频率的信号,进入目标网络,因此,无线网络不受时间、空间等环境条件的限制,网络传输范围广。 1.3 建网容易,易安装、低成本,管理
15、方便。无线网络组建、设置与维护比较容易,安装简便,一般计算机工作人员便可以胜任网络管理的工作,而且,不需要大量的网络工程布线和线路维护,大大降低了管理成本。 1.4 组网速度快、工程周期短。无线扩频通信在数分钟之内便可以组建起通信的链路,实现临时、应急、抗灾等特殊情况的网络通信需求,与有线通信相比建网速度快、工程周期短。 2 无线局域网的安全现状 无线网络最大的优点就是逐步使网络从有形的设备网络发展成无形的“无限连接”,而无线网络固有的缺点是通信安全性不高,这个特性客观地摆在了用户的面前;在利用无线网络传递信息时,信道上的安全威胁包括信息截取、网络窃听、WEP破解、假冒攻击、信息干扰与篡改、服
16、务后依赖、重传攻击等,无线网络的安全问题成为当前无线网络应用和研究的一个焦点问题,无线网络的安全也成为了信息安全的新领域。 2 无线网络安全的威胁主要表现。私接AP、不当设置的AP、客户端不当连接、非法连接、直连网络等方面。 3 无线网络非法设备的威胁。无线网络的非法设备通过AP与企业网络连接会导致数据失窃、数据重路由、数据崩溃、身份模拟、DOS、病毒感染,以及其他类型在企业有线网络中存在的网络安全威胁。 4 无线网络安全主要包括系统安全、网络安全和应用安全等内容,同时需要遵循安全风险分析、安全结构设计和安全策略确定的基本实施规律。 3 无线局域网的应用 WLAN广泛应用在生活社区、游乐园、旅
17、馆、机场车站等游玩领域,实现旅游休闲上网的功能;可以应用在政府办公大楼、校园、企事业单位实现移动办公,方便开会和学生上课等功能;可以应用在医疗、金融证券等方面,实现医生在任何环境下对病人进行及时有效的网上诊断功能,实现金融证券室外网上交易的功能。同时,对于老式建筑、沙漠地区等难以布线的环境,对于展览大楼、会议场所等频繁变化的环境,对于需要临时搭建宽带接入点、流动工作站等情况,建立WLAN是理想的选择。 3.1 销售行业的应用。针对大型超市商品流通量大,日常工作数据变化多的特点,使用WLAN,可以在超市的接货区、发货区、货架、仓库、办公室、财务室等任意区域,现场处理各类问题,及时得到各种数据,达
18、到移动办公、提高工作效率的效果。 3.2 物流行业的应用。随着经济的高速发展和我国加入WTO,各个港口、储存区对物流业务的数字化提出了极高的要求,物流运输车辆、装卸、装箱机组等具体的工作状况、物品统计,都需要及时地将数据录入并传送到网络中心机房,因此,部署WLAN是物流业的一个基础设施,也是物流现代化的一个必然趋势。 3.3 电力行业的应用。WLAN可以对远距离的电力变电站进行检测和记录,将变电站的运行和维护情况实时的传送给电力中心机房,而且,可以实现远程的遥控和遥调,将操作指令传入到各个远程变电站中,有助于将电力系统应用到普通家庭,完成有线网络无法完成的工作。 3.4 服务行业的应用。由于W
19、LAN的高移动、灵活便捷性的特点,广泛应用在大中型酒店和宾馆中,而且将会逐步应用在机场、车站等交通枢纽和移动着的交通运输工具中,有利于节省人们的办公时间。 3.5 教育行业的应用。WLAN已经在广泛应用于校园网络中,成为学校网络化教学的重要基础设施,有利于实现教师与学生教学之间的互动,及时解决学生对理论知识的学习,方便学生随时提交作业,对教师进行考评。 3.6 证券行业的应用。有了WLAN,用户可以实时关注股市行情,进行时时交易,增强了股市的活跃度,搞活证券市场经济。 3.7 展厅的应用。鉴于WLAN的可移动性、可重组性、灵活性,在大中型的展览厅内布置WLAN,方便服务商、参展商、客户随时接入
20、互联网,了解展厅的布局、场地使用情况和各个供应商的企业信息,更为客户提供方便,提升展厅的盈利空间。 4 结束语 无线网络的迅速发展,直接影响和改变着人们的生活和沟通方式,必将对人类历史产生积极而深远的影响,随着新的安全理论和技术不断的涌现,我们有信心从容面对众多安全挑战,无线接入的商机正在到来,无线网络的明天将会更加光明。 参考文献: 兰文涛.无线网络技术的应用.信息技术,201X(0 5) . 内容简介: 摘 要: 从消息中间件的定义、基本体系结构入手,介绍消息中间件持久化的意义,着重提出了几种持久化的解决方案,同时分析了这几种解决方案各自适用的场景和性能。 关键词: 消息中间件;持久化;高
21、可用;容错 中图分类号: TN9 论文格式论文范文毕业论文摘 要: 从消息中间件的定义、基本体系结构入手,介绍消息中间件持久化的意义,着重提出了几种持久化的解决方案,同时分析了这几种解决方案各自适用的场景和性能。 关键词: 消息中间件;持久化;高可用;容错 中图分类号: TN915 1 消息中间件概述 中间件是介于应用系统和系统软件之间的一类软件,它使用系统软件所提供的基础服务(功能),衔接网络上应用系统的各个部分或不同的应用,能够达到资源共享、功能共享的目的。消息中间件也称消息服务,是一种由消息传送机制或消息队列模式组成的中间件技术,利用高效可靠的消息传递机制进行平台无关的数据交流,并基于数
22、据通信来进行分布式系统的集成。一个典型的消息中间件体系结构如图1所示。 图1 消息中间件体系结构 根据JMS规范定义,消息中间件应提供可选择的消息在服务器端的可靠性级别,即持久化消息和非持久化消息,持久化消息指消息在服务器端存储后转发,当服务器发生故障或者正常退出后,能够在重启后恢复现场。此外在用户对主题进行持续订阅的应用场景下,如果不支持对消息的持久化存储,订阅者就不能收到它在不活动状态下,发布者发布到主题的消息。当然,持久化消息对消息中间件服务器的性能有一定影响。主要目的是为了满足消息中间件的高可用。 消息持久化存储的原理很简单,就是在消息的发布者将消息发布到服务器端时,先将消息存储到本地
23、文件、数据库或者分布式文件系统等,然后再试图将消息转发给相应的接收者,并且更新该消息状态。直到所有订阅者都收到消息后将消息从存储中删除,并且由图1所知,消息服务运行过程中,只有持久化的数据需要存储到磁盘等持久化设备上,所以持久化方案是消息中间件转发消息的性能瓶颈,决定了消息中间件的吞吐量。 2 基于文件的消息持久化方法 1 存储模型 层次模型,基于文件的消息持久化存储模型采用的是层级结构,逻辑结构上分为应用程序访问接口、文件存储层来实现。 图2 文件持久化存储模型 持久化访问接口的设计是期望通过消息中间件业务逻辑与持久化逻辑实现分离,通过模块化、松耦合的方式降低软件设计实现以及维护的复杂性,有
24、助于明确各模块的具体功能,明确职责以帮助实现更加健壮的持久化模块。程序访问接口的实现,参照hibernate的设计概念,实现结构化数据到关系对象的映射,在消息中间件的主题与队列,存储-转发消息的业务逻辑中,软件操作的是结构化的数据,当消息持久化到磁盘上时,是经过序列化的有ke-value关系的data node,如果直接通过业务逻辑对消息持久化的文件进行操作,一方面是文件操作与业务操作耦合太过紧密,逻辑太过复杂,不易实现;另一方面,软件的实现不可能一簇而就,如果采用这种方式,在软件面临修改的时候,很容易造成从头再来的情况,软件重用率太低;此外,这样实现容易造成业务逻辑与文件操作无法分离,出现问
25、题无法定位,软件不够健壮。 文件存储层居于操作系统与消息中间件中间,对下调用操作系统文件接口实现文件操作,对上将机构化的数据抽象并解析序列化为块状的datanode。文件存储层的实现分为数据文件和索引文件,对于消息中间件的业务逻辑来说,需要持久化的数据项粗略分为索引和消息,索引数据用以区分消息中间件的容器,订阅等,管理消息在服务器端存在的生命周期以及查找消息的位置。分别通过Index Manager和MsgData Manager管理。 2 性能 消息中间件基于文件的持久化方法的优势在于,由于是直接操作文件,所以能够提供消息中间件较高的可用性的同时提供较高的性能,经测试此种数据库持久化方式在服
26、务器端吞吐率能达到每秒8200条左右。(测试使用的软硬件环境如下: 硬件配置: Intel(R) Core(TM) 2 Duo CPU E8400 3.00GHz,单核,内存4GB。硬盘转速7200转。操作系统: Mirosoft indos XP professor sp3。) 3 可能面临的问题 直接操作文件可能面临的问题主要包括两个,一方面,消息中间件转发的消息以及对应的索引非定长数据,因此,在持续读写文件后,可能会造成文件碎片,文件不可继续使用的情况;另一个问题为,直接操作文件,如果没有设计文件锁的保护,一旦在读写文件的时候发生断电等意外情况,有可能导致消息文件发生了数据异常或其中存储
27、的数据出现不一致,甚至于文件失效打不开的情况,此时该消息文件将被作废,该文件记录的信息也不可恢复,持久化以提供消息中间件的初衷则得不到满足。 可以通过一定策略一定程度的避免第一个问题: 在服务器上同时持有几个备用文件,写满一个后换新文件,如果该文件所记录的所有消息都被取走,则弃用此文件并替换为新文件,这样不存在文件碎片以及索引管理的问题,消息从前往后存储,按照文件偏移量有序取出。对于第二个问题,较简单的方法是在应用中增加文件锁,一次消息存取的操作没有完全执行完,不更新到磁盘等存储设备。可以解决部分问题,但并不能解决将来数据不一致的情况(消息已被取走但未更新索引,导致无意义的重发,消息仍然丢失)
28、。 3 基于文件数据库的持久化方法 3.1 存储模型 与基于文件持久化方法相同,基于数据库的持久化操作也是层级模型,同样由持久化访问接口与数据库访问层组成,可以利用良好的设计将持久化访问接口抽象成一组接口,将来可以作为规范,用于将消息中间件业务处理逻辑与持久化逻辑分离,同时提供多个版本的持久化方法支持不同的应用场景,理想情况下甚至可以由用户的选择进行切换。以下是作者提出的一组接口: AddPersistMsg(Message msg); QuerPersistMsg(MsgID id); updatePersistMsg(MsgId id,BodValue value); DeletePers
29、istMsg(MsgId id); 数据库访问层则是将文件数据库API封装,将结构化的索引和消息存储到对应数据库表格中,封装为Save,Update,Quer,Delete等操作,避免程序直接通过SQL语句对数据库进行访问,仍是为了程序的健壮和可维护性。基于文件数据库的持久化方法关键在于数据库设计,即如何组织索引与消息的表结构,能够支持尽量高的访问性能,这里采用将存储索引的表作为主表,存储消息的表作为子表,通过唯一消息标识作为关联主键的模式,具体方式如图3。 图3 基于数据库的存储模型 3.2 性能 业界有很多性能非常优秀的文件数据库,这些数据库实现的方式不尽相同,性能也千差万别,但在消息持久
30、化的场景下,我们最需要的是数据库能否提供事务保护(能够保持数据一致性),同时性能较好,满足条件的有Berkele DB(需要复杂配置)、Sqlite DB、Berkele DB(已不更新),这里采用的文件数据库为Sqlite 3,Sqlite3在的机器上能够达到每秒数万次到十万次的访存效率,并且Sqlte3支持事务保护,内部分为5级文件锁,可以保证不会出现写数据库出现数据失效的情况。 3.3 可能面临的问题 Sqlite3的性能与使用模式相关,在开启同一个事务的情况下性能最高,可达每秒十万条,如果在要求绝对实时的使用模式下,相当于每条数据库操作当作一个事务,每秒只能操作到160条消息存储,究其
31、原因在于sqlite3提供的5级文件锁导致每次事务提交要进行4次IO操作,因此数据库性能被每秒能操作的事务限制,机器性能越高(主要依赖于硬盘转速),能操作的事务越多,但不会有太大提高,数据的可靠性需要牺牲时间保证。如果不是要求绝对实时的情况下,可以通过一定机制解决这个问题,作者采用时间+消息条数双重判定的方式来开启,提交事务,服务器每收到n条消息或者m秒内未收到n条消息,就将缓存中的这些消息和索引持久化到数据库,如果没达到提交条件,就将收到的消息存储到临时文件上,能最高程度的满足实时性和性能的要求。如果要求绝对实时的情况,以上的设计仍不能满足要求(临时文件的消息可能丢失),鉴于Sqlite3性
32、能低下的原因是逐条提交事务,而Sqlite3为开源软件,研究其源代码发现,在开启事务的情况下,Sqlite3性能较高,但是在此次事务提交之前如果断电,此次事务会自动回滚,因此,对事务处理进行优化,去除不必要的文件同步及互斥操作,则可支持完全实时并且可以达到接近每秒万条的性能,缺点为可能仍有极低的概率出现文件不可读的异常情况。 4 基于分布式系统的消息持久化方法 消息中间件的持久化主要目的是为了保证消息在服务器上转发时的可靠性,尽量不要丢失消息,即使因为某种原因停机也能通过持久化的消息及索引信息将停机前一瞬间的场景恢复,在此基础上能够保证尽量高的吞吐率。从这个角度来看,上面提出的持久化方法,在性
33、能和可靠性上均有瑕疵。性能的瓶颈主要在于单机的存储设备性能有限制(如硬盘转速有上限),单机的存储设备无法满足不断增长的数据需求,考虑到高并发的访问场景下,单机的消息中间件服务器由于操作系统限制,能够同时响应的访问请求也受到限制,这里作者提出一个新的解决方案,通过多个服务器的集群来提高消息中间件服务器的并发响应能力,依靠多服务器的冗余备份保证消息的可靠存储转发。 4.1 存储模型 图4 基于分布式系统的存储模型 Client(消息服务用户)访问管理节点,查询索引表获知需要访问的数据位于哪个数据节点机器上,到数据节点机器上获取消息。Index Node(管理节点)与Data Node(数据节点)都
34、可以存储在内存中,因为多机冗余,每份数据均有备份,消息存储在内存中关机也并不会丢失,并且消息持久化的效率可以接近内存操作。 图5 数据在节点上存在形式 图6 数据访问模式 冗余管理节点多份备份,管理多个数据节点,管理节点存储索引表,数据节点存储数据块,服务器集群一共处理的容器按照现有的数据节点个数,通过哈希计算的方式,确定存储在哪个数据节点上,数据节点直接也有冗余备份,数据在节点间的冗余备份由以下方式实现: 其中管理节点之间,定时通信将索引表备份,保持管理节点之间索引一致;管理节点上持续运行管理线程,专门管理数据的冗余备份,即在一个数据节点上增加一条数据,一定会在另外两个数据节点上同时添加两份
35、备份,在管理节点上记录三份数据时始终指定一份为主数据;消息服务用户访问时取主数据进行操作,通过数据备份线程定时备份保证备份数据与主数据之间的一致性,依次保证备份数据操作不会降低服务器吞吐率;每个数据节点按时向数据节点发送保活命令,表明该节点仍然处于工作状态,一旦某个数据节点发生异常,管理节点可即时获知,调用管理线程将该节点上存储的数据备份到其他机器上,始终保持数据节点上存在三份数据备份。 当有消息服务用户登录服务器端请求数据处理时,管理节点记录该节点用户名,以及想要访问的数据块,当同名用户想要访问相同数据块时,每次数据请求在管理节点之间加互斥锁进行限制访问,如果访问不同数据块则无此限制。 管理节点维持一个管理节点索引和一个数据节点索引,分别记录当前活动管理节点和当前活动数据节点和数据块对应关系,当有新节点加入,新节点向当前局域网广播保活命令,管理节点受到此命令后会将该节点加入对应索引表,备份线程按照索引表将该节点应该备份的数据进行备份操作。当管理节点失效,其他管理节点侦知后,将该管理节点从索引表中删除,如果数据节点失效,则通过查询数据节点索引表将该节点的数据备份到另外的节点上,之后将该节点从数据节点索引中删除。 4.2 性能分析 上述描述的基于分布式系统的消息持久化方法性能与用户使用模式相关,理想情况下,如果多个
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 选矿epc工程合同范本
- 饰品订单合同范本
- 科技发展与网络安全的挑战与对策
- 校外托管中心合同范本
- 物业管道清淤合同范本
- 租房家政服务合同范本
- 专修设计合同范本
- 手工制品代售合同范本
- 渣土弃土合同范本
- 科技公司报告的格式创新与实践
- 广东省佛山一中、石门中学2025届高考语文考前最后一卷预测卷含解析
- 地质灾害预防培训课件
- 2025新译林版英语七年级下单词默写表
- 部编版小学语文三年级下册第六单元教材解读及教学建议
- DB11T 1315-2015 绿色建筑工程验收规范
- 《ISO 41001-2018 设施管理- 管理体系 要求及使用指南》专业解读与应用指导材料之16:“8运行”(雷泽佳编制-2024)
- 2024智慧城市数据分类标准规范
- Linux系统管理与服务器配置-基于CentOS 7(第2版) 课件 第1章CentOS Linux 7系统的安装与介绍
- 新目标英语中考一轮教材梳理复习教案
- 2022新教材苏教版科学5五年级下册全册教学设计
- 光伏电气设备试验方案
评论
0/150
提交评论