版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、2电 子 科 技 大 学 工程硕士学位论文开题报告学位论文题目:企业闲散资源整合系统设计与实现 工程领域名称: 软件工程 学 号: * 姓 名: * 校内导师姓名: * 企业方导师姓名: 硕士生所在单位名称: * 填表日期: 2012 年9 月23 日 填 表 说 明1、 研究生须认真填写本表相关内容。2、 开题报告内容见电子科技大学在职攻读工程硕士专业学位研究生管理暂行规定3、 所列栏目填写不下的,可以另加附页。4、 本表采取双面复制(复印),且保持原格式不变,纸张限用 A4(页边距为上、下:2.5cm, 左为2.6cm,右为2.1cm;字体为宋体小四,行间距为18磅),整齐装订。5、 开题
2、报告完成,此表经相关人员签字后,须交学院研究生教务秘书保存。6开题报告内容一、选题依据、来源和研究意义:选题依据:近年来随着国内高新技术公司的日益发展,企业规模无论是从人数上还是业务上都大幅增长,加之信息化的飞速膨胀,各部门对硬件的需求不断加大,企业不得不加大硬件的采购力度以满足各部门的需求,然而这不但使得企业的机房越来愈大,更重要的是花费了大量的人力、物力和财力,增加了企业的成本。纵观整个企业内部各个部门硬件资源的利用情况,明显存在忙闲不均,各类资源的利用率差别很大,例如某部门的主要工作任务是在每周的下午时间,其余时间比较清闲,这使得该部门的机器在其余时间闲置,导致浪费;而且该部门的任务只对
3、CPU的使用率比较高,其他资源利用率基本上是小于10%,这使得该部门机器的其他各类资源如MEM,NET等的浪费。那么如何解决像上例中企业内部IT硬件资源浪费的问题呢?本课题围绕中大型公司关注的企业内部资源使用问题,进行了调研分析,结合在企业内的开发工作,对如何解决企业内部资源忙闲不均以及提高各类资源的利用率,给出了相关设计和具体实现。这里给出的设计可以将各部门闲置的资源收集起来,供需要的部门使用,并对具体实现进行了验证,将机器加入IT硬件资源整合系统后,可以大幅度提升IT硬件资源的利用率,为企业节约大量硬件成本。实现方面使用到的开发工具和语言是基于GCC编译器的C+语言。Linux系统下的GC
4、C(GNU C Compiler)是GNU推出的功能强大、性能优越的多平台编译器,是GNU的代表作品之一。GCC是可以在多种硬体平台上编译出可执行程序的超级编译器,其执行效率与一般的编译器相比平均效率要高20%30%。C+是一种使用非常广泛的电脑程序设计语言。它是一种静态数据类型检查的,支持多范型的通用程序设计语言。C+支持过程化程序设计、数据抽象化、面向对象程序设计、泛型程序设计、基于原则设计等多种程序设计风格。国内外研究现状:国外IT软硬件资源整合技术在20世纪80年代末就已经被提出。经过近二十年的发展作为全球领先的集群、网格、云中间件和云管理平台提供商,Platform公司拥有业界领先的
5、企业级分布式计算技术,其推出的Platform ISF已经可以帮助客户管理、调度和高效且灵活地使用计算资源,提高IT响应速度并大幅度降低成本,从而让企业能够最大限度地利用虚拟化IT基础架构和遗留IT基础架构中的各种资源。若要引入国外企业的IT软硬件资源整合技术,仍需要投入大量资金,而且只能解决企业部分服务器现有问题,存在一定的企业信息安全隐患。而国内在IT软硬件资源的整合技术上面真正发展是近几年才刚刚兴起,也取得了一些成效,在一定程度上提高了资源的利用率,但总体技术还很落后。随着时间的推移,部分企业已经解决了此类问题,但都只是与自身企业紧紧绑定。为了实现提高国内企业几近所有机器软硬件资源的利用
6、率,在保证安全、高效的前提下为相关企业提供稳定的服务,我们仍需要在该方面技术探索上面不断深入。综上所述,确立了企业闲散资源整合系统设计与实现这个课题。课题来源:本课题是来自在该IT公司所参与的一个企业内部提升并监控资源利用率的软件开发的项目,这个项目主要是为了解决公司对IT硬件需求不断增大,但是现有机器的资源利用率又不高的问题,提升资源的利用率,降低企业成本。根据实际参与开发,本课题主要对相关硬件资源的利用率进行了研究和改进,并且可以让急需处理的任务得到充足的资源,尽快完成。对最终开发出的软件产品功能进行了验证。可以合理安排机器资源的使用,提高了企业的整体工作效率。研究意义:企业闲散资源整合系
7、统采用严格地权限管理方式,这样既方便提交任务的员工,也保证了线上的安全性。除需要提供任务的估计资源需求量外,基本不用关心其他问题,方便适用。可以满足企业实际应用需求,可以满足不同地域、不同业务组在不同时段得到充足的资源,提高处理任务的效率,提升CPU、MEM、NET等资源的利用率,使得企业内部资源得到充分利用,给企业节约了大量成本,具有比较重要的实际意义。二、研究方案:21研究的主要内容和关键技术:2.1.1研究的主要内容:将地域不同、功能各异的多台闲散计算机资源组织起来,提升企业现有资源的利用率和任务执行速度是本课题研究的两个主要问题。本课题对此问题进行了分析研究,并对解决这一问题给出了软件
8、系统构成模块及总体结构。企业闲散资源整合系统(ESR系统)总体结构如图1所示。TASKSESR_RMESR_TM消息中心CM CM CM CM CM图1企业闲散资源整合系统所有开发在Linux操作系统下基于C/C+语言,采用GNU C/C+工具链完成。主要由RM模块、TM模块、CM模块、消息中心等多个模块组成,协同工作,在不影响接入该系统的用户正常使用自己系统的同时,将闲散资源收集起来供其他任务使用,在宿主用户需要更多资源时,该系统可以在宿主用户没有感觉的情况下把资源释放出来供其使用。这其中需要研究的主要内容如下:(1) CM(collect management)模块能够将该软件方便的部署到
9、接入ESR系统的机器上面;与消息中心通过发送特定包的形式建立心跳以确定接入ESR的主机存活;通过它可以定时将目标机器上面的CPU、MEM、NET等各类资源汇总信息、已使用各类资源汇总信息和ESR系统使用的汇总信息收集起来汇报到消息中心存储;每隔几毫秒重新收集各类资源信息并更新消息中心的内容。(2)消息中心(message center)模块中间层是消息中心,主要负责对CM模块、TM模块和RM模块传来的数据进行保存,收集实时信息,供各模块使用。(3)TM(task management)模块TM模块可以对正在ESR系统上运行的任务进行job列表和group列表的划分,每个分组下面必须包括job列
10、表所有项并且每项至少有一个,才能使该分组进入准备状态。当TM模块收到有机器(machine)上线的情况时,在内存创建机器节点,设置状态为init;获取到机器id后,经过处理状态变为ready;TM模块收到次改变后将其发布到某group上去;等此group满足上面的条件后执行,知道该机器节点下线或者任务运行完成。(4)RM(resource management)模块RM模块从消息中心读取目标机器的资源信息和现有任务所占用的资源信息以及用户提交的任务分组、资源需求信息,通过资源调度算法以及进线程的调度策略,实现对用户提交的任务进行分配资源,从任务等待状态转换为执行状态,并将信息通过消息中心及时与
11、TM模块沟通实时更改任务的状态信息。(5)国际化处理 在该系统实现过程中,严格按照国际化标准来实施编写开发,将阻碍国际化的可能情况消灭在代码编写时。2.1.2关键技术研究:(1)CM模块实时收集目标机器的资源信息收集目标机器总体资源信息,各个资源实时剩余信息,以及接入ESR系统后,ESR系统所使用的资源信息的收集。(2)消息中心的设计消息中心,既可以实现存储从各个模块收集来的信息,还需要与各个模块及时通信,得到实时的变化信息,以方便其他模块对信息的需求。(3)资源调度算法和任务调度策略TM模块从任务注册到该系统,到插入就绪队列,再到调入该系统执行以及当有高优先级任务到来时优先执行进行统一管理;
12、RM模块从资源队列的选择到资源的分配,以及任务收尾时资源的调整,根据资源分配信息得到最终的资源调度表;对资源的调度我们采用:预算分配,低保资源分配,正常资源分配的方式进行。(4)各种异常情况的处理例如任务启动时占用较多资源,但是执行到结尾时ESR系统不能自动回收其资源,造成这部分资源的浪费等问题。(5)国际化工作将所有面向用户的提示信息和显示文字,都做好国际化工作,可以简便的转换为不同国家的语言。22研究的技术路线和实施方案:基于Linux操作系统的系统解析和认证;采用登录安全口令的登录方式登录系统,用户和管理员的权限严格分离;具有简洁的图形用户界面,任务执行过程所用资源的监控以及执行过程中日
13、志文件的提取,当任务出现异常时用户可通过此界面和日志文件进行查询定位问题所在。ESR系统与接入它的机器的联系方式;系统所使用的各项资源的汇总;高IO操作的任务的监控,避免影响目标机器的正常使用。所提交的任务的调度策略和资源调度算法(调度顺序:1.预算分配2.低保分配即提前批分配3.自由分配即正常批分配)的设计与实现。实现各个模块功能后进行联调测试,之后对各数据进行分析工作,确定无误后发布使用。三、研究目标和成果:通过后台设计实现由哪些机器资源执行哪些任务,通过前台可以实现任务的启、停和改变任务的优先级,来管理任务的执行,形成一个可以高效管理机器资源的软件系统。可以使企业中加入该系统的机器都可以
14、方便的使用和提供机器资源,解决企业内部资源忙闲不均以及提高各类资源的利用率。本项目最后的目标和研究成果形式是形成一个可以自动处理提交的任务的系统以及观察和控制任务的前端页面,根据任务的优先级和友好方便的操作介面,可以由OP方便的管理任务的执行。多数任务都可由系统自动完成,工作人员只需要根据前端页面进行监控和处理系统报警即可,方便实用。设计好的该应用程序主要针对Linux PC机和服务器系统运行,CM模块形成可以安装的二进制可执行文件形式和源码安装形式,TM和RM模块主要由OP负责管理。四、研究实验环境和平台:ESR系统是应用C+开发的,可以对硬件直接操作,处理速度快。其运行和开发环境为:操作系
15、统:Red Hat Enterprise Linux 所用语言:C+开发平台:GCC学位论文工作计划表论文题目:企业闲散资源整合系统设计与实现论文工作起止日期:2012年10月-2013年3月工作项目工作内容计划完成日期文献阅读 和科学调研调研课题主要内容、阅读主要文献资料1、 软件涉及到的各模块相关技术文章以及帮助文档,列出常用到方法和技巧,供下一步验证;2、 对使用到的算法进行研究;3、 结合实际使用,运用所学的相关知识对界面和功能进行优化处理;4、 在实际的项目过程中总结归纳经验,将相关的方法进行系统性的梳理。2012年11月方案论证课题的应用价值与可行性针对几个关键技术点进行方法论证:
16、1、 将对相关调度算法进行对比研究,确定要使用的算法;2、 搭建开发环境和编译环境,对各模块进行代码实现;3、 对各模块整合后进行整体功能测试;4、 对结果进行分析,对要达到的功能进行验证。2012年12月设计或研究阶段研究方法、技术路线、实验方案1、 根据需求方提出的需求,设计需求分析 2、 对整个软件进行功能划分,将软件功能模块化;3、 确定各模块开发要用到的开发语言和开发工具;4、 配置开发环境和编译运行环境;5、 对各功能模块进行代码开发;6、 对各模块代码进行白、黑盒测试;7、 对软件功能进行整体测试。2013年2月论文撰写1、编写论文提纲;2、论文初稿的撰写;3、论文初稿的修改;4
17、、论文的定稿。2013年10月课题研制条件落实情况:1、 学校图书馆提供强大的文献、书籍和资料的支持;2、 良好的办公环境和条件,有很好的内部数据库,可以随时查询想要的信息;3、 有很好的试验条件,包括开发计算机和公司内部共享数据中心;4、 有很好的导师在关键问题上给予技术上的建议和问题解答;5、 有很好的团队成员,在包括各模块功能、GCC、Linux、调度算法、C+等相关知识上给予帮助。课题来源(下达部门):上海跃界科技有限公司网页搜索部课题名称:企业闲散资源整合系统设计与实现课题负责人: 论文类型:1)工程设计 2)产品研制报告 3)研究论文 (请打 )导师对开题报告和论文计划的可行性提出
18、意见:校内导师: 企业方导师:学院审批意见: 学院主管领导(签字、盖章): 日期: 年 月 日电子科技大学工程硕士学位论文文献综述姓名:*学号:*工程领域:*综述题目:企业闲散资源整合系统设计与实现文献综述(内容详见附件)导师意见:校内导师:企业方导师:注:1、文献综述加页附后,整齐装订。 2、纸张限用 A4(页边距为上、下:2.5cm, 左为2.6cm,右为2.1cm;字体为宋体小四,行间距为18磅)。 3、阅读中外文献不少于20篇,所阅文献目录清单附后。附件1企业闲散资源整合系统设计与实现文献综述摘要:根据该IT公司项目需求,开发一个可以将地域不同、功能各异的数台闲散计算机资源组织起来,提
19、升企业现有资源的利用率、缩短任务执行周期,降低企业成本,提高企业核心竞争力。关键字:C+,Linux,闲散资源,进程调度策略,资源调度算法 随着网络信息大爆炸时代的来临,使得国内的IT企业也随之崛起,在企业数据资源累计、企业人数剧增、硬件设备更新等因素的影响公司不停的买入大量的IT硬件设备,这使得在此方面的财力投入不断加大,虽然公司采用了一些申请IT硬件设备的规定,但这样只是治标不治本,不能解决实际问题。企业内部的机器使用情况其实我们都很清楚,只在个别时间的某些资源的利用率比较高而已,其他大部分时间资源都比较空闲,这是国内外大部分企业都存在的问题。随着时间的推移,有些公司已经解决了这个问题,但
20、是都只是针对自身的情况,与自身企业紧紧绑定。鉴于此,该公司针对自身问题,又考虑到程序跨平台性和可移植性,因而在设计该程序时我们做到该系统不依赖我公司内部的其他模块,为以后的系统移植和国际化做好铺垫。自从80年代起C+语言就占据了相当大的市场份额,直至今日她仍是不可或缺的编程语言。C+语言是一种使用非常广泛的电脑程序设计语言。它是一种静态数据类型检查的,支持多范型的通用程序设计语言。C+支持过程化程序设计、数据抽象化、面向对象程序设计、泛型程序设计、基于原则设计等多种程序设计风格。相比同类型的语言她具有下列优点:1、应用范围广:C+可以用于几乎所有的应用程序,从字处理应用程序到科学应用程序,从操
21、作系统组件到计算机游戏等。2、面向对象:C+从C中继承了过程编程方式的高效性,并集成了面向对象编程方式的功能。3、丰富的STL(STLC+标准模板库):虽然其效率可能比一般的native代码稍低些,但是其安全性与规范性使其瑕不掩瑜。4、大量的开发文档;C+库支持数量众多的操作系统环境等等。Linux 是一个免费的类Unix操作系统,最初是由芬兰人Linus Torvalds 于1991 年开发的,目前由来自世界各地的电脑爱好者开发和维护,其中不乏所谓的电脑黑客。由于Linux 是模仿Unix的用户界面和功能,所以请初学者记住它可并不是Unix(源代码不一样),但是基本上在Unix运行的软件都可
22、移植到Linux下运行。从计算机术语角度讲,Linux操作系统是可以运行在许多不同类型的计算机上的一种操作系统的“内核”。它是提供命令行或者程序与计算机硬件之间接口的软件的核心部分。 Linux 操作系统内核管理以下事情:比如内存、采用什么方法以及在什么时候打开或者关闭文件、哪一个进程或者程序可以获得计算机的中央处理单元等等。1、Linux 是Unix 克隆或Unix 风格的操作系统,在代码级别上兼容绝大部分Unix 标准,是一个支持多用户,多进、线程,功能强大而稳定的操作系统。2、它可以运行在x86PC,Sun Sparc,DigitalAlpha,680x0,PowerPC, MIPS等平
23、台上,是目前运行硬件平台最多的操作系统。3、它是GNU的一员,遵循公共版权许可证(GPL),秉承“自由的思想,开放的源码”的原则,众多电脑专家和爱好者通过互 联网在不断地完善并维护它。结合该公司的实际,我们平时所使用的所有实体机器、虚拟机和服务器等都有安装的Linux操作系统,因而这使得我们在收集大部分闲散资源信息时使用一些命令就可检测各类资源的总体信息、剩余资源的信息等,方便准确快捷,简化了CM模块的实现。综合以上因素,我们确立了在Linux平台下以C+实现该系统。进程调度策略是指:根据系统的资源分配策略所规定的资源分配策略主要是先来先服务调度策略和高优先权优先(抢占式)调度策略。先来先服务
24、(FCFS)调度策略是一种最简单的调度策略,该策略既可用于作业调度也可用于进程调度。FCFS策略比较有利于长作业和长进程,而不利于短作业和短进程。由此可知,本策略更适合于CPU繁忙型作业,因而更符合本系统的要求。为了照顾紧迫性作业,使之进入系统后便获得优先处理,引入了最高优先权优先(FPF)调度策略,它常被用在批处理系统和实时系统中。当其用于进程调度时把处理机分配给就绪队列中优先权最高的进程,又可以进一步把该策略分成以下两种:非抢占式优先权策略和抢占式优先权调度策略;ESR系统中主要采用或者。在TM模块我们主要采用这两种模式,结合系统本身的信息:我们将一个任务分成job和group两个组成部分
25、,这两个组成部分又分别有其子分支,往往需要将多个子Job的实例组成一个子group才能对外进行服务。其中涉及到的TM模块对task状态转换的管理等问题将在论文中进行讲解。RM的调度过程是不考虑历史调度结果的,即每次都根据TM新的需求,结合当前的资源状态产生新的调度表。调度的结果通过调整并发的方式提供给消息中心,由消息中心的特定模块完成实际的任务启停。RM的调度按照如下顺序进行:1、预算分配2、低保分配即提前批分配3、自由分配即正常批分配这个顺序也代表了任务的资源抢占级别顺序。预算在RM的调度过程中具有最高优先保证。预算是记录在机器群体信息上的,针对特定任务设置的保证数额。当特定任务没有启动的时
26、候,该资源会被其他任务自由占用,但当特定任务启动后,该资源就会强制回收并固定分配给该任务使用。在现有的调度功能设计中,为了体现谁申请的预算谁能用的原则,任务的低保(或者说核心资源)是配置在机器群体上的。但是对于部分需要特殊优先保障的任务,需要专门提供一种针对任务的最低保证。设计通过在分配机器群体核心资源之前,即进行正式的调度分配之前加入一轮提前批次的资源分配。提前批资源分配按照任务的低保数值作为上限进行分配。这样一方面可以保证有预算的核心资源的优先分配。另一方面保证有特殊优先保障的任务能够优先保证分配到一定量的资源(及时该任务优先级很低)。低保在预算之后,是因为低保任务的保证数额是人为设置的,
27、针对特别重要但是又没有自己预算的任务。能够保证其在普通任务之前即获得指定的保证数额。低保的分配应本着尽量满足尽可能多的任务低保的原则进行,而非简单的优先级比例方式。自由分配本着公平和资源利用最大化的原则通过优先级比例方式进行资源比例划分。当有更高抢占级别的任务需要资源的时候,自由分配的资源会被无条件抢占。根据以上资源调度算法以及任务对相应的机器群体的喜好等因素进行相应的资源分配。该系统中TM模块、RM模块和CM模块以及用户提交的任务经过消息中心的中转进行密切配合,既实现了企业内部闲散资源的充分利用,减轻了各台机器在特定时间超负荷运转的状态,让他们忙闲均衡,又实现任务的快速、准确及时的处理,为企
28、业节约了大量的人力、物力和财力,大大提升了企业工作效率,最终使得企业的竞争力不断提高。参考文献:1深入学习GNU C+ for Linux编程技术, 作者:(美国)( Tom Swan)著;邱仲潘、高勇 译 , 电子工业出版社, 2000年09月2 GNU C+ for Linux, By Tom Swan, Publisher: Prentice Hall Pub, June, 19993 The C+ Standard Library: A Tutorial and Reference, By Nicolai M.Josuttis, Publisher: Addison Wesl
29、ey Longman, July 19994 Effective STL, By Scott Meyers, Publisher: Addison Wesley Longman, May 20035 Generic Programming and the STL: Using and Extending the C+ Standard Template Library, By Matthew H.Austern, Publisher: Addison Wesley Longman,2005 6 深入理解LINUX网络技术内幕,作者:Christian Benvenuti,中国电力出版社,2009年06月7 Inside the C+ Object Model, By Stanley B. Lippman, publisher:John R. Levine, Trumansburg, New York, May 03 19968 操作系统:精髓与设计原理(第6版),作者:(美国)斯托林斯(William Stallings)著,陈向群、陈渝等 译, 电子工业出版社,2010年8月1日9 Operating Systems: Internals and Design
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 分物游戏(说课稿)-2024-2025学年二年级上册数学北师大版
- 二零二五年度建筑工程安全生产环保验收合同3篇
- 全国人教版初中信息技术七年级上册第四单元第13课七、《插入更新日期》说课稿
- 山东省泰安市肥城市2024-2025学年六年级上学期末考试道德与法治试题(含答案)
- 200万套基于AI大模型的新能源汽车热泵空调部件柔性制造智能工厂项目可行性研究报告写作模板-申批备案
- Unit6 Meet my family B Lets talk Lets learn(说课稿)-2024-2025学年人教PEP版英语四年级上册
- 河南省信阳市浉河区2024-2025学年三年级上学期期末学业质量监测数学试题参考答案
- 湖南省娄底市(2024年-2025年小学六年级语文)部编版阶段练习(上学期)试卷及答案
- 贵州盛华职业学院《建筑设备(暖通空调)》2023-2024学年第一学期期末试卷
- 贵州轻工职业技术学院《医疗诊断前沿技术与创新应用》2023-2024学年第一学期期末试卷
- 2024年高考物理一轮复习讲义(新人教版):第七章动量守恒定律
- 浙江省宁波市慈溪市2023-2024学年高三上学期语文期末测试试卷
- 草学类专业生涯发展展示
- 法理学课件马工程
- 《玉米种植技术》课件
- 第47届世界技能大赛江苏省选拔赛计算机软件测试项目技术工作文件
- 2023年湖北省公务员录用考试《行测》答案解析
- M200a电路分析(电源、蓝牙、FM)
- 2024-2030年全球及中国洞察引擎行业市场现状供需分析及市场深度研究发展前景及规划可行性分析研究报告
- 建筑工程施工图设计文件审查办法
- 置业顾问考核方案
评论
0/150
提交评论