基于wccs技术的动漫染料库构建

基于wccs技术的动漫染料库构建

1当前c夸张应用1.1mputingghsic算法近年来，日本是最迷人的朝阳市业之一。目前最为流行的三维动画设计是依赖CG(ComputingGraphic)技术通过电脑强大的运算能力来模拟现实,建模、效果和渲染是制造三维动画的基本步骤。其中,建模是设计人员按照要求设计场景摆放物体;效果是给场景加上灯光、摄像机、材质和贴图等;渲染是用渲染器把场景文件转化成图像文件。1.2普通pc机染化工程中的i/o问题渲染是CG制作的最后一步,也是最耗费资源的一步。渲染的过程其实就是一个三维图像处理工程,需要进行大量的浮点运算和整数运算,用普通PC机渲染所需时间往往让人难以忍受。其次,必须考虑解决渲染过程中的I/O瓶颈问题。随着设计人员对场景设置的复杂化加剧,文件和素材库也不断增大。庞大的数据处理使得32位的架构在计算和数据处理上成为瓶颈。另外,市场上存在着很多三维制图软件,他们各自针对不同的领域,支持不同的渲染器,如何简单有效地整合种类繁多的渲染器也成为了影响CG发展的瓶颈之一。1.3多节点集群系统目前,渲染主要分两个方向发展:①通过增强单机配置来提高渲染能力,这种能力的提升是很有限的,性价比并不高;②组合多台计算机同时对同一任务进行渲染,即渲染集群,也叫渲染农场。由于渲染在做并行计算时,不用交互很多信息,同时多节点集群系统可以通过分组方式,解决多渲染器问题。所以,目前解决渲染瓶颈的最好方法是渲染农场模式:使用多台计算机分担渲染任务,渲染管理软件负责管理多台使用网络设备连接的装有渲染器的计算机,并监控渲染任务。集群渲染系统通过集群强大的数据处理能力,大大提高了工作效率。渲染农场的渲染能力的强弱和集群中的计算机软硬件配置都有关系,本文通过对WCCS操作系统的深入研究,选择在WCCS上部署渲染农场,并自主开发了一套渲染管理软件来适应渲染的现实需求。2wccs的特点WCCS(WindowsComputeClusterServer2003)是集x64计算机的巨大威力、AD(ActiveDirectory)的易用性与安全性于一身的Windows集群操作系统。它使用标准的Windows部署技术,可轻松快捷地部署WindowsComputeClusterServer2003,通过插入和连接集群,可在计算集群中自动添加计算节点。Microsoft消息传递接口(MSMPI)实现与参考MPICH2完全兼容,并在所有作业上实现了端到端的安全性。与ActiveDirectory的集成为管理和用户提供了基于角色的安全性。针对渲染农场的具体应用,WCCS的特点如下:1)兼容性和易用性。基本上所有的渲染器都提供Windows版本,而且使用WCCS部署机群也相当简单方便,类似应用软件的安装体验,极大地降低了部署的门槛。2)纯64位操作系统。考虑到渲染器发展的I/O瓶颈,64位计算机无疑是最好的选择,WCCS就是基于WindowsServer2003Standardx64Edition开发的。3)丰富的管理命令和应用接口函数。可以方便地获取整个渲染集群中每个节点的软硬件信息,渲染管理软件能够利用这些信息,控制和管理集群中的渲染节点和调度渲染作业。4)安全性。WCCS与AD集成,可使集群管理员及用户根据他们的用户角色轻松管理和使用渲染集群。5)负载平衡功能。WCCS带有负载平衡功能,能够根据节点的动态负载,自动调整任务分配。3夸大农场建设3.1本地客户端的网络设计整个渲染系统有两种工作模式:远程运行模式和本地运行模式。远程工作模式是在本地模式的基础上,用户通过Internet将渲染作业提交到本地,完成渲染后再通过Internet得到渲染结果。在此只讨论本地运行模式。本地运行模式包含三类计算机:本地客户端,集群管理节点(主节点)机和渲染节点机。另外还包括三条网络:外部网络,计算网络,管理网络。一个标准渲染农场的硬件结构如图1所示。本地客户端首先通过外部网络提交渲染作业到管理节点,管理节点把渲染作业划分为多个任务,然后根据计算节点的负载把这些任务通过渲染网络分配给下属渲染节点,下属计算节点由WCCS实现自动的负载平衡功能。当渲染节点渲染好所分配的任务后,再次通过渲染网络把渲染好的图片提交给管理节点,如果用户要使用这些图片,可以通过外部网络把图片传回至本地客户端。当然本地客户端还应具备通过外部网络来获得有关渲染集群和提交作业的详细信息,以及监控每个作业工作状态的功能。由于渲染农场需要存储大量的用户场景数据和输出结果,数据存储系统需要选择具有较高传输速度、大容量和易扩展的系统。一般可以选择磁盘阵列(基于SATA串行接口)、NAS(NetworkAttachedStorage)或SATABeast企业级磁盘库。严格地说本地客户端不属于渲染集群,因为它不参与集群计算。还要注意的是由于在渲染集群执行渲染任务时,各计算机之间的通信量并不大,所以大多数时候可以把渲染网络和管理网络合并成一个网络,使它同时传递管理和渲染信息。3.2管理节点及功能一般情况下,在WCCS集群节点上安装CCP(ComputeClusterPack)后,可以直接利用WCCS集群提供的客户端,进行简单渲染任务提交和监视工作,WCCS自带客户端管理软件只提供基本的任务和集群信息。使用WCCS提供的WMI模块和CCP-API接口函数编写了针对渲染的客户端,它可以提供更为丰富的信息,并与渲染节点的服务器端相连,可以控制渲染任务的工作,监测渲染节点的健康状况等。渲染农场的软件框架图如图2所示。根据需要,管理节点主要包括以下4种功能:1)软硬件信息查询。查询集群中任意一台计算机的硬件健康和软件运行情况,主要包括计算机的CPU利用情况、内存利用情况、本机所有进程情况和网络情况。2)提交任务。完成渲染任务的提交,把所有渲染器命令整合成统一的形式,按统一格式提交不同的任务给不同的渲染器。3)任务列表。对于提交到集群的渲染任务进行列表显示,包括任务完成进度、执行状态、所设置的优先级等,并提供任务的详细列表查询功能。4)管理命令。给渲染集群发送简单的命令,包括集群节点的开启、关闭、节点机的添加删除及对文件的操作等。以上4组功能基本能满足渲染集群正常工作的要求。另外提供渲染日志文件。日志文件对于客户进一步修改完善所提交作业,对管理员分析渲染过程所发生错误的原因都有着极其重要的作用。从以上功能分析可见最核心部分为各节点的信息查询和管理命令发布,本软件主要是运用WCCS提供的WMI(WindowsManagementInstrumentation)模块实现。WMI建立一个到目标计算机上的Windows管理服务的连接,把命令传给目标机,目标机WMI执行完后返回数据或结果。在此只用到4个类:ConnectionOptions类为WMI连接目标机提供所需的设置;ObjectQuery类或其派生类用于在ManagementObjectSearcher中指定查询;ManagementObjectSearcher主要是根据指定的查询检索WMI对象的集合;ManagementObject类为单个管理对象或类。图3是软件工作流程图。4染整过程中的效率分析测试渲染集群由6个渲染节点和1个渲染管理节点组成,渲染器采用mentalraystandalone。为了对比效果,测试还利用单台机器对相同的场景文件进行渲染,节点配置和结果对照见表1。由表1可知,使用集群渲染,并没有对图像质量造成影响,但渲染时间大大减小,因为它利用6个渲染节点完成了原来一台计算机要完成的所有任务。通过减少计算节点来寻找渲染时间和CPU数量之间的关系。如图4所示,渲染时间和CPU的数量(以1台计算机所用的时间来度量,假设1台计算机所用时间为100%)并非成线性反比关系。当CPU达到一定数量后,系统计算效率的提高越来越慢。如图5所示,对于相同的任务,在相同的硬件配置,相同的渲染器条件下,使用WCCS的渲染集群