渲染农场系统软硬件配置方案

渲染农场系统软硬件配置方案
一、 渲染农场和集的概念与原理
    Renderfarm(渲染农场)是一种通俗的叫法,实际上规范的名称应该是“分布式并行集计算系统”,这是一种利用现成的CPU、以太网和操作系统构建的超级计算机,它使用主流的商业计算机硬件设备达到或接近超级计算机的计算能力。
集(cluster)指的是一组计算机通过通信协议连接在一起的计算机,它们能够将工作负载从一个超载的计算机迁移到集中的其他计算机上,这一特性称为负载均衡(load balancing),它的目标是使用主流的硬件设备组成网格计算能力,达到、甚至超过天价的超级计算机的计算性能。
    典型的超级计算机生产厂商包括IBM、SGI,以及其他一些大学、科研组织,以IBM Blue Pacific超级计算机为例,它拥有5800 个处理器来计算核反应的物理模拟过程,这样的计算机价格对于绝大部分商业用户是很难承受的,而且要面临很多的技术和维护问题,并且换代成本也很高,升级能力差。因此,发展了利用通信技术连接其他计算机,组成一个网格计算系
统,可以分配负载的工作给其他计算机的CPU进行处理的解决方法来模拟超级计算机的能力。目前很多超级计算机也是通过集技术得到的,特别是近年,名列世界Top500的超级计算机多数指集系统,集计算已经是比较成熟技术,但它仍在继续发展着。
二、渲染农场特性
    渲染农场是基于软件和硬件应用的完美结合,可采用基于微软Windows的渲染农场,也可采用Unix核心的操作系统,利用现行的网络管理方式,制定和管理复杂的和跨平台的高级3D和2D网络渲染解决方案。渲染农场独特的“蜂”构架消除了对集中“管理器“的需求。
1)高性能
    利用渲染农场中渲染节点的强劲计算能力,可将传统的计算机计算能力提高很多倍,从而使之前需要一周甚至更长的时间来完成的渲染任务,在极短时间内就可在完成。
2)良好的兼容性
    目前的渲染农场一般都采用64位系统架构,但同时也具有良好兼容32位运算的能力,使用户可以在作业时平滑过渡到64位系统!
3)良好的用户界面
    经过这么多年的发展,渲染农场对自身做出了许多相应的改进:没有了缓慢的页面、晦涩难懂的术语和运行怪异的多平台用户界面窗口部件,取而代之的是一个单一完整的Monitor用户界面。
4)对当前各种渲染包的良好支持
    除了能够支持所有标准命令行渲染工具,Renderfarm带有针对Maya,3ds max,Digital Fusion, Lightwave, Softimage XSI 和AfterEffects等软件的自定义编写窗口,通过专门的应用软件脚本或者插件,以实现高效率及可配置性。广泛的应用程序支持包括:
张锴雍3dsmax                            After Effects
Combustion                    Digital Fusion
Gelato                              Lightwave
Maya                                Shake
Softimage XSI
基于RIB渲染引擎的3Delight、AIR、BMRT、Entropy、PRMan、Pixie、RenderDotC
杆菌脚本和C++SDK插件
支持渲染引擎的脚本,SDK提供强大灵活的特性。
整合RPManager
5)多个工作时间表选项
    数字显示的工作优先级、机器资源、指定的并发事件限制以及特定工作黑名单使您既可以处理有限证件插件和渲染包,也能够准确地在多部门间控制渲染资源的分配。
身毒丸6)管理和审查
    管理特性可选择密码保护。任何对工作、任务及从属项目更改都可被记录并跟踪。
    整合的远程管理功能,如:设备统计报告(CPU、磁盘空间、存储器、操作系统及修补
包)、远程启动/停止/重启从属程序和设备、在远程设备上执行任意命令行。
    远程错误报告直接向Frantic Films Software报告渲染错误和一般应用程序错误可以缩短停工期并加快问题的解决。
三、 渲染农场的分类
    按照任务管理类型,主要可以分为以下两种类型:
1)SMP(symmetric multiprocessing 对称多处理):计算机的1/0总裁、多处理器、内存等所有的控制都运行在一个操作系统中(通常为Unix或Linux),可以对单位任务进行最高性能计算机只能由1BM、SGI提供,而现在AMD的8路CPU的方案,使得很多硬件厂商都能提供这样的超级计算机了。综上所述,SMP类型的渲染农场就是一个操作系统控制多个计算机硬件。
2)MPP (massively parallel processing ,大规模并行处理):每个处理器都有属于自己的操作系统,通过某种通信协议连接这些操作系统,从而可以同时处理同一程序的不同部分。MPP方式一般都使用通用的计算机,具有较高性价比,但是系统也变得更为复杂。通
过自己的协议或者通信接口来使CPU彼此连接,这需要照顾到系统资源以及任务分配等很多问题,特别是网络性能。综上所述,MPP类型的渲染农场就是每个CPU都拥有自己的操作系统,然后用渲染管理软件通过网络统一管理硬件资源。
四、渲染农场的组成
1、渲染管理软件
机械毕业设计论坛1)、渲染管理软件的作用:
    渲染任务管理软件可以从图形工作站上向各个节点的机器分配渲染任务,以使所有的客户端工作站对指定的部分进行渲染。
2)、渲染管理软件的种类:
    经过调查,目前市场的集渲染管理软件有好几个,比如说欧雷公司(www.ou-lei)的Ultra Render,还有多平台网络渲染管理系统deadline、Pipelinefx公司(www.pipelinefx)开发qube!等等主流集渲染管理软件,此外还有Platform LSF(
从SGI移植的渲染管理软件)、Enfuzion(交叉平台的渲染管理软件)、Rush、Binary Alchemy Royal Render等等。一般渲染管理软件都会支持主流的三维软件(如maya、softimage、3ds max、Shake、Nuke、mental ray等等),并且提供开放的API结构。
图2 Binary Alchemy Royal Render软件界面截图
3)、操作系统
    Linux是做集服务器的最佳操作系统,其稳定性和速度都比Windows更优秀,但是问题也是存在的。如果你是Maya为主要Pipeline的公司,选择Linux会有很多好处,包括比Windows快1倍以上的网络访问速度,几乎没有病毒烦恼等;如果你是3dmax或者是3DMAX和MAYA的混合使用环境,那么就只能选择Windows了。为了节约成本,可以在分发管理服务器安装Windows服务器版本,为渲染服务器安装OEM的Windows XP。
4)、渲染软件
中国式养老困局    一般的渲染农场配置都支持常见的主流渲染软件,如Maya、3dmax、XSL、mental ray、Renderman和V-Ray等。
原油密度
2、渲染服务器
    也叫做渲染节点,渲染节点是整个集系统的计算核心,他的功能就是执行渲染,具体选择什么样的硬件配置,需要根据自己的需求和预算来决定。初期,可以购买小型系统来实现,比如5个节点;添加工作站,让其在闲暇的时候加入渲染,可以根据公司的日后的发展需要扩展规模,可以扩大到几十甚至上百个节点系统。主流的制作公司都会选择1U服务器,布置2颗处理器如果现在配制,会是双核处理器,配上1——2GB内存。但也有很多公司会选择刀片服务器,刀片服务器,刀片服务器在企业级别的应用中有很不错的优势,如节省布置空间、方便连接、方便管理等。
图3 渲染节点示例1
图4 渲染节点示例2
参考配置:
分类   
配件型号规格
数量
平台
intel MFSYS25模块服务器(含存储控制器,千兆交换机,管理模块,KVM)
1台
计算模块
MFS5000SIB 刀片
6片
CPU
四核Xeon 5405 2G/12MB/1333Mhz
12颗
内存
KST 2G DDR2-667 FBD
24根
硬盘
ST146G SAS 10K 2.5”
6块
运算性能:380G浮点/S,即 3800亿次/秒
3、分发服务器/文件服务器
    单个渲染节点再强劲,没有好的管理,同样会造成非常大的浪费。不要以为现在的渲染管理就是简单的调用命令进行渲染器而已,真正经受过制作考验的渲染管理方案都有着严禁的架构设计,关键的技术指标不同,方案之间就差别非常大。
    可以说,硬件的选型与搭建仅仅完成了我们工作的20%,你还需要花50%的精力对渲染投资进行规划。
    渲染管理和任务分发服务器主要承担两种任务,提供基本的网络服务,调度渲染服务器上的任务,分发软件如果安装渲染引擎,也可以假如渲染队列,但是实际上我们需要安装集渲染管理软件。
    集系统需要连接海量存储以保存渲染出来的电影序列,渲染一小时的高清序列大概需要1TB左右的存储上。当所有的渲染服务器同时向中央存储写入数据的时候,网络规划成为衡量集系统最终性能的标尺,中央存储访问技术可以选择:
1) NAS,使用NFS、Samba等协议;
2) Direct Attached SAN, 需要使用SAN管理软件;
3)IP SCSI。
    采用光纤通道存储系统,可为直连环境、小型集及入门级和中档SAN环境提供性价比
最佳的特性,具备最大传输率。中央存储是一个可扩展的高性能存储系统,它降低了部署SAN的复杂性、费用及风险,其模块化的设计允许您按照需要来增加存储容量。
4、网络交换机、服务器机柜、KVM(多计算机切换器)等周边附件
    集计算的进程迁移需要高速硬件连接设备,进行计算机之间的数据传输,可选的设备包括千兆网卡、交换机或者光纤卡以及相应的光纤交换机。对于中小型的集系统来说,千兆的传输速率完全能够满足了。
五、渲染农场工作流程
    在渲染农场里创建任务时,所有提交的工作被记录在一个Repository 文件夹中,其他计算节点和工作站都可以通过监视程序看到渲染进程,这些正在渲染和等待渲染的工作,在渲染农场管理程序中叫Queued(渲染队列)。

本文发布于:2024-09-22 09:55:23,感谢您对本站的认可!

本文链接:https://www.17tex.com/xueshu/204184.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

上一篇:CG网站
标签:渲染   集群   服务器   农场   系统
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2024 Comsenz Inc.Powered by © 易纺专利技术学习网 豫ICP备2022007602号 豫公网安备41160202000603 站长QQ:729038198 关于我们 投诉建议