李 竑
(台州广播电视总台 科技事业中心,浙江 台州 318001)
目前,云计算技术已经以不可阻挡之势推进到各个行业,如各行业的信息系统建设和管理,以及为普通百姓的日常生活所需提供的信息服务,广电行业也不例外。毫无疑问,云计算对广电全台网系统的计算资源、存储资源和网络资源等进行有效整合,对全台信息系统的提升效率、降低成本等需求有一定的帮助[1-4],比如云计算中的虚拟化技术对制作系统的计算、存储资源进行池化值得探讨。
所谓虚拟化,在计算机方面通常是指计算元件在虚拟的基础上而不是真实的基础上运行。虚拟化技术可以扩大硬件的容量,简化软件的重新配置过程。CPU的虚拟化技术可以单CPU模拟多CPU并行,允许一个平台同时运行多个操作系统,并且应用程序都可以在相互独立的空间内运行而互不影响,从而显著提高计算机的工作效率。
通过虚拟化技术可实现软件应用与底层硬件相隔离,它包括将单个资源划分成多个虚拟资源的裂分模式,也包括将多个资源整合成一个虚拟资源的聚合模式。虚拟化技术根据对象可分成存储虚拟化、计算虚拟化、网络虚拟化等,计算虚拟化又分为系统级虚拟化、应用级虚拟化和桌面虚拟化。
利用虚拟化技术,可以构建不同的资源池,包括计算资源池、存储资源池、网络资源池、应用资源池等,并动态地将资源池中的资源分配给各业务系统,形成弹性的IT架构。另外,虚拟化技术使得硬件资源对用户变得透明,从而使用户有更多的精力专注于业务生产。
如上所述,虚拟化主要是对IT基础设施进行简化。它可以简化资源管理平台以及对资源的访问,因此可以利用虚拟化技术解决广电制作系统现存的一些问题,从而提高生产效率,降低成本。
自数字化、网络化技术普及至今,电视台业务流程,特别是在节目生产制作领域引入了越来越多先进的IT技术,比如非线性制作设备代替了线性对编设备,网络化制作代替了单机编辑。由于非线性编辑设备的出现相比线性对编在制作能力上有巨大提升,而非线性制作网络通过多台非编站点共享资源,以多人多机协同工作的方式,从流程上提高了工作效率。这种变革给节目生产能力的提升带来了巨大的动力,使得电视台比传统方式能够低投入、高效率的方式制作出高质量的节目。
由于电视台业务的增加,节目制作网络的系统规模就会不断扩大,在这过程中就逐渐暴露出一些问题,主要有如下几点:
1)系统庞大,管理复杂,硬件资源浪费严重。
随着业务规模的不断扩大和信息化进程的不断深入,信息化应用和服务器、工作站的数目不断上升。由于前期建设中缺乏系统的规划,机房中安装了不同时期采购的不同系统的设备。而不同系统都有各自不同的软硬件组成,状况复杂,很难实现统一自动化管理。技术人员管理、维护的工作量非常大,硬件维护需要数天或数周的变更管理准备和数小时的维护时间。同时大多数服务器的平均负载都在5%~20%之间,物理服务器、工作站的硬件资源大量闲置。
2)资源利用缺乏弹性,无法灵活满足业务需求。
基于现有架构建设的系统,其规模无法快速扩展与改变。目前在设计全台网架构时面临系统规模难以准确测算的问题,以新闻制播系统为例,如果按照满足日常新闻制播业务的标准来设计,一旦有大型活动报道需求或突发事件直播任务,系统资源就会明显不足,此时即使全新的系统也很难快速派上用处,同时大型活动完成之后系统有可能面临浪费的风险。广电业务网中一些核心系统都是双机备份,甚至三机备份,但是依然存在设备宕机后维护时间长、业务中断的问题。另外,系统的计算、存储、网络资源在不同的业务系统间分配不均衡,一些繁忙的业务分配不到足够的资源,进而导致效率低下,而另一些业务系统可能又存在大量的闲置资源却不能充分利用。
3)系统多而重复,运行成本高。
由于服务器和工作站的独占性,不同业务系统间又难以共享设备,无形中拉高了全台系统的重复建设成本;另外,设备更新淘汰周期短,每3~5年更换一次,带来了高昂的维护和迁移成本;数据中心空间、机柜、网线、耗电量、空调和人力等都提高了全台业务系统的运行成本。
4)应用系统软硬件兼容性以及新业务的开展。
系统迁移到新的硬件平台以及应用迁移到新的系统都存在一些兼容问题,特别是已经使用很长时间的应用很难或者是无法迁移到新的服务器系统平台上。另外,随着三网融合的推进以及新媒体技术的不断发展,传统的广电服务模式已经不能适应时代发展的需求。广电的运营模式必须进行调整,带来的最大改变就是新业务的不断上线。每开展一个新的业务模式,必将带来新系统的部署、配置和运维,如果按照以前的系统建设方式,时间周期较长,无法使新业务得到快速灵活的开展,不利于广电的长远发展。
总而言之,目前广电的全台业务系统都是业务绑定系统、系统绑定设备,使得资源使用不均衡、各运行环节效率不高、运行成本高的问题比较突出,所以笔者认为业务与设备高度耦合是问题的症结所在。
如果能够运用虚拟化技术,将业务与所需的计算资源剥离,使整个网络中的运算资源按需分配到每台终端设备上,既能解决局部运算能力不足的问题,又能有效避免运算资源的浪费,还能够有效支持系统更新和扩张,解决现有系统存在的一些别的问题。
通过虚拟化技术将计算机的硬件处理能力抽象为标准化的逻辑处理能力,形成计算池,再将不同类型的处理任务分配到计算池中相应的虚拟机上,这样就实现了计算机运算处理能力的动态分配,对于负载较高的任务增加逻辑处理单元,对于负载较少的任务减少逻辑处理单元,从而提高了系统处理资源的平均利用率,达到了减少系统建设成本、降低能耗的目的。因此,如果能将虚拟化技术利用到广电节目制作系统中,将能够大量消除广电现有制作系统的各种弊端。
传统非编工作站的编辑、渲染功能是紧密耦合在一起的。对非线性编辑工作站进行虚拟化,就是将非编工作站资源划分为虚拟机,再利用低端配置的客户端,以远程桌面的方式进行操作。要达到这个目的,需要把系统的编辑、渲染功能拆分,分配给前端工作站和运算渲染服务器群集,在这两者之间设立任务、资源调度服务器,前端工作站是用户进行编辑操作的节点,负责人机交互界面的展现和响应,由于不进行高负荷的画面渲染处理,前端工作站的硬件可以低配。任务、资源调度服务器接收前端工作站发出的任务请求,并根据运算渲染服务器群集当前渲染进程和运行情况进行判断,然后分配渲染任务并调用足够的后台处理资源来响应前端的编辑请求。运算渲染服务器群集是整个编辑功能结构的核心,负责完成编解码、滤镜特效、字幕特技、通道叠加等一切与渲染计算有关的工作。运算渲染服务器既可多台并行完成多个渲染任务(多对多),也可单台承接多个渲染任务(单对多),还可以多台渲染服务器共同完成一个复杂的渲染任务(多对单)。最后在运算渲染服务器完成渲染任务后把合成结果以流的方式回显给前端工作站。上述方式将非线性编辑的功能进行了重新分解和整合,虚拟机实现编辑的功能,渲染的任务交给渲染服务器群集来做。这样做主要是因为:
1)虚拟化技术目前还难以充分利用GPU资源,而非线性编辑处理需要GPU资源的充分支持;
2)对于非线性编辑应用来说,一个故事板既有简单片段又有非常复杂的片段,因此要求渲染资源必须在短时间内根据渲染需求随时分配计算资源。而虚拟机资源设定好并启动后难以动态调整;
3)虚拟机无法在客户端配备视音频采集板卡,所以不能完成非线性节目编辑信号的采集和监看,而且通过远程桌面回传的压缩视频画面回显质量不高;
4)无法集中多台虚拟机的运算能力来完成某个复杂的渲染任务,而这是希望在非编虚拟化编辑环境中得到加强的重要系统功能之一。
当前,群集式的渲染农场(Render Farm)为实现成熟有效的三维合成商业化解决方案提供了基础。它主要是通过利用多台设备形成群集效应,达到提高整个网络的计算能力的目的。如果把群集渲染功能整合到系统中,就可以满足非编网系统的渲染需求。
但是群集渲染系统是一个离线渲染合成系统,即编辑制作端先要生成渲染任务,由集群渲染系统完成渲染生成视频,再到编辑制作站点播放,这并不能直接支持在线编辑。为了实现非线性编辑运算渲染资源的动态分配与灵活调度,可以通过设置一个实时的群集化视音频渲染引擎来解决这个问题。这样就可以形成前端编辑加后端渲染的结构,前端人机交互界面可以实现对后端渲染引擎提供的处理能力之间的动态调用,这既能实现多台制作终端共享一台渲染服务器,也能让一台制作终端利用多台渲染服务器的资源,还可以实现制作终端与渲染服务器之间多对多的动态匹配。编辑、渲染虚拟化结构如图1所示。
图1 编辑、渲染虚拟化示意图
上述虚拟化方式直接调用渲染服务器的CPU、GPU、内存资源,并可以实时回传视频数据,这就可以解决使用虚拟机产生的一些问题:
1)避免了渲染任务调度过程中造成资源浪费;
2)可以让所有的渲染服务器被所有的客户端共享,调度服务器根据渲染服务器的当前任务量分配渲染任务,可以使各渲染服务器尽量达到负载均衡;
3)配置监控灵活,可随时添加渲染服务器,任务调度服务器可实时监测渲染服务器数目的增减,及时调用空闲的计算资源。
相比传统集群渲染软件不同的是,这种编辑与渲染分离的新结构能够支持实时的画面回显,渲染结果可以直接逐帧传回远程操作界面,无须等待,让编辑人员操作时与使用传统非编有相同的体验,这种实时调度的操作模式使得所有前端工作站都能享受到渲染服务器群集的运算资源,并且大大提高了操作效率。渲染服务器处理的也不只是最终的渲染任务,更多的是反馈前端编辑的每一步操作,比如实时通道运算、视频特技等,使操作结果像传统非编一样可以实时体现。
对于录出、采集等有卡应用,仍然采用物理主机进行部署,同时通过系统进行统一管理。
由于当前全媒体业务发展比较迅速,经常需要扩充生产制作能力,因此虚拟化制作系统易于扩展的特点更体现出其优点,可以通过增加前端终端,实现制作能力的低成本扩张,而当后台运算渲染能力需要增加时,直接将新的渲染服务器并入群集中,就可以立即为前端提供服务,整个扩容过程简单方便,无须停机。
利用虚拟化技术可以把以前为实现某个系统功能单一配置堆叠出来的服务器资源及存储资源进行池化,按照功能细分后提取和使用。池化后的资源(例如CPU、内存、存储和网络)均可以灵活调配,例如当发现虚拟机的CPU及内存使用饱和后,工作人员可以为虚拟机分配更多的CPU及内存,系统管理更加便捷。同时,利用虚拟化技术的高级特性,例如动态迁移、高可用及负载均衡等,可以彻底改变传统制作网络系统的面貌,为新一代的制作网络系统提供灵活的动态信息服务基础架构。
建设动态信息服务的基础是服务器虚拟化技术,该技术通过Hypervisor(虚拟化中间层)工具,将主机硬件资源在逻辑上分割成若干个分区,通过在每个分区内运行虚拟机(参见图2)来实现不同业务逻辑在同一主机平台上的整合。同时,虚拟机以文件的形式存储于制作网络系统存储体内,由虚拟化管理平台根据负载均衡策略决定该虚拟机在哪台服务器上启动。
图2 虚拟化基础平台示意图
经过Hypervisor(虚拟化中间层)工具实现业务软件和硬件设备的分离,制作网络业务应用(例如域控、数据库、san文件管理、文稿系统、Web应用、转码、数据迁移、任务调度、自动技审、防病毒、监控管理、系统接口等)就可以配置到指定的虚拟机上,虚拟机文件被存到网络存储上,并可以灵活配置到指定的服务器上,这就实现了业务的灵活规划和弹性部署。同时,计算资源可以从应用需求出发来可控分配,在一台物理服务器上可以同时运行多个服务器应用,并实现业务隔离,避免相互干扰,服务器通过虚拟化整合使得整个制作系统的硬件资源得到了更充分的利用。还有个好处就是由于实现了业务应用和硬件的松散耦合,旧业务系统软件无须做任何变动就可以在新硬件平台上启动运行,轻松实现旧系统硬件的无忧升级。
另外,虚拟化技术中的动态迁移、高可用以及负载均衡等高级特性,可以使信息系统变得更加灵活且富有弹性。动态迁移功能可以在系统服务不间断的情况下,实现应用业务在不同服务器上的迁移,在网络管理员需要对某个服务器进行断电维护时,可以利用动态迁移功能将业务系统移动到其他主机上运行,当维护结束后,再将业务系统迁移到维护好的服务器上,在这一过程中,制作系统的运行基本不受影响,具体如图3所示。
图3 操作系统动态迁移示意图
采用高可用功能之后,在服务器出现宕机的情况下,已宕机服务器上的虚拟机可以立即自动在其他负载较低的服务器上启动,实现应用服务的自动恢复。当宕机服务器被维修完成后,只要把运行相关应用服务的虚拟机迁回原主机上即可,不必再次部署业务应用。
由于高可用技术在底层就被统一起来了,即使制作系统内运行了多种需要高可用功能来保障的应用服务,只需要利用虚拟化技术的高可用解决方案就可解决所有需求,这样一来整个制作系统的管理复杂度就大大降低了。
由于不同存储厂商的技术实现不尽相同,使用不同厂商的存储资源需要采用不同的管理界面。这样带来的问题是无法采用统一的界面来让服务器使用不同厂商的存储设备,数据在不同的存储设备之间的迁移也会造成业务中断。
为了解决上述问题,也为了实现动态信息服务基础架构,可以为制作系统集成一个SAN存储池。利用存储虚拟化设备来使多个SAN存储虚拟成一个存储池并分成若干个存储区域,所有虚拟机和非编网系统数据全部放在该存储池内不同的区域中。这样做的好处是将系统中不同品牌的存储子系统整合成一个集中管理的存储平台(它可跨多个存储子系统),并可以按需要建立一个或多个不同大小的虚卷,并将这些虚卷按一定的读写授权分配给系统中的各种应用服务器。这样就达到了充分利用存储容量、集中管理存储、降低存储成本的目的。这个存储池就是虚拟化系统利用它来实现动态迁移、高可用以及负载均衡等高级功能的基础。
整个制作系统的虚拟化架构如图4所示。
业务应用系统安装在虚拟机上,根据服务器资源配置、运行状况分配它们在指定位置运行,并随时进行可控的管理。这取决于虚拟化技术的负载均衡策略,可以给虚拟机均衡分配可用和充足的服务器资源供其运行,以提高服务器资源的利用率。同时,还可以设置高优先级策略,当个别虚拟机需要更多资源时,同一服务器平台上的其他虚拟机会根据策略自动调整运行位置,为高优先级虚拟机提供更多的资源。另外,利用高可用功能保证系统重要业务应用在一个较高的安全级别中运行。这样就能达到通过虚拟化技术整合制作系统,实现在虚拟化环境下电视节目制作业务高效运营的目的。
虚拟化建设的总体目标是:通过虚拟化软件,将硬件资源共享成资源池,按需分配资源,动态调度资源,以合理利用冗余的硬件资源,节省硬件设备的采购数量,保障应用运行的稳定性和数据的安全性。
通过建设一套成熟、完善、高效的虚拟化管理的制作系统,对现有服务器、存储、非编工作站资源进行整合和合理规划,大致可实现以下目标:
1)整合制作系统的基础应用、服务设备并使之虚拟化,改善基础设施的管理方式,极大降低管理工作量,提高运营效率;
2)降低单点故障,增强了数据安全性和灾难恢复能力,提高服务保障水平;
3)降低各项应用系统管理复杂性,减少系统安全漏洞,缩短宕机时间;
4)缓解因各种资源利用率不高而导致的整体资源紧张问题;
5)系统整体成本节省,包括系统建设、管理(机房空间、空调、电力、人员)、运维成本等。
如上所述,应用虚拟化技术可以提高制作系统效率,大幅度简化制作系统管理的复杂性,减少重复建设,提高了整体系统的可用性和扩展性,同时还明显减少了投资成本,所以具有很好的技术领先性和性价比,对提升广电竞争力具有实际意义,值得推广。
[1] 张跃.乘“虚”而入赢在云端——打造动态信息基础架构[J].现代电视技术,2012(10):127-130.
[2] 王杰中.基于云架构全台资源整合的探讨[J].现代电视技术,2011(7):20-25.
[3] 毛烨,王琪江.“云计算”在广电行业的应用浅析[J].广播与电视技术,2011(7):54-57.
[4] 樊磊,姜殿斌.基于云计算架构下的全媒体资产管理系统[J].电视技术,2012,36(22):63-65.