NMM视频技术(旧)

 找回密码
 成为会员
搜索
查看: 3411|回复: 8

AviSynth网络分布式计算TCPDeliver使用笔记

[复制链接]
发表于 2009-5-12 19:50 | 显示全部楼层 |阅读模式
AVS有一个功能似乎一直不太为人所知,那就是TCPDeliver——可以利用网络进行分布式运算,实现性能的提升。然而通过一下午的测试,发现要想利用这个功能实现性能提升,条件还是很多的。

介绍一下TCPDeliver。TCPDeliver由两部分构成——TCPServer和TCPSource。
TCPServer,顾名思义,功能是建立一个服务器,监听指定点口。
TCPSource用来连接TCPServer建立的服务器,取得服务器输出的视频。
两个函数的使用方法很简单,手册里的说明和例子也很详细,这里不再赘述。
通过这两个参数的连环使用,理论上可以实现无数台节点来进行处理,但其结果同样是显而易见的——随着节点数量的增加,计算效率必然呈现下降。当这个下降超过分布处理带来的性能提升的时候,整体效能势必不升反降,结果适得其反。

===================================
以下是测试
===================================
先介绍一下参与本次测试的三台电脑:
1.E8400(没有OC) + 2G DDR800 (1000M网卡)
2.T7200 + 2G DDR667 (1000M网卡)
3.赛扬2.4G + 512M PC150(100M网卡)
今天下午主要测试了两个项目:中复杂度脚本和高复杂度脚本。使用最简单的分工方式——一台电脑负责处理AVS脚本,另一台电脑负责用x264去压缩。也就是,将处理和压缩这两个部分分别交给两台电脑,实现效能上的提升。

首先我很天真地在3号机上运行了一个中等复杂度AVS脚本,然后,在1号机上通过
  1. TCPSource ("192.168.0.7",5415,"LZO")
复制代码
来接收视频,并送给x264压缩。
压缩1200帧片段10.80fps,甚至不如1号机单独运行来的速度高(15.00fps),整体速度不升反降。思考一下,这个似乎也在预料之内,因为两台机器的性能差距太大了,3号机很显然成了性能瓶颈,1号机一直处于等待状态。
吸取教训之后,我用2号机替代3号机(此时网络连接速度是1000M),进行同样的测试。这次两台电脑配合无间,取得了16.50fps的好成绩,超过单独运行1.5fps。

接下来在2号机上运行高复杂度脚本,在1号机上用同样的参数压缩,速度10.32fps,比1号机单独进行的11.47fps慢了1fps。

结论:
因为两个机器之间存在性能差,所以测试高复杂度AVS的时候,T7200的性能瓶颈一下子就显示出来了,速度甚至不如E8400单独运行。但是,不是T7200的绝对性能不够,而是AVS不支持双核,T7200的CPU占用率一直在49%。
所以,根据编码器的参数和AVS脚本的复杂程度的不同,运用TCPDeliver提升性能的条件也不尽相同。简单地说,要想用TCPDeliver后性能高于使用前,至少要保证服务器端输出fps要大于客户端编码器的处理能力才行。
此外还有一个瓶颈在于网络。100M网络理论传输能力大概在12.5MByte/s上下(实际上是到不了这个速度的)。而704×480@24fps的YV12无压缩数据量有11.6MByte /s左右,如果整体处理速度到达20fps以上,网络将成为新的瓶颈,这点是需要预防的。
发表于 2009-5-14 21:44 | 显示全部楼层
真是有心的试验啊,比较适合压片小组协调作战,一般人估计用不到
发表于 2009-5-15 00:44 | 显示全部楼层
其实呢,如果没有在AVS里用特别变态的滤镜,这个功能感觉不是很重要的说
而且还要考虑到两台机器的性能差,网络传输速率等等
大虾你真EP……
发表于 2009-5-15 21:45 | 显示全部楼层
显然这个对于有千兆局域网和性能NB的工作站的人,这也许能提升点性能能OTL
发表于 2009-5-16 10:13 | 显示全部楼层
分成两段,两台机器分别压要快一点...
 楼主| 发表于 2009-5-16 12:51 | 显示全部楼层
5# lititude
想要控制容量的人会哭的
发表于 2009-5-27 10:13 | 显示全部楼层
唔...我觉得先想想怎么把那些pp滤镜能真正利用上多核环境才是当务之急啊
当然这不是我们这些使用者能做的事了...
发表于 2009-6-17 09:53 | 显示全部楼层
呵呵,其实听说动漫组压片都是上传到服务器压片的,不用自己搞,不知道是不是那样呢。管理员你的测试很有用。我大学的分布式计算系统貌似可以免费,速度实际都达到10M/s,没有利用真是可惜啊,呵呵
发表于 2009-6-19 16:28 | 显示全部楼层
5# lititude
想要控制容量的人会哭的
dgwxx 发表于 2009-5-16 12:51

我没考虑全面...
都用crf跑1pass,再算码率...也不好,还是不分好。
您需要登录后才可以回帖 登录 | 成为会员

本版积分规则

小黑屋|手机版|NMM视频技术

GMT+8, 2019-10-15 10:31 , Processed in 0.037079 second(s), 22 queries .

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表