如何看FFT频谱系列

dgwxx

本文译自：http://anibin.blogspot.com/2008/05/blog-post_3298.html
以下图片来自：http://anibin.blogspot.com/2010/01/blog-post_1130.html



这是咩？
这是高清晰数字电视广播录制后的图像进行FFT之后的结果。

能干啥？

• 区分原生高清晰制作与upconv。
• 判别upconv方式。
• 判别画面精细程度与噪声的倾向。
  

看图入门
主要通过中央明亮部分的分布进行判断。

• 明亮部分越大，图像分辨率越高，图像越精细。
• 横向分辨率越高，明亮部分左右分布越大。
• 纵向分辨率越高，明亮部分上下分布越大。
• 越接近圆形，线条周围噪声越少。
• 越接近四边形，噪声越大，但同时图像显得锐利。
• 频谱分布形状会根据所选样本画面的内容而变化，因此频谱的形状并不是判断画质的最重要因素，应当根据分布的大小来判断画质。
  

要注意（特指看あに瓶里贴的图）
4：3动画的频谱图都是左右加上黑边，以模拟在16：9电视上观看的效果。因此比一般16：9的动画看起来横向会比较长。

关于分类
一般来说upconv的动画频率分布界限很明显，白色部分周围可以清晰地看到轮廓，可以用来判别是upconv还是原生HD。但也可能出现较难判断的情况。
此外，由于不同upconv方法会在频谱上留下很各自具有标志性的特征，因此可以通过频谱的分布判断upconv的方式，但其实不用通过频谱、直接通过画面本身就可以判断出来。

系列文章目录：
文章分别在1楼、10楼、26楼。

VempX

大虾塞狗！

wtyrambo

其实大多数时候用眼睛能观察出来,不过JC.STAFF的片子即使是HD制作的线条也很模糊,给人的感觉都很像UPCONV的....TV上发送的动画除非劣化了,否则不会有SD画面+HD字幕的情况(至少我没看过),因此看字幕也是个方法....

264768502

顶大虾...

diseac

大虾～

lititude

拜大虾

sswroom

1 請問這個是Linear FFT 還是Log FFT ?
2 Sample Size 是1個Frame? 還是整段影片的Sum再Normalize?
3 能否說明不同Resizer對FFT的影響? (如Nearest Neighbour, Lanczos Resizer, Bicubic Resizer, Bilinear Resizer, Linear Resizer等)

謝謝~

dgwxx

回复 7# sswroom
1.作者是用LAview这个软件做的FFT变换。具体方式我不清楚。
2.Sample Size 是1个Frame。
3.作者用的是Lanczos Resizer。

LAview210.zip (833.21 KB, 下载次数: 17418)

2010-1-12 16:01 上传

点击文件名下载附件

akiduki

回复 7# sswroom

1. 他的方法不知道，我在Matlab下实现的方法使用log坐标的。
2. 我觉得他的方法很可能是average sum，但是选取特定帧去观察的方法也并不无效，因为upconv不可能分段进行。
3. 这个问题不好一句话说清，这样说吧，每个resizer其实都是prefilter+resampler+postfilter，好坏的区分只在于prefilter和postfilter的设计上，NN属于不做prefilter的resizer；Lanczos属于sinc窗函数的resizer；bi系列和spline系列都属于样条差值的resizer；还有就是cosine窗函数的resizer。
而filter的作用，在频谱上=原频谱与filter的频谱相乘。resampler的作用，相当于将原频谱按照新的resampling之后的频率为周期展开。
考虑两个系统为级联，因此综合作用是以上两个作用的叠加。

dgwxx

关于取样，作者在blog里面表示过选取样本单帧标准，这里正好翻译一下。
原文：http://anibin.blogspot.com/2008/08/blog-post_5180.html

具体标准是：
1.画面上没有文字的帧。画面上一直显示时间的节目，用黑色矩形盖掉时间显示。原则上不处理台标。
2.没有交错的帧。但由于以场为单位进行upconv造成的缟缟不视作交错。
3.画面动态较少，由于MPEG2压缩造成的劣化极少。
4.虚华处理不很明显的帧。
5.画面中同时存在背景和人物。

图像加工方法：
1.获得1920×1080的视频。如果不是1920×1080（如1440×1080、带黑边的视频），则用lanczosresize扩大到1920×1080。
2.将图像下方加上1920x840的黑边，使图像变成1920×1920的正方形图像后，用下列软件进行处理：
LAview Version #1.77 Copyrught (c) 2003 Hisasi -M
处理后，得到1920×1920的FFT图像。
但是这时的图像太大，辨别起来有难度，所以：
3.加2.0的gamma修正，让画面变量。
4.将画面缩小到960×960。

ffgg

昨天截了一晚上的图实验了下，还是不太懂，采样该如何选择昨天就想问了，想请教一下：

1）怎么根据白色部份分布的大小来判断图像原来的分辨率大小，白色部份分布的大小范围对于渐变的部份是算进去呢还是不算，可不可以实例讲解下该怎么选取范围呢？

2）关于频谱，这个能不能做假？就是可不可能通过处理，能让upconv后的图像频谱看起来和原生的差不多？

264768502

引用某博客回复

片源的纵向分辨率（高），可以看成数字信号沿纵向的采样率，那么nyquist采样定律就同样可以应用与这个方向。
如果在某个纵向分辨率，出现了aliasing（也就是频谱中高频部分出现了低频部分渗透入的分量），那么就可以认为当前纵向分辨率无法无法恢复原始信号，亦即原始信号的纵向分辨率是一个更低的值。
根据nyquist采用定律，也可以大致估算出理论上这个频谱对应的最大允许纵向分辨率（比如上图大致在上半部分60%的位置），destripe就是据此判断出恢复原信号的纵向分辨率的。

dgwxx

回复 11# ffgg
我来回答您的第二个问题。
答案是可以做假。我和diseac设计过一个实验，大致可以用480p的DVD Source模拟出540～720左右的频谱，根据源的质量和具体使用的方法，甚至可以模拟出超过720的频谱，不过速度代价比较大。具体思路请参考这个帖子：
http://www.nmm-hd.org/bbs/viewth ... p;fromuid=2#pid4954

galaxy

用法懂了，可是原理不懂……

话说，音频重采样也能看频谱来识别吗？

akiduki

回复 13# dgwxx


    “可以作假”这种说法，只是因为我们并不知道源大致的频率范围，我这里说的频率，是指画面上所有细节的频率范围。所以其实anibin包括我们模拟去做的一切频谱的分析都是含有些假设，以及经验的成分在内的。但我想说的是，一切upconv的行为，无论做的多么真，也只是在因为条件受限情况下，利用了我们经验的死角“做出来”的东西，这点是无法变化的。比如可以做两个分辨率不同（height不同）由黑白间隔条纹构成的图像（视频），黑与黑之间的周期为1个像素，那么很显然这个图像的在纵向上的(数字)频率就是1/height。对这个东西做FFT得到频谱，然后再想办法upconv其中一个，拿upconv后的和原生的比较，我觉得立马就会发现差别的，而且这个差别还不小。

diseac

我们并不知道源大致的频率范围，我这里说的频率，是指画面上所有细节的频率范围。
akiduki 发表于 2010-1-15 03:16

说的太对了

我的理解，拿音频来说，就算是钢琴独奏，频谱图也会达到22050的满格频率，哪怕只是微弱的噪声。
所以1楼那张图，四角纯黑，就基本可以认定是upconv上来的了，而最难判断的是那种“在整张频谱图上都多多少少有一点”的图……

akiduki

在整张频谱图上都多多少少有一点

这个太好做了 upconv完加个高斯白噪声什么都有了

dgwxx

回复 16# diseac
1楼的图，あに瓶说是HV1280型的。

我在13楼链接的那个帖子里说了，用DVD来upconv的行为都是徒劳的-v-没意义。当然，对电视台来说还是有意义的-_,-

ffgg

感谢264768502的引用和dgwxx的解答，现在看到某某定理，就觉得神圣无法靠近。＝＝。

太高深的知识我不明白，只是根据自己前天和昨天的截图来逆猜测：保持截图分辨率做FFT，我觉得频谱中间白色部份分布的大小，其实就代表了该图原来分辨率的大小。
所以我之前的想法是：把中间白色部分的范围框选出来，也就得到了图像原来分辨率的大概范围。
当然，这只是我的想当然，而且这个框选的范围我也说不好。

通过频谱，判断是否upconv比较简单（不做假的话），但如果想要判断图像原来的橫向或者纵向分辨率是128x，还是121x；是48x，还是40x，这样精确到十位，可以做到吗？我自己觉得很难，就算要精确到百位也不容易。

感谢sswroom，
自己目前是无法分辨，如果能有对比图的话，应该能够理解，先记下，希望自己哪天也能有个“蓦然回首”的时候。

sswroom

看來應該是Linear的FFT。

>>关于频谱，这个能不能做假？就是可不可能通过处理，能让upconv后的图像频谱看起来和原生的差不多？
-原本的頻率的分佈由0Hz 至 640Hz, 放大成0Hz 至 960Hz, 中間一定會有部分的頻率強度偏低, 這個才是正常現象。