NMM视频技术(旧)

 找回密码
 成为会员
搜索
查看: 18596|回复: 26

如何看FFT频谱系列

  [复制链接]
发表于 2010-1-6 22:38 | 显示全部楼层 |阅读模式
本文译自:http://anibin.blogspot.com/2008/05/blog-post_3298.html
以下图片来自:http://anibin.blogspot.com/2010/01/blog-post_1130.html

nightraidcmc.jpg

这是咩?
这是高清晰数字电视广播录制后的图像进行FFT之后的结果。

能干啥?
  • 区分原生高清晰制作与upconv。
  • 判别upconv方式。
  • 判别画面精细程度与噪声的倾向。


看图入门
主要通过中央明亮部分的分布进行判断。
  • 明亮部分越大,图像分辨率越高,图像越精细。
  • 横向分辨率越高,明亮部分左右分布越大。
  • 纵向分辨率越高,明亮部分上下分布越大。
  • 越接近圆形,线条周围噪声越少。
  • 越接近四边形,噪声越大,但同时图像显得锐利。
  • 频谱分布形状会根据所选样本画面的内容而变化,因此频谱的形状并不是判断画质的最重要因素,应当根据分布的大小来判断画质。


要注意(特指看あに瓶里贴的图)
4:3动画的频谱图都是左右加上黑边,以模拟在16:9电视上观看的效果。因此比一般16:9的动画看起来横向会比较长。

关于分类
一般来说upconv的动画频率分布界限很明显,白色部分周围可以清晰地看到轮廓,可以用来判别是upconv还是原生HD。但也可能出现较难判断的情况。
此外,由于不同upconv方法会在频谱上留下很各自具有标志性的特征,因此可以通过频谱的分布判断upconv的方式,但其实不用通过频谱、直接通过画面本身就可以判断出来。

系列文章目录:
文章分别在1楼、10楼、26楼。
发表于 2010-1-6 22:41 | 显示全部楼层
大虾塞狗!
发表于 2010-1-6 23:00 | 显示全部楼层
其实大多数时候用眼睛能观察出来,不过JC.STAFF的片子即使是HD制作的线条也很模糊,给人的感觉都很像UPCONV的....TV上发送的动画除非劣化了,否则不会有SD画面+HD字幕的情况(至少我没看过),因此看字幕也是个方法....
发表于 2010-1-7 07:57 | 显示全部楼层
顶大虾...
发表于 2010-1-7 10:59 | 显示全部楼层
大虾~
发表于 2010-1-12 00:25 | 显示全部楼层
拜大虾
发表于 2010-1-12 13:14 | 显示全部楼层
1 請問這個是Linear FFT 還是Log FFT ?
2 Sample Size 是1個Frame? 還是整段影片的Sum再Normalize?
3 能否說明不同Resizer對FFT的影響? (如Nearest Neighbour, Lanczos Resizer, Bicubic Resizer, Bilinear Resizer, Linear Resizer等)

謝謝~
 楼主| 发表于 2010-1-12 16:16 | 显示全部楼层
回复 7# sswroom
1.作者是用LAview这个软件做的FFT变换。具体方式我不清楚。
2.Sample Size 是1个Frame。
3.作者用的是Lanczos Resizer。

LAview210.zip (833.21 KB, 下载次数: 4030)
发表于 2010-1-14 01:17 | 显示全部楼层
回复 7# sswroom

1. 他的方法不知道,我在Matlab下实现的方法使用log坐标的。
2. 我觉得他的方法很可能是average sum,但是选取特定帧去观察的方法也并不无效,因为upconv不可能分段进行。
3. 这个问题不好一句话说清,这样说吧,每个resizer其实都是prefilter+resampler+postfilter,好坏的区分只在于prefilter和postfilter的设计上,NN属于不做prefilter的resizer;Lanczos属于sinc窗函数的resizer;bi系列和spline系列都属于样条差值的resizer;还有就是cosine窗函数的resizer。
而filter的作用,在频谱上=原频谱与filter的频谱相乘。resampler的作用,相当于将原频谱按照新的resampling之后的频率为周期展开。
考虑两个系统为级联,因此综合作用是以上两个作用的叠加。
 楼主| 发表于 2010-1-14 08:54 | 显示全部楼层
关于取样,作者在blog里面表示过选取样本单帧标准,这里正好翻译一下。
原文:http://anibin.blogspot.com/2008/08/blog-post_5180.html

具体标准是:
1.画面上没有文字的帧。画面上一直显示时间的节目,用黑色矩形盖掉时间显示。原则上不处理台标。
2.没有交错的帧。但由于以场为单位进行upconv造成的缟缟不视作交错。
3.画面动态较少,由于MPEG2压缩造成的劣化极少。
4.虚华处理不很明显的帧。
5.画面中同时存在背景和人物。

图像加工方法:
1.获得1920×1080的视频。如果不是1920×1080(如1440×1080、带黑边的视频),则用lanczosresize扩大到1920×1080。
2.将图像下方加上1920x840的黑边,使图像变成1920×1920的正方形图像后,用下列软件进行处理:
LAview Version #1.77 Copyrught (c) 2003 Hisasi -M
处理后,得到1920×1920的FFT图像。
但是这时的图像太大,辨别起来有难度,所以:
3.加2.0的gamma修正,让画面变量。
4.将画面缩小到960×960。
发表于 2010-1-14 21:13 | 显示全部楼层
昨天截了一晚上的图实验了下,还是不太懂,采样该如何选择昨天就想问了,想请教一下:

1)怎么根据白色部份分布的大小来判断图像原来的分辨率大小,白色部份分布的大小范围对于渐变的部份是算进去呢还是不算,可不可以实例讲解下该怎么选取范围呢?

2)关于频谱,这个能不能做假?就是可不可能通过处理,能让upconv后的图像频谱看起来和原生的差不多?
发表于 2010-1-14 21:20 | 显示全部楼层
引用某博客回复
片源的纵向分辨率(高),可以看成数字信号沿纵向的采样率,那么nyquist采样定律就同样可以应用与这个方向。
如果在某个纵向分辨率,出现了aliasing(也就是频谱中高频部分出现了低频部分渗透入的分量),那么就可以认为当前纵向分辨率无法无法恢复原始信号,亦即原始信号的纵向分辨率是一个更低的值。
根据nyquist采用定律,也可以大致估算出理论上这个频谱对应的最大允许纵向分辨率(比如上图大致在上半部分60%的位置),destripe就是据此判断出恢复原信号的纵向分辨率的。
 楼主| 发表于 2010-1-14 22:04 | 显示全部楼层
回复 11# ffgg
我来回答您的第二个问题。
答案是可以做假。我和diseac设计过一个实验,大致可以用480p的DVD Source模拟出540~720左右的频谱,根据源的质量和具体使用的方法,甚至可以模拟出超过720的频谱,不过速度代价比较大。具体思路请参考这个帖子:
http://www.nmm-hd.org/bbs/viewth ... p;fromuid=2#pid4954
发表于 2010-1-15 00:46 | 显示全部楼层
用法懂了,可是原理不懂……

话说,音频重采样也能看频谱来识别吗?
发表于 2010-1-15 03:16 | 显示全部楼层
回复 13# dgwxx


    “可以作假”这种说法,只是因为我们并不知道源大致的频率范围,我这里说的频率,是指画面上所有细节的频率范围。所以其实anibin包括我们模拟去做的一切频谱的分析都是含有些假设,以及经验的成分在内的。但我想说的是,一切upconv的行为,无论做的多么真,也只是在因为条件受限情况下,利用了我们经验的死角“做出来”的东西,这点是无法变化的。比如可以做两个分辨率不同(height不同)由黑白间隔条纹构成的图像(视频),黑与黑之间的周期为1个像素,那么很显然这个图像的在纵向上的(数字)频率就是1/height。对这个东西做FFT得到频谱,然后再想办法upconv其中一个,拿upconv后的和原生的比较,我觉得立马就会发现差别的,而且这个差别还不小。
发表于 2010-1-15 03:36 | 显示全部楼层
我们并不知道源大致的频率范围,我这里说的频率,是指画面上所有细节的频率范围。
akiduki 发表于 2010-1-15 03:16

说的太对了

我的理解,拿音频来说,就算是钢琴独奏,频谱图也会达到22050的满格频率,哪怕只是微弱的噪声。
所以1楼那张图,四角纯黑,就基本可以认定是upconv上来的了,而最难判断的是那种“在整张频谱图上都多多少少有一点”的图……
发表于 2010-1-15 06:52 | 显示全部楼层
在整张频谱图上都多多少少有一点

这个太好做了 upconv完加个高斯白噪声什么都有了
 楼主| 发表于 2010-1-15 08:31 | 显示全部楼层
回复 16# diseac
1楼的图,あに瓶说是HV1280型的。

我在13楼链接的那个帖子里说了,用DVD来upconv的行为都是徒劳的-v-没意义。当然,对电视台来说还是有意义的-_,-
发表于 2010-1-15 16:29 | 显示全部楼层
本帖最后由 ffgg 于 2010-1-16 15:52 编辑

感谢264768502的引用和dgwxx的解答,现在看到某某定理,就觉得神圣无法靠近。==。

太高深的知识我不明白,只是根据自己前天和昨天的截图来逆猜测:保持截图分辨率做FFT,我觉得频谱中间白色部份分布的大小,其实就代表了该图原来分辨率的大小。
所以我之前的想法是:把中间白色部分的范围框选出来,也就得到了图像原来分辨率的大概范围。
当然,这只是我的想当然,而且这个框选的范围我也说不好。

通过频谱,判断是否upconv比较简单(不做假的话),但如果想要判断图像原来的橫向或者纵向分辨率是128x,还是121x;是48x,还是40x,这样精确到十位,可以做到吗?我自己觉得很难,就算要精确到百位也不容易。

感谢sswroom,
自己目前是无法分辨,如果能有对比图的话,应该能够理解,先记下,希望自己哪天也能有个“蓦然回首”的时候。
发表于 2010-1-15 17:59 | 显示全部楼层
看來應該是Linear的FFT。

>>关于频谱,这个能不能做假?就是可不可能通过处理,能让upconv后的图像频谱看起来和原生的差不多?
-原本的頻率的分佈由0Hz 至 640Hz, 放大成0Hz 至 960Hz, 中間一定會有部分的頻率強度偏低, 這個才是正常現象。
您需要登录后才可以回帖 登录 | 成为会员

本版积分规则

小黑屋|手机版|NMM视频技术

GMT+8, 2019-6-27 20:36 , Processed in 0.051945 second(s), 17 queries .

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表