头像
galaxy
帖子: 7
注册时间: 2013-03-28 19:29

[新闻]waifu2x算法用于降噪与放大的提议

今天看到一个基于NN的降噪算法,代码在 https://github.com/nagadomi/waifu2x 作者的实现依赖cuDNN。
看效果针对卡通图案的效果很好。图中右下角SRCNN就是它。
未标题-1.png
据说是只处理Y的。

想到以前常有人说脑补是最好的方法,现在用AI脑补的算法来了,有人感兴趣看看能否出个VapourSynth插件么?
头像
猫耳幽香
帖子: 22
注册时间: 2014-12-22 12:24

Re: [新闻]waifu2x算法用于降噪与放大的提议

提一下我说下面一句话的背景:这个插件可以用于upconv。
昨天其实在喵窝的群里也出现过这东西,后来试验了一下,降噪感觉还行,不过如果是upconv的话,如果图片稍微偏一点三次元这图就扭曲地很厉害。
总而言之拿一张二次元的图上来吧:
Orignal:
图片
2xupscale+low denoise:
图片
2xupscale+high denoise:
图片
有种SharpAAMCmod的感觉有木有
mawen1250的签名档里有好多教程 | 带2+5.1ch声道ts的处理方法 | AssumeFPS、ChangeFPS、ConvertFPS的区别 | 关于音频抽出却延迟不同的一些疑问(未解决)
一些常用的文档和工具:(大多收录非记载在nmm论坛的内容)
H.264Level计算器 | x264参数介绍(中文翻译可以戳这里,但是不全) | x265参数介绍 | BillyTC下载链接修复
► 显示剧情透露 致那些“我看不懂”的人
► 显示剧情透露 我不懂为啥有人说HEVC慢Orz
► 显示剧情透露 鸠子的愤怒:我不明白
► 显示剧情透露 芳乃琴里樱这名字太长了,叫我琴乃多好。
头像
mawen1250
核心会员
核心会员
帖子: 670
注册时间: 2011-07-24 20:33

Re: [新闻]waifu2x算法用于降噪与放大的提议

AI什么的,nnedi3就是neural network edge directed interpolation。
至于降噪算法,我最近在VapourSynth上实现了BM3D和V-BM3D,欢迎测试。
(BM3D是从2007年提出开始到现在几乎就没被超越的Image denoising算法——最近可能是有效果更好的算法提出来了,不过那复杂度……BM3D已经够慢了,那些大概还要再超越一两个数量级)
上次由 mawen1250 在 2015-05-25 1:18,总共编辑 2 次。
头像
mawen1250
核心会员
核心会员
帖子: 670
注册时间: 2011-07-24 20:33

Re: [新闻]waifu2x算法用于降噪与放大的提议

像这个nn算法的特点是同时结合了降噪和放大,相当于利用nn的学习特性同时完成多项预测任务。
而BM3D所利用的Block matching和3D Collaborative filter,是利用了图像像素的邻域的信息关联(二维),以及图像各个patch(例如block)之间的相似(第三维),构成3D的冗余空间,来进行降噪的。利用这种图像空间的信息冗余来进行estimate的思路,BM3D同样也被扩展到可以用于图像放大、图像锐化、de-convolution之类的地方。
netsky123
帖子: 53
注册时间: 2015-01-26 14:18

Re: [新闻]waifu2x算法用于降噪与放大的提议

mawen1250 写了:http://forum.doom9.org/showthread.php?t=172197
有人弄了个avs滤镜
300*466 2x upscale耗时26.945s
netsky123
帖子: 53
注册时间: 2015-01-26 14:18

Re: [新闻]waifu2x算法用于降噪与放大的提议

mawen1250 写了:太吓人
现在又出了个waifu2x caffe版
github.com/lltcggie/waifu2x-caffe
同样的图片用cpu跑只要14.68s,gpu 1.77s,cuDNN 1.63s。
头像
vempx
管理猿
帖子: 146
注册时间: 2010-09-19 20:45

Re: [新闻]waifu2x算法用于降噪与放大的提议

试了一下waifu2x放大二次元图片,效果惊人,简直黑科技,就是速度太感人了……
在提问前还请仔细查阅公告帖以及各版置顶帖
相信置顶中也许会有您需要的内容


~My Blog~
头像
vempx
管理猿
帖子: 146
注册时间: 2010-09-19 20:45

Re: [新闻]waifu2x算法用于降噪与放大的提议

求把waifu2x-caffe+cuDNN给Vapoursynth化!
在提问前还请仔细查阅公告帖以及各版置顶帖
相信置顶中也许会有您需要的内容


~My Blog~

回到 “理论讨论 / Theoratical discussion”