我在A4纸上看宫崎骏动画

百家 作者:量子位 2021-04-11 18:26:59 阅读:355
杨净 发自 凹非寺
量子位 报道 | 公众号 QbitAI

随意弯曲、任意抖动,丝毫不影响我在纸上看《龙猫》。

这不是什么屏幕黑科技,而是AI合成的图像。

来自港中文-商汤联合实验室、浙江大学、英伟达的研究人员,用AI将图片视频投影到实时弯曲的纸面上,还更改图片的视角、光照条件。

AI可以在纸上放电影

那么具体是如何实现的呢?

简单来说,就是通过预测光流来替换视频中的图片。

以《星空》为例。

第一步,将这幅画打印在A4纸上,然后录制视频。在不同角度、光照、抖动情况下捕捉纸张,并从中提取帧。

第二步,也是最为关键的一步。

LIFE单独预测《星空》在视频画面中的流动,然后将其替换成其他的图片or视频。

这里的LIFE,是研究人员提出的弱监督框架,该框架只需要将整个图像的相机姿势变换作为弱监督。

用这一框架来训练神经网络,来估计图像对之间的不变光流。

通过运动结构(Structure-from-Motion,SfM)技术,可以很容易地估计出视角变化大、光照变化大的图像对之间的相机姿势。

稀疏对应关系通常是通过特征匹配和指定图像来建立的。

然鹅,在跨图像特征匹配时候,指定图像会出现一些差错,阻碍了下游任务的进行。

下面这两个样本,就有种蹦迪的赶脚~

而用LIFE来指导特征匹配,利用图像对中丰富的上下文信息来解决模糊匹配的问题。

就如圆圈中特征点,正是LIFE预测下找到与原图像最匹配的点。

最终,LIFE在各种场景下,都分优于目前最先进的光流估计方法。

来具体看下实现效果~

比如,随意弯曲。

以及在不同视角的变换。

即便是在黑暗的场景下,也能清晰的看到图像。

好的,又蹦迪了!

感兴趣的旁友可戳下方链接了解更多细节哟~

论文链接:
https://arxiv.org/abs/2104.03097
参考链接:
https://drinkingcoder.github.io/publication/life/


本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容,未经账号授权,禁止随意转载。

有奖问卷 | 智能汽车哪家强

你怎么看智能汽车呢?一个三分钟问卷,让我们看看现在智能汽车有多大的影响力了~ 填完问卷有抽现金红包的机会哦,据说中奖率还蛮高的~( • ̀ω•́ )✧

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见~


关注公众号:拾黑(shiheibook)了解更多

[广告]赞助链接:

四季很好,只要有你,文娱排行榜:http://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

图库
关注网络尖刀微信公众号
随时掌握互联网精彩
赞助链接