图片迟迟加载不了、一片马赛克?谷歌开源模型优先显示图像受关注部分

百家 作者:机器之心 2022-12-23 19:38:26

选自 Google AI

机器之心编译
编辑:袁铭怿
本文提出注意力中心模型,用于预测人眼在图像上首先注意到的位置,从而提高用户体验。

当观察一副图像时,你会先注意图像的哪些内容,或者说图像中的哪些区域会首先吸引你的注意力,机器能否学会人类的这种注意力形式。在来自谷歌的一项研究中,他们开源的注意力中心模型(attention center model)可以做到这一点。并且该模型可用于 JPEG XL 图像格式上。


举例来说,下图是注意力中心模型的一些预测示例,其中绿点为预测的图像的注意力中心点。


图像来自 Kodak 图像数据集:http://r0k.us/graphics/kodak/


注意力中心模型大小为 2MB,格式为 TensorFlow Lite。它以 RGB 图像作为输入,并输出一个 2D 点,该点是图像上的预测注意力中心点。


为了训练模型来预测注意力中心,首先需要一些来自注意力中心的真实数据。给定一张图像,一些注意力点可以通过眼动仪收集,或者通过鼠标点击图像来接近。该研究首先对这些注意点进行时间滤波,只保留最初的注意力点,然后应用空间滤波去除噪声。最后,计算剩余注意力点的中心作为真值注意力中心。下面显示了获取真值过程的示例说明图。


项目地址:https://github.com/google/attention-center


注意力中心模型架构


注意力中心模型是一个深度神经网络,以一张图像为输入,使用预训练分类网络如 ResNet、MobileNet 等作为骨干。从骨干网络输出的几个中间层被用作注意力中心预测模块的输入。这些不同的中间层包含不同的信息,例如,浅层通常包含较低层次的信息,如强度 / 颜色 / 纹理,而更深层次通常包含更高、更语义的信息,如形状 / 目标。


注意中心预测采用卷积、反卷积调整算子,并结合聚合和 sigmoid 函数,生成注意力中心的权重图。然后一个算子(在例子中是爱因斯坦求和算子)可用于从加权图中计算中心。预测注意力中心和真实注意力中心之间的 L2 范数作为训练损失。



此外 JPEG XL 是一种新的图像格式,允许用户在对图像编码时,确保有趣的部分率先显示。这样做的好处是,当用户在网上浏览图像时,图像中吸引人的部分可以率先显示出来,也就是用户首先看到的部分,在理想情况下,一旦用户看向图片其余地方时,图像的其他部分也已经就位并已解码。


在 JPEG XL 中,图像通常被划分为大小为 256 x 256 的矩阵, JPEG XL 编码器将在图像中选择一个起始组,然后围绕该组生成同心正方形。Chrome 浏览器从 107 版增加了对 JPEG XL 图像的渐进解码功能。目前,JPEG XL 还是一个实验性的产物,在 chrome://flags 中通过搜索 jxl 即可启用。


要想了解渐进式加载 JPEG XL 图像的效果,可以访问网址进行查看:https://google.github.io/attention-center/


原文链接:

https://opensource.googleblog.com/2022/12/open-sourcing-attention-center-model.html



© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:content@jiqizhixin.com

关注公众号:拾黑(shiheibook)了解更多

[广告]赞助链接:

四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

公众号 关注网络尖刀微信公众号
随时掌握互联网精彩
赞助链接