神经拟态视觉传感器来了!手机和车都能用,李开复雷军纷纷投资

百家 作者:量子位 2021-07-08 21:48:10 阅读:536
博雯 发自 凹非寺
量子位 报道 | 公众号 QbitAI

机器会怎样来看世界?

通过

传统的图像传感器会通过每秒捕获多张静止图像来记录场景运动。

如果将这一系列图像通过足够快的速度连续展示,人类视觉就能产生“这是连续运动”的错觉。

但对于计算机来说,无论是多快的速率,帧与帧之间总会丢失某些运动信息。

那么,有没有办法让机器连续地“看”到运动场景或事件呢?

今天就来看看普诺飞思(Prophesee)公司给出的“神经拟态机器眼”

来自人眼的启发

要了解这个“机器眼”,首先得看看它模仿的源头:

人眼。

我们是如何通过人眼来看世界的呢?

当眼睛中的视觉细胞感测到场景变化——即发生了某个事件时,它就会将相关信息通过视神经传到大脑皮层。

而收集到的数据也是持续的,是以事件为基础的。

因此,普诺飞思的研究者们以人眼为启发,提出了基于事件的视觉感知技术。

和传统图像传感器不同,在基于这种技术的传感器中,每个像素都是异步独立的。

因此,图像信息并不是逐帧发送,而是通过连续的信息流捕获事件运动:

而如果从事件的角度来考虑,静止和场景并不会带来新的信息。

因此,这种技术也就不关注完全静止的场景:

只有场景中发生某个事件,产生了变化时,传感器才会产生输出:

如果是以帧为单位来获取这种图像信息的变化,那得一张一张固定频率发送,然后一个像素一个像素的比较。

而现在,只关注动态变化,也就剔除了很多冗余信息,减少了处理数据量。

这不仅加快了处理速度,也意味着对算力要求的减弱,成本也就随之降低。

普诺飞思的CEO兼创始人Luca Verre对此表示:

这是来自自然界的完美的解决方案。

现在,普诺飞思已将这种基于事件的视觉技术集成到已有系统中,量产了世界上首个基于事件的视觉传感器

并且随着更新换代,传感器的性能越来越好,尺寸也越来越小了。

更清晰的拍照,更准确的驾驶

更小,也就意味着离我们的日常生活更近。

比如手机拍摄

如果在按下快门的几毫秒内被拍对象恰好发生了移动,那么图像的一个点就会变成一条线。

这也就是我们在拍摄很多动态物体时常常产生模糊的原因。

但现在用基于事件的视觉技术,就能够在按快门的这段时间内一直观测这一点的移动,知道它的移动轨迹,再将这条线恢复成点。

可以看到,采用基于事件的视觉技术的右图明显比左图要清晰很多。

此外,这一技术也能提供更大的动态范围,让每一个像素都能按照不同的曝光值来曝光。

这样,即使在非常严苛的光线情景(如室内或夜景)下,拍摄图像也不会得到很大的损失。

然后就是提供更精准的座舱监控技术

可以看到,这一监控能够追踪驾驶员的目光方向

不仅如此,连眨眼速度也能监控,这可是传统的监控解决方案做不到的。

这就是普诺飞思联合Xperi开发的全球首个基于神经拟态视觉系统的驾驶员监控解决方案。

还有基于事件的高级驾驶辅助系统,增强了现有的雷达、激光雷达和摄像头系统,能够更快速、准确地理解周围的环境。

通过细胞实时无菌检测实现的下一代细胞疗法,用于减少医疗制品的生产成本:

也有失明患者借助将基因疗法、光刺激医疗设备、以及普诺飞思传感器结合起来的光遗传疗法恢复了部分视力。

除此之外,工业上也有这种传感器的应用:

比如对于一些不能直接接触的大型机械(如高压环境)可以做非接触性的振动检测。

在焊接上也可以做到引导和质检。

这是怎样的一个公司

普诺飞思(Prophesee)是一个7年前在巴黎创立的公司。

这家科技公司致力于神经拟态视觉系统的研发,其基于事件的视觉传感器已应用在摄影、自动驾驶、工业自动化、医疗等多个领域。

公司CEO兼联合创始人Luca Verre拥有米兰理工大学和巴黎中央理工学院的物理学、电子和工业工程双硕士学位。

还曾任丰田汽车公司和Altis半导体公司的工程师。

在7月6日这场发布会上,普诺飞思宣布C轮融资,由创新工场领投、小米及上海韦豪创芯跟投,数家老股东加码。

这也是今年继DeepMind之后,又一家能走进中国视野的欧洲AI创业公司。

创新工场董事长兼CEO李开复博士表示:

普诺飞思在神经拟态视觉领域的先进技术,将为AI和机器视觉技术的发展开创更多的可能性与机会,帮助更多行业实现自动化、安全以及效率方面的提升。


普诺飞思官网:
https://www.prophesee.ai/


本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容,未经账号授权,禁止随意转载。

英伟达NLP公开课 | 免费报名

7.14晚8点,英伟达专家将通过理论讲解与代码演示,分享如何使用NeMo快速实现NLP中的信息抽取任务。快来扫码报名吧~



点这里

关注公众号:拾黑(shiheibook)了解更多

[广告]赞助链接:

四季很好,只要有你,文娱排行榜:http://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

图库