受显微镜下线虫启发, MIT人工智能实验室推出「液态」神经网络

百家 作者:新智元 2021-02-03 19:37:21



  新智元报道 

来源:外媒

编辑:keyu

【新智元导读】近日,MIT计算机科学和人工智能实验室(CSAIL)的团队推出了「液态」神经网络,除在训练过程之外,还可以在实践过程中学习,能随着新的数据输入而不断更新模型方程,很好的适应了现实生活的可变性。有趣的是,这个灵感是从对显微镜下线虫的神经元的观察中得来的。


「液态」神经网络?

 

这是什么何方神圣?


我猜,这大概率是你第一次听到这个词汇,你一定会好奇,这种「耸人听闻」的神经网络到底是怎么一回事。


近日,麻省理工学院的研究人员已经开发出一种神经网络,除了在训练阶段进行学习之外,它还能在实践过程中学习。

 

这些被称为「液态」网络的灵活算法,可以为适应新的数据输入而不断改变自身的基本方程。

我们知道,有些数据流会随着时间的推移而变化,比如涉及医疗诊断和自动驾驶的数据流。而这一进展,就正可以帮助基于这些数据流的决策过程。

 

因此,此类新型神经网络可以在自动驾驶和医疗诊断中辅助决策

 

该研究的主要作者拉明·哈萨尼(Ramin Hasani)表示:

 这是朝向未来机器人控制、自然语言处理、视频处理等任何形式的时间序列数据处理前进的一大步,有着非常巨大的潜力

 

这项研究,将在2月份的AAAI人工智能会议上公布。

 

除了麻省理工学院计算机科学和人工智能实验室(CSAIL)的博士后哈萨尼(Hasani),在MIT的共同作者还包括CSAIL主任丹妮拉·罗斯(Daniela Rus)、电气工程和计算机科学的安德鲁( Andrew )和埃尔纳·维特比( Erna Viterbi )教授,以及博士生亚历山大·阿米尼(Alexander Amini)。

 

其他共同作者还包括奥地利科学技术研究所的马赛厄斯·莱希纳( Mathias Lechner)和维也纳理工大学的拉杜·格鲁(Radu Grosu)。



参数随时间可变,显微镜线虫成灵感来源


哈萨尼表示,时间序列数据无处不在,是帮助我们了解世界的重要参考。

 

「现实世界完全由序列组成。即使是我们的感知,也是如此:你不是在感知图像,你是在感知一系列图像」

 

所以,实际上,时间序列数据创造了现实


他指出,视频处理、金融数据和医疗诊断应用都是对社会至关重要的时间序列的例子,这些不断变化的数据流的变迁是不可预测的。而实时对这些数据进行分析并利用它们预测未来的行为,可以推动自动驾驶汽车等新兴技术的发展。

 

因此,哈萨尼就创建了一个适合这类任务的算法。 他设计了一个可以适应现实世界可变性的神经网络。

众所周知,神经网络是一种通过分析训练数据来识别模式的算法,人们常说,它能模拟大脑的处理过程。

 

哈萨尼则是直接从显微镜下的线虫C. elegans中获得了灵感

「它的神经系统只有302个神经元,但它可以产生出乎意料的复杂动态」


对线虫神经元是如何通过电脉冲得到激活并相互交流的仔细研究下,哈萨尼对他创建的神经网络进行了编码。

 

在他用来构建神经网络的方程中,他允许参数依据一套微分方程的结果,随时间变化。

 

这种灵活性,正是关键——大多数神经网络的行为在训练阶段之后是固定的,这意味着它们并不善于适应传入数据流的变化。

 

哈萨尼表示,他创建的的「液态」网络的流动性,使其对意外或噪声数据更有弹性——比如大雨遮挡了自动驾驶汽车上的摄像头的视野。


「因此,它更有活力」,他说。 

 

他补充说,网络的灵活性还有另一个优势:「它更易于理解

 

哈萨尼说,他的「液态」网络避开了其他神经网络常见的不可思议之处:

 

「只是使用微分方程改变一个神经元的表现形式,你就可以探索某种程度的复杂性,否则,你将永远无法实现探索」

 

得益于这款神经网络中为数不多却具有很强表达性的神经元,观察神经网络做决策的过程以及判断网络分类的原因变得更加容易。

 

哈萨尼说:「这个模型具有更加丰富的表达能力」,因此,这个特性可以帮助工程师更好的理解和改进液态网络的性能。 


预测精确,小尺寸省下大量计算成本


液态网络在一系列测试中表现都非常出色:

 

从大气化学跨越到交通模式的应用上,模型在精确预测数据集未来值方面,比其他最先进的时间序列算法高出好几个百分点


哈萨尼表示:「在许多应用中,我们看到了可靠的高性能」

 

此外,由于该网络的尺寸很小,因此它在完成测试时无需花费高昂的计算成本

 

哈萨尼说:「每个人都在谈论扩展他们的网络。而我们希望的则是缩小规模,拥有更少但更丰富的节点」 

 

这项研究部分由波音公司、国家科学基金会、奥地利科学基金和欧洲领导电子元件和系统提供资助。 

 

哈萨尼的计划是,继续改进该系统,来为工业应用做好准备:

 

「受到自然现象的启发,我们有一个更有表现力的神经网络,但,这仅仅是个开始」

 

「接下来,我们要面临很明显的挑战:如何进一步发展它? 我们认为,这种网络可能成为未来智能系统的关键元素」

 


参考链接:

https://news.mit.edu/2021/machine-learning-adapts-0128




关注公众号:拾黑(shiheibook)了解更多

[广告]赞助链接:

四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

公众号 关注网络尖刀微信公众号
随时掌握互联网精彩
赞助链接