客服QQ:872490018 服务时间:9:00-21:00

2018 ACM博士论文奖公布:伯克利博士获奖,清华姚班马腾宇荣誉提名

机器之心报道

参与:路、李亚洲

今日,2018 ACM 最佳博士论文奖公布,UC 伯克利博士生 Chelsea Finn 凭借论文《Learning to Learn with Gradients》荣获此奖。来自微软的 Ryan Beckett、本科毕业于清华姚班的马腾宇获得荣誉提名。

今日,ACM 公布最佳博士论文奖,来自 UC 伯克利的博士生 Chelsea Finn 凭借论文《Learning to Learn with Gradients》摘得桂冠。这篇论文介绍了一种基于梯度的新型元学习算法,帮助深度网络基于小型数据集解决新任务,该算法可用于计算机视觉、强化学习和机器人学等领域。

Chelsea Finn 也在社交平台上表达了自己获奖后的心情:

2018 ACM博士论文奖公布:伯克利博士获奖,清华姚班马腾宇荣誉提名-爱尖刀

「很荣幸可以获得今年的 ACM 最佳博士论文奖。感谢我的导师和同事在我博士期间给予的支持和友谊,尤其是导师 Sergey Levine(UC 伯克利助理教授)和 Pieter Abbeel(UC 伯克利教授)。

2018 ACM 最佳博士论文

深度学习改变了人工智能领域,给语音识别、计算机视觉和机器人学带来了显著进步。但是,深度学习方法需要大量数据,而这在医疗成像、机器人学等领域中并不容易获取。

元学习是目前机器学习领域一个令人振奋的研究趋势,它解决的是学习如何学习的问题,允许机器基于少量数据学习。元学习算法使用之前的数据学习如何快速适应新任务,从而「学习如何学习」。

但是,元学习方面最初的一些研究聚焦于设计复杂的神经网络架构。Chelsea Finn 在这篇博士论文中,介绍了一类新方法 —— 与模型无关的元学习(model-agnostic meta-learning,MAML),该方法使计算机科学家免除了手动设计复杂架构的工作。

BAIR 在 2017 年 7 月发布的一篇博客中介绍了 MAML 方法,参见:与模型无关的元学习,UC Berkeley 提出一种可推广到各类任务的元学习方法,相关论文《Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks》被 ICML 2017 接收

ACM 在获奖通知中表示:「MAML 方法在该领域产生了巨大影响,并在强化学习、计算机视觉以及机器学习的其他领域中得到了广泛应用。」

获奖论文《Learning to Learn with Gradients》全文链接:https://www2.eecs.berkeley.edu/Pubs/TechRpts/2018/EECS-2018-105.pdf

为了研究「学习如何学习」这个问题,这篇论文首先对元学习问题及其术语、元学习算法的特性给出了清晰正式的定义。然后基于这些基础定义,展示了一种新方法 —— 与模型无关的元学习(MAML),该方法能够将基于梯度的优化潜入到学习器中。

与之前的元学习方法不同,该方法聚焦于获取可迁移表征,而不是好的学习规则。由于 MAML 方法学得的表征能够控制更新规则,因此该方法既继承了使用固定优化作为学习规则的优秀特性,同时还保留了完整的表达性(full expressivity)。

像其他元学习方法一样,MAML 需要在各种任务上进行训练。该方法需要学习训练一种可以很快适应新任务的方法,并且适应过程还只需要少量的梯度迭代步。元学习器希望寻求一个初始化,它不仅能适应多个问题,同时适应的过程还能做到快速(少量梯度迭代步)和高效(少量样本)。

这种方法十分简单,并且有很多优点。MAML 方法并不会对模型的形式作出任何假设。它十分高效,因为其没有为元学习引入其他参数,并且学习器的策略使用的是已知的优化过程(如梯度下降等)而不是从头开始构建一个。所以,该方法可以应用于许多领域,包括分类、回归和强化学习等。

下图展示了 MAML 方法的可视化图,即寻找一组具有高度适应性的参数 θ 的过程。在元学习(黑色粗线)过程中,MAML 优化了一组参数,因此当我们对特定任务 i(灰线)进行梯度迭代时,参数将更接近任务 i 的最优参数 φ_i。

2018 ACM博士论文奖公布:伯克利博士获奖,清华姚班马腾宇荣誉提名-爱尖刀

MAML 方法图示。

该论文还展示了,通过将元学习元素和基于深度模型的强化学习、模拟学习和逆强化学习相结合,该方法可扩展至动作控制(motor control)应用。从而构建适应动态环境的模拟智能体,使得真实的机器人能够通过观看人类视频学习如何控制新物体,人类仅需几张图像即可向机器人传达目标。论文最后讨论了元学习的开放性问题和未来方向,指出现有方法的关键缺陷以及限制性假设。

Chelsea Finn 其人

2018 ACM博士论文奖公布:伯克利博士获奖,清华姚班马腾宇荣誉提名-爱尖刀

Chelsea Finn 年纪轻轻就已成为机器人学习领域最知名的专家之一。她开发了很多教机器人控制和操纵物体的高效方法。例如,她在这篇获奖论文中使用 MAML 方法教机器人抓取和放置物体技能,该过程中仅仅用了一个人类演示视频中的原始像素。

Finn 现任谷歌大脑研究科学家,并在 BAIR 实验室进行博士后研究。2019 年秋,她将成为斯坦福大学全职助理教授。Finn 在加州大学伯克利分校获得电气工程与计算机科学博士学位,在 MIT 取得电气工程与计算机科学学士学位。

Chelsea Finn 有多篇论文发表在 ICML、ICLR、NeurIPS、ICRA、RSS、CoRL 等多个学术会议上,并在多个学术会议及 workshop 上进行受邀演讲。

Chelsea Finn 个人主页:https://people.eecs.berkeley.edu/~cbfinn/

2018 ACM 最佳博士论文荣誉提名奖

2018 ACM 最佳博士论文荣誉提名奖颁给了 Ryan Beckett 和马腾宇,他们都博士毕业于普林斯顿大学计算机科学系。

Ryan Beckett 在博士论文《Network Control Plane Synthesis and Verification》中提出了一种创建、验证网络控制平面配置的通用、高效算法。计算机网络连接着这个世界重要基础设施的关键组件。一旦网络配置出错,人类高度依赖的系统就会崩溃,出现飞机坠毁、银行崩溃等情况。Beckett 的博士论文介绍了一种全新的原则、算法与工具,能够大幅改善当前网络的可靠性。

2018 ACM博士论文奖公布:伯克利博士获奖,清华姚班马腾宇荣誉提名-爱尖刀

论文链接:http://www.rbeckett.org/files/thesis.pdf

目前,Beckett 是微软研究院移动与网络组(the mobility and networking group)的研究员。他在普林斯顿大学取得计算机科学硕士和博士学位,在美国弗吉尼亚大学取得计算机科学和数学两个学士学位。

马腾宇在博士论文「Non-convex Optimization for Machine Learning: Design, Analysis, and Understanding」中,提出了一种支持机器学习新趋势的全新理论。他提出的理论推进了对机器学习非凸优化算法收敛性的证明,概述了使用这种方法训练的机器学习模型的特性。

2018 ACM博士论文奖公布:伯克利博士获奖,清华姚班马腾宇荣誉提名-爱尖刀

论文链接:https://dataspace.princeton.edu/jspui/bitstream/88435/dsp01th83m199d/1/Ma_princeton_0181D_12361.pdf

在论文的第一部分,马腾宇首先研究了矩阵补全、稀疏编码、神经网络简化、学习线性动态系统等一系列问题,还构建了帮助设计可证明的准确、高效优化算法的条件。在第二部分,马腾宇展示了如何理解、解释使用非凸优化学得的自然语言嵌入模型。

现在,马腾宇是斯坦福大学计算机科学与统计学系助理教授,他博士毕业于普林斯顿大学计算机科学系。

值得一提的是,马腾宇本科毕业于清华姚班,曾获得 2007 年国际中学生数学奥赛银牌(与金牌差一分),2010 年获得美国普特南大学生数学竞赛第 8 名,2014 年获得理论计算机研究生 Simon 奖。

这些都是只能「仰望」的天才吧!

参考链接:https://awards.acm.org/about/2018-doctoral-dissertation

2018 ACM博士论文奖公布:伯克利博士获奖,清华姚班马腾宇荣誉提名-爱尖刀

本期 Interface 我们邀请到了拥有丰富一线开发经验的 NVIDIA 开发者社区经理暨高级讲师 Ken He,为我们介绍 CUDA 并行计算基础,点击阅读原文参与报名。


[广告]赞助链接:


选择AiDeep,让人工智能为你工作:http://www.aideep.com/

四季很好,只要有你,文娱排行榜:http://www.yaopaiming.com/

让资讯触达的更精准有趣:https://www.0xu.cn/

*文章为作者独立观点,不代表 爱尖刀 立场
本文由 机器之心 授权 爱尖刀 发表,并经 爱尖刀 编辑。转载此文章须经作者同意,并请附上出处( 爱尖刀 )及本页链接。原文链接 http://www.ijiandao.com/2b/baijia/262424.html
软文发布
相关文章
程序员最嗨的一刻 | 每日趣闻
程序员最嗨的一刻 | 每日趣闻
转行做程序员,你后悔了吗
转行做程序员,你后悔了吗
变天!用小程序月入21000笔!狂吸粉165万,这批程序员赚翻了!
变天!用小程序月入21000笔!狂吸粉165…
任正非:华为海思芯片不是“备胎”!
任正非:华为海思芯片不是“备胎”!
中年程序猿图鉴
中年程序猿图鉴
【推仔说新闻】格罗方德又双叒叕卖业务了
【推仔说新闻】格罗方德又双叒叕卖业务了
机器之心
almosthuman2014 作者
专业的人工智能媒体和产业服务平台
  • 文章

    2171

  • 评论

    0

关注网络尖刀微信公众号
随时掌握互联网精彩

广告赞助