酷应用

Deadline逼死人？深度学习大佬Bengio吐槽几十年会议老规矩

百家作者：新智元 2020-03-08 06:51:30

新智元报道

来源：yoshuabengio.org

编辑：白峰

【新智元导读】Bengio博客更新了，在这篇博客中Bengio吐槽了下机器学习领域各大会议投稿的Deadline，接下来我们一起分享Bengio这篇博客。「新智元急聘主笔、编辑、运营经理、客户经理，添加HR微信（Dr-wly）或扫描文末二维码了解详情。」

作为 NeurIPS 顾问委员会和 ICLR 委员会的成员，Bengio 这些年来一直在参与这些学术会议的举办，之前曾多次参与会议委员会的讨论，以提高会议的水准和投稿体验，也制定了一些举措，但这些举措都是治标不治本，未能有效改善会议论文的质量。

“所以我一直在想，我们是否需要重新思考一下机器学习领域的论文发表流程。”

论文讲究时效性，你想了一个 idea，写了论文，但是有些会议或者期刊投稿是有收稿时限的，可能长达几个月才能完成评审过程，而 arXiv 则没有这些限制，随时都可以发表。一些研究者习惯先将其论文上传至 arXiv，再提交予专业的会议或者学术期刊。

“我的团队常在 NeurIPS、ICML 和 ICLR 上发表论文，此外也会在一些计算机视觉和自然语言处理的会议上发表论文，这意味着平均每两个月左右就要经历一轮追赶 Deadline 的体验。”

NeurIPS 是机器学习领域的顶级会议。投稿人数在同类会议中是最多的，吸引了机器学习几乎所有领域的研究人员，并在工业和其他计算领域具有很高的知名度。
ICML 和 NeurIPS 体量和知名度相近，也是关注基础计算理论方面的内容多一些。
ICLR 更专注深度学习方面的研究内容，大多数 ICLR 的论文都在研究深度学习领域的数据表征。

论文增长速度超摩尔定律

机器学习领域的规模正在呈指数型增长，竞争氛围更强烈，节奏更快，如今一个博士生在毕业前发表的论文数量，比二三十年前的博士生多了一半不止，攀比论文数量之风盛行。在 Deadline 的追赶下，许多论文是内容没有经过充分的论证就提交了，可见在现行的机制下，既有时间在催促，又有数量在压迫，因此研究者很难产出高质量的内容。

谷歌著名计算机科学家 Jeff Dean 去年曾在推特上分享了最近 AI 论文发表数量的趋势。arXiv 上关于机器学习的学术论文每 18 个月增加一倍，大有赶超摩尔定律的趋势。

Bengio 谏言论文投稿设置软截止

Bengio 也和 NeurIPS 委员会讨论了目前各大会议存在的弊端：

缺乏审稿激励，使一些优秀的审稿人不能充分参与其中；
鼓励增量工作，研究者会过于重视数量；
各个会议内容重合度太高（尤其是 NeurIPS、ICML 和 ICLR），所以很多研究者会一稿多投，审稿消耗大量的社区资源；
推荐首先将论文提交给一个快速流转的期刊（比如 JMLR、arXiv），然后让各个大会的程序委员会从中选取论文，使该领域的研究者能够同步共享这些信息；
用一个隐式的软截止时间（implicit soft deadline）来替代 Deadline，研究者就会有动力继续改进自己的工作，直到这项工作被打磨得更好。

科学无止境但需要时间思考

“我认为，有价值的、重要的研究进展是需要一个过程的，需要一些时间去深入思考，需要后退一步去小心地求证。压力会对科研的质量造成负面影响，因此，是时候思考慢科学（Slow Science）了。”

慢科学宣言（节选）

“Science needs time to think. Science needs time to read, and time to fail. Science does not always know what it might be at right now. Science develops unsteadily, with jerky moves and unpredictable leaps forward—at the same time, however, it creeps about on a very slow time scale, for which there must be room and to which justice must be done.”

-Bear with us, while we think.

科学需要时间去思考，也需要时间去阅读，更需要时间去尝试失败。科学并不能立马知道它可能的走向。科学的发展是不稳定的，缓慢向前和不可预知的飞跃并存，然而，它在一个非常缓慢的时间尺度上缓慢地前进，对于这个尺度必须要给予它合理的空间。

- 请给我们空间，当我们思考的时候

原文地址：

https://yoshuabengio.org/2020/02/26/time-to-rethink-the-publication-process-in-machine-learning/