酷应用

Reddit高赞：机器学习领域「八宗罪」！同行评审变味，盲目崇拜盛行

百家作者：新智元 2020-07-03 14:44:58

新智元报道

来源：reddit

编辑：舒婷、白峰

【新智元导读】近日，Reddit社区一篇批判机器学习领域的文章引发了热议，获得了3.1k的赞。作者细数了机器学习领域存在的「八宗罪」，让科研人员对机器学习大环境有了新的思考。

越来越多的科研人员都选择进入机器学习这个领域。

科研人员进入领域时的初衷是「伟大」的：他们相信，机器学习能够真正的改善人们的生活。所以每年机器学习有关的顶会投稿数目几乎是成倍的增长，这些新的科研成果似乎真的能带来一个更好的未来。

Reddit社区一位作者却站出来说：「The machine learning community has a toxicity problem.」

他细数了机器学习领域的「八宗罪」，让科研人员对现行的机器学习大环境进行有了新的思考。这篇文章在Reddit收到了3.1k的赞。

细数机器学习「八宗罪」

一宗罪：同行评审过程被破坏了。

NeurIPS会议中接收的论文，每四篇就会有一篇被放在arXiv上。有些DeepMind 的研究人员公开追究那些批评他们 ICLR 投稿的评论者。虽然审稿人对这些知名机构的arXiv论文给出了拒绝的意见，但是最后仍然被一些顶会接收。

二宗罪：成果复现引发了危机。

在测试集中调整优化超参数似乎是现在的标准做法。但是，即便使用技巧让超参数得到了调优，性能是否真正提高是一件不置可否的事情。

三宗罪：崇拜主义问题。

和斯坦福，Google或DeepMind存在联系的每篇论文都会得到赞誉，BERT被引用的次数是ULMfit的七倍。ICML会议上，DeepMind海报吸引力远高于别的海报。此外，尽管NeurIPS 和ICML都是顶级ML会议，前者提交量是后者的两倍，或许仅仅是因为「神经」这个词语？

四宗罪：攻击和好斗。

前几日Yann LeCun谈论偏见和公平话题时的语气是直率的，但是攻击他的人的语气却是恶毒的，并且太多太多人选择攻击他而忽略了事件本身。人们或许没有意识到，逼迫LeCun离开推特其实没有解决任何问题。

五宗罪：逃避性别歧视和种族主义。

像其他的计算机科学学科一样，机器学习也存在着多样性问题。不可否认的，在我们的CS系中，只有30％的本科生和15％的教授是女性。在博士学位或博士后休育儿假通常意味着学术生涯的结束。领域中的研究者选择逃避来掩饰自己对种族主义或性别歧视的害怕，但是却让这个问题更严峻。

六宗罪：道德和伦理是任意设定的。

美国国内政治主导着所有讨论，包括学术界的。计算机视觉算法的数据集几乎不涉及超10亿人口的非洲人，但没人在乎。每个人都会在研究最后说「有更深远的影响」，但是这样的影响往往限定在特定人群内。

七宗罪：机械性的论文发表。

研究只是为了发表，撰写论文的唯一目的已经变成在简历中增加一行文字。论文质量？那是次要的，重点是通过同行评审。研究小组的人数多到导师不一定能知道每个博士生的名字，每年向NeurIPS提交50篇以上的论文已经成为某些研究人员的常态。

八宗罪：语言文明在讨论中是不存在的。

Schmidhuber称Hinton为小偷，Gebru称LeCun为白人至上主义者，Anandkumar称Marcus为性别主义者。研究人员很容易受到攻击，被套上「侮辱性」的帽子，但这甚至和研究本身无关。

「八宗罪」惹争议，网友为机器学习「辩驳」

「盲目崇拜确实存在，但我想提出另一个假设，说明Google / DeepMind 的论文为何受到更多关注：信任」。

每天都会有大量新发表的论文，所以不可能全部读完。使用作者进行过滤是我常用的方法，尽管有偏见，但是很有效。不是说DeepMind的研究人员比其他人更有才华，但他们承担更多的风险。

DeepMind发表的论文通常是有效的，如果论文灌水或者不可复现，那将对整个公司产生不良影响，因此，这些组织发表的论文很可能在发布之前就经过了更严格的「质量控制」流程和内部同行评审。

我自己对此感到内疚，因为我定期阅读的是arXiv提交的新文章的「标题」。

当我看到一些有趣的东西时，我会先看作者，如果是DeepMind / Google / OpenAI / etc，我会仔细看一下。如果是一群我从未听说过的人，我就会翻篇。为什么？因为在我看来，后一组作者更有可能「编造东西」，而且他们的错误没有被注意到，因为他们没有像DeepMind论文那样经历相同的内部质量控制，我更有可能收到错的信息。这与我崇拜DeepMind无关，由于他们的工作方式让我更信任。

这样做错了吗？也许确实有偏见，我们应该更多关注内容本身，但是有时论文太多了，谁也不想浪费时间。

也有人反驳这种偷懒的行为。「我就能不看作者，快速读完一堆论文」。好吧，一目十行君真的有。