酷应用

顶会竟然攀比起了拒稿率？UCB教授发文怒斥「挑刺式审稿」

百家作者：新智元 2022-08-27 20:57:51

新智元报道

编辑：David 好困

【新智元导读】这几年，计算机顶会的论文接收率连续走低，不到20%都快成家常便饭了，难道真是「接受率越低，会议越顶」？

与大多数学科不同，在计算机科学领域，会议论文的分量比期刊论文分量更重。

有趣的是，现在的CS顶会们，似乎对「接收率」有一种近乎偏执的追求。

好像这个数字越低，自己就越厉害一样。

举个例子：

IJCAI的接收率，在2019年突破20%大关，达到了17.9%。并在次年以12.6%的接收率，刷新了最低纪录。此后的两年，接收率有所回升，分别为13.9%和15%（大约）。

对此，来自加利福尼亚大学伯克利分校的Edward Lee教授，在发表于ACM SIGBED博客上的一篇文章中指出，这种「有毒的文化」已经开始在CS领域蔓延了。

拒稿率越高，会议就越顶？

越来越多的人觉得，拒稿率越高，接收率越低，会议就越顶。

很多时候，我们已经把「低接收率」作为评价会议质量的一个重要指标，有时甚至是首要标准。许多顶会现在都以10%级别的低接收率为荣。

虽然适当控制论文接收率，可以避免一些「江湖骗子」广撒网式的投稿泛滥，但从文化上讲，这种以「多拒稿为荣」的文化，实际上助长了一种互相攻击的氛围。PC的目标已经变成了破坏，而不是发展。

接收率这么低，真的合理吗？

我所服务的会议并没有吸引很多江湖骗子的投稿。被拒掉多数论文都是认真的努力，需要大量的背景工作，往往是由最有前途的年轻人做的。

仅仅从我最近担任的一个PC来看，有一些专家评审认为「写得很好......与会议主题高度相关的有趣主题」的论文，付出了「了不起的努力」，但最后还是被拒了。

因为目前的审稿机制实际上是挑刺式审稿，即找到拒稿的理由，而不是找接收的理由。有时一个审稿人的一条负面评价，论文就被拒了。

一个最常用的拒稿理由是「不够新颖」。

我们当然首先希望论文能够提供新信息，而不仅仅是过去研究的重复。但是，这个「新颖」的判定标准和使用方式有几个问题。

首先，我们中的许多人使用了实际已经过时的科学概念，即：把一个学科的进步视为新事实的增加。发文章的目的变成了将这些新事实「归档」，而不是用来启发、教育和告知社会。

在达尔文主张的进化过程中，大多数突变（新事物）都是有害的，不会在生态系统中持续存在。技术领域也是如此。大多数真正的新想法都是不好的，不会存活。那为什么要把追求「新意」作为最高目标？

恰恰相反，大多数好的想法在走向普及之前会被重新发明多次。需要反复强化，才能在文化中建立起来。而我们的审稿，却把它们扼杀掉了。

更糟的是，这种对「新颖」的追求，让我们几乎拒绝了所有的系统性论文，建立任何系统都需要整合大量的现有技术，而所有这些现有技术对审稿人来说都是熟悉的，并以「新颖不足」被拒掉。

对「新颖性」如此看重另一个原因是传统。过去，发表文章的成本很高，发表任何重复的东西，其代价就是要牺牲其他可发表的内容。但今天，发文章基本上是免费的。

另外，过去的知识学科规模小，共享一些业内公认的标准。现在的CS社区缺乏这样的普遍标准。有时候，在三名不熟悉现有技术的审稿人看来，一些论文是「有新意」的，实则不然。

强调新意的一个更站得住脚的理由是，审稿人不想浪费读者和参会者的时间，告诉他们已经知道的东西。然而，他们没意识到，对于大多数有新意的论文，他们甚至不想知道。想想看，如果我们接受有趣的论文而不是新颖的论文，现在的计算机学术会议会有多不一样。

第二个常用的拒稿理由是「显而易见」。

实际上，大多数好的想法在回想起来都是显而易见的，而我们在遇到这样的想法时，很难意识到刚刚已经学到了什么。我们的反应都是：「哦，是的，当然，的确如此」。却没有意识到一小时前，还根本没有想到这个点子。

我们偏爱深奥的、难以阅读的和晦涩的东西。如果一篇论文很容易读，就被认为是「显而易见」的，被接收的可能性很小。

另一个问题是内在的利益冲突，这种冲突一方面来自于低接收率，另一方面是因为许多审稿人和PC也要发论文，有其他额外的动机来拒掉手头审稿的论文，以提高他们自己论文被接受的机会。

双盲评审的一个重大缺陷是，审稿人掌握权力，但不用负责任。

如果你发过论文，肯定遇见过那些傲慢和错误的批评意见。但由于论文是提交给会议，而不是期刊，作者回应审稿人的机会是非常有限的。

有些会议在评审过程中有一个「申辩」（Rebuttal）阶段，但据我的经验，大部分情况下这只是个摆设，很少能起到什么实际作用。

这种审稿中的「拒绝文化」产生了严重的不利影响。这个领域里有前途的年轻人被拒绝了一次又一次。如果他们顽强地坚持下去，也许多年后可以熬出头。但很多人选择了放弃，离开学术界或完全转了行。这不能不说是个悲剧。

现在的审稿机制，向作者提倡的是固执和坚持，而不是质量，而且越来越严重。

在经历了多轮拒稿后，年轻的研究人员最终成为PC，他们自然会产生这样的想法：我当年遭过的罪，要让现在这些作者都受一遍。这倡导的到底是学术审稿，还是学术欺凌？

退一步讲，压低接收率，对于投稿泛滥的现象真的能遏制吗？

目前的学术界奉行的是「不发表就毁灭」的文化，所有人都以尽可能多发论文为目标，会议接收率低，怎么办？改，改完继续投。

但通常情况下，被拒的论文作者不会就此放弃。论文会被修改、重新提交，直到被接受。因此，PC成员被要求在几天内审查大量论文，以至于根本无法很好地完成任务。拒掉大部分的论文，只会导致下一群PC有更多的论文要审。

我们该怎么做？

文化很难改变。但我们可以共同努力，寻找那些有趣的、有指导意义的、有用的或对我们社区有影响的论文。我们当然应该只发表高质量的论文，但今天，我们拒绝了许多高质量的论文。

有些在审稿制度上的新思路可以缓解一些问题。包括在接受或拒绝论文时公开审稿人的名字；将每篇投稿、审稿和作者的rebuttal存档；将审稿意见和rebuttal与论文一起发表。

上面的最后一项意见，可以在不影响大会论文质量的情况下，允许一些有小缺陷的论文发表。而对论文中潜在缺陷的讨论，也可以作为论文内容的一部分。

如果你在PC上任职，你应该认为匿名的作者是你的同事、博士生和朋友，而不是陌生人。双盲评审过程消除了过去可能影响我们评审的自然偏见，包括根据性别拒绝或接受来自「更好」机构的倾向。但我们已经用全面的拒绝倾向取代了这些偏见。

另外，作为审稿人，应该更谨慎地使用「不够新颖」作为拒稿理由。几乎没有什么有价值的东西是真正新的，许多好的想法需要反复强化才能流行起来。让我们关注论文对社区的贡献，而不是对事实「归档」的贡献。

作者介绍

Edward A. Lee从1986就开始在加利福尼亚大学伯克利分校任教，现在是UCB研究生院的教授以及Robert S. Pepper电气工程和计算机科学（EECS）的荣誉教授。

Lee教授是IEEE的研究员，曾获得1997年Frederick Emmons Terman工程教育奖，2016年IEEE实时系统技术委员会（TCRTS）的杰出技术成就和领导奖，2018年伯克利奖，2019年IEEE网络物理系统技术委员会（TCCPS）技术成就奖，以及2022年欧洲设计与自动化协会（EDAA）成就奖。