酷应用

CVPR 2020评审结果放出，旷视南京研究院负责人浅谈学术论文rebuttal

百家作者：机器之心 2020-02-02 08:03:21

机器之心转载

作者：魏秀参

近日，CVPR 2020 论文 review 结果放出，一些读者们是不是开始为 rebuttal 做准备了？在此文章中，旷视南京研究院负责人魏秀参博士介绍了论文 rebuttal 那些事，相信能为读者们提供全新的洞见。

学术论文是发布自己或团队最新研究进展正式且最快捷的途径，也是和同行交流想法最方便、高效的方式。当同行评议（Peer review）作为学术成果正式发布的必经之路已运行 200 余年 [1] 时，用正确的姿势进行 review rebuttal 便成为提高论文录用机率甚至扭转乾坤的最后一搏。

本文从「What is peer review？」、「How to rebuttal?」及「Does rebuttal matter?」三部分来聊聊学术论文（主要针对人工智能领域会议和期刊）rebuttal 的那些事。

What is peer review？

要想写好 rebuttal，必然要先了解 peer review 是怎么一回事。

「Peer review」趣图（原图来自网络）。

Peer review 是一种学术成果审查程序，即作者的学术著作或 proposal 被同一领域的其他专家学者评审，并根据评审意见决定是否予以录用（Accept）和后续正式发表（Publish）。对于计算机学科特别是人工智能领域的学术会议和期刊，其均有相对成熟和流程化的同行评议（即审稿）机制。

会议审稿

对于会议审稿流程而言，由于会议论文往往有比较严格的截止日期（Deadline），作者们通常会根据这一时间来 rush 自己的 paper（关于论文写作的一些 tips 请戳笔者早年的《LaTeX 写作新手须知》），所谓「Deadline 就是第一生产力！」。待 deadline 一过，大会的程序委员会主席（Program Committee Chair 或 Program Chair）首先会剔除一批不符合会议投稿政策的论文，如：篇幅不合要求、一稿多投、未匿名、未注明 Conflict Domain 等，这些论文会直接作「Desk Reject」处理。处理之后的投稿（Submission）便为有效投稿。

这些稿件会由 PC Chair 根据一定规则（如 TPMS[2] 或 bidding[3]）分配给高级程序委员会委员（Senior PC，IJCAI/AAAI 一般是这个叫法）或领域主席（Area Chair，CVPR/ICCV/ECCV 一般用此称谓），这些人便是论文最终命运的判决者，也是在审稿最后时刻书写 meta review 的 meta reviewer——一般会由领域内颇有建树、有判断力的专家学者担任。而后，这些 meta reviewer 会继续分配稿件给到实际操刀审稿、给出具体审稿意见的审稿人（Reviewer）。

对于 CVPR/ICCV/ECCV 等 CV 领域会议，近几年每个 AC 负责的文章大约在 30-50 篇左右，而普通审稿人分配的稿件一般不超过 10 篇/人。以 CVPR 2019 为例，针对 5160 篇有效投稿，全球共召集了 132 位 AC 和 2887 位审稿人 [4]，一共提交了超过 15000 条审稿意见，做到了平均一篇文章至少 3 条，其中一篇文章甚至有 7 条审稿意见之多。

在 reviewer 各自独立提交审稿意见并经由 AC 检查质量之后，绝大多数会议会将首轮意见开放给作者（目前 Data Mining 领域的 KDD、ICDM 等仍保持不设 rebuttal 环节的传统），作者可根据意见内容进行 rebuttal 来更正审稿人理解的错误、解释/澄清审稿人的疑虑、提供更多方法和实验细节等信息。在收回作者 rebuttal 之后，同一篇文章的首轮意见、作者 rebuttal 信息均会开放给所有审稿人和责任 AC，进入 paper discussion 环节。

Discussion 时，AC 会主持每篇文章的讨论，每位审稿人根据其他审稿人意见和作者 rebuttal 会留言给其他审稿人。经过几天系统线上讨论，所有审稿人需更新自己最终意见。更新的意见以及整个讨论过程，再加上 AC 自己的判断会作为 AC 给予每篇论文生杀予夺的重要依据：若多数审稿人在 rebuttal 后提高了论文得分或保持 accept 认为可以接收，则文章有较大概率可被录用；若多数审稿人在 rebuttal 后降分或保持 reject，则这篇文章命运便岌岌可危。可以看到，rebuttal 在整个论文录用过程中起到了举足轻重的作用——优秀的 rebuttal 能力挽狂澜；无力的 rebuttal 则于事无补甚至会画蛇添足、过犹不及。

特别的，CV 领域的会议如 CVPR/ICCV/ECCV 等在 AC 给予最终决定时，有开线下 AC meeting 的传统，即在 paper discussion 之后会选在某个城市线下召集所有 AC 共同决定了投稿的最终命运。一般而言，一篇文章是否录用由三位（有时两位）没有 conflict domain 的 AC 共同决定，称作「AC Triplet」。到此，每篇会议论文最终结果（录用与否以及 oral、poster、spotlight）便盖棺定论，等待着 PC Chair 公布给如坐针毡的作者们。

期刊审稿

与会议论文相似，期刊论文也是由其他研究者进行同行评议之后决定是否予以录用。不过期刊审稿由于没有 deadline（期刊的 special issue 除外），通常不会在较短时间集中接收到的非常多稿件。一般而言，接收到的稿件会由期刊主编（Editor-in-Chief）分配给副主编（Associate Editor），之后副主编会聘请一些相关的研究者作为审稿人进行评审，有时副主编本身也会负责论文的评审意见和推荐等工作。而最终决定论文是否录用的仍然是期刊主编。

与会议论文不同的是，正是由于没有明确的 deadline，期刊审稿意见的「出炉」时间往往极不确定且普遍周期较长（3-8 个月不等），第一轮评审之后审稿人一般会给出如下四种推荐意见之一：1）接收（Accept）；2）接收但需要微幅修改（Accept with a minor revision）；3）接收但需要大幅修改（Accept with a major revision，有些期刊如 TNNLS 则称作 Reject & Resubmit）；4）拒稿（Reject）。之后，副主编会根据若干审稿人的结果综合评定给出 meta review，若 meta review 意见为 2）和 3）中其一，作者便需要准备一个详尽的 revision list 来对每位审稿人的意见逐条进行 response 和 rebuttal，同时还需要提供修改过的文章供审稿人进行下一轮评审。

同样，和会议论文不同的是，会议论文这一的 rebuttal 过程最多只有一次。而期刊论文如此过程可以反复多次，更像一场你一言我一语的「交谈」，最终直到全部审稿人均认为达到「Accept」的程度。但需注意，有的期刊 major revision 只有一轮，若经过一次 major revision 后的文章仍未达到录用或 minor revision 标准，有时便会做拒稿处理。可见，有效的 rebuttal/response 对于期刊论文的录用仍很关键。

How to rebuttal?

以上过程可看出，正规的会议和期刊同行评议过程非常严格、专业。更显然的是，从论文提交时开始，作者们便处于弱势，文章的主动权则全部移交给审稿人和 AC 听凭其「处置」。Rebuttal 作为整个 peer review 过程中少有甚至唯一的发声机会，作者们可要牢牢把握！

知彼解己原则

不论会议还是期刊，笔者以为，「知彼解己」——「首先去了解对方，然后再争取让对方了解自己」，是整个 rebuttal 过程中最为重要的一条原则。

作者在收到审稿意见后，通常情况不应将情绪和注意力完全放在抱怨和吐槽审稿人上（遇到不专业的审稿人除外，但更多情况中肯地讲多为自己文章的问题），且不应站在审稿人的对立面，相反，更多的应去领会审稿人某句话背后的意图，体会其心意，应试图站在 ta 的角度去揣摩提出意见时的想法和心境，同时不要局限在可见审稿意见中写的那么寥寥几笔。只有练就这样的「同理心」，才能在 rebuttal 时据理力争，答在点子上，为自己扳回一城。

而且，从第一节的同行评议过程的描述可以看到，一个审稿人面对的稿件（尤其会议稿件）非常之多，需要 ta 在短短几周且不影响本职工作的情况下完成高质量评审，这对于每位审稿人都是个不轻松的任务。事实上，许多审稿人（约 50% 以上 [5]）会在审稿意见提交 deadline 的最后三天内完成评审，每篇工作在审稿人处花费的时间一定非常有限。如此，我们便需要根据有限的审稿意见来「管中窥豹「，对审稿人的喜好和倾向一探究竟、琢磨一二，这对于作者如何在 rebuttal 时「排兵布阵」、「设定应对战略」尤为重要。

比如，若某期刊审稿人说「文章相对会议版本唯一区别仅在于增加了 xxx，而 xxx 这部分带来的性能增益非常有限」，实际背后含义是「嫌弃」作者仅 incremental 式增加不多的新东西就投递到期刊，显然不是审稿人没有看懂新加的 xxx 部分内容的价值，或不了解作者的技术做法；对此，可以澄清「我们工作并不是 trivial/simply 的增加了 xxx，它有自己的 intuition 和 insight，基于这样的独特设计 blabla「，同时还要针对性能质疑有所回应，做到有问必答：「增加 xxx 之后效果提升也较显著，并不有限，blabla（列出证据说明增益是 significant 的，并不 marginal）」。

再比如，若某会议审稿人简单指出「novelty 有限」，同时并没有提出更多细节性缺点，则说明可能 ta 挑来挑去并没有找到非常明显的「硬伤」。要知道每位审稿人预设的身份全是 paper killer，他们总在千方百计寻找论文的漏洞和不足，找够了便足以写出 review 来宣判文章「死刑」。对于上述情况，便说明文章可能就是不对该审稿人的胃口，找不到具体的不足，只好拿 novelty 来说事。

审稿意见趣图（来自 Ming-Hsuan Yang's slides）。

Rebuttal 形式

如今众多会议提供了非常多样的 rebuttal 形式，会议 rebuttal 形式主要分为以下三种：

提交 PDF 文档作为 rebuttal（有页数和模版限制，方便提交新表格和插图，如 CVPR/ICCV/ECCV）；
提交一段文本作为 rebuttal（有字符数限制，不方便提交新表格和插图，如 AAAI/IJCAI）；
提交 PDF 文档作为 rebuttal，同时提交修改后的论文（重提交的文件有类似的政策限制，如 WACV）。

其中，第三种 rebuttal 形式更像期刊，只是 rebuttal 轮数也仅控制在了一轮。作者需根据不同会议的政策规定提前调研和熟悉 rebuttal 形式，从而在 rebuttal 时应对自如。

具体实操

本节提供一些针对具体问题和情况的实操建议，供君参考：

Rebuttal 时，针对不同 review 类型：

喷「novelty」：这类最为麻烦但也是作者们遇到可能最多的意见，作此类 rebuttal 时不妨重新梳理和强调文章的重要贡献，然后澄清并不是 trivial 的简单 combine，再强调一下 motivation 和 intuition，用另一种方式将文章亮点表达出来。同时，可以尝试「围魏救赵」，即：若审稿人针对方法的某个部件提出 novelty 不足，可强调其他部件或整个方法的范式是前所未有的；或 claim 说方法简单有效，思路全然不同；
喷「factual error」：审稿人一旦找出文章的事实性错误，作者不妨大方承认，并表示感谢，同时表示会在 final version 中更正错误；另一种情况是，可能就是因为作者自己没写明白，才使得审稿人错误理解，如此，也可大方承认，说「我们已经修改了这部分描述，实际上是这样做的，并不是你理解的那样，blabla」；
喷「涨点不足」：此类一般有两种，一则无证据的裸喷涨点不足；二则有证据（提供了 reference）喷涨点不足或喷没有对比 reference 中结果。针对一，可找些证据（如列 reference）论证自己方法的涨点幅度和其他 state-of-the-art 的涨点幅度是可比的，「你看，别人发在顶会的结果相比 baseline 也是涨这么多」；针对二，可试着找出这些「证据」方法和自己方法的不同之处或实验细节的不公平之处，比如图像分辨率不同、backbone 不同等；
喷「实验不足」：有条件做实验的，rebuttal 中补上即可；若实验规模太大，rebuttal 期间无条件做出，可在 rebuttal 中承诺 final version 中补上（这样力度会相对较弱）；而对于要求不合理的实验意见，可实事求是的说明为何无需做实验；

Rebuttal 时不要漏点，要逐点回应做到有问必答。若因篇幅有限，可将类似的意见合成一点，万不可因篇幅有限擅自删除一些要点或遗漏要点，以免造成含糊不清、浑水摸鱼之嫌，一旦被审稿人发现会在 paper discussion 阶段当作硬伤来「置于死地」；此外，除非基本上全是 positive 评价，要充分利用 rebuttal file 的空间，充分表达自己观点，力图将所有评分均拉到 positive 区间确保十拿九稳；
Rebuttal 时需要揣摩审稿人倾向，「一切可以团结的力量都要团结，不中立的可以争取为中立，反动的也可以分化和利用」。有的审稿人会在意见中明确表示，「如果解决了 xxx，我就会提升评分」，对此一定要充分争取；对于某些审稿人提出的不足（如 novelty），可能刚巧是另一位审稿人提出的优点（「This paper is interesting and novel」），一定要为我所用，让两位审稿人在 paper discussion 中「短兵相接」；对于 borderline 的审稿人，一定要充分「拉拢腐蚀」；对于初审给了 positive 分数的审稿人，一定要巩固基础；对于初审给了 negative 分数的审稿人，一定要放绝大多数的精力和 rebuttal 篇幅来解释澄清，争取「冰释前嫌」；
Rebuttal 是「一盘棋」，整篇 rebuttal 需要统筹协调，与正文、review 配合的相得益彰，同时还需注意 rebuttal 篇幅资源的分配和优化。哪位审稿人应多分配笔墨、哪个问题应多着力回应都需要根据整体审稿意见情况深入思考、统筹安排；
Rebuttal 中能缩写的尽量缩写，如约定俗成的 PCA、CNN 等不必展开，从而节省空间，将资源留给更需要的回应；
Rebuttal 时若发现审稿人的 factual error，如 ta 提出的某个观点有显然错误、提出需要对比的数据集显然不是该领域常用的数据等，作者可在 rebuttal 回应此人时首先指出其错误，先下一城，赢得主动。要知道 rebuttal 除了该审稿人之外，其他审稿人以及 AC 都会看到。此外，这一问题还可以在 AC message（见下文）中指出，降低该审稿人意见在 AC 心中的置信度；
……

AC Message

还记得上文中提到的只喷 novelty 而没有其他细节问题的审稿人吗？还记得在审稿意见中暴露 factual error 的审稿人吗？……针对这些情况，作者手中仍有一件利器应对，即 AC message（或 Confidential comments to AC）。

Rebuttal 时除了作者提交的 rebuttal file 之外，多数会议和期刊还为作者提供了一个直接与 senior reviewer（如 AC 和 AE）对话的渠道，在 AI 会议中通常被称为「AC message」，这部分内容对普通 reviewers 是不可见的。作者如果在审稿意见中发现了审稿人的「问题」，如不专业、对文章涉及领域不熟悉、自我矛盾等，均可指出，从而引起 AC 注意。在期刊审稿过程中，遇到类似的问题还可通过 AC message 来尝试更换审稿人。

以下列举一些可能的 AC message 的写法：

Please note that Assigned Reviewer #id has made some statements that are either against the common-sense in our field or self-contradictory (ironically his/her own confidence rating is "very confident"). blabla
We want to bring to your attention the very flawed review #id. This reviewer is self-contradictory, cf. Comment #id1, Comment #id2, and Response #id. blabla
We would like to raise attention to AC that unfortunately Reviewer #id holds a very biased view towards the contributions of our paper. blabla

常用句式

以下列举一些 rebuttal 中的常用句式，供大家选择使用：

开头

Thank you for your suggestion.
Thank you for the positive/detailed/constructive comments.
We sincerely thank all reviewers and ACs for their time and efforts. Below please find the responses to some specific comments.
We thank the reviewers for their useful comments. The common questions are first answered, then we clarify questions from every individual review.
We thank the useful suggestions from the reviewers. Some important or common questions are first addressed, followed by answers to individual reviews.

表达同意

We thank the reviewer for pointing out this issue.
We agree with you and have incorporated this suggestion throughout our paper.
We have reflected this comment by …
We can/will add/compare/revise/correct ... in our revised manuscript/our final version.
Due to the rebuttal policy,「authors should not include new experimental results in the rebuttal」, additional results may not be included. However, we will add these mentioned experiments and discussions in our final version. Thank you for the constructive comment.（对于 CVPR/ICCV/ECCV rebuttal 不能提供新结果的政策）

表达不同意

We respectfully disagree with Reviewer #id that ...
The reviewer might have overlooked Table #id ...
We can compare ... but it is not quite related to our work ...
We have to emphasize that ...
The reviewer raises an interesting concern. However, our work ...
Thank you for the comment, but we cannot fully agree with the comment. As stated/emphasized ...
You have raised an important point; however, we believe that ... would be outside the scope of our paper because …
This is a valid assessment of …; however, we believe that ... would be more appropriate because ...

解释澄清

We have indeed stated/included/discussed/compared/reported/clarified/elaborated ... in our original paper ... (cf. Line #id).
As we stated in Line #id, ...
We have rewritten ... to be more in line with your comments. We hope that the edited section clarifies …

额外信息与解释

We have included a new figure/table (cf. Figure/Table #id) to further illustrate…
We have supplemented the xxx section with explanations of ...
Thank you for the comment. We will explore this in future work.

Does rebuttal matter?

废了好大功夫写好了 rebuttal，大家一定很忐忑这玩意儿到底能否奏效？

下图是 CVPR 2019 总计超过 15000 条 review 在 rebuttal 前后的状态对比统计。

很显然：

「逆天改命」：首轮 Strong Reject 改为 positive 评分的仅占所有 review 的 0.8%；

「强势逆转」：首轮 Weak Reject 改为 positive 评分的占所有 review 的 6.9%；

「力挽狂澜」：首轮 Borderline 改为 positive 评分的有 33.6%；

「错失良机」：首轮 Borderline 改为 negative 评分的约 56%；

「画蛇添足」：首轮 Weak Accept 改为 negative 评分的有 15.5%；

「弄巧成拙」：首轮 Strong Accept 改为 negative 评分的有 5.2%；

可见，rebuttal 也乃尽人事听天命之谓也。但小概率事情（如「逆天改命」）发生在自己身上那就是 100% 的奖赏，因此，下次拿到 review 后还是一门心思的想着怎么好好 rebuttal 吧:)

后记

工作后，笔者鲜有整块时间来写类似的公开 tutorial，借着这次举国闭关的时艰又恰逢 CVPR 2020 rebuttal 之前，笔者将自己若干年来的相关经历和思考整理下来供诸君参考，不恰之处还望不吝指出。盼春回大地，祖国康泰。

2020.1.30 夜于南京望春斋

一些会议和期刊的 rebuttal 模版地址链接：http://www.weixiushen.com/tutorials.html

参考

Aliaksandr Birukou, Joseph Wakeling, Claudio Bartolini, Fabio Casati, Maurizio Marchese, Katsiaryna Mirylenka, Nardine Osman, Azzurra Ragone, Carles Sierra, and Aalam Wassef. Alternatives to peer review: Novel approaches for research evaluation. Frontiers in Computational Neuroscience, 2011, 5:56.
CVPR/ICCV/ECCV 等会议在使用 Toronto Paper Matching System 作为准则之一进行论文分配：http://www.cs.toronto.edu/~zemel/documents/tpms.pdf
指审稿人或 AC 在投稿池子中申请审稿，按程度不同可大致分为：eager、willing、in a pinch、not willing 等。AAAI/IJCAI 等会议在沿用此方式。
http://cvpr2019.thecvf.com/files/CVPR%202019%20-%20Welcome%20Slides%20Final.pdf
Yang Gao, Steffen Eger, Ilia Kuznetsov, Iryna Gurevych, Yusuke Miyao. Does My Rebuttal Matter? Insights from a Major NLP Conference. NAACL-HLT 2019