IJCAI 2020灭霸式拒稿，AI审稿是否更公平？

出品 | AI科技大本营（ID:rgznai100）

一、IJCAI 2020灭霸式拒稿引众怒

随着AAAI 2020于2月7日作为2020年人工智能学界的第一个顶会在美国纽约开幕，人工智能相关领域的研究者们又要为新一年的顶会忙碌了。对于AI界的研究者来说，一年的进度条几乎是靠数着顶会 deadline 来过的。尽管“投稿→rebuttal→接收/被拒→继续（斐波那契式）投稿”是很多研究者的日常，但是，被拒后质疑审稿机制、评审人水平，继而引发大规模吐槽的 络事件每年都在发生。

就在半个月之前，IJCAI 2020就以拒稿率达到史无前例的42%的审稿方式又在 上炸开锅。知乎上，很多研究者贴出拒稿信的截图，根据其中内容，很多研究者的工作在评审第一阶段——summary reject 阶段就被拒稿了，甚至没能进入正式的审稿过程。

summary reject是一种快速审稿的流程，放在正式的评审阶段之前。在这一阶段，论文一般会被发送给几位 Senior PC（SPC）。这些 PC 会花10分钟左右时间，根据论文的摘要、总结等部分，对论文情况有一个大概的估计。如果他们认为这篇论文不能进入下一阶段，则由领域主席做最终的决定。当下，顶级的人工智能会议要面对动辄 5000 甚至上万的投稿量。如果不提前过滤论文，每个审稿人都有着巨大的压力。此外，随着人工智能的兴起和技术门槛的逐渐降低，越来越多的人参与到人工智能研究中来，随之而来的还有大量“灌水”论文。因此，引入summary reject来过滤低质量论文、降低审稿人工作量是非常有必要的。

知乎 友贴出“灌水”论文证据

不过，真正让很多投稿人不满的是，本次IJCAI 2020大会summary reject似乎是SPC随机选择的，这样一来，很多人的论文存在被误杀的可能性。

一位参与了 IJCAI 2020 summary reject的决策过程的SPC，纽约大学坦登工程学院的副教授 Julian Togelius就表示，他发现很难决定哪些论文值得 review，特别是那些非自身领域的论文。因此，选择 reject 哪些论文也几乎是随机的。此外，Julian Togelius 还推测大多数 SPC 会遇到 summary reject 决策困难的情况，并且很多 SPC 只是简单地拒绝了那些看起来与他们熟悉的研究不太一样的论文。显然这种做法会对一些小的子领域和新兴的研究主题造成重大打击。

更令人沮丧的是，论文投稿的一个重要意义在于：即使没被选中，也可以通过同行评审来获得反馈，从而促进研究者进一步提升能力，完善研究。但是，在summary reject 阶段就被拒稿的论文是不会收到任何拒稿理由的，这样无法为他们带来实际的反馈，无助于他们提升自身的能力，下次做出更好更有水平的成果。很多人认为，没有提供理由/反馈就拒绝论文是非常不科学的，这样非常打击年轻的研究人员的积极性。不少人发帖表示，“大半年的工作，没给任何理由就直接reject，心态真的炸裂”。

AI顶会评审机制暴露的问题

事实上，这并不是IJCAI第一次引起争议。去年，IJCAI 2019就被很多人质疑审稿质量，甚至被评“本届IJCAI审稿宇宙最烂”。其他引起争议的顶会有AAAI 2019，一名中国知名高校的计算机博导发表公开信，实名投诉AAAI 2019评审不专业；ICLR 2020 ，当审稿结果放出后，有开发者给出了一个统计结果：“本次大会近半数审稿人没有在相关领域发过论文。”投稿者觉得自己“浪费感情”，审稿人又觉得“我太难了”等等。

或许正是由于此类原因，一些会议在学术圈的口碑正在慢慢下滑。比如在最新版的《清华大学计算机学科推荐学术会议和期刊列表》中，IJCAI 已经从人工智能与模式识别方向 A 类学术会议”降级”到 B 类的学术会议。

对此，一些曾经或即将担任顶会程序主席的学者的见解非常值得参考：

1、论文评审委员会如何组织、如何选人、如何应对大量论文

此外，在审稿过程中，可以根据审稿人的资历来安排不同的任务或者做法，比如安排多位经验学识较浅的学者共同决定一篇论文的质量，但资深学者可以独立决定一篇文章。

至于如何避免一稿多投，他建议针对同一篇论文的审稿意见可以在不同的会议之间通用，这样一来，时间顺序靠后的会议就不必重审这篇论文。

2、如何改进评审过程

3、如何保证审稿人认真负责

对于如何确保审稿人能够认真负责地审稿，目前有这样一个观点得到很多人认可，即使用积分制度，提出了高质量评审意见的审稿人、乃至被评为优秀审稿人的学者可以获得一些积分，然后各个会议就可以只允许有积分的人投稿多篇论文（第一篇投稿可以不需要积分）。

4、如何制止论文投稿与评审过程中的不当行为

针对利益冲突，周志华教授认为我们需要一定的利益冲突检测机制，在论文分配过程中进行调整。而IJCAI 2013程序主席、巴尔-伊兰大学教授Sarit Kraus否定了当前学术界“唯论文”的风气，他认为投稿中的不当行为其实是我们自己培养出的怪物：根本原因是年青学者有很大的压力发表论文，如今许多东西都和发表的论文数量挂钩，所以他们也只能想尽办法让自己的论文能够录用。

AAAI 2014 程序主席、得克萨斯大学奥斯汀分校教授 Peter Stone则提到了对整件事的“道”的想法：也许我们可以指定一些规则，规定了哪些事是不可以做的，但是我们人类总是能会想办法找到漏洞、绕过规则。改善这件事，我们需要更多鼓励好的行为、让好的行为成为大家效仿的样板。

AI或能协助审稿

专家们提出的都是机制上的改革，而有些人则从技术层面想办法，试图用AI来改善同行评议过程，提高发表研究的质量，并且节省评阅人的时间。

例如，在打击学术造假方面，来自美国纽约雪城大学的机器学习研究员丹尼尔·阿库纳等在2018年开发出一套算法，能利用人工智能识别学术论文中的图像造假，对论文图片进行查重。他们分析了生命科学领域来自4324本期刊的76万篇开放获取论文，并从中提出有效的263万张图片。其中，约有9%的图像存在高度重复。该团队又在其中选取了约4000张可疑图片进行人工核查。经测算，在所有论文中，约1.5%存在学术不端的嫌疑，0.6%确认存在图像方面的论文造假。

不过，尽管目前学术界已对AI参与同行评议有一些尝试，但大多数人依然存在较大顾虑，其中一点在于，利用过去发表的论文训练的机器学习工具会强化已有的同行评议偏见。另外，目前利用AI来实现同行评审存在技术上的困难，因为同行评审最重要的职责是确保研究新颖，没有重复前人老路，尽管AI能够查阅文献，找出哪些问题仍悬而未决，但它目前无力辨认颠覆性的科学新发现。所以，AI参与同行评审还有很长的路要走，但由于同行评议过程中的许多步骤是标准化的，因此，研究评议过程自动化是非常有积极意义的。

诚然，人类的偏见无法消除，目前也无法设计出完整的可解释、可纠正的、能够让评审员仅凭借提取的信息采纳或者拒稿的AI审稿工具，但我们不妨期待，当 AI 工具加入论文评审大军后，审稿人能够从其他环节中节省更多时间，从而认真评审我们的论文，给每位投稿人一个满意的答复。

树立正确评价向导，破除“唯论文”不良导向

最后要说一点，尽管顶会审稿机制存在诸多争议，但在投稿数量逐年递增的各大顶会中，“灌水”论文数量水涨船高也是不争的事实。于是，不断有声音在呼吁，“不要再只盯着论文看了”。深度学习先驱、蒙特利尔大学计算机系教授，2019 年图灵奖获得者Yoshua Bengio就在个人博客反思，顶会论文的 Dealine 让人疲于应对，对于提升研究质量来说弊大于利，机器学习研究的发表模式是时候开始变革了。

确实，从过去几十年来看，学术氛围发生了不小的变化。如今，人工智能领域的论文规模正在呈指数型增长，竞争氛围强烈，节奏快，这让每个人都背上了很重的压力，促使很多人一有新的想法就急于发表，唯恐其他人会在某处做了与自己相同的工作。如今，一个博士生在毕业前发表的论文数量，比二三十年前的博士生多了一半不止。AI领域的研究几乎完全进入了会议发表模式，这种模式与传统期刊论文相比发表节奏更快，但是无法经过多次的修订之后提升内容质量。

所以，尽管我们的生产力更高了，但是这种迫于压力的“生产力提高”对论文质量和内容深度造成了破坏。许多可能包含错误、不够严谨或者只是做了简单的增量提升的论文都赶在 Deadline 之前提交了上去，很多人甚至没有充足的时间去检查内容。此外，现在也有攀比论文发表数量的氛围，尤其是作为一作或者共同一作的论文。

对此，很多学者呼吁，大家是时候思考慢科学了。因为有价值的、重要的研究进展是需要一个过程的，需要研究者用一些时间去深入思考，继而小心求证。正如香港中文大学助理教授周博磊发表《和 CVPR 十年来的不解之缘》写道：“在所谓的 AI 研究确实变得越来越 cheap，门槛越来越低的时候，以及大家都随地吐痰的时候，并不意味着你也可以吐。保持对科研的敬畏和好奇，这条路才能越走越宽，越走越远。”

正是如此，2月17日，科技部印发《关于破除科技评价中“唯论文”不良导向的若干措施（试行）》的通知，明确科技评价中要实施分类考核评价，注重标志性成果的质量、贡献和影响，矫正在科技评价中过度看重论文数量多少、影响因子高低，忽视标志性成果的质量、贡献和影响等“唯论文”的不良导向；2月18日，教育部、科技部联合印发《关于规范高等学校SCI论文相关指标使用树立正确评价导向的若干意见》的通知，提出需要整顿“唯论文”“SCI至上”的风气，并列举一系列相应的纠偏举措：加大发表国内高质量期刊论文的要求、降低SCI和影响因子在学术评标准中的地位、收紧论文发表费用、推行论文代表作制度、不将 SCI 论文指标作为招聘和毕业的前置条件。

为此，我们迫切需要改进科研评估体制，特别是关于科研人员评估体制的改进，如此才能有一批研究者不以短期目标为主，能够追求更长远的目标。让我们期待，“树立正确评价导向”能逐渐摸索出合理的制度，在这样制度的保护下，一批屠呦呦式的科研人员一定会不断涌现。