机器之心 道
参与：泽南、蛋酱
看完摘要，领域主席：我觉得你这篇论文不太行。
「我收到了 NeurIPS 发来的拒稿邮件，感到有苦说不出。」今年 NeurIPS 新提出的「提前拒稿」机制，对于很多人来说有些猝不及防。
在两次推迟 Deadline 之后，全球人工智能顶会 NeurIPS 2020 终于到了论文评审阶段。最近，有关收到大会领域主席 Desk reject 的消息时常出现在 交 络上。
在一些人收到的邮件中，NeurIPS 表示：「由于 NeurIPS 近年来论文提交数量大幅增长，会方难以找到足够数量的评审者。我们今年收到了史无前例的 9467 篇论文提交。因此，我们今年使用了摘要拒稿程序：每篇论文都会经过两名不同有经验的研究者评估（领域主席 AC 和高级领域主席 SAC），决定论文是否需要接受进一步的评审。」
根据 NeurIPS 官方统计，今年大会的论文提交数量比上一年增长了 38%，再次刷新了 NeurIPS 史上的提交数量记录。
在今年提交论文的研究类型中，算法领域占据 29%，深度学习领域占据 19%，应用领域占据 18%，三者占据了绝大多数。其余分别为强化学习和规划领域 (9%) 、理论领域 (7%) 、概率方法领域 (5%) 、机器学习与 会 (5%) 、优化领域 (5%) 、神经与认知科学领域 (3%) 、数据、挑战、实现和软件等领域 (1%)。与 2019 年相比，深度学习和应用领域的比例略有下降 (两者都下降了 2%) ，而机器学习与 会则上升了 3%。
很多人收到了组委会发来的拒稿邮件，理由包括但不限于：
「该提交被拒绝因为论文的版式不符合 NeurIPS 的要求，且未充分匿名化。」
UT Austin 的助理教授 Sinead Williamson 也收到了拒稿通知，她在 交 络上的吐槽引来了人们的注意。
「拒稿原因是我们提交的结果是『已知结果』，但我有相当把握认为不是，那么领域主席是不是要写一份解释说明到底哪里重复了？」Williamson 说道。「我自己就是今年 NeurIPS 的领域主席，我 desk reject 了两篇论文，尽可能详细地写了拒稿原因，包括对于类似研究的引用，这应该是最基本的礼貌了吧。但令人失望的是，我自己的研究遭遇了『未被勾选上』形式的拒绝，如果是个学术新人，这种打击可能会更加令人伤心。」
也有其它研究者表示：「这拒稿理由竟然和我们一模一样……」
「我看过 6 个人都是因为这个原因被拒的……」如果是真的，未免也太巧合了？
这一度让人怀疑：「他们不会是为了完成 kpi，在没认真审稿的情况下，随机分配了拒稿理由吧？」
太长不读版：
今年摘要提交的截稿日期提前到 2020 年 5 月 5 日，而论文提交的截止日期是 2020 年 5 月 12 日，此次调整目的是为了让 区能够合理的处理完增加的投稿量，以及配合提前拒稿这一新政策。
研究者们吐槽最多的问题是，这种提前拒稿机制着实有点「随机拒稿」的样子。提前拒稿确实减少了审稿人的负担，但这会让被拒绝的投稿人相当痛苦——失望来得太快，并且无法从中获得任何建设性的意见来改进论文。
最近，机器之心也收到了一些 NeurIPS 2020 论文被拒稿研究者的吐槽。来自华为的研究员谢凌曦表示，他刚刚收到了来自 NeurIPS 的 desk reject 邮件，而遭到拒稿的正是他今年自己最满意的工作，GOLD-NAS 的神经 络架构搜索算法（https://arxiv.org/abs/2007.03331）。
「我个人觉得这是一个很能启发未来 NAS 研究方向的工作。它定义了一个超大搜索空间，并论证了可微分搜索方法能够在这个空间上以单阶段、渐进剪枝的方式，稳定地找到性价比更高的结构。我们发现了很多以往从来没有研究过的结构，并且证实了他们在精度和复杂度之间取得了更好的平衡，」谢凌曦表示。
他还透露了更多拒稿细节，例如组委会为每篇 desk reject 文章提供了一份「chair note」，但是他在与其他被拒稿的同行交流后发现，组委会为每篇文章提供的 note 是完全一样的：
This submission is summarily rejected because:
– There is not a significant contribution with respect to previous work; for example, the paper presents an incremental method, the gains are not significant, or the main theoretical results are variations of known results.
– The proposed approach is not supported with sufficient empirical evidence, or important baselines are missing.
通篇没有针对文章的具体描述。随后，这位研究者给组委会写了一封邮件，表达了自己的不满，得到的同样是模板化的回复：
I’m sorry, but the summary rejection decisions are final.
Please be assured that your AC did read the paper, as did the senior AC who confirmed their decision.
From their internal discussion, the following concerns emerged: the proposed method did not have enough contribution because it was a collection of known techniques, and the experiments did not include enough ablation studies, making it hard to properly motivate the architectural and methodological choices made by the authors.
Even if you disagree with these arguments and motivations, you may want to consider clarifying these aspects in the future revisions of your work.
I realize that this is a disappointing outcome, and I wish you the best for future submissions.
参考链接：
https://medium.com/@NeurIPSConf/reviewing-is-underway-a5532d4615ec
https://www.reddit.com/r/MachineLearning/comments/hqpwvc/d_weird_nips_rejection/
声明：本站部分文章及图片源自用户投稿，如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢！