机器之心报道

参与:思源、一鸣、Jamin

NeurlPS 2020 将于 12 月开幕,为了解决暴增的投稿数等问题,官方公布了一系列新的变动。

NeurlPS 2020 将在今年 12 月召开,今年的投稿、审稿、大会等方面政策是否会有所变动引起人们的关注。新的政策变化是否能够避免投稿过多、审稿不专业等问题?近日,NeurlPS 官方公开了新一届大会的变化:投稿截止日期提前;有部分论文会被提前拒绝;而绝大多数作者可能会参与审稿工作。

NeurlPS 2020 新变动:截止日提前,AC 提前拒稿,作者也要参与审稿

太长不读版:

  1. 今年摘要提交的截稿日期提前到 2020 年 5 月 5 日,而论文提交的截止日期是 2020 年 5 月 12 日,此次调整目的是为了让社区能够合理的处理完增加的投稿量,以及配合提前拒稿这一新政策。

  2. 提前拒稿:领域主席会有两个星期时间去建议哪些论文会被提前拒绝,而且目前预计将有 20% 左右的论文会被提前拒绝。紧接着高级领域主席会有一个星期的时间来审核及批准这一决定。批准之后,这些论文作者将会得到通知。

  3. 作者也是审稿人:此次改变提出,在需要时,论文作者或联合作者都需要同意审稿。这一改变有助于增加审稿人员的总量,并可以在提交论文的员中更加公平地分配审稿的工作量。

  4. 更广泛的影响:作者被要求在他们提交的文件中包含新的讨论部分,而讨论部分是关于他们的研究工作可能产生的影响,包括一些可能导致的正面的或者负面的社会影响。

  5. Spotlight 视频:社区要求所有作者在提交作品时都上传一段视频,主要是记录该工作的 Spotlight 展示,该视频和 camera-ready 版论文一同提交。同时,社区也在推进远程演示以及远程参会,他们也能看到这样的视频展示。

NeurIPS 2019 的尝试
早在 2019 年 12 月份,NeurIPS 就回顾并分析了 2019 年的会议情况。他们重点分析了论文提交与评审情况,并考虑采取一些措施限制投稿量。在当时的官方博客中,大会放出了一些「如果采纳部分建议后」的假设结果。

  1. 审稿之前,先让领域主席筛选:如果在审稿人接手论文之前先让领域主席筛选一遍,能不能有效减轻审稿人负担呢?

  2. 限制每个人的投稿数:AAAI 甚至已经规定了 2020 年每个作者最多提交 15 篇论文,所以,NeurIPS 也想测试一下这一做法。

  3. 只审吸引审稿人注意力的论文:引入市场机制来控制审稿量。只有那些引起了足够关注的投稿才会被审阅。

上面三个做法并不只是空谈,NeurIPS 在 2019 年做了一系列实验,并探讨它们能「有效」减少多少审稿任务。
例如领域主席预先筛选,他们选了 50% 的领域主席作为实验对象,给每个人分配一些论文,然后让他们在不看审稿意见的情况下,直接选出其中最差的 25%,还要给出每个意见的置信度。

NeurlPS 2020 新变动:截止日提前,AC 提前拒稿,作者也要参与审稿

图注: 2019 领域主席预先审稿,置信度>=5 表示「我确定这篇论文应该被拒」。 其最后采用为 2020 的审稿策略。
结果,这 50% 的领域主席给出了 110 篇「我确定这篇论文应该被拒」的论文。对比了最后确实被拒的论文,准确率也很高,达到 95.74%。但问题在于,即使筛掉这 110 篇,总共筛选出的论文也不到投稿量的 2%,占比太少了。
限制提交数也一样,如果将每人的投稿量上限设置为 15 篇,只能减少不到 100 份投稿(总数的 1.5%)。如果将这一上限设置为 10,则会减少 4.3% 的投稿(减少 850 次审稿工作),但这对最终的接受结果并没有太大的影响。
最后一种「市场机制」很难预测稿件最终的被接收情况,被接收论文和被拒论文在审稿阶段收获的关注相差无几。如果通过「市场机制」减少 1/4 的总投稿量,那么被接收的论文也会被「误杀」1/4。
所以要减轻审稿压力,似乎只能结合第一种与第二种,而在 NeurIPS 2020 的新策略中,提前拒绝就采用的领域主席预先筛选。
NeurIPS 2020 新策略
从 2019 年的探索到今年的策略调整,NeurIPS 官方最近介绍了最新策略的原因与具体措施。他们认为,目前有三个非常需要解决的问题:

  1. 日渐增长,且没有停止迹象的论文投稿数和参会者人数;

  2. 研究中需要注意的伦理问题和算法应用问题;

  3. 对于远程参会和参与的切实支持;

因此,他们针对这三个问题提出了对应的措施。
投稿者众
首先,NeurlPS 2020 大会亟待解决的是投稿数和参会人数暴增的问题。尽管大会过去几年已采取了很多措施,但依然没有很好地解决这个问题。官方认为,现在他们需要扩大审稿规模。
在 2020 年的大会上,官方预计会有 10000 件投稿,来自 3000 位作者。因此他们会提出进一步的规则变动。
首先,他们会引入「提前拒稿」机制。这是一个讨论了很久但没有实施的方法,直到 IJCAI 采用。这一方法也不是独创的——很多期刊都在使用。具体而言,当某个投稿质量很低,或者很不相关,就会被期刊编辑直接拒稿,不经过评审。

NeurlPS 2020 新变动:截止日提前,AC 提前拒稿,作者也要参与审稿

在 2020 年的大会投稿上,领域主席会首先评价他们手里的投稿,并挑出最多 20% 直接拒稿。然后这些投稿会交由高级领域主席进行确认。论文作者然后会得到通知。NeurlPS 表示他们希望论文作者能聚焦于少量优质论文,从而提升审稿效率。
另一个改动是要求投稿作者披露投稿是否是重投的,即是否曾被拒稿过。此外,他们还需要写一个总结,提及为什么这篇论文会被拒稿,并列举为了解决这些问题而对论文做出的改进。这一材料能够帮助审稿人更好地了解稿件的问题,并帮助作者提高论文质量。
参会者多
为了解决参会者众多这一问题,NeurIPS 2020 将鼓励远程参会。在过去几次会议中,参会门票很快就被抢光了,以至于不得不通过抽奖的方式分配门票。在 2019 年世界范围内的 Meetup,NeurIPS 发现这种线下分享的方式也非常优秀,因此 2020 年也会继续鼓励这种方式。
为了进一步提升远程访问内容的完整度,NeurIPS 要求今年的演讲者先上传一份关于论文的视频演讲,该视频与 camera-ready 版论文是同时提交的。

NeurlPS 2020 新变动:截止日提前,AC 提前拒稿,作者也要参与审稿

此外,参会者也可以选择是否使用论文匹配系统来阅读个性化推荐的论文,因为我们很难在众多论文中找到感兴趣的。后续 NeurIPS 还在探索远程演讲与海报展示的方法,它们能极大地提升远程参会体验。
审稿者也不少
为了提升同行评审系统,如果需要,NeurIPS 会要求每一位合著者担任程序委员会成员。NeurIPS 表明,他们在同行评审中走出了重要一步,即要求所有论文合著者注册 CMT 系统,并成为论文评审人。不遵守这项规定可能会导致他们的论文会被 desk-rejected。

NeurlPS 2020 新变动:截止日提前,AC 提前拒稿,作者也要参与审稿

如果合著者没在限期内注册 CMT,那么他们的论文不用审就可以直接拒绝。
通过这样的举措,论文评审者将大幅度增长,审稿压力也会降低很多。
额外新要求
最后,官方表示,NeurIPS 社区正在日益活跃。他们对研究者的热情参与,以及社区对长远问题提出新的策略和机制表示感谢。考虑到避免 AI 研究被滥用,或者因失败带来严重后果,官方也要求研究者在投稿时留出一个部分,介绍论文的长远影响。这部分内容不在 8 页论文的限制范围内。
此外,NeurIPS 还希望作者能披露直接或间接研究资金的来源,因为它们可能会导致利益冲突。这一项举措在物理、医药等领域已经非常成熟了,引入到机器学习社区也应该非常合适。该信息可能有损双盲审,因此只需要加到最后的 camera-ready 版本就行。

本 文为机器之心报道, **转载请联系本公众号获得授权 。**

✄------------------------------------------------ 加入机器之心(全职记者 / 实习生): hr@jiqizhixin.com 投稿或寻求报道:content @jiqizhixin.com 广告 & 商务合作: bd@jiqizhixin.com

来源链接:mp.weixin.qq.com