微信扫一扫
分享到朋友圈

论文提交数量爆炸式增长,最大规模NLP会议ACL 2019放榜

作者:机器之心 来源:机器之心 公众号
分享到:

05-15

机器之心报道

与:路、李亚洲

自然语言处理领域顶级会议 ACL 将于 7 月 28 日至 8 月 2 日在意大利佛罗伦萨举行。日前,ACL 2019 已经向论文作者发放通知,希望投稿 ACL 2019 的读者们的论文能够上榜。

最大规模NLP会议

3月份时,ACL 官方公布了今年大会收到的投稿数量 ——2906 篇,相比于去年的 1544 篇出现了大幅增长。ACL 2019 也毫无争议地成为了目前规模最大的一场 NLP 学术会议。

下图展示了近 20 年来 ACL 大会论文投递数量、评审人员数量和(高级)领域主席数量变化趋势图。

图源:http://acl2019pcblog.fileli.unipi.it/?p=156

除去撤回论文等,ACL 2019 共收到有效论文 2694 篇,包括 1609 篇长论文和 1085 篇短论文。下表展示了各领域的提交论文情况:

其中提交论文数量位列前三的领域与ACL 2018一致:

  • 信息提取与文本挖掘(占 ACL 2019 有效提交论文总数的9.2%,去年该领域论文所占比例为11.5%);

  • 机器学习(8.2% ACL 2019 vs. 7.4% ACL 2018);

  • 机器翻译(7.7% ACL 2019 vs. 8.3% ACL 2018)。

「和交互系统」在两届 ACL 会议上都在前五之内。但是,去年提交论文数量排第四的「文档分析」今年掉到了16位,去年以59篇论文排名14位的「生成」领域今年以156篇提交论文数量一跃而至第5名(该领域提交论文数量增长率甚至超过了大会总的增长率)。此外,「语言学理论、认知建模和心理语言学」(Linguistic Theories, Cognitive Modeling and Psycholinguistics)领域也有很大增长,从去年 24 篇提交论文发展到今年的 60 篇提交论文。

总体而言,各个分支领域的提交论文分布较为平均,如下图所示:

图源:http://acl2019pcblog.fileli.unipi.it/?p=152

惯例:被吐槽的评审

学术会议接收到的论文越来越多,论文评审不可避免地成为了一大难题。事实也证明,每个AI学术大会,都会被或多或少吐槽「评审不专业」、「混乱」等。

如前文所述,ACL 已经成为自然语言领域学术会议的龙头,投稿过量的情况下论文评审难免被诟病。

先不说评审质量,今年的 ACL 论文结果的通知就比既定时间晚了数个小时,让一直侯在电脑前等结果的作者们「心慌慌」,ACL 2019 官方 Twitter 下就有网友表示「8 个小时的等待快把我逼疯了」。

最后,官方也给出了推迟的原因,「通知延后是因为 START 系统技术问题。我们不确定通过这个系统邮件联系作者是否有用。我们正在处理,请作者们耐心等候。」

当然,这只是一个「小意外」,最重要的还是论文评审质量的反馈。emmm,小编今天一早打开 Twitter,首先映入眼帘的就是 ACL 2019 的信息,有的作者在庆祝自己的论文被接收,有的就在吐槽了,也有部分作者考虑改投 EMNLP 了。

其实,面对今年如此巨大的提交论文涨幅,ACL 2019程序委员会也采取了一系列措施,以更好地执行论文评审过程。

据官方介绍,ACL 2019 在项目委员会(Program Committee)之上开设高级项目委员会(Senior Program Committee),并为高级项目委员会招募大量高级领域主席(SAC,共 46 位,每个领域 2-4 名)和领域主席(AC,184 名,每个领域 3-15 名)。

其中,SAC 向 AC 和评审人员分配论文,并给出自己领域内的推荐;AC 则各自管理自己领域内的一小部分论文,领导评审人员之间的讨论,写 meta-review,并给出最初的论文推荐结果。这一结构对缺乏有经验的评审者这一问题提供了一些作用。AC 集中看一小部分论文,因此可以更加关注评审流程。而 ACL 2019 共招募了 2281 名评审人员,相比于去年的 1610 名增长了42%。

此外,ACL 2019 还做了一些流程上的改变:

  • 放弃了 paper bidding 阶段。这个阶段会占用数天时间,鉴于今年的论文数量,这一过程会更加耗时。此外,大会还担心评审人员倾向于选择自己喜欢的论文,而不是选择自己有资格评审的论文。大会计划使用 Toronto Paper Matching System (TPMS) 为评审者分配论文,但这个系统的效果不如预期。SAC 在这一过程中做了杰出的工作,不过这个任务显然需要更好的自动化支持。

  • 和 NAACL 2019 一样,ACL 2019 取消了作者回应阶段。作者回应最初旨在改进评审流程,但非常耗时(不仅是作者的时间,还有评审者和领域主席的时间)。

  • ACL 2019 采用了更加简单的评审形式,既鼓励严谨的评审,又减轻了评审人员的工作负担,更加强调决策过程中的关键点。

目前,ACL 2019 的完整论文列表还未公布,因为尚不知道接收率等数据,机器之心会持续关注最新消息。截止到大会结束的这段时间,我们也会为大家推送优质的 ACL 论文。如果有读者的论文被此大会接收,也可以留言给我们,我们会选择一些论文推荐给广大读者。


本文为机器之心报道,转载请联系本公众号获得授权

✄------------------------------------------------

加入机器之心(全职记者 / 实习生):hr@jiqizhixin.com

投稿或寻求报道:content@jiqizhixin.com

广告 & 商务合作:bd@jiqizhixin.com

阅读40135
论文 爆炸 
举报0
关注机器之心微信号:almosthuman2014

用微信扫描二维码即可关注
声明

1、头条易读遵循行业规范,任何转载的稿件都会明确标注作者和来源;
2、本文内容来自“机器之心”微信公众号,文章版权归机器之心公众号所有。

评论
更多

文章来自于公众号:

机器之心

微信号:almosthuman2014

邮箱qunxueyuan#163.com(将#换成@)
微信编辑器
免责声明
www.weixinyidu.com   免责声明
版权声明:本站收录微信公众号和微信文章内容全部来自于网络,仅供个人学习、研究或者欣赏使用。版权归原作者所有。禁止一切商业用途。其中内容并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。如果您发现头条易读网站上有侵犯您的知识产权的内容,请与我们联系,我们会及时修改或删除。
本站声明:本站与腾讯微信、微信公众平台无任何关联,非腾讯微信官方网站。