ACL 2022录用结果出炉：国内多支团队晒“战绩”，清华一实验组18篇入选

点击上方“视学算法”，选择加”星标“或“置顶”

重磅干货，第一时间送达

2月24日，第 60届国际计算语言学协会年会（ACL 2022）公布接收结果。值得一提的是，该结果系大会采用 ACL Rolling Review 机制后的首次尝试。

根据官方公开信息，现将多支国内团队的录取结果汇总如下，包括清华NLP团队、中科院计算所跨媒体计算课题组（ICTMCG）、北京语言大学语言监测与智能学习研究组（BLCU-ICALL）、中科院软件所中文信息处理实验室，入选论文方向涵盖预训练、多模态、无监督等前沿方法。

以下为“TsinghuaNLP”、“ICTMCG”、“BLCU-ICALL”、“中科院软件所中文信息处理实验室”官方账 对其 ACL 2022 录用论文的介绍：

TsinghuaNLP

Packed Levitated Marker for Entity and Relation Extraction

类型：Long Paper

摘要：最近的命名实体识别和关系抽取工作专注于研究如何从预训练模型中获得更好的span表示。然而，许多工作忽略了span之间的相互关系。在这篇文章中，我们提出了一种基于悬浮标记的span表示方法，我们在编码过程中通过特定策略打包标记来考虑span之间的相互关系。对于命名实体识别任务，我们提出了一种面向邻居span的打包策略，以更好地建模实体边界信息。对于关系抽取任务，我们设计了一种面向头实体的打包策略，将每个头实体以及可能的尾实体打包，以共同建模同头实体的span对。通过使用增强的标记特征，我们的模型在六个NER数据集上优于基线模型，并在ACE04/ACE05端到端关系抽取数据集上以更快的速度获得了4 F1以上的提升。论文代码开源于https://github.com/thunlp/PL-Marker。该工作与腾讯微信模式识别中心合作完成。

MSP: Multi-Stage Prompting for Making Pre-trained Language Models Better Translators

类型：Long Paper

摘要：提示方法在近期已成为应用预训练模型到下游任务的前沿方法。我们提出多阶段提示，一种简单且自动的应用预训练模型到翻译任务上的方法。为了更好地减少预训练与翻译之间的差异，多阶段提示将使用预训练模型进行翻译的过程分解为三个独立的阶段：编码阶段、再编码阶段、解码阶段。在每个阶段，我们独立地采用连续型提示来使得预训练模型能够更好地转移到翻译任务上。实验表明我们的方法能够显著提升预训练模型进行机器翻译的性能。

Pass off Fish Eyes for Pearls: Attacking Model Selection of Pre-trained Models

类型：Long Paper

摘要：为特定的下游任务选择合适的预训练模型 (PTM) 通常需要在该下游任务上微调来确定，然而这一过程是十分缓慢的。为了加速这一过程，研究人员提出了基于特征的模型选择 (FMS) 方法，该方法无需微调即可快速评估 PTM 对特定任务的可迁移性。在这项工作中，我们认为当前的 FMS 方法具有安全方面的隐患。为了验证我们的观点，我们分别从模型层面和数据层面设计了两种算法评估FMS的鲁棒性。实验结果证明，这两种方法都能成功地使 FMS 错误地判断PTM的可迁移性。我们的研究指出了提高FMS鲁棒性的新方向。该工作与清华大学软件学院邓仰东老师团队合作完成。

PPT: Pre-trained Prompt Tuning for Few-shot Learning

类型：Long Paper

摘要：随着预训练语言模型的参数量越来越大，如何高效地将大模型向下游任务适配逐渐受到研究者们的关注。最近，一种被称为 prompt tuning 的方法提供了一种可能的解决方式。这种方法通过在固定整体模型参数的情况下，端到端地调整拼接在输入前的一组 soft prompt， 从而在下游数据充足的情况下达到和训练整体模型参数相当的结果。但是，我们发现 soft prompt 的优化较为困难，导致 prompt tuning 在数据量较少的情况下性能较差。因此，我们提出了一个新的训练框架 PPT (Pre-trained Prompt Tuning)。在这个框架中，为了解决 soft prompt 优化困难的问题，我们将 soft prompt 先在无标注数据上进行预训练，从而得到一个较好的初始化，然后再通过上述的 prompt tuning 向下游任务适配。为了提升我们框架的通用性，我们将多个经典的文本分类任务归为了三种形式，并为每种形式分别设计了一种预训练任务。我们通过大量的实验证明，PPT 框架可以显著提升 prompt tuning 在少数据场景下的性能，达到甚至超过模型整体参数微调的水平。并且，在数据量增多时，PPT 的优势仍然可以保持。该工作与清华大学黄民烈老师团队合作完成。

bert2BERT: Towards Reusable Pretrained Language Models

类型：Long Paper

Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification

类型：Long Paper

Program Transfer for Complex Question Answering over Knowledge Bases

类型：Long Paper

Sememe Prediction for BabelNet Synsets Using Multilingual and Multimodal Information

类型：Long Paper

Do Pre-trained Models Benefit Knowledge Graph Completion Reliable Evaluation and a Reasonable Approach

类型：Long Paper

摘要：近年来，预训练语言模型（PLM）已被证明可以从大量文本中捕获事实性知识，这促使了基于PLM的知识图谱补全（KGC）模型的提出。然而，这些模型在性能上仍然落后于目前最佳的KGC模型。在本工作中，我们发现了这些模型性能较弱的两个主要原因。即（1） 不准确的评估设定。在封闭世界假设（CWA）下的评估可能会低估基于PLM的KGC模型，因为这类模型引入了更多的外部知识；（2）对PLM的不恰当利用。大多数基于PLM的KGC模型只是简单地将实体和关系的标签拼接起来作为输入，这导致句子的不连贯，这无法利用PLM中的隐性知识。为了缓解这些问题，我们提出了在开放世界假设（OWA）下的更准确的评估方式，即人工检查不在知识图谱中的知识的正确性。此外，我们还提出了一个新的基于PLM的KGC模型（PKGC）。其基本思想是将每个三元组及额外信息转换为自然的提示句，并进一步将其输入PLM进行分类。我们在两个KGC数据集上的实验结果表明，OWA在评估KGC方面更为可靠，尤其是在链接预测方面。此外，我们的PKCG模型在CWA和OWA设置下均取得了很好的性能。该工作与清华大学李涓子老师团队和腾讯微信模式识别中心周杰老师团队合作完成。

Prompt Tuning for Discriminative Pre-trained Language Models

类型：Short Paper

摘要：在精调预训练语言模型方面，Prompt Tuning取得了令人印象深刻的成果。然而，现有的工作主要集中在对生成式预训练语言模型的Prompt Tuning上，其预训练任务为还原遮盖的文本符 ，如BERT。对于判别式的预训练语言模型，例如ELECTRA，是否以及如何能够有效地进行Prompt Tuning，仍然是一个开放挑战。在这项工作中，我们提出了DPT，这是第一个用于判别式预训练语言模型的Prompt Tuning框架，它将NLP任务重新形式化为一个判别式语言建模问题。在文本分类和问答任务上的实验结果表明，与传统精调方法相比，DPT取得了明显更高的性能，同时也避免了在全量数据和低资源场景下精调大模型的不稳定问题。该工作与清华大学计算机系王建勇老师团队以及腾讯搜索应用部林乐宇老师团队完成。

点个在看 paper不断！

文章知识点与官方知识档案匹配，可进一步学习相关知识OpenCV技能树OpenCV中的深度学习图像分类11562 人正在系统学习中