微信扫一扫
分享到朋友圈

GLUE基准新突破:微软多任务模型首次超越自然语言人类基准

作者:机器之心 来源:机器之心 公众号
分享到:

06-10

机器之心报道

参与:路

微软在 6 月 7 日在 GLUE 排行榜提交了一款新模型,该模型在 WNLI 上取得了 89.0% 的准确率,仅次于人类性能 95.9%。且之前大部分系统的性能在 65% 左右,该新模型将准确率一举提升了 20 多个百分点。

通用语言理解评估基准(GLUE)是用于评估和分析多种已有自然语言理解任务的模型性能的工具,模型基于在所有任务的平均准确率进行评估。WNLI(Winograd 自然语言推理)数据集是是 GLUE 中的一个数据集,它是来自(Levesque et al., 2011)的小型自然语言推理数据集。


根据 GLUE 排行榜,大部分系统在 WNLI 上取得的准确率为 65% 左右,直到最近这一数字才有了突破性进展。6 月 5 号王玮提交的 ALICE large ensemble (Alibaba DAMO NLP) 系统在 WNLI 上取得了 80.8% 的准确率,6 月 7 号微软提交的

MT-DNN-ensemble 系统在 WNLI 上取得了 89.0% 的准确率,仅次于人类性能 95.9%。


当前 GLUE 排行榜(2019.06.10),微软 MT-DNN-ensemble 系统在 WNLI 实现了 89.0% 的准确率,接近人类水平;在 GLUE 基准上的平均得分为 87.2,比人类得分高出 0.1。


此前,机器之心曾报道过微软提出的新型 NLP 预训练模型打破了 BERT 在 GLUE 基准 11 项任务中的性能记录。当时微软模型在 WNLI 上的准确率仅为 65.1%。短短半年过去,微软 MT-DNN-ensemble 模型已将这一数字提升了将近 24%,实现了性能飞跃。


2018 年 12 月 23 日 GLUE 排行榜,目前的 MT-DNN(平均分 85.1)相比第一版(平均分 81.9)已经有了很大的提升。


模型细节


根据模型描述,微软新模型 MT-DNN-ensemble 是一个用于联合训练所有任务的新型多任务框架,所有任务共享同样的结构,除了每项任务的目标函数不同。


从模型的命名可以看出来,MT-DNN-ensemble 就是 MT-DNN 的多模型集成。虽然 GLUE 描述页面写的 MT-DNN-ensemble 的参数量为 3.5 亿,与 MT-DNN 一样,但可能实际参数量要远远大于它。



MT-DNN-ensemble 地址:https://github.com/namisan/mt-dnn


关于 MT-DNN


目前,我们尚不知道 MT-DNN-ensemble 模型如何在 WNLI 实现如此巨大的性能飞跃。但根据 GitHub 项目,该新模型同样借鉴了论文《Multi-Task Deep Neural Networks for Natural Language Understanding》。


MT-DNN 模型的架构如下图所示。下面几层在所有的任务中共享,上面的几层表示特定任务输出。


单词序列(可以是一句话或者打包在一起的句子对)作为输入 X,先表示为一个嵌入向量序列,其中 l_1 中一个向量对应一个单词。然后 Transformer 编码器通过自注意机制捕捉每个单词的语境信息,在 l_2 中生成语境嵌入序列。这就是我们的多任务目标函数训练得到的共享语义表征。


表征学习 MT-DNN 模型的架构。下面的网络层在所有任务中都共享,上面的两层是针对特定任务。输入 X(一句话或句子对)首先表征为一个序列的嵌入向量,在 l_1 中每个词对应一个向量。然后 Transformer 编码器捕捉每个单词的语境信息并在 l_2 中生成共享的语境嵌入向量。最后,针对每个任务,特定任务层生成特定任务的表征,而后是分类、相似性打分、关联排序等必需的操作。


如图所示,较低层(即文本编码层)在所有任务中共享,而顶层是任务特定的,组合不同类型的 NLU 任务,如单句分类、成对文本分类、文本相似性和相关性排序。与 BERT 模型类似,MT-DNN 分两个阶段进行训练:预训练和微调。与 BERT 不同的是,MT-DNN 在微调阶段使用 MTL,在其模型架构中具有多个任务特定层。


在多任务精调阶段,我们使用基于 minibatch 的随机梯度下降(SGD)来学习模型参数(也就是,所有共享层和任务特定层的参数),如下图算法 1 所示。




本文为机器之心报道,转载请联系本公众号获得授权

✄------------------------------------------------

加入机器之心(全职记者 / 实习生):hr@jiqizhixin.com

投稿或寻求报道:content@jiqizhixin.com

广告 & 商务合作:bd@jiqizhixin.com

阅读8731
微软 模型 超越 
举报0
关注机器之心微信号:almosthuman2014

用微信扫描二维码即可关注
声明

1、头条易读遵循行业规范,任何转载的稿件都会明确标注作者和来源;
2、本文内容来自“机器之心”微信公众号,文章版权归机器之心公众号所有。

评论
更多

文章来自于公众号:

机器之心

微信号:almosthuman2014

邮箱qunxueyuan#163.com(将#换成@)
微信编辑器
免责声明
www.weixinyidu.com免责声明    商务合作1758059460
版权声明:本站收录微信公众号和微信文章内容全部来自于网络,仅供个人学习、研究或者欣赏使用。版权归原作者所有。禁止一切商业用途。其中内容并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。如果您发现头条易读网站上有侵犯您的知识产权的内容,请与我们联系,我们会及时修改或删除。
本站声明:本站与腾讯微信、微信公众平台无任何关联,非腾讯微信官方网站。
粤ICP备16075700号-1