您的位置:首页>>互联网

BERT和ERNIE谁更强?这里有一份4大场景的细致评测

发布时间:2019-06-17 18:35:11  来源:互联网    背景:

  BERT和ERNIE,NLP领域近来最受关注的2大模型究竟怎么样?刚刚有人实测比拼了一下,结果在中文语言环境下,结果令人意外又惊喜。具体详情究竟如何?不妨一起围观下这篇技术评测。

  1.  写在前面

  随着2018年ELMo、BERT等模型的发布,NLP领域终于进入了“大力出奇迹”的时代。采用大规模语料上进行无监督预训练的深层模型,在下游任务数据上微调一下,即可达到很好的效果。曾经需要反复调参、精心设计结构的任务,现在只需简单地使用更大的预训练数据、更深层的模型便可解决。

  随后在2019年上半年,百度的开源深度学习平台PaddlePaddle发布了知识增强的预训练模型ERNIE,ERNIE通过海量数据建模词、实体及实体关系。相较于BERT学习原始语言信号,ERNIE直接对先验语义知识单元进行建模,增强了模型语义表示能力。

  简单来说,百度ERNIE采用的Masked Language Model是一种带有先验知识Mask机制。可以在下图中看到,如果采用BERT随机mask,则根据后缀“龙江”即可轻易预测出“黑”字。引入了词、实体mask之后,“黑龙江”作为一个整体被mask掉了,因此模型不得不从更长距离的依赖(“冰雪文化名城”)中学习相关性。

 

  除此之外,百度ERNIE还引入了DLM(对话语言模型)任务,通过这种方式来学习相同回复对应的query之间的语义相似性。实验证明DLM的引入对LCQMC(文本相似度计算)系列任务带来了较大的帮助。最终ERNIE采用多源训练数据,利用高性能分布式深度学习平台PaddlePaddle完成预训练。

  2.  亲测

  到底百度ERNIE模型所引入训练机制有没有起到作用,只有实践了以后才知道。为此,我亲自跑了BERT和ERNIE两个模型,在下面的几个场景中得到了预测结果。

  2.1  完形填空

  完形填空任务与预训练时ERNIE引入的知识先验Mask LM任务十分相似。从下图的比较中我们可以看到,ERNIE对实体词的建模更加清晰,对实体名词的预测比BERT更准确。例如BERT答案“周家人”融合了相似词语“周润发”和“家人”结果不够清晰;“市关村”不是一个已知实体;“菜菜”的词边界是不完整的。ERNIE的答案则能够准确命中空缺实体。

 

  2.2 NER ( 命名 识别 )

  在同样为token粒度的NER任务中,知识先验Mask LM也带来了显著的效果。对比MSRA-NER数据集上的F1 score表现,ERNIE与BERT分别为93.8%、92.6%。在PaddleNLP的LAC数据集上,ERNIE也取得了更好的成绩,测试集F1为92.0%,比BERT的结果90.3%提升了1.7%。分析二者在MSRA-NER测试数据中二者的预测结果。可以观察到:

  1.)ERNIE对实体理解更加准确:“汉白玉”不是实体类型分类错误;

  2.)ERNIE对实体边界的建模更加清晰:“美国法律所”词边界不完整,而“北大”、“清华”分别是两个机构。

  Case对比:摘自MSRA-NER数据测试集中的三段句子。B_LOC/I_LOC为地点实体的标签,B_ORG/L_ORG为机构实体的标签,O为无实体类别标签。下表分别展现了 ERNIE、BERT模型在每个字上的标注结果。

 

 

 

  2.3  相似度

  ERNIE在训练中引入的DLM能有效地提升模型对文本相似度的建模能力。因此,我们比较文本相似度任务LCQMC数据集上二者的表现。从下表的预测结果可以看出,ERNIE学习到了中文复杂的语序变化。最终ERNIE与BERT在该任务数据的预测准确率为87.4%、87.0%.

 

  2.4 

 

  最后,比较应用最广泛的情感分类任务。经过预训练的ERNIE能够捕捉更加细微的语义区别,这些句子通常含有较委婉的表达方式。下面展示了PaddleNLP情感分类测试集上ERNIE与BERT的打分表现:在句式“不是很…”中含有转折关系,ERNIE能够很好理解这种关系,将结果预测为“消极”。在ChnSentiCorp情感分类测试集上finetune后ERNIE的预测准确率为95.4%,高于BERT的准确率(94.3%)。

  从以上数据我们可以看到,ERNIE在大部分任务上都有不俗的表现。尤其是在序列标注、完形填空等词粒度任务上,ERNIE的表现尤为突出,一点都不输给Google的BERT。

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页 本文来源:互联网

本文评论
友情提示:评论功能暂时关闭,请扫描上方二维码进群交流!
线下数据赋能实体经济,众盟如何引领数字化新浪潮?
“谁掌握了数据,谁就掌握了主动权。”顶层设计的振臂高挥,使得数据被各行各业奉为圭臬...
日期:08-21
百度大脑正式发布智能视频监控开发平台 零门槛接入 半小时完成部署
引言:工人在厂区的着装是否合规?学生在课堂的学习注意力是否集中?厂区如果发生火情,如何第一时间...
日期:08-21
绿色节能,打造服务器可持续发展之路
“侬会垃圾分类了伐?”近期上海的垃圾分类无疑是最热的话题之一,无论是精明的阿姨,还是...
日期:08-21
“存量市场”即将到来,弹个车瞄准下沉市场小镇青年
回顾2018年,对于汽车行业可以说是寒冬年,基本上可以用四个字形容——哀鸿遍野。2018年...
日期:08-21
吴亦凡户籍信息只要50元?腾讯手机管家盘点3大信息泄露途径
近日,《陈情令》中蓝忘机扮演者王一博发微博称:“别再给我打电话了 别再用我手机号去登录软...
日期:08-21
免填邀请码:高效提高App推广效率
App 邀请机制是每个产品几乎必做的功能点,它一般以两种形式存在:一是作为常置功能用于推荐,二是...
日期:08-21
如何买到放心二手车?大搜车家选为市场提供新模板
汽车市场长达28年之久的上涨局面在去年被打破,也就是从去年开始汽车市场上的新车开始出现卖不动的...
日期:08-21
百度智能云携手头部商业银行,区块链技术落地金融行业
近期,百度智能云区块链团队取得新的突破,“金融级联盟链治理平台”与浦发银行进行深度...
日期:08-21
XSKY中标2019央采
日前,中央国家机关2019年软件协议供货采购项目正式发布中标公告,XSKY两款SDS产品成功入围。
日期:08-21
百度2019Q2财报:数据背后,智能小程序“新连接”势能强劲
2019年Q2财报季来了,百度的财报如期而至。
  眼花缭乱的各项数据中,百度董事长兼CEO李彦宏...
日期:08-21
百度和腾讯财报背后的故事:移动互联网老去,小程序互联网已至
8 月 20 日,百度公布了备受关注的 2019 年第二季度财报。本季度,百度实现营收 263 亿元人民币,环...
日期:08-21
高层集结,共探数据引力场,2019帆软智数大会盛大举行!
8月15-17日,2019年帆软智数大会在南京国际青年会议中心盛大举行。筹备了5个月之久的智数大会获得了...
日期:08-21
如何在业务高峰中轻松“躺赢”?华为云MySQL为你支招
业务大促,订单暴增,网站流量暴涨几倍,数据库服务器容量又要扛不住了,眼睁睁看着生意白白溜走,...
日期:08-21
“网龙杯”双创大赛引领数字教育人才培养创新发展
2019年8月19-20日,“网龙杯”第五届福建省“互联网+”大学生创新创业大赛省级...
日期:08-21
14支初中生团队入围小程序编程创意营决赛名单,小程序成编程教育优质工具
8月20日,首届全国青少年微信小程序编程创意营入围名单公布,由39名初中生组成的14支小程序员队伍进...
日期:08-21
王者荣耀暑期档活动来袭 来电科技联动多品牌打造开黑圣地
7月30日至9月20日,王者荣耀暑期“年少轻狂不惧浪”的青春主题上线,来电科技携手《王者...
日期:08-21
2019CIPE深圳国际潮玩展即将开幕,叮叮抓娃娃受邀参展
由中国版权保护中心指导,广东省文化经济发展研究会、深圳市版权协会、深圳前域文化科技有限公司联...
日期:08-21
再登《新闻联播》  讯飞智能办公本创新功能引关注
8月14日,央视《新闻联播》报道了国务院新闻办公室举办的“庆祝建国70周年”系列新闻发布...
日期:08-20
美媒:华为帮非洲国家政府搞监控 外交部回应情况不实
  (原标题:美媒说华为帮非洲国家政府搞监控 外交部:报道水准令人堪忧)
日期:08-20
  专栏介绍
张玉翠 的专栏
张玉翠发表的文章
积分:
自我介绍 :