您的位置:首页>>业界动态

搜狗讯飞分获IWSLT2018评测第一,到底哪个冠军更有份量

发布时间:2018-11-02 18:55:53  来源:互联网    背景:

  10月31日上午,科大讯飞和搜狗两家公司几乎在同一时间,都表示自己获得了IWSLT2018国际口语机器翻译评测比赛的第一名。看到这个夺冠“撞车”的消息,让网友们不禁产生了强烈的疑惑:又不是并列第一名(搜狗明确说明了击败讯飞),这一个比赛里为什么会有两个世界冠军呢?

  随后,我们通过IWSLT2018大赛官网并对比两家的获奖新闻,终于搞懂了这个“一个冠军,各自表述”的缘由。

  讯飞or搜狗,究竟谁是第一?

  作为国际上最具影响力的口语机器翻译评测比赛,每年举办一次的IWSLT确实是拥有足够的地位分量,至今已经举办了15届。通过查阅名单可知,IWSLT 2018 有全球很多的机器翻译领域的研究机构参加。

  地址链接如下,可自行查看:

  https://workshop2018.iwslt.org/downloads/Proceedings_IWSLT_2018.pdf

  从介绍来看,本届IWSLT 2018的口语机器翻译任务,是将英语演讲语音翻译成对应的德语文本。需要注意的是,这里所谓的翻译是把语音信号翻译成目标语言文本,并非我们熟悉的文本到文本的翻译。也就是说,这个比赛所要评测的是语音翻译能力,正是之前科大讯飞曾经闹出过“人机耦合”笑话的机器翻译技术。

  本届IWSLT2018评测比赛中,搜狗与讯飞是在两个不同的赛道里分别夺冠,一个叫做baseline模型赛道,一个叫做端到端(end-to-end)模型赛道。

  两者虽然都是冠军,含金量的差别却很大。

  对于普通用户来说,基本可以这么理解:IWSLT这场国际口语机器翻译评测大赛分为大师赛和新秀赛两个赛道。搜狗获得了baseline模型赛道的冠军,这个赛道是目前最主流的赛道,代表着实用语音翻译技术的最高水平,是本次评测的大师赛,目前市面上机器同传、翻译机等语音翻译类产品几乎都采用了类似的方法,讯飞本次也参与了这个赛道,从官方给出的成绩看,讯飞以1.6个BLEU的劣势落后搜狗位居第二位。

  另一方面,科大讯飞获得第一名的端到端(end-to-end)赛道属于本次评测新设置的赛道,各方面的技术都处于初级阶段,仍在沉淀和积累中,相当于本次评测的新秀赛,新秀是否能成长为大师,仍有待长时间的检验,还无法代表行业主流水平,搜狗本次并未参加端到端赛道的评测,但其团队在之前多个技术交流中都曾透露过正在研发端到端语音翻译技术,并取得了阶段性突破,由此可推断,搜狗参与本次评测更多是检验自研的实用语音翻译技术在行业的位置。

  详解两种模型的技术差异

  作为目前最主流的应用技术,baseline模型对应的语音翻译方案,包含语音识别、机器翻译两大模块,采用的是多步走的流水线设计,即语音信号先输入语音识别系统(automatic speech recognition, ASR)得到源语言的识别文本,然后再将识别文本送入机器翻译系统(neural machine translation, NMT)输出目标语言的对应译文。

  根据搜狗在知乎上的介绍(https://zhuanlan.zhihu.com/p/45176217),搜狗同传系统就是baseline模型赛道对应的典型方案,整个系统共分为5个技术模块,除了语音识别、机器翻译、语音合成三大技术模块之外,还新增了语音预处理和文本预处理两大模块,确保三项技术能够更好的联合优化,真正实现1 + 1 + 1 > 3的效果。

  使用流水线方案的好处是,各大技术模块可以独立优化,充分利用语音识别、机器翻译技术领域内的优化技术以及海量数据,大幅提升单点技术效果,为了更加有效的将ASR和NMT两个系统连接起来,搜狗同传系统主要进行了两方面的工作:

  1) 增加了文本预处理模块处理识别文本中的识别错误、口语化表达、语气词、文本不流利、断句等问题,将处理后的文本送到文本翻译模块进行翻译,实现了语音识别和机器翻译的有效结合;

  2) 训练出语音识别、机器翻译任务内最优的模型之后,引入联合训练机制,进一步提升语音翻译效果。

  罗马不是一天建成的,搜狗在同传、翻译机等产品上对实用语音翻译技术的深耕和积累,在本次评测的成绩上得到了充分展现,官方公布的成绩上,我们看到搜狗以高达28的BLEU位居baseline赛道第一。

  PS:BLEU是一种机器翻译自动评价的方法,是衡量方案优劣的重要指标,其数值越大意味着越准确。

  官方公布的结果中,讯飞在端到端(end-to-end)赛道获得了冠军。

  端到端语音翻译技术,是指绕开语音识别、机器翻译等各模块单独优化的阶段,输入语音经过神经网络变换直接输出目标语言的译文序列,并不会产生源语言的识别中间结果。其目的是将语音翻译系统简化到一个深度神经网络中,减少识别错误等带来的翻译质量下降。

  要注意的是,端到端语音翻译方案目前仍然处于早期学术研究阶段,训练方法和神经网络具体结构都不成熟,同时由于(语音-目标语言译文)的数据对难以大规模采集,因此数据和模型优势无法形成有效的协同,效果提升收到很大的阻力。

  现阶段,端到端(end-to-end)的方案基本没有办法进行商业使用和普及推广,但已经成为未来可能优化语音翻译效果的方案之一。以科大讯飞这次夺冠的成绩来看,仅仅得到了19.4的BLEU,与baseline模型中的效果相差甚远,基本不具备实际的推广意义和商用价值。更何况,在讯飞夺冠的端到端(end-to-end)赛道之中,一共只有四支队伍而已,像是阿里巴巴和搜狗就压根都没有进行报名参赛。这两个赛道由于训练数据量的差异,各自BLEU值不具有直接的可比性。但是在baseline赛道,相同数据量的情况下,讯飞是实实在在的败给了搜狗。

  所以说,如果IWSLT国际口语机器翻译评测大赛算是一场“全明星大赛”,那么baseline模型算是“东西对抗”级别的顶级交锋。而新添加的端到端(end-to-end)项目,也只是一场非主流的新秀表演赛罢了。

  由于科大讯飞在自家的获奖宣传中,有意无意的模糊了这一层技术差别。在这里,我们也并不想去论证科大讯飞的行为对错,只是单纯从技术分析的客观角度,给各位读者们分析IWSLT比赛里两个冠军的分量区别,并希望这些中国的AI企业能够凭借自身的科研实力,取得更好的成绩。

  总之,从“同传造假门”到“再获世界第一”,希望科大讯飞未来的AI之路能走的踏实些吧。

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页 本文来源:互联网

本文评论
友情提示:评论功能暂时关闭,请扫描上方二维码进群交流!
自动驾驶:百度五年狂奔,谷歌十年倔强
历史最有趣之处,在于其往往颠覆人们的认知。
  把时间往回拨15年,在20世纪之初的2004年,...
日期:08-21
5G全速进化 iQOO Pro新品手机明日北京发布
明天,也就是8月22日,生而强悍再进化的iQOO Pro将在751D·PARK北京时尚设计广场751新罐正式...
日期:08-21
今年7月,厦门5家小龙坎火锅店正式接入付呗
如果是人生中有什么坎过不去,那一定就是小龙坎。就是ta,把地道的成都风味带向全国各地。
日期:08-21
联想携手极客公园启动「酷公司30」计划  合力助推中小企业成长进化
2019年8月21日,联想集团全球总部未来中心——今日,联想中小企业事业部携手尖端科技媒体...
日期:08-21
Adobe发布Creative Cloud中国摄影计划,助力创意实现
中国,杭州—2019年8月21日— Adobe(Nasdaq: ADBE)今日宣布将于近期在中国大陆地区推出面...
日期:08-21
飞桨端侧推理引擎重磅升级为Paddle Lite,更高扩展性更极致性能!
百度深度学习平台飞桨(PaddlePaddle)再放大招!端侧推理引擎全新升级,重磅发布Paddle Lite,旨在推...
日期:08-21
消息:小米或不能再使用MIX商标
8月21日消息 近日,有网友放出了中国裁决文书网的小米科技有限责任公司和国家知识产权局二审的行政...
日期:08-21
2019北京网络安全大会召开首日 国家会议中心被“挤爆”
8月21日上午,为期三天的2019北京网络安全大会正式拉开帷幕。当天早上,会议举办地点国家会议中心人...
日期:08-21
强强联合!百度智能云与Rancher达成合作,容器生态再进一步
2019年8月21日,技术领先的云计算服务平台百度智能云与全球领先的容器管理软件提供商Rancher Labs正...
日期:08-21
千库4周年品牌视频《招牌“蓝友”在线守护》深度解读
2019年8月19日,千库网正式对外发布了4周年品牌视频《招牌“蓝友”在线守护》,通过三段...
日期:08-21
Mance Harmon:超越区块链,构建快速、公平和安全的去中心化应用程序
2019年8月21日,在北京举办的PoW’er大会上,企业级分布式账本平台Hedera Hashgraph 联合创始人...
日期:08-21
Byte CTF字节跳动网络安全攻防大赛强势来袭
当今,随着网络信息规模的不断发展与壮大,网络系统面临着更多的安全威胁。网络安全是一个关系到国...
日期:08-21
索尼影视官方确认,漫威将不再参与《蜘蛛侠》电影制作
据IGN早些时候报道,由于索尼影业和迪士尼之间无法达成新的协议,所以未来漫威电影宇宙未来不会制作...
日期:08-21
OPPO Reno 2配置曝光:骁龙730G+4000mAh电池
今日,外媒91Mobiles曝光了将于8月28日在印度发布的新机OPPO Reno 2更完整的配置参数。OPPO Reno 2...
日期:08-21
京东云总裁申元庆谈物联网布局:为5G时代领跑超级电商赋能
经济日报-中国经济网讯(记者 王茂林)从2009年,以国家传感网创新示范区成立为标志,无锡正式与物联网结...
日期:08-21
百度智能小程序的“哪吒”效应
又是集中的财报季节,BAT三巨头先后秀出肌肉。
  8月20日,百度发布Q2财报,本季度实现营收2...
日期:08-21
配置相当华丽!小米MIX4系列配置曝光,售价真香
此前有消息称,小米将会在下半年推出一款全新的手机,也就是新一代的MIX系列旗舰产品MIX4。近日,疑...
日期:08-21
西瓜视频创作人:大白话本人,露脸居然没掉粉?
长期隐藏在电影画面和配音之后的影视解说博主,在两三天之内,纷纷从幕后走到前台露脸,用真实长相...
日期:08-21
世界机器人大会正式开幕,普渡送餐机器人引全场观众热情围观
在一段不足十米的通道上,数个路障简单勾画出了一条“S型”的道路,一台机器人行驶到路障...
日期:08-21
乡村民宿助力旅游脱贫,小猪参与海南省乡村民宿示范建设项目
8月20日,海南省首个乡村民宿示范建设项目在海口市美兰区美帖村正式启动,该项目由海南省旅游民宿提...
日期:08-21
  专栏介绍
即时新闻 的专栏
即时新闻发表的文章
积分:
自我介绍 :