您的位置:首页>>业界动态

拿下AI榜双冠背后 华为云ModelArts的性能秘密

发布时间:2019-03-29 16:46:12  来源:北国网    背景:

  

  就在上周三,斯坦福大学发布了最新的 DAWNBench 榜单,这是全球人工智能领域最权威的竞赛之一。华为云 ModelArts 一站式AI开发平台,将图像识别总训练时间和推理性能榜单的冠军收入囊中。

  此次华为云 ModelArts 将训练时间缩短至4分8秒,比3个月前榜单公布的纪录足足快了一倍。而此前几次 DAWNBench 图像识别训练的最佳纪录也均由华为云 ModelArts 创造。

  大洋彼岸的喜讯刚刚公布,仅隔一日,榕城福州又为AI开发者们带来新的好消息。在华为中国生态伙伴大会上,华为云 AI 市场正式发布。这个在华为云 ModelArts 平台基础上构建的开发者生态社区,为高校、企业及个人开发者等群体提供安全开放、公平可靠的 AI 模型、API、数据集以及竞赛案例等内容共享和交易。

  那么,势头强劲的华为云 ModelArts 究竟有何超能力?它如何在高手如云的基准测试中,仅用短短3个月便打破自己的纪录?它又分别对训练和推理做了哪些优化,从而实现如此出色的性能?新发布的AI市场又为 AI 开发者们带来了哪些便利?本文将一一揭晓华为云 ModelArts 的技术硬实力究竟强在哪儿。

    捧走训练推理双料冠军,比此前最高训练纪录快1倍

  斯坦福 DAWNBench 榜单是用以衡量端到端的深度学习模型训练和推理性能的国际权威基准测试平台,相应的排行榜反映了当前业界深度学习平台技术的领先性。

  该榜单最新的图像识别排行榜显示,在训练性能方面,华为云 ModelArts 用128块 V100 GPU,在 ResNet50_on_ImageNet(93%以上精度)上训练模型,训练时间仅为4分08秒,较其2018年12月创下的9分22秒纪录快了1倍,比此前 fast.ai 在AWS平台上的训练速度快4倍。

  在推理性能方面,华为云 ModelArts 识别图片的速度是第二名的1.72倍、亚马逊的4倍、谷歌的9.1倍。

  华为云 ModelArts 是如何做到在国际权威深度学习模型基准平台上表现出色,并在短短3个月的时间打破自己创造的纪录?

  这就要归功于 ModelArts 团队从训练和推理两大部分着手,包括高性能分布式模型训练和极速推理技术在内的一系列优化。

    优化训练的三大维度:网络结构、框架和算法

  在训练方面,华为云 ModelArts 团队主要从深度神经网络结构、分布式训练框架、深度学习训练算法三个维度展开优化。

   1、深度神经网络结构优化

  本次使用的网络结构是基于经典的 ResNet50 结构。由于在训练中使用了 128*128 的低分辨率输入图片来提升训练的速度,对训练精度产生了一定影响,原始模型无法在维持训练 epoch 数的情况下将模型训练到指定的 top5 93% 精度。

  为此,ModelArts 团队对 ResNet50 中的卷积结构进行了优化,从而在低分辨率训练模式下也能够稳定达到目标精度。

    2、分布式训练框架优化

  深度学习训练过程涉及大规模的参数的网络间传递。TensorFlow 使用中心化的网络参数服务器(Parameter Server)来承担梯度的收集、平均和分发工作,对 server 节点的访问会成为瓶颈,带宽利用率低。为此 ModelArts 团队使用 AllReduce 算法来进行梯度聚合来优化带宽。

  同时对传输的梯度进行融合,对小于阈值大小的梯度多次传输合并为一次,提升带宽利用率;另外在通信底层采用 NVIDIA 的 NvLink、P2P 等技术来提升节点内和节点间通信带宽,降低通信时延。

    3、深度学习训练算法优化

  在本次的训练过程中使用的分布式全局 batch size 为32768,这样的超大 batch size 提升了训练的并行度,但也导致了收敛精度降低的问题。为此 ModelArts 团队实现《Large Batch Training of Convolutional Networks》中提出的层次自适应速率缩放(LARS)算法,在全局学习率调度方面,使用了带 warmup 的 linear cosine decay scheduler,训练优化器则采用 momentum 算法。

  在本次提交的训练结果中,ModelArts 仅用了35个 epoch 即将模型训练到了指定精度,并在全程除了最后一个 epoch 外均保持在32K的大 batch size 下,最终用时4分08秒,比之前的成绩再次提升了一倍。

    优化推理的三大维度:网络结构、量化与剪枝

  在推理方面,ModelArts 团队从以下三个方面进行了优化:1.网络结构优化2. Int8 量化3. 神经网络卷积通道剪枝。

    1、网络结构优化

  在推理中同样采用了 ResNet50 模型,并且是推理效率更优的 ResNet50-v1 版本。在此模型的基础上将降采样提前并使用了信息损失更小的降采样方法,既提升了推理速度,又获得了更高的模型精度。

    2、Int8 量化

  低比特量化是提升推理性能的一种主要手段,其中 int8 量化方法的通用性强且对模型精度的损失小。在量化的过程中先加载原始模型,再对原始模型创建对应的 int8 量化模型,然后提取训练中典型样本对量化模型进行校准,最后基于校准结果产生优化后的 int8 模型。

  在此量化中模型的推理精度仅损失了0.15%,而模型的推理速度提升了2倍以上。

    3、神经网络卷积通道剪枝

  研究表明网络中很多连接都是接近0或者冗余的,对这些参数进行剔除对精度影响相对较小。模型剪枝方法包含结构剪枝和非结构剪枝。非结构化剪枝设定一个阈值,当权重低于这个阈值时候会被设置为0,不再更新。

  这个方法使得模型连接变得稀疏,但是由于这些连接分散在各个权重里,而由于GPU并不支持稀疏矩阵卷积和乘法加速,因此并不能有效提升推理速度。

  结构化剪枝主要使用的方法是卷积通道剪枝,即通过一些方法评估神经网络中的每个卷积核的影响系数,然后将其中影响系数较低的卷积核整体去掉,而使得整个模型变小,推理速度提升。

    正式发布国内首个AI模型市场

  值得一提的是,这次在华为中国生态伙伴大会上,华为将“平台+生态”战略演进为“平台+AI+生态”,为合作伙伴提供“行业+AI”的支持。

  华为副总裁、云 BU 总裁郑叶来也正式启动了华为云 AI 市场并宣布投入专项激励,在 AI 市场上帮助开发者、合作伙伴加速企业的 AI 应用落地。

  如前所述,华为云 AI 市场主要包括 AI 模型市场、API 市场、WIKI 数据集和竞赛 Hub 和案例 Hub 等模块资源,用户可自由选择感兴趣的资源进行交易。

  从高校科研机构、AI应用开发商、解决方案集成商、企业到个人开发者,这些 AI 开发生态链各参与方均被有效连接,AI 市场不仅帮助他们加速 AI 产品开发和落地,而且确保共享及交易环境足够安全、开放。

  我们来重点谈谈华为云 AI 市场中的 AI 模型市场,这也是国内首个提供发布及订阅 AI 模型服务的平台。AI 模型市场的主要功能是发布和订阅 AI 模型,通过市场中间人机制及 ModelArts 平台,保证买卖双方模型和数据安全。

  卖方用户在认证自己的账号后进行信用经营,可以将自己的模型上传到市场中,并为模型指定不同的发布权限和计费策略,例如按次、包年、包月。买方用户则可以在 AI 模型市场寻找和订阅感兴趣的模型,用于自己的 AI 推理。

  卖方用户还可以为其模型画像属性,这样一来,买方用户可以更快地定位目标。此外,AI 模型市场支持为发布的模型配置推理/再训练代码,买方用户就可以用这些模型做再训练或者部署成推理服务。

  此前,智东西曾在一文中详述华为云 ModelArts 平台的四大亮点和操作流程。ModelArts 有开源数据集、自动化调参、MoXing 分布式框架和千级 GPU 集群规模训练加速、云边端一键式部署等 buff 加成,这一平台的上手门槛非常低,从零编程经验的小白,到高阶算法工程师,都能借助这一平台更快更好地完成 AI 模型的训练和推理。

  华为云 ModelArts 平台于今年1月30日正式上线,已经陆续在智慧医疗、智能制造、自动驾驶、智慧城市、智慧安防、水利等 AI 场景大规模应用,帮助各行各业的企业及开发者们实现 AI 开发应用落地,及时响应市场需求。

    结语:云计算AI大战持续升温,应用落地仍是王道

  目前,拥抱 AI 的云计算仍是一片蓝海市场。互联网巨头、传统 ICT 企业、传统企业服务供应商和新兴创企等各类玩家涌入这一市场,老玩家稳固地位,新玩家加速成长,云计算市场的竞争正在加剧。

  华为云 ModelArts 平台可以说是华为“把复杂要留给自己,把简单留给客户和合作伙伴”理念的直接例证,上至数据集、AI 模型等基础模块,下至一体式操作流程,让企业和开发者们点点鼠标就能完成高质量的 AI 开发。

  从华为云 ModelArts 平台,我们可以提炼出云计算服务商构建 AI 服务竞争壁垒的几个关键词——更强大、更全面、更易用、更可靠。随着 AI 技术逐渐落实到各行业中,泡沫逐渐消散,真正能为企业提供最优质服务、帮助其实现商业变现者,才能最终构建起更强大的生态,推动 AI 应用落地走向高潮。

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页 本文来源:北国网

本文评论
友情提示:评论功能暂时关闭,请扫描上方二维码进群交流!
自动驾驶:百度五年狂奔,谷歌十年倔强
历史最有趣之处,在于其往往颠覆人们的认知。
  把时间往回拨15年,在20世纪之初的2004年,...
日期:08-21
5G全速进化 iQOO Pro新品手机明日北京发布
明天,也就是8月22日,生而强悍再进化的iQOO Pro将在751D·PARK北京时尚设计广场751新罐正式...
日期:08-21
今年7月,厦门5家小龙坎火锅店正式接入付呗
如果是人生中有什么坎过不去,那一定就是小龙坎。就是ta,把地道的成都风味带向全国各地。
日期:08-21
联想携手极客公园启动「酷公司30」计划  合力助推中小企业成长进化
2019年8月21日,联想集团全球总部未来中心——今日,联想中小企业事业部携手尖端科技媒体...
日期:08-21
Adobe发布Creative Cloud中国摄影计划,助力创意实现
中国,杭州—2019年8月21日— Adobe(Nasdaq: ADBE)今日宣布将于近期在中国大陆地区推出面...
日期:08-21
飞桨端侧推理引擎重磅升级为Paddle Lite,更高扩展性更极致性能!
百度深度学习平台飞桨(PaddlePaddle)再放大招!端侧推理引擎全新升级,重磅发布Paddle Lite,旨在推...
日期:08-21
消息:小米或不能再使用MIX商标
8月21日消息 近日,有网友放出了中国裁决文书网的小米科技有限责任公司和国家知识产权局二审的行政...
日期:08-21
2019北京网络安全大会召开首日 国家会议中心被“挤爆”
8月21日上午,为期三天的2019北京网络安全大会正式拉开帷幕。当天早上,会议举办地点国家会议中心人...
日期:08-21
强强联合!百度智能云与Rancher达成合作,容器生态再进一步
2019年8月21日,技术领先的云计算服务平台百度智能云与全球领先的容器管理软件提供商Rancher Labs正...
日期:08-21
千库4周年品牌视频《招牌“蓝友”在线守护》深度解读
2019年8月19日,千库网正式对外发布了4周年品牌视频《招牌“蓝友”在线守护》,通过三段...
日期:08-21
Mance Harmon:超越区块链,构建快速、公平和安全的去中心化应用程序
2019年8月21日,在北京举办的PoW’er大会上,企业级分布式账本平台Hedera Hashgraph 联合创始人...
日期:08-21
Byte CTF字节跳动网络安全攻防大赛强势来袭
当今,随着网络信息规模的不断发展与壮大,网络系统面临着更多的安全威胁。网络安全是一个关系到国...
日期:08-21
索尼影视官方确认,漫威将不再参与《蜘蛛侠》电影制作
据IGN早些时候报道,由于索尼影业和迪士尼之间无法达成新的协议,所以未来漫威电影宇宙未来不会制作...
日期:08-21
OPPO Reno 2配置曝光:骁龙730G+4000mAh电池
今日,外媒91Mobiles曝光了将于8月28日在印度发布的新机OPPO Reno 2更完整的配置参数。OPPO Reno 2...
日期:08-21
京东云总裁申元庆谈物联网布局:为5G时代领跑超级电商赋能
经济日报-中国经济网讯(记者 王茂林)从2009年,以国家传感网创新示范区成立为标志,无锡正式与物联网结...
日期:08-21
百度智能小程序的“哪吒”效应
又是集中的财报季节,BAT三巨头先后秀出肌肉。
  8月20日,百度发布Q2财报,本季度实现营收2...
日期:08-21
配置相当华丽!小米MIX4系列配置曝光,售价真香
此前有消息称,小米将会在下半年推出一款全新的手机,也就是新一代的MIX系列旗舰产品MIX4。近日,疑...
日期:08-21
西瓜视频创作人:大白话本人,露脸居然没掉粉?
长期隐藏在电影画面和配音之后的影视解说博主,在两三天之内,纷纷从幕后走到前台露脸,用真实长相...
日期:08-21
世界机器人大会正式开幕,普渡送餐机器人引全场观众热情围观
在一段不足十米的通道上,数个路障简单勾画出了一条“S型”的道路,一台机器人行驶到路障...
日期:08-21
乡村民宿助力旅游脱贫,小猪参与海南省乡村民宿示范建设项目
8月20日,海南省首个乡村民宿示范建设项目在海口市美兰区美帖村正式启动,该项目由海南省旅游民宿提...
日期:08-21
  专栏介绍
孙月 的专栏
孙月发表的文章
积分:
自我介绍 :