您的位置:首页>>业界动态

飞桨上线万能转换小工具,教你玩转TensorFlow、Caffe等模型迁移

发布时间:2019-06-26 14:20:46  来源:互联网    背景:

  百度推出飞桨(PaddlePaddle)后,不少开发者开始转向国内的深度学习框架。但是从代码的转移谈何容易,之前的工作重写一遍不太现实,成千上万行代码的手工转换等于是在做一次二次开发。

  现在,有个好消息:无论Caffe、TensorFlow、ONNX都可以轻松迁移到飞桨平台上。虽然目前还不直接迁移PyTorch模型,但PyTorch本身支持导出为ONNX模型,等于间接对该平台提供了支持。

  然而,有人还对存在疑惑:不同框架之间的API有没有差异?整个迁移过程如何操作,步骤复杂吗?迁移后如何保证精度的损失在可接受的范围内?

  大家会考虑很多问题,而问题再多,归纳一下,无外乎以下几点:

  1. API差异 :模型的实现方式如何迁移,不同框架之间的API有没有差异?如何避免这些差异带来的模型效果的差异?

  2. 模型文件差异 :训练好的模型文件如何迁移?转换框架后如何保证精度的损失在可接受的范围内?

  3. 预测方式差异 :转换后的模型如何预测?预测的效果与转换前的模型差异如何?

  飞桨开发了一个新的功能模块,叫X2Paddle (Github见参考1),可以支持主流深度学习框架模型转换至飞桨,包括Caffe、Tensorflow、onnx等模型直接转换为Paddle Fluid可加载的预测模型,并且还提供了这三大主流框架间的API差异比较,方便我们在自己直接复现模型时对比API之间的差异,深入理解API的实现方式从而降低模型迁移带来的损失。

  下面以TensorFlow转换成Paddle Fluid模型为例,详细讲讲如何实现模型的迁移。

  TensorFlow-Fluid 的API差异

  在深度学习入门过程中,大家常见的就是手写数字识别这个demo,下面是一份最简单的实现手写数字识别的代码:

  大家看这段代码里,第一步是导入mnist数据集,然后设置了一个占位符x来表示输入的图片数据,再设置两个变量w和b,分别表示权重和偏置来计算,最后通过softmax计算得到输出的y值,而我们真实的label则是变量y_ 。

  前向传播完成后,就可以计算预测值y与label y_之间的交叉熵。

  再选择合适的优化函数,此处为梯度下降,最后启动一个Session,把数据按batch灌进去,计算acc即可得到准确率。

  这是一段非常简单的代码,如果我们想把这段代码变成飞桨的代码,有人可能会认为非常麻烦,每一个实现的API还要一一去找对应的实现方式,但是这里,我可以告诉大家,不!用!这!么!麻!烦!因为在X2Paddle 里有一份常用的Tensorflow对应Fluid的API表,(https://github.com/PaddlePaddle/X2Paddle/tree/master/tensorflow2fluid/doc),如下所示:

  对于常用的TensorFlow的API,都有相应的飞桨接口,如果两者的功能没有差异,则会标注功能一致,如果实现方式或者支持的功能、参数等有差异,即会标注“差异对比”,并详细注明。

  譬如,在上文这份非常简单的代码里,出现了这些TensorFlow的API:

  在出现的这些api里,大部分的功能都是一致的,只有两个功能不同,分别是tf.placeholder和tf.nn.softmax_cross_entropy_with_logits ,分别对应 fluid.layers.data 和 fluid.layers.softmax_with_cross_entropy . 我们来看看具体差异:

  tf.placeholder V.S fluid.layers.data

  常用TensorFlow的同学对placeholder应该不陌生,中文翻译为占位符,什么意思呢?在TensorFlow 2.0以前,还是静态图的设计思想,整个设计理念是计算流图,在编写程序时,首先构筑整个系统的graph,代码并不会直接生效,这一点和python的其他数值计算库(如Numpy等)不同,graph为静态的,在实际的运行时,启动一个session,程序才会真正的运行。这样做的好处就是:避免反复地切换底层程序实际运行的上下文,tensorflow帮你优化整个系统的代码。我们知道,很多python程序的底层为C语言或者其他语言,执行一行脚本,就要切换一次,是有成本的,tensorflow通过计算流图的方式,可以帮你优化整个session需要执行的代码。

  在代码层面,每一个tensor值在graph上都是一个op,当我们将train数据分成一个个minibatch然后传入网络进行训练时,每一个minibatch都将是一个op,这样的话,一副graph上的op未免太多,也会产生巨大的开销;于是就有了tf.placeholder,我们每次可以将 一个minibatch传入到x = tf.placeholder(tf.float32,[None,32])上,下一次传入的x都替换掉上一次传入的x,这样就对于所有传入的minibatch x就只会产生一个op,不会产生其他多余的op,进而减少了graph的开销。

  参数对比

  tf.placeholder

  paddle.fluid.layers.data

  从图中可以看到,飞桨的api参数更多,具体差异如下:

  · Batch维度处理

  TensorFlow: 对于shape中的batch维度,需要用户使用None指定;

  飞桨: 将第1维设置为-1表示batch维度;如若第1维为正数,则会默认在最前面插入batch维度,如若要避免batch维,可将参数append_batch_size设为False。

  · 梯度是否回传

  tensorflow和pytorch都支持对输入求梯度,在飞桨中直接设置stop_gradient = False即可。如果在某一层使用stop_gradient=True,那么这一层之前的层都会自动的stop_gradient=True,梯度不会参与回传,可以对某些不需要参与loss计算的信息设置为stop_gradient=True。对于含有BatchNormalization层的CNN网络,也可以对输入求梯度,如

  tf.nn.softmax_cross_entropy_with_logits V.S

  fluid.layers.softmax_with_cross_entropy

  参数对比

  paddle.fluid.layers.softmax_with_cross_entropy

  功能差异

  标签类型

  TensorFlow:labels只能使用软标签,其shape为[batch, num_classes],表示样本在各个类别上的概率分布;

  飞桨:通过设置soft_label,可以选择软标签或者硬标签。当使用硬标签时,label的shape为[batch, 1],dtype为int64;当使用软标签时,其shape为[batch, num_classes],dtype为int64。

  返回值

  TensorFlow:返回batch中各个样本的log loss;

  飞桨:当return_softmax为False时,返回batch中各个样本的log loss;当return_softmax为True时,再额外返回logtis的归一化值。

  疑问点?

  硬标签 ,即 one-hot label, 每个样本仅可分到一个类别

  软标签 ,每个样本可能被分配至多个类别中

  numeric_stable_mode :这个参数是什么呢?标志位,指明是否使用一个具有更佳数学稳定性的算法。仅在 soft_label 为 False的GPU模式下生效. 若 soft_label 为 True 或者执行场所为CPU, 算法一直具有数学稳定性。注意使用稳定算法时速度可能会变慢。默认为 True。

  return_softmax : 指明是否额外返回一个softmax值, 同时返回交叉熵计算结果。默认为False。

  如果 return_softmax 为 False, 则返回交叉熵损失

  如果 return_softmax 为 True,则返回元组 (loss, softmax) ,其中交叉熵损失为形为[N x 1]的二维张量,softmax为[N x K]的二维张量

  代码示例

  所以通过API对应表,我们可以直接转换把TensorFlow代码转换成Paddle Fluid代码。但是如果现在项目已经上线了,代码几千行甚至上万行,或者已经训练出可预测的模型了,如果想要直接转换API是一件非常耗时耗精力的事情,有没有一种方法可以直接把训练好的可预测模型直接转换成另一种框架写的,只要转换后的损失精度在可接受的范围内,就可以直接替换。下面就讲讲训练好的模型如何迁移。

  模型迁移

  VGG_16是CV领域的一个经典模型,我以tensorflow/models下的VGG_16为例,给大家展示如何将TensorFlow训练好的模型转换为飞桨模型。

  下载预训练模型

  解压下载的压缩文件

  保存模型为checkpoint格式

  TensorFlow2fluid目前支持checkpoint格式的模型或者是将网络结构和参数序列化的pb格式模型,上面下载的vgg_16.ckpt仅仅存储了模型参数,因此我们需要重新加载参数,并将网络结构和参数一起保存为checkpoint模型

  将模型转换为飞桨模型

  注意:部分OP在转换时,需要将参数写入文件;或者是运行tensorflow模型进行infer,获取tensor值。两种情况下均会消耗一定的时间用于IO或计算,对于后一种情况,

  打印输出log信息(截取部分)

  到这一步,我们已经把tensorflow/models下的vgg16模型转换成了Paddle Fluid 模型,转换后的模型与原模型的精度有损失吗?如何预测呢?来看下面。

  预测结果差异

  加载转换后的飞桨模型,并进行预测

  上一步转换后的模型目录命名为“paddle_model”,在这里我们通过ml.ModelLoader把模型加载进来,注意转换后的飞桨模型的输出格式由NHWC转换为NCHW,所以我们需要对输入数据做一个转置。处理好数据后,即可通过model.inference来进行预测了。具体代码如下:

  对比模型损失

  转换模型有一个问题始终避免不了,就是损失,从Tesorflow的模型转换为Paddle Fluid模型,如果模型的精度损失过大,那么转换模型实际上是没有意义的,只有损失的精度在我们可接受的范围内,模型转换才能被实际应用。在这里可以通过把两个模型文件加载进来后,通过numpy.fabs来求两个模型结果的差异。

  打印输出

  需要注意的点

  1. 转换后的模型需要注意输入格式,飞桨中输入格式需为NCHW格式。

  此例中不涉及到输入中间层,如卷积层的输出,需要了解的是飞桨中的卷积层输出,卷积核的shape与TensorFlow有差异。

  2. 模型转换完后,检查转换前后模型的diff,需要测试得到的最大diff是否满足转换需求。

   

   

  总结

  X2Paddle提供了一个非常方便的转换方式,让大家可以直接将训练好的模型转换成Paddle Fluid版本。

  转换模型原先需要直接通过API对照表来重新实现代码。但是在实际生产过程中这么操作是很麻烦的,甚至还要进行二次开发。

  如果有新的框架能轻松转换模型,迅速运行调试,迭代出结果,何乐而不为呢?

  虽然飞桨相比其他AI平台上线较晚,但是凭借X2Paddle小工具,能快速将AI开发者吸引到自己的平台上来,后续的优势将愈加明显。

  除了本文提到的tensoflow2fluid,Paddle Fluid还支持caffe2fluid、onnx2fluid,大家可以根据自身的需求体验一下,有问题可以留言交流~

  参考资料:

  1. X2Paddle Github:https://github.com/PaddlePaddle/X2Paddle

  2. tensorflow2fluid: https://github.com/PaddlePaddle/X2Paddle/tree/master/tensorflow2fluid

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页 本文来源:互联网

本文评论
友情提示:评论功能暂时关闭,请扫描上方二维码进群交流!
自动驾驶:百度五年狂奔,谷歌十年倔强
历史最有趣之处,在于其往往颠覆人们的认知。
  把时间往回拨15年,在20世纪之初的2004年,...
日期:08-21
5G全速进化 iQOO Pro新品手机明日北京发布
明天,也就是8月22日,生而强悍再进化的iQOO Pro将在751D·PARK北京时尚设计广场751新罐正式...
日期:08-21
今年7月,厦门5家小龙坎火锅店正式接入付呗
如果是人生中有什么坎过不去,那一定就是小龙坎。就是ta,把地道的成都风味带向全国各地。
日期:08-21
联想携手极客公园启动「酷公司30」计划  合力助推中小企业成长进化
2019年8月21日,联想集团全球总部未来中心——今日,联想中小企业事业部携手尖端科技媒体...
日期:08-21
Adobe发布Creative Cloud中国摄影计划,助力创意实现
中国,杭州—2019年8月21日— Adobe(Nasdaq: ADBE)今日宣布将于近期在中国大陆地区推出面...
日期:08-21
飞桨端侧推理引擎重磅升级为Paddle Lite,更高扩展性更极致性能!
百度深度学习平台飞桨(PaddlePaddle)再放大招!端侧推理引擎全新升级,重磅发布Paddle Lite,旨在推...
日期:08-21
消息:小米或不能再使用MIX商标
8月21日消息 近日,有网友放出了中国裁决文书网的小米科技有限责任公司和国家知识产权局二审的行政...
日期:08-21
2019北京网络安全大会召开首日 国家会议中心被“挤爆”
8月21日上午,为期三天的2019北京网络安全大会正式拉开帷幕。当天早上,会议举办地点国家会议中心人...
日期:08-21
强强联合!百度智能云与Rancher达成合作,容器生态再进一步
2019年8月21日,技术领先的云计算服务平台百度智能云与全球领先的容器管理软件提供商Rancher Labs正...
日期:08-21
千库4周年品牌视频《招牌“蓝友”在线守护》深度解读
2019年8月19日,千库网正式对外发布了4周年品牌视频《招牌“蓝友”在线守护》,通过三段...
日期:08-21
Mance Harmon:超越区块链,构建快速、公平和安全的去中心化应用程序
2019年8月21日,在北京举办的PoW’er大会上,企业级分布式账本平台Hedera Hashgraph 联合创始人...
日期:08-21
Byte CTF字节跳动网络安全攻防大赛强势来袭
当今,随着网络信息规模的不断发展与壮大,网络系统面临着更多的安全威胁。网络安全是一个关系到国...
日期:08-21
索尼影视官方确认,漫威将不再参与《蜘蛛侠》电影制作
据IGN早些时候报道,由于索尼影业和迪士尼之间无法达成新的协议,所以未来漫威电影宇宙未来不会制作...
日期:08-21
OPPO Reno 2配置曝光:骁龙730G+4000mAh电池
今日,外媒91Mobiles曝光了将于8月28日在印度发布的新机OPPO Reno 2更完整的配置参数。OPPO Reno 2...
日期:08-21
京东云总裁申元庆谈物联网布局:为5G时代领跑超级电商赋能
经济日报-中国经济网讯(记者 王茂林)从2009年,以国家传感网创新示范区成立为标志,无锡正式与物联网结...
日期:08-21
百度智能小程序的“哪吒”效应
又是集中的财报季节,BAT三巨头先后秀出肌肉。
  8月20日,百度发布Q2财报,本季度实现营收2...
日期:08-21
配置相当华丽!小米MIX4系列配置曝光,售价真香
此前有消息称,小米将会在下半年推出一款全新的手机,也就是新一代的MIX系列旗舰产品MIX4。近日,疑...
日期:08-21
西瓜视频创作人:大白话本人,露脸居然没掉粉?
长期隐藏在电影画面和配音之后的影视解说博主,在两三天之内,纷纷从幕后走到前台露脸,用真实长相...
日期:08-21
世界机器人大会正式开幕,普渡送餐机器人引全场观众热情围观
在一段不足十米的通道上,数个路障简单勾画出了一条“S型”的道路,一台机器人行驶到路障...
日期:08-21
乡村民宿助力旅游脱贫,小猪参与海南省乡村民宿示范建设项目
8月20日,海南省首个乡村民宿示范建设项目在海口市美兰区美帖村正式启动,该项目由海南省旅游民宿提...
日期:08-21
  专栏介绍
徐彬 的专栏
徐彬发表的文章
积分:
自我介绍 :