信息无障碍通道
您的位置:首页>>互联网

移动开发者实现AI业务不可错过的神器—飞桨移动端部署工具LiteKit

发布时间:2021-04-13 14:47  来源:互联网    背景: 无障碍阅读通道

  目前,越来越多的AI场景将AI能力直接部署在移动端,其优势主要在于实时、省流、以及安全性等方面。这些AI能力给移动端产品带来巨大的想象空间,促进了移动互联网下半场的繁荣。

  在移动端智能化的背后,离不开移动开发者以及人工智能应用算法工程师。在实际业务开发中,算法工程师开发出来的AI算法,最终都要交付给移动开发者进行工程落地。这个落地的链条其实难度相当大,总结来说涉及以下两方面:

  -一款没有任何AI实践的产品,不仅要进行模型的训练、预测引擎的集成,还需要根据不同模型进行数据的前后处理,图像的各种颜色空间、存储格式的转换,过程中可能会使用到Python、C/C++、iOS、Android等多种语言,接入门槛高。

  -同时,接入AI能力的过程非常复杂,涉及引擎调用相关开发、前后处理相关开发、甚至并发相关处理,考虑到移植和复用情况,更需要兼容多种业务场景、进行模块化拆分,导致工作量成倍增加。

  如果您也面临以上问题,那么LiteKit将是您最好的选择!话不多说,我们先看效果!

  视频超分

  (高清原视频截图) (低清超分后视频截图)

  这个图片来自百度百家号推出壮美极境公益项目的视频。左边的图片为480p原始视频截图,右边的图片为360p视频通过超分能力重建的480p视频截图。通过左右视频截图对比,可以看到超分后的视频(右侧)在手机上可以达到与原始视频(左侧)几乎一致的视觉体验。

  (超分前) (超分后)

  左图是360p原始视频的单帧画面,右边将360p视频超分到480p的画面,对比来看画面放大后,画面不仅没有损失清晰度,而且变得更清楚。

  所谓视频超分,通俗来说,就是将低像素的视频转成高像素,而且视频还能变得更清楚!

  而对于手机场景来说,视频超分本身最重要的不仅仅是追求极致的超分效果,而是速度和效果的均衡。手机视频超分主要目标是在手机端上达到25FPS(手机端的视频通常是25FPS,通常来说24FPS+视觉上才不会感觉到卡顿)的前提下,对画面进行优化重建。

  LiteKit提供的视频超分是业内首次开放的能够达到25FPS的视频超分解决方案。在手机移动应用项目中最常见的是360p视频。LiteKit支持从360p到480p场景下进行25FPS的超分。除此以外,LiteKit的视频超分能够对播放器解码后的YUV420视频帧数据直接进行处理,并获得相同格式的输出数据,消除了将视频帧数据进行数据格式转换的过程,大大方便了用户的使用,并降低使用耗时。

  性能优化

  LiteKit的视频超分能力模型,经过反复的性能调优,可以支持360p->480p的超分场景下播放器25FPS的持续超分。

  从上面的测试结果可以看到,在18年iPhoneXsMax上,视频超分也能够达到32.15ms的预测速度,支持播放器25FPS的超分。在最新的iPhone12上,相比iPhoneXsMax,预测速度进一步提升30%。

  手势识别

  这是LiteKit提供的手势识别AI能力。它可以准确的检测手势所在位置的矩形坐标、手势类型和置信度,支持识别六种类型的手势,包括手、五指手势、V手势、握拳、1手势、OK手势。

  人像分割

  (人像分割前)(人像分割后)

  这是LiteKit提供的人像分割AI能力,能够提供实时的人像分割,准确地分割人像和背景,可用于去除背景、人像抠图、照片合成、背景替换等业务之中。

  快速体验

  以上就是LiteKit目前开放出来的AI能力,这些AI能力可以直接点击以下链接快速安装Android Demo体验(只需一部安卓手机即可):

  https://github.com/PaddlePaddle/LiteKit/releases/download/0.0.10/MMLKitDemo_0.0.10.apk

  可以一秒接入的AI能力

  对于APP开发者来说,是不是很想知道这些能力能否接入到自己的移动应用之中呢?

  答案当然是肯定的!不仅能接入,而且可以说是一秒就能接入你的APP工程!

  LiteKit提供视频超分、人像分割、手势识别一系列AI能力,这些AI能力均来自于百度各个业务线AI场景多年的技术沉淀,并以SDK的形式提供,做到了开箱即用。

  即使是没有任何AI实践的APP开发者,只需通过调用两三个简单API连接LiteKit提供的SDK软件包,就可以顺利接入AI能力。就像拆开快递箱一样简单,打开箱子就可以直接用。

  你可以把SDK想象成一个虚拟的程序包,在这个程序包中有一份做好的软件功能,这份程序包几乎是全封闭的,只有一个小小接口可以连通外界,而这个接口就是API。

  如何接入

  LiteKit的接入只需要创建、推理、释放三步即可完成AI能力的开发。虽然对于视频超分、人像分割、手势识别,甚至包括未来将要开源的新AI能力,输入输出会各有不同,但是整体流程和API的样式都被抽象成类似的步骤,甚至API的命名都会保持高度一致,让学习成本降到最低。下面的代码就是视频超分能力的接入过程:

  (内容持续更新中,最新内容可以访问此链接获取。https://github.com/PaddlePaddle/LiteKit)

  LiteKit的设计

  LiteKit把接入过程整体抽象为:创建、推理、释放三步:

  -创建后,可以反复使用执行推理

  -推理的过程整体只有一类API:对输入数据(input)执行推理,同步返回输出数据(output)。图中和模型直接相关的前后处理的流程,都被封装在了AI能力推理接口内部,用户既不需要关心,也不需要任何处理。为了方便不同业务不同的输入,每个能力的推理接口可能有几个,这几个接口能力完全相同,唯一不同的只是输入和输出类型,用户通常只需要根据自己的输入输出类型关心最便捷使用的一个即可。

  -释放与创建一一对应,当AI业务退出的时候,执行即可。

  关于输入数据的获取和输出数据的使用,在真实的业务落地中,是需要开发者进行考虑的问题。例如在推理前,需要拿到相机帧,考虑到手机的自动旋转及前后镜头的问题,需要开发者对图像进行旋转。在获得推理结果后,需要开发者把推理的结果用适当的方案进行渲染。

  LiteKit的架构

  LiteKit从下至上主要分为三层:

  1.最底层的Paddle Lite:是百度飞桨深度学习平台提供的开源推理引擎,能够提供CPU、GPU等多种环境下进行推理。

  2. 中间的LiteKitCore框架层:隔离了业务方对Paddle Lite的直接依赖,并向上层提供基本一致的OC、Java、C++ API,提供了基础结构和数据类型的定义,并提供通用的工具集。

  3. LiteKit业务层:根据各自不同的业务,封装了人像分割、视频超分、手势识别等能力。LiteKit的能力将会不断的扩充。

  LiteKit的人像分割、视频超分、手势识别三大能力, 底层统一依赖LiteKitCore。目前LiteKitCore也同步进行了开源。LiteKitCore作为移动端AI能力部署工具,其职责主要是向下接管推理引擎,并向上提供统一的AI推理能力。

  -移动端的AI开发者接入了LiteKitCore之后,不必再关心推理引擎的配置、模型的加载等复杂操作,LiteKit内部管理了推理引擎大部分复杂的配置,同时仍然支持使用者灵活的配置一些入模型地址等的关键参数。

  -LiteKitCore向上对AI能力的开发者,提供了Java/ObjectiveC/C++三套接口,能大大降低端AI开发者的开发成本。

  下面以C++接口接入CPU AI推理能力为例,简单示范一下接入的流程:

  -使用LiteKitCore创建AI推理引擎管理实例,不再需要关心模型的结构,推理引擎的使用方式,只需要通过LiteKitCore进行简单的配置。

  -使用AI推理能力的时候也不需要关心推理引擎具体如何调用,LiteKitCore提供方便使用的C++/Java/ObjectiveC API。

  在开发不同业务的过程中,上层的业务配置根据不同业务场景设置,底层LiteKitCore部分代码完全可以复用和移植,极大的降低了AI能力开发的工作量。

  展望

  LiteKit作为飞桨的移动端部署工具,能够快速的部署基于百度深度学习框架飞桨的轻量化推理引擎Paddle Lite的AI能力。能够让AI能力在任何APP中、任何场景下快速的工程化落地,可以让同学们简单的实现自己的AI特效。

  LiteKit在不久的将来还会开放OCR等更多的能力,支持更多的业务场景。大家对LiteKit即将开放的能力,还有什么期待呢,如果有的话,就请点以下链接,填写您对AI能力的需求吧:https://iwenjuan.baidu.com/?code=ap8fxl

  相关链接

  想进一步了解LiteKit的小伙伴,可以上Github点star并查看完整文档及Demo

  LiteKit GitHub地址:https://github.com/PaddlePaddle/LiteKit

  更多参考:

  如果您想详细了解更多关于端侧AI部署的相关内容,可以多多关注飞桨Paddle Lite。Paddle Lite支持包括手机移动端和嵌入式端在内的端侧场景,支持广泛的硬件和平台,是一个高性能、轻量级的深度学习推理引擎。除了和飞桨核心框架无缝对接外,也兼容支持其他训练框架如TensorFlow、Caffe保存的模型(通过X2Paddle工具即可将其他格式的模型转换成飞桨模型)。

  Paddle Lite GitHub地址: https://github.com/PaddlePaddle/Paddle-Lite

特别提醒:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页 本文来源:互联网

本文评论
SSD固态硬盘怎么选?SSD缓外速度减半使用有什么影响?
如何选择适合自己的SSD对于不同类型的用户都会产生一些困扰,尤其是对于市面上鱼龙混杂的产品,什么原厂颗粒、PCIE4.0、缓存外速度、4K性能、质保等等关键词都是需要考虑的因素,这对于很对不了解电脑配件的消费者就产生了选择困难症,尤其是近期接连有大厂被爆旗下产品跟换颗粒,缓存速度减半,这就更让普通消费者...
日期:08-28
看索尼电视魅力有多大?让球王奥斯卡和宝宝其乐无穷
近日,上海海港的明星球员——奥斯卡,在社交平台晒出了自己休息时与自家萌娃的温馨日常。“奶爸”奥斯卡不仅监督孩子学习,还带着孩子一起玩耍娱乐。奥斯卡显然游刃有余,还晒出了自己新入手的“带娃神器”——索尼电视A90J!上海海港队组最好的球员之一也用索尼电视,这让不少...
日期:08-28
BCS2021:奇安信推出零信任身份安全解决方案3.0
8月27日,在2021北京网络安全大会(BCS2021)期间,奇安信身份安全事业部总经理张泽洲正式发布奇安信零信任身份安全解决方案3.0。据介绍,奇安信零信任身份安全解决方案3.0核心内容可概括为“零信任123&rd...
日期:08-27
腾讯公益平台年捐赠人次首破亿,重庆、长沙、郑州表现亮眼"
2020年腾讯公益平台年捐赠人次首度突破1亿,累积超过4亿;爱心网友捐款总额达38.49亿元,其中约九成用于脱贫攻坚和乡村振兴。2021年“99公益日”到来前夕,腾讯公益公布了上述数据,充分体现了互联...
日期:08-27
苹果iPhone13/Pro系列手机到底涨不涨价?业内人士回答了!
ITBEAR科技资讯8月27日消息,有知名人士Jon Prosser带来最新消息:iPhone13系列手机会在9月14日亮相,而全球范围开售时间在9月24日,其可信度很高。如果抛开外界因素(COVID-19疫情等)的话,小编还真就是100%...
日期:08-27
云之家亮相2021届重庆智博会
云之家报表秀秀亮相2021届重庆智博会,本次会议将沿用“智能化:为经济赋能,为生活添彩”的主题,于8月23日—25日采用“线上+线下”方式举办。
日期:08-27
中国信通院:我国 IPv6 分配地址用户数 16.1 亿,活跃用户数 5.35 亿
8 月 27 日消息 8 月 25 日,工业和信息化部召开 IPv6 流量提升三年专项行动全国部署宣贯会。据中国信通院消息,中国信息通信研究院副院长王志勤在会上发布了国家 IPv6 发展监测平台最新监测数据。
日期:08-27
再下一城,鸿雁最大智能家居体验馆落地中山星光联盟
体验消费时代的到来,线下沉浸式、场景化的体验消费空间已成众多品牌营销新阵地,随着智能家居市场竞争加速,越来越多的知名品牌开始着力布局线下体验店。近日,智能家居头部企业鸿雁迈出门店拓展新步伐,集...
日期:08-27
开学有什么数码好物值得买,可以选择当贝激光投影X3
马上就开学了,作为大学生,其实是需要一些提升生活质量和学习效率的东西,今天给大家分享一下开学必备的数码电子产品,大家可以根据自己的需求去选择。
日期:08-27
重新定义边界安全新模式 奇安信推出边界安全栈新能力
8月27日下午,在2021北京网络安全大会发布系列活动上,奇安信集团副总裁吴亚东为大家带来了边界安全栈新能力的发布,聚焦安全运营,重新定义边界安全新模式。
日期:08-27
tcl电视安装U盘app方法,安装U盘里的软件真的非常简单
TCL电视作为老牌电视软件,一直备受消费者喜爱,在昨天TCL电视也发布了新品mini LED电视,不管是从外观还是硬件来说都是无可挑剔的。
日期:08-27
三星 Galaxy S21 Ultra 被曝运行 Android 12 系统跑分
8 月 27 日消息 据外媒 SamMobile 消息,三星 Galaxy S21 Ultra 5G 手机的一条跑分信息出现在 Geekbench 5 网站,值得注意的是,手机运行的是 Android 12 系统。目前三星最新的 One UI 4.0 系统基于 Android ...
日期:08-27
在“抖音新潮好物夜”,看见比娱乐更重要的事情
(本文转自微信号:镜像娱乐ID:jingxiangyule,文丨栗子酒、顾贞观,编辑丨李芊雪)
日期:08-27
Comper×脱口秀大会,用全新沟通方式圈粉年轻人
在年轻化营销主导消费趋势的2021年,对于品牌而言,找到自身与年轻人心智的市场结合点,通过符合圈层与潮流文化的营销手段来占领和打通年轻人的生活场景,已经成为品牌面向Z世代的重要选择。
日期:08-27
百度智能云 ×美欣达|实现“双碳”目标,看下纺织业的智慧样本
中国经济正处于由高速增长到高质量发展的转型过程中,伴随着产业升级,中国制造业也将逐步从“中国制造”转向“中国智造”。这就要求制造企业向“绿色”、“高效”...
日期:08-27
吸尘器什么牌子好 三款知名吸尘器黑科技大比拼
后疫情时代,居家健康成为了人们关注的重点。相对扫地机器人而言,无线手持式吸尘器可以适应多场景的清洁,成为现代家庭最受欢迎的清洁家电之一。最新数据显示,2021年1-4月吸尘器市场规模达72亿元,同比增长...
日期:08-27
跨越速运 x DorisDB:统一查询引擎,强悍性能带来极速体验
跨越速运集团有限公司创建于2007年,目前服务网点超过3000家,覆盖城市500余个,是中国物流服务行业独角兽企业。跨越集团大数据中心负责全集团所有数据平台组件的建设和维护,支撑20余条核心业务线,面向集团...
日期:08-27
腾讯阿里打通生态,针锋相对的时代或将结束
  前些日子,阿里张勇表态将会和腾讯打通生态。目前双方生态最核心的断点在淘宝支付和微信外部链接。因此可以判断,未来打通生态是指淘宝可以使用微信支付,同时微信内也可以使用淘宝平...
日期:08-27
欧盟将正式对英伟达 540 亿美元收购 ARM 交易展开调查
8 月 27 日消息 今日外媒《金融时报》发布消息,称欧盟已经正式对英伟达 540 亿美元收购 ARM 交易展开调查。此前监管机构已经与英伟达进行了为期数月的非正式讨论,正式的调查将于 2021 年 9 月开启。
日期:08-27
首批通过TAG反欺诈认证,国双AD成功的秘诀原来于此
近日,国双广告监测分析优化平台Ad Dissector(以下简称AD)成功通过TAG数字广告流量反欺诈国际认证,国双成为国内首批获得该认证的第三方广告监测服务商。为什么国双能够首批通过TAG反欺诈认证,获得行业权威资质...
日期:08-27
  专栏介绍
半斤 的专栏
半斤发表的文章