信息无障碍通道
您的位置:首页>>互联网

模型优化难?百度智能云EasyDL模型评估全新升级助力精度快速提升

发布时间:2021-03-22 16:00  来源:互联网    背景: 无障碍阅读通道

  近些年深度学习持续发展,在视觉、自然语言处理、语音等各个技术方向都诞生了创新智能应用,例如智能识别医疗图像中的病灶,辅助医生做病情诊断;智能判别生产线上有质量问题的产品,减轻人工质检压力;对政务、金融等流程中的证件票据进行信息识别,加速审批并实现流程电子化;识别用户输入的语句,与知识库中相应的问答进行匹配,实现智能客服问答等。随着智能应用的爆发式发展,如何构建高精度的AI模型成为每个企业都在持续探索的命题。

  构建深度学习模型的过程中,当遇到模型效果不能满足要求,需要进一步定位问题和调优效果,由于深度学习模型又是一个“黑盒”,开发者并不知道当它做出一个错误预测的准确原因,因此很难采取有针对性的效果优化策略。这个时候就非常让人头疼了。

  其实,碰到模型效果不佳时不用慌,虽然模型“黑盒”,但是通过一些技术积累和功能设计,可以从多个角度去了解它到底怎么“想”,为模型优化特别是在数据上如何优化提供思路和指导。

  在企业AI开发中,快速对模型效果进行评估、定位模型问题,高效完成模型效果优化是AI应用落地中的重要环节。针对这一诉求,百度飞桨企业版EasyDL零门槛AI开发平台在原有完善详实的模型评估报告基础上,进一步新增上线了混淆矩阵和CNN热力图功能,即使大家对深度学习了解不多,也可以快速依据可视化评估结果制定更为精准的优化方案。下面将为大家逐一介绍模型指标、错误示例(BadCase)、混淆矩阵、CNN热力图等各个功能。

  EasyDL模型评估提供多项指标,多角度展现模型效果信息

  EasyDL基于飞桨开源深度学习平台,面向企业AI应用开发者提供零门槛AI开发平台,实现零算法基础定制高精度AI模型。EasyDL提供一站式的智能标注、模型训练、服务部署等全流程功能,内置丰富的预训练模型,支持公有云、设备端、私有服务器、软硬一体方案等灵活的部署方式。

  目前,EasyDL通过百度智能云已经服务超过80万企业用户,在工业制造、安全生产、零售快消、智能硬件、文化教育、政府政务、交通物流、互联网等领域广泛落地。

  在EasyDL完成模型开发后可以获得平台提供的各项详细的模型评估指标,以图像分类模型为例,除了整体的准确率之外,还可以看精确率、召回率、F1-score、TOP5准确率等。

图形用户界面, 应用程序

描述已自动生成
图片包含 图形用户界面

描述已自动生成

  除了模型整体的指标之外,还可以看每一项类别的F1-score值,从而帮助开发者发现具体哪一类别的识别效果较差。针对这些较差的类别,开发者可以有针对性地去看那些被预测错误的样本,也就是常说的BadCase。开发者可以检查这些类别是否样本量过少,需要补充数据;是否有脏数据存在,影响了模型学习。

图形用户界面, 网站

描述已自动生成

  在物体检测上也类似,整体指标上可以观测mAP、最佳阈值下检测的精确率、召回率等。因为检测模型会输出很多的检测框,而有相当一部分检测框的概率比较低,一般会设置一个阈值来过滤掉那些低概率的检测框。通过设置不同的阈值,模型便会有不同的精确率、召回率和F1-score。在模型预测时,通常取F1-score最高的阈值当做最佳阈值,这样能够较好地平衡精确率和召回率,尽量减少漏检、错检等问题。

图片包含 图形用户界面

描述已自动生成
图表, 折线图

描述已自动生成

  与分类任务类似,在物体检测模型的评估中也可以查看各个类别的精度,来判断哪些类别的检测效果欠佳。找到这些问题比较大的类别之后,同样也可以查看BadCase。检测问题里的BadCase详细区分了“误识别”和“漏识别”这两种情况,从而方便开发者看检测出错的各类情况。开发者可以检查对应类别的标注框是否过少,是否有框标注错误需要修正。

社交网络的手机截图

描述已自动生成
屏幕上的猫

描述已自动生成

  新增混淆矩阵与热力图两大功能,高效展示模型效果问题

  除了上面这些经典常用的方法外,为了更有针对性地比较易混淆的类别,EasyDL近期重磅上线了混淆矩阵的功能。在混淆矩阵中,开发者可以方便地看到具体哪两种类别之间容易产生混淆,例如,类别A较多地被识别成了类别B。根据这些信息,开发者可以发现是不是训练数据存在问题,例如相似类别的图片有标注错误;或是这些相似类别的图片太少,导致模型没有学习充分。开发者可以依据混淆矩阵提供的信息,对模型数据进行补充与调整。

  看到这里,你会发现,EasyDL在评估模型效果时,通常是从数据的角度去发现现有模型的问题,通过优化数据来优化模型效果的。为什么会选择这样的策略呢?在深度学习领域有一句话很流行,“Garbage in , garbage out.”意思就是说如果开发者给了深度学习模型一堆标注质量差的“垃圾”数据,就会得到一个精度很低的“垃圾”模型,这句话时刻提醒开发者,数据质量与模型效果直接相关。因此,从数据角度进行模型效果的问题定位、并配合相应数据的调整,往往是最直接高效的。对于EasyDL的企业应用级开发者而言,从数据角度解决问题,不要求用户进行高深的算法研究,可以零代码快速提升模型精度。

  除了上面这些方法外,还有一些更专业的透视模型手段,被业界称之为模型可解释性方法。飞桨开源了业界主流的可解释性方法在GitHub上,这里面既包括基于输入特征的方法(如Intergrated Gradients, SmoothGrad, LIME等),也包括基于中间特征的方法(如GradCAM,ScoreCAM等)。大家可以点击链接查阅:https://github.com/PaddlePaddle/InterpretDL 。

  在这些方法中,针对CNN网络有一个观察网络中激活情况的技术,可以更深入地了解模型的行为。这也是EasyDL模型评估热力图功能的技术基础。

图片包含 文本

描述已自动生成

  以CAM算法为例,在CNN网络的最后一个特征图(Feature Map)上,哪些位置被激活是非常重要的信息,它直接影响后续网络中分类器的判断。但是这些特征图除了长宽两个维度外,还有一个通道的维度,开发者如何才能把不同通道的特征图叠加到一起呢?CAM提供一种加权的方法,即根据最后一个全连接层中的权重来加权。如上图示例,如果开发者想观察“狗”这个类别的激活情况,那么就把全连接层中各个通道到狗这个类别的权重W1, W2, …, Wn找出来,然后用这些权重对各通道特征图进行加权求和,就会得到一个两维的激活状态图。从这个状态图中,开发者可以看到原图里狗出现的位置被激活了,而其他区域(如人)则数值很小,没有对预测起作用。通过这样的“透视”,开发者可以更深入地了解模型内部的运作情况,一定程度地理解模型为什么得到了某个预测结果。根据这些信息,开发者可以选择通过补充、优化数据来引导模型学习地更好,也可以选择通过调整模型结构来优化模型的表现。

  有些方法不仅适用于CNN的视觉模型,也适用于自然语言处理模型和传统机器学习模型。EasyDL也会不断集成相关能力。比如NLP的情感分类任务中,我们想知道为什么文本模型对一句话预测为正面或负面的评论。利用积分梯度(Integrated Gradients)的方法,在文本模型中把全零的嵌入向量作为基线,得到当前嵌入向量的积分梯度。从而反应不同输入词对预测结果的影响,可视化结果如下图:

  使用EasyDL进行模型开发,在模型的评估中不仅可以参考各项详细指标来进行模型效果判断,还可以参考全新上线的混淆矩阵和热力图,以可视化、更精准的方式来定位模型效果不佳的原因,从而采取有针对性的效果提升策略。

  近期,为帮助开发者从数据处理、模型训练、服务部署这三步来迅速掌握模型定制开发技能,百度EasyDL携手CSDN打造《AI开发精讲:高精度视觉模型定制与部署实战》系列课程,多位资深研发与产品经理深入探讨开发难点与解决方案,三节课重点全掌握!

  点击链接立即报名:https://edu.csdn.net/huiyiCourse/detail/1550

特别提醒:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页 本文来源:互联网

Chromium FydeOS 宣布开源,openFyde 开源操作系统正式上线
11 月 14 日消息,燧炻创新近日宣布,基于 Chromium OS 的操作系统 FydeOS 已开源,openFyde 开源操作系统正式上线。
日期:11-14
10月主机大战落下帷幕:索尼折戟掉至第二 任天堂重回第一宝座
近日,NPD Group公开了2021年10月的主机市场销量报告,根据这份销量报告,任天堂在上个月成功击败索尼,重新回到了全球主机销量第一的宝座。
日期:11-13
马斯克再抛 120 万特斯拉股票:本周累计抛售 70 亿美元
北京时间 11 月 13 日上午消息,据报道,利用公司市值飙升至 1 万亿美元的迅速上涨机会,特斯拉 CEO 埃隆・马斯克(Elon Musk)本周出售了高达 69 亿美元(约 440.91 亿元人民币)的特斯拉股票。
日期:11-13
劳动力短缺,北美企业机器人订单创新高
11 月 13 日消息,据《华尔街日报》援引自动化促进协会(Association for Advancing Automation)数据,北美企业今年前九个月机器人总销售额达 14.8 亿美元(约 94.57 亿元人民币),超过了 2017 年同期 14.7 亿...
日期:11-13
这个周末,荣耀X30i让你的生活充满高光色!
每个人在生活中都有属于自己的“高光”,比如第一次获得学校的奖牌,第一次被喜欢的人表白,第一次考上理想中的大学,第一次升职加薪等等,这些时刻都让你感觉无比的幸福。但是随着年龄的增长,你...
日期:11-12
11月17日!华为MateBook E官宣
ITBEAR科技资讯11月12日消息,虽然华为P系列、Mate系列新品手机因缺少芯片而延迟发布时间,却依旧抵挡不住华为方面研发新产品的激情。微博官方账号@华为终端公司 带来最新消息,称“分身有术,就是HUAWE...
日期:11-12
SpaceX 星链第二代产品公布:全新矩形天线设计,售价不变
11 月 12 日消息,SpaceX 于近期在其美国官网正式公布了旗下星链第二代产品,产品包含一款全新设计的星链天线以及一款 Wi-Fi 路由器。
日期:11-12
Mudita Pure 极简主义手机即将发货:采用墨水屏,不支持上网
11 月 12 日消息,2019 年,《赛博朋克 2077》开发商 CDPR 的联合创始人 Michał Kiciński 众筹了一款名为 Mudita Pure 的“极简主义手机”,目的是想把人们从“虚拟世界”中解放出来,...
日期:11-12
荣耀X30 Max正式开售,2399元起大屏观影爱好者首选
近日,荣耀发布2021年迄今为止行业内唯一5G超大屏手机——荣耀X30 Max,带来了大屏幕、大音量、长续航三大Max体验,受到用户的热烈关注。11月11日10:08,荣耀X30 Max正式开售,起售价2399元,掀起...
日期:11-11
天翼云卡一体服务亮相
11 月 11 日消息,根据紫光国微的消息,在今天开幕的天翼智能生态博览会上,中国电信联合紫光国微推出的天翼云卡一体服务首次亮相。
日期:11-11
广电总局:直播卫星平台 11 月 11 日增加“山东卫视”高清频道
11 月 10 日消息,据国家广电总局卫星直播中心发布,自 2021 年 11 月 11 日 0 时起,直播卫星平台将新增传输“山东卫视”(频道号 63)高清频道。届时,直播卫星高清机顶盒(三代半和四代机)用户通过...
日期:11-10
三星Galaxy S21 FE通过NBTC认证
11 月 10 日消息,此前有消息称三星正准备在 2022 年 1 月和 2 月发布 Galaxy S21 FE 和 S22 系列旗舰手机。虽然三星目前还没有确认,但这些机型已经开始准备在多个市场发售,预计发布时间已经不会太远。
日期:11-10
维基百科新增接受苹果 Apple Pay 渠道捐款
11 月 10 日消息,维基百科近日推出了对苹果 Apple Pay 渠道捐赠的支持,与之前的信用卡、PayPal 付款并列。
日期:11-10
双十一销售额破四亿,极米家用投影应该选哪款
今年双十一才过去三天,在“开门红”即将结束的时候,极米公布了其双十一首战的战报。各渠道销售额总计突破四亿,其中极米H3S、极米New Z6X两个单品的销售额都突破了一亿。小编联想到前不久发布的I...
日期:11-10
华为双模式 VR 和 AR 耳机专利获授权
11 月 10 日消息,昨日,华为技术有限公司获得“双模式耳机”专利授权,公开号为 CN111133364B。
日期:11-10
CINNO:三季度联发科芯片出货量居首,紫光展锐同比暴增 147 倍
11 月 9 日消息,市场调研机构 CINNO Research 近日发布了 9 月份和 3 季度的中国市场手机处理器出货量报告。
日期:11-09
AMD 发布 Instinct MI200 系列:首款百亿亿次级 GPU 加速器
11 月 9 日消息,AMD 宣布推出全新 AMD Instinct MI200 系列加速器,全新 AMD CDNA 2 架构,是首个多芯片、首个支持 128GB HBM2e 显存的 GPU,也是首款 Exascale 级(百亿亿次级) GPU。Instinct MI250X 可为双...
日期:11-09
Visual Studio 2022 正式版发布
11 月 8日晚间,微软发布了 Visual Studio 2022 正式版等诸多内容,Windows 平台软件开发者的福音来了。
日期:11-09
全球首个奥林匹克频道央视 CCTV 16 已实现全国 31 个省份全覆盖
11 月 8 日消息,10 月 25 日,中央广播电视总台央视奥林匹克频道(CCTV-16)及其数字平台正式开播上线,这是国际上首个以 4K 超高清和高清标准 24 小时上星同步播出的专业体育频道。
日期:11-08
Win10 21H1 正式版即将到来
11 月 5 日消息,据 Windows Latest 报道,在 Windows 10 版 21H2(又称 2021 年 11 月更新)正式版推出之前,Windows 10 版本 21H1 已被微软批准广泛部署,这意味着它现在正被广泛推送给 PC 用户。在某些情况...
日期:11-05
  专栏介绍
半斤 的专栏
半斤发表的文章