您的位置:首页>>互联网

百度安全亮相Black Hat Asia 2019:当云端深度学习模型失去“黑盒保护”

发布时间:2019-04-03 17:49:44  来源:互联网    背景:

  摘要:在3月26日-29日于新加坡召开的Black Hat Asia 2019上,来自百度安全对于深度神经网络(DNN)模型算法安全性、Rowhammer新型攻击方法、Meltdown新变种等三大创新性研究报告成功入选。

  在3月26日-29日于新加坡召开的Black Hat Asia 2019上,来自百度安全对于深度神经网络(DNN)模型算法安全性、Rowhammer新型攻击方法、Meltdown新变种等三大创新性研究报告成功入选。其中,在The Cost of Learning from the Best: How Prior Knowledge Weakens the Security of Deep Neural Networks 的议题中,百度安全研究员们分享了在AI时代下机器学习算法安全领域的最新研究与实践。百度安全希望通过这个研究呼吁业内更加迫切的将人工智能模型算法的安全问题纳入研究范畴,携手工业界、学术界共同探索与建设安全的AI时代。

  Black Hat是国际安全工业界的顶级会议之一,具有广泛的影响力。Black Hat每年分别在美国、欧洲、亚洲各举办一次安全信息技术峰会,会议聚焦于先进安全研究、发展和趋势,并以其强技术性、权威性、客观性引领未来安全思想和技术的走向。近年来,百度安全多次登上Black Hat的舞台,分享在AI安全、移动安全等领域的研究与实践成果。本届Black Hat Asia上,百度安全Tao Wei、Yunhan Jia、Zhenyu Zhong、Yulong Zhang、Qian Feng的研究成果再次引发业内关注。

  深度学习模型容易受到对抗样本的攻击,这在业内已不是新鲜事。对图像数据叠加人类难以通过感官辨识到的细微扰动,就可以“欺骗”模型,指鹿为马,甚至无中生有。业内将这种影响AI决策边界的细微扰动称之为“对抗样本”(Adversarial Example Attack),攻击者往往提前知晓模型的架构、参数,既而利用特定算法针对性的生成“对抗样本”,诱导模型做出错误的、甚至攻击者预设的判别结果。此乃深度学习模型的“白盒攻击“,若应用到人脸识别、语音识别、无人驾驶等领域,不仅会导致严重的安全事故,也会破坏整个人工智能生态应用的进程与基本信任。

  幸运的是,通常情况下,攻击者未必对深度学习模型内部架构、参数那么了若指掌,不知道它是怎么“想“的,也不知道它是怎么“学“的,此时制造“对抗样本“则要麻烦许多——此乃“黑盒攻击“,理论上需要攻击者采取类似于“穷举法”的手段逐一测试,才能找到那个形成攻击者预期结果的关键位点,所需时间足够长,难度系数足够高,过程中凭手感、碰运气成分足够大。当下以Google、Amazon为代表的国内外知名科技公司将云计算的运作模式与人工智能深度融合,将人工智能技术作为一种云服务(AIaaS,人工智能即服务)提供给用户和合作伙伴,除Amazon等少数公司会告知模型算法,绝大多数公司仅向用户反馈调用结果。这意味着云端深度学习模型是黑盒模型,理论上可有效抵御对抗样本的攻击。

  然而,百度安全在Black Hat Asia 2019上带来的最新研究成果表明:黑盒模型制造的只是虚假的安全感,当模型架构和参数不可知的情况下,攻击者依然有机会实施对深度学习模型的欺骗。 报告中Zhenyu Zhong、Yunhan Jia博士展示了百度安全目前已实现的黑盒模型多种攻击技术,并创新性的提出了“指纹攻击“(Fingerprinting attack)——即根据极少的请求结果推测出模型的结构,既而针对性的构造对抗样本。

  百度安全研究员们设置了条件充足、非充足的两个黑盒攻击场景,同时结合两种不同的攻击手段——非定向攻击(Dispersion attack)、定向攻击(Target Score attack)进行比较,现场展示了指纹攻击的实验结果。如图1所示,在攻击者条件充足的情况下,攻击的绕过率分别高达86%(非定向)和65%(定向),而在条件不充足(比如仅支持2次请求)的情况下,攻击的绕过率也可以达到33%(非定向)和16%(定向)。这个实验结果表明,深度学习模型的“黑盒保护”看似安全,但是现实中还是存在弱点,而且在高效的攻击手段面前,这个弱点还很严重。

  图1:深度学习模型有限请求绕过率

  如果说对抗样本的发现,将传统安全产业框架延伸至机器学习模型算法安全性的范畴,那么当云端深度学习模型失去“黑盒保护”,则令这个问题更加严峻和复杂。这意味着,攻击者一旦破译了云端模型,未来可让AI系统丧失对城市交通、道路标识及车辆正确的识别能力,对车辆实施远程控制和对相关隐私信息的窃取,这个场景还可延伸至医疗保健、金融认证、工业控制等领域,蕴含巨大的安全风险。

  攻击技术实现背后,引出了当前深度学习模型训练常用的迁移学习(Transfer Learning)方法,及其从安全视角存在的缺陷。传统机器学习通常有两个基本条件,即用于学习的训练样本和新的测试样本同一分布且相互独立,且必须有足够可用的训练样本,以确保模型的高准确和可靠性,但是实际中两个条件往往无法满足。迁移学习放宽了这两个基本条件,这种机器学习的训练方法可以利用仅有少量的标签训练建立出一个模型,同时令原先需要几天甚至几个星期的训练时间缩短至几小时甚至几分钟,让普通用户同样可以享受到深度学习带来的技术革新。例如ImageNet视觉对象识别数据库的训练数据集有超过1400万张的图像,输出1000个类别,利用迁移学习,普通用户可以在ImageNet模型的基础上训练出一个输出远远低于1000类的模型。

 

 图2:迁移学习训练方法高效性及缺陷

  近年来,业内针对迁移学习展开广泛的算法研究和实践,在迁移学习放宽了机器学习两大基本条件、将大数据模型迁移到小数据、个性化数据模型的训练过程中,从安全视角,并非无懈可击。例如,迁移学习这种训练方法的高效性,来自于特征提取层的架构和参数被重复利用,同时在迁移学习过程中保持特征值和架构不变。正因如此,模型所使用的特征提取层可以通过一定的攻击手段推算出来。百度安全研究员提出的“指纹攻击”就是用于推算黑盒模型使用的特征提取层的有效方法——通过对深度学习模型的特征提取层中的最后一层的神经元的离散值的最小化,从而使得目标分类的置信度降低,通过搜集的14个不同的公开模型(VGG16, VGG19, RESNET50, MobileNET等),分别构造输入样本使得对应的模型特征提取层的最后一层神经元的离散值最小化,并把该构造后的样本以API方式输入云端黑盒模型,并观察最后分类层的输出结果。最后,选取API返回结果中置信度最低的样本,并把生成该样本的网络架构作为云端模型的架构。当攻击者知晓云端模型特征提取层的架构之后,他就可以按照白盒的方式精确的构造对抗样本,从而对云端模型进行定向和非定向攻击。

  与会,百度安全研究员介绍了百度安全针对对抗样本的解决思路,以及通过对抗训练强化模型提高深度学习模型鲁棒性的途径。百度安全针对人工智能算法安全性的研究,包括深度学习模型鲁棒性测试、形式化验证、机器识别恶意样本实时监测、黑白盒攻防等领域。此外,百度安全始终倡导通过新一代技术研发与开源,实现对安全问题的快速响应与对抗,百度安全实验室AdvBox对抗样本工具包针对AI算法模型提供安全性研究和解决方案,目前已应用于百度深度学习开源平台PaddlePaddle及当下主流深度学习平台,可高效地使用最新的生成方法构造对抗样本数据集用于对抗样本的特征统计、攻击全新的AI应用,加固业务AI模型,为模型安全性研究和应用提供重要的支持。

  人工智能在拓宽传统产业格局框架的同时,也重塑了安全的防线边界,传统的安全防御已无法应对新时代的挑战。百度安全的研究证明,人工智能时代不仅要面对曾经的云管端的安全问题,机器学习算法自身的安全性亦存在漏洞,存在现实威胁性。包括对抗样本工具包AdvBox在内,百度安全2018年将首创的七大技术——KARMA系统自适应热修复、OpenRASP下一代云端安全防护系统、MesaLock Linux内存安全操作系统、MesaLink TLS下一代安全通信库、MesaTEE下一代可信安全计算服务、HugeGraph大规模图数据库——开源汇成“七种武器”,全面解决云管端以及大数据和算法层面的一系列安全风险问题,实现由传统安全时代的强管理向AI时代的强技术支撑下的核心管理的转变,全面应对AI时代下层出不穷且日益复杂的生态安全问题及挑战。

  对抗样本在机器识别领域是一个实实在在的威胁,不仅存在于黑盒/白盒模型中,并且真实存在于物理世界中。百度安全针对机器学习模型漏洞进行物理攻击可行性研究,感兴趣的同学请点击“阅读原文”,回顾百度安全科学家在Black Hat Europe 2018上重现AI版大卫•科波菲尔的“神秘魔法”。

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页 本文来源:互联网

本文评论
友情提示:评论功能暂时关闭,请扫描上方二维码进群交流!
线下数据赋能实体经济,众盟如何引领数字化新浪潮?
“谁掌握了数据,谁就掌握了主动权。”顶层设计的振臂高挥,使得数据被各行各业奉为圭臬...
日期:08-21
百度大脑正式发布智能视频监控开发平台 零门槛接入 半小时完成部署
引言:工人在厂区的着装是否合规?学生在课堂的学习注意力是否集中?厂区如果发生火情,如何第一时间...
日期:08-21
绿色节能,打造服务器可持续发展之路
“侬会垃圾分类了伐?”近期上海的垃圾分类无疑是最热的话题之一,无论是精明的阿姨,还是...
日期:08-21
“存量市场”即将到来,弹个车瞄准下沉市场小镇青年
回顾2018年,对于汽车行业可以说是寒冬年,基本上可以用四个字形容——哀鸿遍野。2018年...
日期:08-21
吴亦凡户籍信息只要50元?腾讯手机管家盘点3大信息泄露途径
近日,《陈情令》中蓝忘机扮演者王一博发微博称:“别再给我打电话了 别再用我手机号去登录软...
日期:08-21
免填邀请码:高效提高App推广效率
App 邀请机制是每个产品几乎必做的功能点,它一般以两种形式存在:一是作为常置功能用于推荐,二是...
日期:08-21
如何买到放心二手车?大搜车家选为市场提供新模板
汽车市场长达28年之久的上涨局面在去年被打破,也就是从去年开始汽车市场上的新车开始出现卖不动的...
日期:08-21
百度智能云携手头部商业银行,区块链技术落地金融行业
近期,百度智能云区块链团队取得新的突破,“金融级联盟链治理平台”与浦发银行进行深度...
日期:08-21
XSKY中标2019央采
日前,中央国家机关2019年软件协议供货采购项目正式发布中标公告,XSKY两款SDS产品成功入围。
日期:08-21
百度2019Q2财报:数据背后,智能小程序“新连接”势能强劲
2019年Q2财报季来了,百度的财报如期而至。
  眼花缭乱的各项数据中,百度董事长兼CEO李彦宏...
日期:08-21
百度和腾讯财报背后的故事:移动互联网老去,小程序互联网已至
8 月 20 日,百度公布了备受关注的 2019 年第二季度财报。本季度,百度实现营收 263 亿元人民币,环...
日期:08-21
高层集结,共探数据引力场,2019帆软智数大会盛大举行!
8月15-17日,2019年帆软智数大会在南京国际青年会议中心盛大举行。筹备了5个月之久的智数大会获得了...
日期:08-21
如何在业务高峰中轻松“躺赢”?华为云MySQL为你支招
业务大促,订单暴增,网站流量暴涨几倍,数据库服务器容量又要扛不住了,眼睁睁看着生意白白溜走,...
日期:08-21
“网龙杯”双创大赛引领数字教育人才培养创新发展
2019年8月19-20日,“网龙杯”第五届福建省“互联网+”大学生创新创业大赛省级...
日期:08-21
14支初中生团队入围小程序编程创意营决赛名单,小程序成编程教育优质工具
8月20日,首届全国青少年微信小程序编程创意营入围名单公布,由39名初中生组成的14支小程序员队伍进...
日期:08-21
王者荣耀暑期档活动来袭 来电科技联动多品牌打造开黑圣地
7月30日至9月20日,王者荣耀暑期“年少轻狂不惧浪”的青春主题上线,来电科技携手《王者...
日期:08-21
2019CIPE深圳国际潮玩展即将开幕,叮叮抓娃娃受邀参展
由中国版权保护中心指导,广东省文化经济发展研究会、深圳市版权协会、深圳前域文化科技有限公司联...
日期:08-21
再登《新闻联播》  讯飞智能办公本创新功能引关注
8月14日,央视《新闻联播》报道了国务院新闻办公室举办的“庆祝建国70周年”系列新闻发布...
日期:08-20
美媒:华为帮非洲国家政府搞监控 外交部回应情况不实
  (原标题:美媒说华为帮非洲国家政府搞监控 外交部:报道水准令人堪忧)
日期:08-20
  专栏介绍
张玉翠 的专栏
张玉翠发表的文章
积分:
自我介绍 :