您的位置:首页>>电脑软件

AI安全问题不容忽视 360发布《AI安全风险白皮书》

发布时间:2018-02-12 19:33:29  来源:互联网   编辑:即时新闻  背景:

  众所周知,深度学习是人工智能技术的核心卖点:通过模拟人脑机制,机器也能够像人那样,自主学习海量高深的知识,从而获得常人无法企及的技能,帮助人类实现更为曼妙和科幻的场景。不过,憧憬虽然美好,但是随着一批深度学习应用逐渐开始变成现实,安全问题也渐渐显现出来。

  日前,360安全研究院结合过去一年对深度学习系统安全性的详细研究,出具了《AI安全风险白皮书》。白皮书从深度学习系统软件实现的复杂度、深度学习系统模型的逃逸攻击和深度学习系统数据流中的安全威胁三个角度,详细解读了AI系统的安全威胁。

  当前人工智能应用面临多方威胁

  2017年以来,每次有关人工智能的新闻报道都会让很多网友由衷的感叹。比如谷歌AlphaGo与李世石、柯洁等国际一流围棋大师对弈,将这些围棋一流好手“挑落马下”。像围棋这种复杂多变的棋盘游戏,几乎代表了人类的顶级智慧。AlphaGo能够在千变万化的棋局中,选择对自己更为有利的步数,继而赢得棋局,靠的便是深度学习算法对场上局势进行研判。

  不过,像AlphaGo这样的人工智能应用并不与外界有直接的交互,或者是在封闭的环境下工作,因此受到的安全威胁相对较小。然而,随着人工智能应用的普及,安全威胁会不断增加,更多的应用会把应用的输入接口直接或间接暴露出来。同时封闭系统的攻击面也会随着时间和环境而转化。

1.jpg

图1:深度学习算法与安全所考虑的不同输出场景

  目前公众对人工智能的关注,尤其是深度学习方面,缺少对安全的考虑,这是人工智能安全的“盲点”,近期很多对于深度学习的讨论主要停留在算法和前景展望的层面,并没有考虑人为恶意造成或合成的场景;深度学习软件层面,很多是实现在深度学习框架上。然而系统越是复杂,就越是可能包含安全隐患。任何在深度学习框架以及他所依赖的组件中的安全问题都会威胁到框架之上的应用系统;另外,正如安全人员常说的,魔鬼往往隐藏于细节之中,任何一个大型软件系统都会有时限漏洞。考虑到深度学习框架的复杂性,深度学习应用也不例外。

  深度学习逃逸攻击让AI系统迷了眼睛

  同时,白皮书以逃逸攻击为例,解析了深度学习模型所存在的一些安全问题。所谓逃逸攻击,指的是攻击者在不改变目标机器学习系统的情况下,通过构造特定的输入样本以完成欺骗目标系统的攻击。只要一个机器学习模型没有完美学到判别规则,攻击者就有可能构造对抗样本以欺骗机器学习系统。

2.jpg

图2:稍加干扰因素 深度学习系统会将熊猫误认为长臂猿

  白皮书中列举了Ian Goodfellow在2015年ICLR会议上提出的著名逃逸样本,样本使用了谷歌的深度学习研究系统,该系统利用卷积神经元网络,能够精确区分熊猫和长臂猿等图片。

  不过,攻击者对熊猫的图片“稍加改造”,增添了一些干扰因素。虽然这细微的差别并不会影响人类的判断,不过深度学习系统却把熊猫误认为了长臂猿。试想在具有图像识别功能的AI系统中,如果判断失误,AI系统就很有可能做出截然不同的选择,有可能导致非常严重的后果。

  此外,基于机器学习的逃逸攻击主要是分为白盒攻击和黑盒攻击。白盒攻击需要获取机器学习模型内部的所有信息,然后直接计算得到对抗样本;黑盒攻击则只需要知道模型的输入和输出,通过观察模型输出的变化来生成对抗样本。

  深度学习需谨慎降维攻击

  此外白皮书指出,在深度学习的数据处理流程中,同样存在安全风险。攻击者在不利用平台软件实现漏洞或机器学习模型弱点的情况下,只利用深度学习数据流中的处理问题,就可以实现逃逸或者数据污染攻击。

3.jpg

图3:降维处理可能导致深度学习系统“指鹿为马”

  比如,白皮书引用了Caffe平台自带的经典图片识别应用案例,案例使用了一张羊群的图片,识别所用的神经元网络是谷歌发布的GoogleNet,数据来自著名的ImageNet比赛。不过令人遗憾的是,Caffe的深度学习应用将羊群误判为狼。究其原因,还是由于深度学习自身算法的问题。由于深度学习模型真正用到的数据都会是维度变化过的图片,即对图片进行了一些算法处理,其中包括最近点抽取、双线性插值。这些处理的目的就是降低算法的复杂程度,并尽量保持图片原有的样子。

  但是这些常用的降维算法并没有考虑恶意构造的输入。上面的攻击例子,则是针对最常用的双线性插值构造的恶意攻击样本。根据白皮书的初步分析,几乎所有网上流行的深度学习图片识别程序都有被降维攻击的风险。对于降维攻击的防范,用户可以采用对超出异常的图片进行过滤,对降维前后的图片进行比对,以及采用更加健壮的降维算法等。

  当前,人工智能的风潮席卷而来,人们醉心于新鲜事物带来的全新体验,却往往忽视了暗流涌动的安全问题。随着人工智能的普及,人工智能将面临来自多个方面的威胁:包括深度学习框架中的软件识别漏洞、对抗机器学习的恶意样本生成、训练数据的污染等等。未来,作为国内最大的网络安全公司,360将以更为开放、分享的心态,致力于帮助行业及厂商解决人工智能的安全问题,为我国人工智能的蓬勃发展保驾护航。




关注ITBear科技资讯公众号(itbear365 ),每天推送你感兴趣的科技内容。

  声明:本文仅为传递更多网络信息,不代表ITBear观点和意见,仅供参考了解,更不能作为投资使用依据。


返回网站首页 本文来源:互联网

本文评论
AI安全问题不容忽视 360发布《AI安全风险白皮书》
众所周知,深度学习是人工智能技术的核心卖点:通过模拟人脑机制,机器也能够像人那样,自主学习海...
日期:02-12
“马踏十八营”的VanFraud病毒 遇到它竟主动自杀
近期一款名为VanFraud的病毒曝光,它会控制受害者电脑的QQ账号发布贷款、色情等不良信息。而此病毒...
日期:02-12
2018贺岁大片“群雄争霸”,腾讯电脑管家严防虚假资源木马
每年春节的电影贺岁档市场都无比火爆,而2018狗年亦不例外。据媒体披露,《捉妖记2》、《西游记之女...
日期:02-09
腾讯手机管家提醒:“吃鸡”时切勿依赖外挂神器,以免人财两空
“大吉大利,今晚吃鸡”,2017年“吃鸡”可谓是游戏领域的风口,从“绝地...
日期:02-08
苏湘两地百万网民沦为挖矿“苦力” 腾讯电脑管家全面拦截挖矿木马
数字货币高居不下的市场热度,正在引发越来越多的非法挖矿行为。近日,腾讯御见威胁情报中心通过腾...
日期:02-02
远控木马巧设“白加黑”陷阱:瞄准网店批发商牟取钱财
  近日,360安全中心监测到有不法分子通过添加QQ好友的形式,以沟通商品交易的名义发送名...
日期:02-01
360发布安卓系统报告:男性用户反成“安全菜鸟”
在大多数人印象中,男性用户大多为数码发烧友、IT达人,肯定比女生要更懂手机安全一些。但是,据近...
日期:01-31
“红月亮”于今晚降临,赏月需警惕木马病毒
万众瞩目,2018开年巨献——“夜空中的红宝石”将于今日晚19:48分左右在全国范...
日期:01-31
腾讯手机管家7.6版本上线,大王卡专区开启收费流量提醒
又到月末了,你的流量够用吗?谈到最实惠的流量套餐,莫过于拥有超低资费和免流服务的定向免流手机卡...
日期:01-30
关注留守儿童假期安全,360手机卫士联合公益组织发起倡
随着春节的临近,又到了外出务工人员陆续返乡的时候。不过,最近全国普降大雪,延误了回乡的车次,...
日期:01-30
360发布2017年度安卓系统研究报告 安全系数同比上升
近年来,随着华为、小米、OPPO等安卓系手机厂商发力,安卓机的外观设计、系统性能、配置水平均获得...
日期:01-26
腾讯手机管家安卓7.6版本上线,亲情守护家人安全
过年回家送父母什么礼物呢?是温暖的羽绒服,还是养生的红枣枸杞呢?相信不管子女送什么,父母都会十...
日期:01-26
Intel:今年末将发布完全不受漏洞门影响的CPU新品
1月26日,Intel发布了2017年Q4(截止到12月30日)及全年财报,虽然由于美国税改导致同比转亏,但其他...
日期:01-26
数据中心联盟推出“可信应用分发模块评估” 360手机卫士入选
1月19日,由工信部指导成立的数据中心联盟发布“可信应用分发模块——用户数据和权...
日期:01-24
腾讯御见威胁情报中心:伊朗APT组织“人面马”再度活跃
近日,据腾讯御见威胁情报中心监测发现,伊朗的APT组织——“人面马”(T-APT-0...
日期:01-24
《报告》:腾讯手机管家查杀病毒12.42亿次,助力全民反诈骗
收到诈骗短信怎么办?是赶快删掉“看不见就不会被骗”还是压根就没意识到这是诈骗?近日,...
日期:01-23
腾讯电脑管家魔镜壁纸焕新登场 打造你的个性化桌面
在繁忙的工作生活中,也存在一些小细节可以缓解高强度的工作压力,转换紧张的情绪。近日,腾讯电脑...
日期:01-22
小心被监控!360手机卫士揭秘超强安卓恶意软件
“非官方渠道的App不安全”已成为如今智能手机用户的常识,对于陌生的App大多数用户也保...
日期:01-22
春运进入返程抢票高峰期 搜狗浏览器教你如何快速抢票
历尽千辛万苦,好不容易抢到回家过年车票的你是不是又开始担心无法按时返程?
日期:01-22
WiseCRM365进入4.0时代,更贴近用户体验
新年新气象,WiseCRM365在2018年的第一天发布全新4.0版本,不管是风格还是业务流程管理都顺应现代企...
日期:01-18