日前,由GeekPwn(极棒)联合谷歌大脑Alexey Kurakin、Ian Goodfellow 以及美国加州大学伯克利分校计算机系教授宋晓冬共同发起的全球首个聚焦AI安全的CAAD对抗样本攻防赛登录全球顶级黑客大会DEFCON。来自京东安全的 JD-Omega战队,与来自微软、谷歌、腾讯、清华大学等国际知名的高水平战队团队会师拉斯维加斯,在CAAD CTF和CAAD Village展开技术切磋。
京东安全硅谷研发中心研究员郭文博在DEFCON CAAD Village上分享了全球首创的、可适用于不同深度学习网络结构的AI解析技术,该技术可应用于自动化黑产对抗。并介绍了AI解析技术在京东打击黑产上的具体应用。
缘起:深度学习的“杀手”
随着深度学习技术的崛起,AI似乎已成为无所不能的代名词。但事实并非如此,AI也会犯错。
研究者发现:通过向真实样本中添加人眼不可见的噪声,就会导致深度学习模型发生预测错误,把原本是雪山的图片误认为是狗。
而在“生成式对抗网络”的发明者 Ian Goodfellow近期发表的一篇关于恶意样本的论文中,这一“欺骗性效应”进一步升级,不光是欺骗机器,连人类也被欺骗了。
如上图所示,机器模型和人类都会判断左侧是猫,而右侧是狗,即使我们仔细观察可能也会得出相同的结论。而事实上右侧图像只是左侧图像一个简单地对抗扰动。
别小看了这个“对抗性扰动”,这便是有深度学习“杀手”之称的对抗样本,肉眼看上去虽是同一个目标,但在深度学习分类器上便会把它分到错误的类别上。试想:如果这是一辆行驶中的自动驾驶汽车,那么别有用心的人随时都能制造一起车祸。
以上的一切,似乎都在告诉我们,AI并不那么可靠,而事实果真如此吗?
破局:从解释深度学习开始
事实上,对抗样本看似强大,但并非无法解决,只要调整深度学习的判断机制便可以了。但是,现实情况往往是程序只会给你一个结果,并不会向你解释判断过程,即便你想调整也无从下手。这时理解深度学习便显得尤为重要。
在CAAD village上,郭文博介绍,正是基于此,京东安全开创了一套AI解释系统,可以对深度学习模型的决定进行分析,并找到它做出判断的依据。这就好比它不光告诉你图片中是香蕉,还会告诉你因为它是黄的、弯的,掰开皮有白色的果肉,周围的环境还是热带丛林,所以我判定它是香蕉。
如此一来,除了可以得到深度学习模型的判断结果,工程师还能得到它做出判断的原因,如果发现判断逻辑有误,便能立马进行修复,从而实现重新训练深度学习模型的目的,使模型更安全。
据了解,在京东,这种修复功能也实现了自动化。因此,即便AI犯错了也会快速完成调整,确保让黑产无懈可击。
对抗:在博弈中不断精进
据了解,JD-Omega由京东安全团队的科研人员组成。团队成员的背景涵盖了计算机软件安全以及人工智能。在过去的几年里,该团队成员在世界顶级安全会议CCS,USENIX Security, IEEE S&P, blackhat USA/Europe, DEFCON 先后发表过10余篇科研论文。除此之外,该队成员也是世界顶级AI会议的常客。他们的科研成果曾被美国纽约时报、麻省理工技术杂志、新科学家杂志等广泛报道。
京东首席信息安全专家Tony Lee称,此次京东安全JD-Omega战队参与CAAD对抗样本攻防赛的根本目的是与世界级顶尖黑客同台切磋,分享京东安全最新研究成果的同时也希望能在比拼中获得更多蓝军视角的经验,在实战中不断提升。
在京东安全看来,互联网战场上从来没有绝对的安全,有的只是攻方和守方的反复博弈。防御方想要获得真正的安全,唯有在博弈中不断精进,始终保持技术领先,比攻击方快人一步。用Tony Lee的话说,“我们要永远战斗在最激烈的战场”。
