摘 要：随着神经网络的运用日益广泛，安全问题越来越受重视。对抗样本的出现更是使得攻击神经网络变得轻而易举，该文以神经网络的安全性问题为出发点，介绍了对抗样本的概念和形成原因，总结了生成对抗样本的常用算法，以及防御对抗样本的常用方法，最后提出了下一步保障神经网络安全性的发力点应该从测试转向安全验证。
关键词：安全性;神经网络;对抗样本;攻击与防御;安全验证
中图分类号：TP18 文献标识码：A 文章编号：1009-3044（2019）03-0186-02
Abstract：With the wide application of neural network， safety problem is paid more and more attention. It’s easy to attack the neural network after the emergence of adversarial examples. This paper based on security problems as a starting point， introduces the concept and formation of adversarial examples， summarizes the commonly used algorithms of generating adversarial examples and the common methods of defense. Finally， this paper puts forward that the next step to ensure the safety of neural network should be safety verification.
Key words：safety; neural network; adversarial examples; attack and defense; safety verification
1 引言
近年来，人工智能迎来发展高峰，机器学习作为人工智能的核心技术之一，已经被广泛应用于各个领域，例如：垃圾邮件检测、人脸识别、自动驾驶等。毫无疑问，机器学习技术给人们的生活带来了便利，但同时也暴露了不少安全性问题，其中，引起较多关注的是对抗样本问题。
2 对抗样本
2.1 什么是对抗样本
对抗样本常见于深度神经网络中，其概念最早是Szegedy等人提出来的，它指的是：在输入的图片数据上对像素点的值做微小的改动，改动后的新图片人眼依然能分辨，但神经网络却会以非常高的置信度将其错误分类，此时造成误分类的改动图片就是一个对抗样本[1]。
如图1所示，一张雪山的图片，本来神经网络能够以94.56%的置信度分类为雪山，但加了对抗性噪声之后形成的新图片，神经网络会以99.99%的置信度将其错误地分类为狗。
2.2 为什么会存在对抗样本
观点1：数据采样不均
Szegedy认为可能是由于实验数据集采样不均，类似对抗样本的数据在实验数据集中出现概率太低[1]，以至于模型在训练过程中没有充分学习，在测试过程中也没有发现这一弱点，直到攻击者采用精心构造的数据来攻击时，神经网络才频频出错，暴露出潜在的弱点。这也可以解释为什么不同模型会对同一对抗样本表现出脆弱性，因为问题的根源不在模型结构而在实验数据。
总之，对抗样本的形成原因现在还没有一个公认的定论，不过可以肯定的是，对抗样本确实会给深度神经网络带来很大的安全威胁，因此进一步研究对抗样本的生成和防御方法是很有必要的。
3 生成对抗样本的方法
自从对抗样本的概念被提出后，越来越多的研究者开始关注这个领域，发展到现在已经有十几种基于对抗样本的攻击算法出现，下面介绍其中两种攻击算法。
3.1 L-BFGS
3.2 FGSM
相对于其他攻击方式，FGSM只需要进行一次梯度计算就能生成对抗样本，具有计算量更小、更快的特点，是目前最常用的一种方法;但它只对线性函数有用，当激励函数不是线性的，FGSM就不再适用。
4 防御对抗样本的方法
对抗样本的防御主要有两个大方向，一是改变模型，调整结构和参数;二是不改变模型，预先清洗对抗样本。下面针对这两种思路各介绍一种防御方法。
4.1 防御性蒸馏
蒸馏方法最初是一种用来训练神经网络的方法，主要用于将大型网络学习到的知识提取出来，迁移到小型网络中，使小型网络具有相似的分类能力。后来Papernot等人在此基础上进一步发展出了防御性蒸馏[4]，其主要思想是：先按照正常方式训练网络，然后用第一个网络学到的概率向量来训练另外一个相同架构的新网络。实验证明，这种以概率分布作为训练目标的方法可以在一定程度上提高模型的泛化能力，减轻网络面对对抗样本时的脆弱性。
4.2 数据清洗
数据清洗的主要思想是：既然对抗样本对于神经网络来说是危险的，那么干脆不让对抗样本有机会进入神经网络，在预处理中就将对抗样本从数据集中剔除。Jiajun等人就是基于这种思想提出了SafetyNet[5]，它由一个分类神经网络和一个检测器组成，所有数据样本在进入神经网络进行分类之前，会先进入检测器进行检测，如果检测器判断这是一个对抗样本，那么就将其剔除，这样神经网络始终只处理无干扰的数据，不用担心对抗样本的攻击，给出的分类结果就是可信的。
5 安全验证系统
针对神经网络的安全性问题，上述列举了两种攻击方式和两种防御方式，在采用了防御措施之后，神经网络的安全性有一定提高，但要保证系统绝对安全可靠，还需要引入安全验证系统。目前的机器学习系统大多只是采用了测试的方式来评估系统，很少加入验证方式，但有的系统对于安全性有较高要求，此时安全验证必不可缺。现在关于神经网络安全验证的研究也有一些初步成果，如：Katz基于线性规划求解器提出了一个验证系统Reluplex[6]，如果验证通过，说明神经网络是安全可靠的，如果验证不通过，则会给出一个反例，这个反例也可以看作是对抗样本。
总的来说，目前已有的神经网络验证系统都有一定的使用范围和限制，并不是通用的，后续还需要不断研究和完善。
6 结束语
本文简要介绍了对抗样本的概念，列举了两种对抗样本的形成原因猜想，不过由于深度神经网络的黑盒性，这个问题目前还没有定论。本文还介绍了几种对抗样本的生成算法和防御方法。这一块是目前安全领域发展最火热的，有的生成算法刚提出不久就被防御方法打败，而有的防御方法提出后也很快被新的攻击方式攻破，双方你来我往，不断进步，相信未来会有更完善的安全防御机制出现。最后，本文认為除了要关注对抗样本的攻击与防御方法，未来更要关注的是安全验证方法。
参考文献：
[1] Szegedy C. Intriguing properties of neural networks[J]. Computer Science， 2013.
[2] http：//tech.ifeng.com/a/20171209/44797474_0.shtml [EB/OL].
[3] Goodfellow I J. Explaining and harnessing adversarial examples[C]. ICML， 2015：1-10.
[4] Papernot N. Distillation as a Defense to Adversarial Perturbations Against Deep Neural Networks[C]. IEEE， 2016：582-597.
[5] Lu J. SafetyNet：Detecting and Rejecting Adversarial Examples Robustly[C]. IEEE， 2017：446-454.
[6] Katz G. Reluplex： An Efficient SMT Solver for Verifying Deep Neural Networks[J]. CAV， 2017：97-117.
上一篇：论文发表选题：脑机信息交互技术综述
下一篇：论文发表选题：解析物联网视角下远程视频监控的优化策略
相关文章推荐
主页 > 论文欣赏 >
论文发表选题：基于对抗样本的神经网络安全性问题研究综述
2019-05-17 来源:电脑知识与技术 作者：李紫珊
Copyright© 2011 - 2019 雅诗论文网© 版权所有 豫ICP备11013941号
客服QQ:308902193 地址：郑州市金水区花园路国基路交叉口居易国际1号楼
客服QQ:308902193 地址：郑州市金水区花园路国基路交叉口居易国际1号楼