近日，我院团队撰写的论文《Improving adversarial robustness of deep neural networks by using semantic information》在中科院一区期刊（Knowledge-Based Systems， KBS）上发表。第一作者为团队王丽娜博士，陈兴蜀教授、唐瑞、岳亚伟、朱毅、曾雪梅老师、王伟副研究员为合作者。

深度神经网络在包括计算机视觉、语音识别、自然语言处理等任务上取得了令人瞩目的性能。然而，研究发现，深度神经网络在测试阶段容易受到一种名为对抗样本攻击的恶意攻击危害，攻击者在输入上施加微小的、不易察觉的扰动，使得神经网络产生错误的输出。对抗训练是提高深度神经网络的鲁棒性的主要启发式方法之一，并且一般作为网络防御对抗攻击的第一道防线。现有的对抗训练方法需要逐个样本的计算对抗扰动，扩大了训练集的规模，并且很难对整个网络实现理想的防御效果。与此同时，在很多实际应用中，增强深度神经网络对应的高维流形的部分区域的鲁棒性可能是一个更为迫切和现实的需求，例如，在用于自动驾驶的道路信号识别中，将红灯错误的识别为绿灯可能要比将减速错误识别为停车后果更严重。此外，普遍认为对抗样本的存在是因为模型没有学习到真实的概念，对抗样本反应了模型的盲点，然而目前的对抗攻击生成的扰动在模式上更类似于白噪声，没有显著的语义信息。因此，该论文关注深度学习模型流形的部分区域而不是整个网络，提出一种能够提取语义信息并实现目标攻击的通用对抗样本生成算法，该方法可以在很小的样本集上取得很好的效果。在此基础上提出一种区域对抗训练方法，该方法不仅能够抵御训练时使用的对抗扰动，还能够对训练中未见过的对抗攻击模式，例如Carlini and Wagner (C&W) , universal perturbation (Uni.), projected gradient descent (PGD), fast gradient sign method (FGSM)等实现显著的鲁棒性增强。

  KBS是人工智能领域的国际性交叉学科期刊，该期刊专注于基于知识和基于其他人工智能技术的研究，发表该领域的原创、创新和创造性成果。KBS属于中科院SCI期刊分区计算机科学类一区期刊。

  论文链接：Improving adversarial robustness of deep neural networks by using semantic information