baseline发布 | OPPO 安全AI挑战赛，人脸识别对抗攻击赛题详解

•  链接:https://github.com/davidsandberg/facenet

•  链接: https://github.com/luckycallor/InsightFace-tensorflow.git

• 链接:https://github.com/sirius-ai/MobileFaceNet_TF.git

•  链接:https://github.com/yule-li/CosFace.git

人脸编码向量之间的相似度计算可以分为和。表示的是对抗样本与干净样本人脸编码向量之间的相似度。表示的是为对抗样本与目标样本编码向量之间的相似度。给定向量和，向量的相似度计算公式可以被总结为：

• 内积计算：

  

  
  

• 余弦相似度：

  
  
  

• 欧氏距离：

• 皮尔逊相关系数：

  

• 斯皮尔曼相关系数：

  

最常用的相似度计算公式是余弦相似度，时间允许的情况下其它的相似度计算公式可以尝试看看，是否也会对成绩有所提高。

在无目标攻击的视角下，对抗样本的人脸编码向量的与干净样本编码向量的相似度越小越好，关于样本的负梯度方向是我们想要的方向：

此时对的梯度方向能够同时获得有无目标攻击和有目标攻击的这两个梯度方向：

本次比赛主要利用的是基于梯度的迭代攻击，在迭代的攻击过程中加入动量项之后可以稳定更新方向并在迭代期间从较差的局部最大值中离开，从而产生更多迁移性更强的的对抗样本。为了进一步提高黑盒攻击的成功率。具体的计算公式如下所示：

生成的对抗扰动通过高斯滤波进行去噪平滑。考虑到OPPO人脸对抗样本线上测试可能会有高斯滤波这种防御机制因而在算法生成噪声的时候加入高斯滤波一定程度上也能使防御机制失效从而提高样本攻击率。使用高斯核函数进行卷积就能完成上述操作，高斯核如下：

def adv_attack(tmp_noise, origin_img, target_img, mask, gaussian_blur, model_pool, index, loss1_v, momentum=0, lr=1):
    tmp_noise.requires_grad = True
 # 对对抗扰动进行高斯平滑处理
    noise = gaussian_blur(tmp_noise)
 # 对人脸图像的扰动范围进行限制
    noise *= mask
    loss1 = 0
 # 整合多个人脸识别模型的人脸编码向量
    for model_dict in model_pool:
        model = model_dict['model']
        proportion = model_dict['proportion']
        # 对抗样本的人脸编码向量
        v1 = l2_norm(model(origin_img + noise)) 
        # 干净样本的人脸编码向量
        v2_1 = l2_norm(model(origin_img)).detach_()  
        # 目标样本的人脸编码向量
        v2_2 = l2_norm(model(target_img)).detach_() 
        # 对抗样本和干净样本之间的内积相似度，越小越好
        tmp1 = (v1*v2_1).sum() 
  # 对抗样本和目标样本的内积相似度，越大越好
        tmp2 = (v1*v2_2).sum()  
        r1 = 1
        r2 = 1
        if tmp1 < 0.2:  
            r1 = 0
        if tmp2 > 0.8: 
            r2 = 0 
        # 将两个相似度进行整合成总的相似度函数
        loss1 += (r1 * tmp1 - r2 * tmp2) * proportion  # Cos Loss
 # 求解相似度关于样本的梯度
    loss1.backward(retain_graph=True)  
    loss1_v = tmp_noise.grad.detach() * (1 - momentum) + loss1_v * momentum  
    tmp_noise.grad.data.zero_()
    # L2范数损失和TV损失的量级比较大需要将它们适当的缩小
    r3 = 1
    if index > 100:
        r3 *= 0.1
    if index > 200:
        r3 *= 0.1
 # L2范数的损失
    loss2 = (noise**2).sum().sqrt() 
 # TV损失
    loss3 = tv_loss(noise)  # TV loss
    # 求解正则化L2和TV损失函数关于样本的梯度
    loss = r3 * 0.025 * loss2 + r3 * 0.004 * loss3
    loss.backward()
 # 将相似度损失的梯度与正则化损失的梯度进行整合得到对抗扰动
    tmp_noise = tmp_noise.detach() - lr * (tmp_noise.grad.detach() + loss1_v)
 # 将对抗扰动的像素进行适当的截断
    tmp_noise = (tmp_noise + origin_img).clamp_(-1, 1) - origin_im g
    tmp_noise = tmp_noise.clamp_(-0.2, 0.2)
    return tmp_noise, loss1_v

项目的  代码链接为：https://github.com/guidao20/OPPO_ADVERSARIAL_ATTACK

相关的细节已经在  中有所介绍。因为前期需要处理生成人脸 之类的操作需要耗费一定的时间，在中程序共耗时一天多，前面的铺垫工作完成后，生成人脸对抗样本的时间大约只有不到个小时。

最终初赛的评测成绩为。