酷应用

“隐身衣”挑战通关Tips |自动驾驶CTF之AI感知攻防赛题介绍

百家作者：百度安全应急响应中心 2020-09-17 15:09:07

在L1、L2级自动驾驶时代，车辆由驾驶员控制，汽车系统只起到辅助驾驶的作用。车辆在正常行驶的过程中，若发现前方出现障碍物，驾驶员会立刻操作系统，减速、刹车从而避免车辆发生撞击。

在未来，L4、L5级自动驾驶时代，系统将完全代替人类完成所有驾驶操作。因此，在真实的物理世界中，就存在着这样一种攻击的可能性。攻击者对正在行驶的自动驾驶车辆的AI感知系统漏洞发起物理攻击，引发AI感知模型误判，成功“隐身”前方障碍物，诱导车辆发生撞击。

2018年BlackHat Europe 大会上，百度安全研究团队现场展示了“如何让物体在深度学习系统的‘眼’中凭空消失”。在⾃动驾驶领域，针对深度学习模型漏洞进⾏物理攻击的可⾏性研究意义重大，因为直接关乎人类的生命安全。

沿着这一研究思路，在9月26日即将举办的自动驾驶CTF线上赛中，主办方发起赛题挑战。通过3D仿真游戏模拟自动驾驶在物理世界的AI感知攻击，参赛战队可以在接近真实的自动驾驶场景中体验、应战。我们给这类赛题起了一个名字 ——“隐身衣”。

“隐身衣”导致自动驾驶车辆误判并发生撞击

“隐身衣”赛题介绍

“隐身衣”赛题重点考察战队对自动驾驶AI感知系统的攻防能力。比赛中使用的是开源通用物体识别模型，我们会在赛题中把相关模型提供给参赛战队。

正常行驶的自动驾驶车辆

如视频所示，一辆未受攻击的、正常行驶中的红色自动驾驶汽车，遇到前方道路障碍物（白色卡车），会自动停下避免碰撞。

但在比赛模拟的攻击场景中，参赛战队需要按照题目规定的规格和位置，利用AI对抗机器学习技术让白色卡车“消失”。通过提交白色卡车的“隐身衣图片“，使得红色自动驾驶车辆无法正常识别障碍物，继续行驶发生车辆撞击，方可得分。

受到攻击导致误判的自动驾驶车辆

本场比赛的“隐身衣”赛题相比于静态图片的AI感知系统欺骗，挑战难度有所升级：

1. 在3D仿真自动驾驶系统里，参赛战队提交的“隐身衣图片”会由模拟传感器采集，并自动融合在仿真场景中进行验证，所以相比在静态像素级直接操作，攻击难度有所提高；

2. 在仿真自动驾驶系统中，AI感知系统会持续动态捕捉、采集图片输入。参赛战队提交的“隐身衣图片”需要能够在3D场景中持续制造感知系统的误识别，才会造成自动驾驶系统失效，而对单一图片个别帧上造成的错误识别往往不足以欺骗AI感知系统。

万物互联抵抗物理世界攻击

⼈⼯智能在拓宽产业格局的同时，也在重塑安全的边界。百度安全始终倡导通过前沿技术研发，主动开源，协助产业届更快更好地应对安全威胁。如开源对抗攻击生成工具 AdvBox，Perceptron Benchmark等。

本场自动驾驶CTF，通过3D驾驶仿真环境及简化的自动驾驶感知模型，模拟自动驾驶在特定场景下的攻击，还原物理世界对抗攻击的完整过程。但由于物理世界的自动驾驶系统会更加更复杂，配备多种传感器，使用多重技术进行物体识别，而且具备抵抗多种攻击的防御能力，所以这种单一攻击方式很难对物理世界的自动驾驶系统造成真实危害。

当然，如果参赛战队能够在比赛的仿真环境中成功完成任务，欢迎联系我们，迎接更复杂、更接近真实世界场景的挑战！