西安夜生活_特斯拉大半夜“见鬼”秒刹车,发生了什么?

本文来自微信公众号:量子位(ID:QbitAI),作者:金磊、贾浩楠,题图来自:视觉中国

讲个“鬼故事”:

夜深人静,一辆特斯拉Model X在空无一人的公路上行驶着。

瞬间!它看到了“人类看不见的东西”,于是便刹车在路上停了下来……

来感受一下这种feel:

而这辆特斯拉停车的原因,竟然是因为它看到了“幽灵” 。坐在自动驾驶的汽车上,大半夜的又遇上这种事情,可以想象驾驶员的心理阴影了。

但实际上,其实特斯拉看到的并非是“不干净的东西”,而是被称作“幽灵”(Phantom)的一种攻击自动驾驶辅助系统(ADAS)的图像——掺杂在路边广告牌视频中。

这种图像出现的时长极短,可以用一瞬间来形容。

人类驾驶员往往不会注意到,但对于自动驾驶系统,却成为“强有力的停车信号”。

千万不要小瞧这种攻击,它给自动驾驶车辆和人类带来的后果,或许要比这个“鬼故事”还要恐怖。

隐藏在广告牌中的“幽灵攻击”

在这个案例中,“幽灵攻击”是隐藏在路边广告牌的视频中。

当时,视频中的内容是这样的。

看似是美味的汉堡包广告,但播放期间掺杂了一张“幽灵攻击”图像,这就是“鬼故事”的罪魁祸首——0.42秒的停车路标。

人类驾驶员大概率在行驶过程中,不会过分关注路边广告牌的视频内容;即使看到了这一闪而过的图像,也基本会认为是个bug。

但自动驾驶系统就不同了,顶着那么多雷达和摄像头,时时刻刻“眼观六路”。

于是,搭载特斯拉HW3的Model X,便采纳了这一瞬间停车路标的“建议”。

可能你会说,特斯拉Model X或许是个例。别急,“幽灵攻击”还在Mobileye 630 Pro系统做了实验。

这次隐藏在视频中的内容是这样的:

此次的“幽灵攻击”是一张仅闪现0.125秒的“90英里/小时”路标。于是,搭载Mobileye 630 Pro的车辆,在“看到”这个视频后,速度就真的控制在了90英里/小时……

“幽灵攻击”都是这种一闪而过的图像吗?

不,在路上投影个图像,也是可以的。

这一次,“幽灵攻击”不再是转瞬即逝,而是一直好好地“躺”在那里。然后搭载HW2.5的特斯拉,就把图像检测成了“人”,车速从18英里/小时,降到了14英里/小时。

来看下AI眼中的世界:

安全,一直是自动驾驶领域十分关注的问题,也是必须要保障的。但为什么如此简单的图像攻击,就能把这些最先进的自动驾驶系统,秒秒钟给忽悠“瘸”了呢?

“幽灵攻击”背后原理

其实,攻击自动驾驶辅助系统的手段再简单不过了,根本不涉及黑进特斯拉或Mobileye的系统。

算法的错误操作,也绝不是代码执行效果不佳的结果。

它们不是典型的功能性缺陷(如缓冲区溢出、SQL注入),可以通过添加if语句轻松修补。

这种现象反映了模型对于目标检测的基本缺陷,即它们没法分辨目标的真假。简单的攻击是直接使用投影仪,在车辆行进线的道路上投射出一个物体,可以是行人、汽车、交通标志等等。

第二种方法,是在路边的广告牌上显示出某些干扰信息,比如限速、转弯等。

这些干扰信息的持续时间不用很长,只需要几百毫秒,就足以让号称最先进的特斯拉Autopilot作出错误反应。

研究人员分别测试了Autopilot系统和Mobileye面对干扰持续时间出错的概率:

怎么才能得抑郁症?

抑郁症是当代生活的免死金牌。你可能才隐隐约约意识到朋友圈里晒出的微信小程序“重度抑郁”自测结果越来越多,“如何才能得抑郁症”早已经悄悄登上了百度知道搜索联想词条。但抑郁症并不是季节性感冒和蹿稀那样唾手可得的疾病,得上抑郁症是一场堪比考驾照的修行。要从医院那搞到一张热腾腾的抑郁症确诊单, 你需要通过自评量表、体检和面诊三个科目,并在每个环节都表现得滴水不漏。

西安夜生活网西安荤场子为您推荐!

可以看出来,干扰持续时间超过0.4秒,两个系统100%会出现问题。

Moblieye的反应更是比特斯拉自动驾驶灵敏得多,几乎对任何细微的干扰都会有反应。

特斯拉反应慢半拍,在这种攻击下却意外起到了“正面作用”。

如何解决这个问题?研究人员提出了GhostBuster,意思是“捉鬼小分队”。

“分队”表示这套系统不止一个神经网络,团队在整个“捉鬼”行动中设置了5层不同的深度神经网络。

其中,核心的四个轻量级深度CNN,通过检查物体的反射光、上下文、物体的表面和形状深度来评估物体的真实性和可靠性。

第五个模型使用前四个模型的结果给出最终判断。

这套5个不同神经网络构成的系统在测试中取得了不错的成绩,在阈值设置为零的情况下,AUC超过0.99(ROC曲线下面积),TPR为0.994(真阳性比率)

使用了GhostBuster的带有七个传感器的自动驾驶系统,攻击成功率从之前的99.7%~81.2%降低到0.01%。

单看实验结果,这套系统效果十分好,但是研究人员也指出了它的不足,因为这套系统只针对纯视觉的自动驾驶方案,而激光雷达的案例未考虑在内

而对于特斯拉这种纯视觉方案来说,一旦系统认定“非障碍”,其他摄像头探测结果都会被忽略,形成严重安全隐患。

特斯拉自动驾驶方案的局限性

对激光雷达有所了解的读者,应该会质疑这项研究的有效性。

因为激光雷达是不受视觉图像干扰的,研究团队也承认,一般采用混合方案的自动驾驶系统基本能解决这个问题,但是路上确实也存在像特斯拉这样纯视觉方案的车不是?

这项研究揭示自动驾驶模型本身的缺陷,大大降低了不法之徒攻击的难度和成本。

由于不涉及算法底层代码,“幽灵攻击”甚至不要求任何专业知识,也不需要复杂的前期调查准备,花几百美元买个投影仪或者无人机就能实现。

而且在攻击时,不需要人员靠近现场,完成后也能迅速撤离,难以留下证据。

低成本的犯罪手段,造成的后果轻则交通拥堵,重则车毁人亡。

科技媒体Wired已经就这个问题联系了特斯拉和Mobileye,但是双方均未回应。

研究团队

这次“幽灵攻击”的实施者,是来自以色列本·古里安大学和美国佐治亚理工学院的研究人员。

Ben Nassi

Ben Nassi是本·古里安大学的一名博士生,之前也曾在谷歌工作过一段时间。感兴趣的研究领域包括网络安全和物联网设备。

目前他在Cyber@BGU实验室工作,从事无人机、智能灌溉系统和可穿戴技术等课题的研究。

Yisroel Mirsky

Yisroel Mirsky是佐治亚理工学院博士后研究员,同时也是以色列BGU网络安全研究中心的高级网络安全研究员。

他的主要研究方向包括在线异常检测、对抗性机器学习、区块链等。

而这并不是他们第一次攻击自动驾驶辅助系统。今年早些时候,他们便用投影技术,在夜间的道路和路边的树上,投影出人和路标等图像,成功“忽悠”了搭载HW2.5的特斯拉Model X和搭载Mobileye 630的车辆。

而这一次的实验,是“幽灵攻击”的升级版,不再是长时间将攻击图案放在可监测的位置,而是只让它们出现一瞬间,也同样达到了攻击的目的。

当然,他们也不是第一个做类似“幽灵攻击”的实验人员。

早在2016年,来自浙江大学、南卡罗来纳大学的研究人员,便利用无线电、声波和发光设备来欺骗甚至隐藏物体,让特斯拉的传感器无法发现它们。

在真实生活中,类似是攻击、欺骗事件也是时有发生。例如国外网友在驾驶特斯拉过程中,发现自动驾驶系统竟把雨天车辆尾灯在路上的反射光,识别成了路障。

还有今年6月,特斯拉Model 3在高速公路上,直接撞上了横躺的大货车……

如果你是智能车的车主,是否遇到过诸如此类的“恐怖事件”?

参考链接:

论文地址:https://ad447342-c927-414a-bbae-d287bde39ced.filesusr.com/ugd/a53494_04b5dd9e38d540bc863cc8fde2ebf916.pdf

相关报道:https://www.wired.com/story/tesla-model-x-autopilot-phantom-images/

本文来自微信公众号:量子位(ID:QbitAI),作者:金磊、贾浩楠