3 月 11 日消息,阿里安全专家发布了一项新研究,只要用简单的激光笔,就可以让 AI 模型不再有效。在这个研究中,他们设计了一种算法,可模拟光束对 AI 模型进行 “攻击”,这种测试方法在现实世界中得到了验证,且 “攻击”极易操作,对现有基于 AI 的视觉系统更具威胁,例如基于 AI 视觉的自动驾驶。
当不同频谱的光束打在同一个物体上,AI 可能将该物体识别错误,比如将停车标识识别成顺利通行。
▲ 一束激光可能让自动驾驶汽车对交通标识识别错误
“攻击 AI 远非需要人为去制造对抗样本,一支简单的激光笔就可以。我们想通过这个研究揭示 AI 模型一些之前没有被探索过的‘错误’,从而‘强壮’AI,让它未来能抵挡这种‘攻击’,也让相关从业者重视提高 AI 模型的安全性。”阿里安全图灵实验室负责人薛晖说道。
除了以 “一束光”测试 AI 视觉的安全性,最近图灵实验室发布了多项涉及 AI 安全的研究成果,比如多项文字识别与检测、利用自监督建立视频表征学习方法与提升半监督行为检测的算法框架、AI 样本对抗、伪造人脸检测、AI 对人脸与人声匹配的双重模态识别、视频描述 AI 生成技术等囊括 AI“视觉”“听觉”“大脑”“免疫性”等多方研究,这 10 项涉及 AI 安全的新一代安全架构研究成果均被国际顶会 CVPR2021 收录。
“在 AI 安全前沿技术上进行探索,一是为了让 AI 更安全,二是为了让 AI 助力安全,三是为解决具体社会问题寻找提效的新途径。”薛晖说。
另外,薛晖还表示,安全部署要前置,无论是 AI 本身的安全,还是 AI 可以助力解决的安全问题与社会问题,这就是从源头构筑安全的核心理念。希望在广阔的 AI 安全研究的新领域中,能有更多新生力量加入,迸发出有创造性和想象力的研究,最终应用到人们的生活中,真正服务大众,解决难题。
本文由LinkNemo爬虫[Echo]采集自[https://www.ithome.com/0/539/393.htm]