讯朱雀实验室首度亮相公众视野 专注AI安全技术研究
8月19日,第19届XCon安全焦点信息安全技术峰会在北京召开。由腾讯安全平台部孵化的腾讯Vermilion鸟实验室首次公开亮相。据报道,该实验室专注于实际的战斗攻击技术研究和人工智能安全技术研究,以促进防御、保护腾讯业务和用户安全。
腾讯安全平台部门负责人杨勇表示,目前,人工智能已经融入各个行业,安全从业人员面临着更加复杂多变的网络环境。我们看到了网络攻击武器人工智能的发展趋势。除了框架、数据、模型、算法等人工智能基础设施外,任何环节都是攻防的第一线。作为一名安全工作者,我们必须走在企业前面,跟上技术时代的步伐。
会上,腾讯Vermilion鸟实验室的高级安全研究员nEINEI分享了一项人工智能安全创新研究:在实际战斗中模拟黑客攻击路径,使用"样本中毒"摆脱传统的AI攻击模式,直接控制AI模型的神经元,为模型"植入后门",在几乎没有意义的情况下实现完全攻击验证。
这也是我国首次利用人工智能模型文件直接产生后门效应的攻击研究,该技术更接近AI攻击的实际作战场景,对唤醒公众对AI模型安全性的关注,进行有针对性的防御建设具有重要意义。
腾讯朱雀实验室具体展示了三种“空投木马”形式的AI模型高阶攻击手法。
第一种是"AI供应链攻击",通过反向破解AI软件并植入恶意执行代码,使AI模型成为一个大型的"特洛伊木马",并由攻击者控制,如果被放入开源社区等,就会导致广泛的人工智能供应链受到污染。
腾讯Vermilion Bird实验室发现,将模型文件加载到内存中的过程是各种软件相互依赖的结果,因此从理论上讲,任何依赖的软件都有弱点,可以被攻击者利用。这种攻击可以防止原始模型受到任何功能的影响,但是当加载模型文件时,它可以执行恶意代码逻辑,类似于传统的攻击供应链中毒,但中毒通道已经被AI框架的模型文件所取代。