对机器学习模型的对抗性攻击在强度、频率和复杂度上不断增加，越来越多的企业承认它们遭遇了与AI相关的安全事件。
AI的广泛采用正在导致一个快速扩展的威胁面，所有企业都在努力应对。Gartner关于AI采用的最新调查显示，73%的企业已部署了数百或数千个AI模型。
HiddenLayer的早期研究发现，77%的公司识别出了与AI相关的安全漏洞，而其余公司则不确定其AI模型是否受到攻击。五分之二的企业经历了AI隐私泄露或安全事件，其中四分之一是恶意攻击。
对抗性攻击日益增长的威胁
随着AI在各行业的影响力不断增强，恶意攻击者继续精炼他们的技术，利用机器学习模型日益增多的漏洞，因为威胁面的种类和数量都在增加。
对机器学习模型的对抗性攻击试图通过故意使用输入、受损数据、越狱提示以及在图像中隐藏恶意命令来利用模型中的漏洞，并将这些图像加载回模型进行分析。攻击者调整对抗性攻击，使模型产生错误的预测和分类，从而生成错误的输出。
记者Ben Dickson解释了对抗性攻击如何运作，它们的多种形式以及该领域的研究历史。
Gartner还发现，41%的企业报告经历了某种形式的AI安全事件，包括针对机器学习模型的对抗性攻击。在这些报告的事件中，60%是内部人员导致的数据泄露，而27%是针对企业AI基础设施的恶意攻击。30%的AI网络攻击将通过训练数据投毒、AI模型窃取或对抗样本来攻击AI驱动的系统。
对机器学习攻击在网络安全中的增长
通过对抗性机器学习攻击破坏整个网络是一些国家寄希望于用来干扰其对手基础设施的隐蔽攻击策略，这将对供应链产生连锁反应。2024年美国情报界年度威胁评估提供了一个令人警醒的视角，说明了保护网络免受对抗性机器学习模型攻击的重要性，以及为什么企业需要考虑更好地保护其私有网络，防止对抗性机器学习攻击。
一项最新研究指出，网络环境的日益复杂要求更先进的机器学习技术，这也为攻击者提供了新的漏洞。研究人员发现，对机器学习在网络安全中的对抗性攻击威胁正在达到流行水平。
迅速增加的连接设备数量和数据的激增使企业陷入了与恶意攻击者的军备竞赛中，许多攻击者由寻求控制全球网络的国家资助，以获得政治和经济利益。对于企业来说，问题不再是是否会遭遇对抗性攻击，而是何时会遭遇。与对抗性攻击的斗争仍在继续，但企业可以通过正确的策略和工具获得优势。
Cisco、Cradlepoint(Ericsson的子公司)、DarkTrace、Fortinet、Palo Alto Networks以及其他领先的网络安全供应商在利用AI和机器学习检测网络威胁和保护网络基础设施方面拥有深厚的专业知识。每家公司都采取了独特的方法来应对这一挑战。媒体对Cisco和Cradlepoint最新进展的分析表明，各供应商在应对网络安全和模型安全威胁方面的速度之快。Cisco最近收购Robust Intelligence突显了保护机器学习模型对这家网络巨头的重要性。
理解对抗性攻击
对抗性攻击利用了数据完整性和机器学习模型稳健性中的弱点。根据美国国家标准与技术研究院(NIST)的《人工智能风险管理框架》，这些攻击引入了漏洞，使系统容易受到对抗性利用。
对抗性攻击主要有以下几种类型：
数据投毒(Data Poisoning)：攻击者将恶意数据引入模型的训练集，从而降低模型性能或控制其预测。根据Gartner 2023年的报告，近30%的启用AI的企业(尤其是金融和医疗行业)都经历过这种攻击。后门攻击通过在训练数据中嵌入特定触发器，使模型在遇到这些触发器时在现实输入中表现异常。2023年MIT的一项研究指出，随着AI采用率的提高，此类攻击的风险也在增加，使得像对抗训练这样的防御策略越来越重要。
规避攻击(Evasion Attacks)：这些攻击通过修改输入数据使模型产生错误预测。轻微的图像失真可能会让模型错误分类物体。广泛使用的规避方法之一是快速梯度符号法(FGSM)，它利用对抗性噪声欺骗模型。在自动驾驶汽车行业，规避攻击引发了安全问题，修改后的停车标志被误认为是让行标志。2019年的一项研究发现，一个小小的贴纸就能让自动驾驶汽车将停车标志误判为限速标志。腾讯的Keen安全实验室曾利用路面贴纸欺骗Tesla Model S的自动驾驶系统，这些贴纸将车辆引入错误车道，展示了精心设计的输入微小变化如何带来危险。对关键系统(如自动驾驶汽车)的对抗性攻击是真实存在的威胁。
模型反转(Model Inversion)：此类攻击允许攻击者从模型输出中推断敏感数据，尤其当模型是基于机密数据(如健康或财务记录)进行训练时，风险尤为严重。黑客通过查询模型并利用响应数据反向推断训练数据。2023年，Gartner警告称，“模型反转的滥用可能导致严重的隐私侵犯，特别是在医疗和金融领域，攻击者可以从AI系统中提取患者或客户的信息。”
模型窃取(Model Stealing)：攻击者通过多次API查询复制模型功能。这些查询帮助攻击者创建一个行为类似于原始模型的代理模型。AI Security指出：“AI模型通常通过API查询成为攻击目标，攻击者借此反向工程其功能，这对专有系统，特别是在金融、医疗和自动驾驶行业，带来了重大风险。”随着AI使用的增加，这类攻击也在增长，导致对AI模型中的知识产权和商业机密的担忧加剧。
识别AI系统中的薄弱环节
保护机器学习模型免受对抗性攻击需要深入了解AI系统的漏洞。需要关注的关键领域包括：
数据投毒和偏见攻击：攻击者通过注入带有偏见或恶意的数据，攻击AI系统，破坏模型的完整性。医疗、金融、制造和自动驾驶行业最近都经历了这些攻击。2024年NIST的报告警告称，薄弱的数据治理放大了这些风险。Gartner指出，对抗性训练和强有力的数据控制可以使AI的韧性提升高达30%。建立安全的数据管道并进行持续验证对于保护关键模型至关重要。
模型完整性与对抗性训练：机器学习模型在没有对抗性训练的情况下容易受到操控。对抗性训练通过使用对抗性示例显著增强了模型的防御能力。研究人员指出，对抗性训练提高了模型的稳健性，但需要更长的训练时间，并且可能在准确性与韧性之间进行权衡。尽管存在缺陷，对抗性训练仍是抵御对抗性攻击的重要防线。研究还发现，在混合云环境中，糟糕的机器身份管理增加了机器学习模型遭受对抗性攻击的风险。
API漏洞：模型窃取和其他对抗性攻击对公共API极为有效，它们是获取AI模型输出的关键。许多企业因缺乏强大的API安全性而容易受到攻击，正如在BlackHat 2022大会上所提到的那样。包括Checkmarx和Traceable AI在内的供应商正在自动化API发现并阻止恶意机器人以减少这些风险。必须加强API安全性以维护AI模型的完整性并保护敏感数据。
保护机器学习模型的最佳实践
实施以下最佳实践可以显著减少对抗性攻击带来的风险：
健全的数据管理与模型管理：NIST建议进行严格的数据清理和过滤，以防止数据投毒攻击机器学习模型。避免恶意数据集成需要定期审核第三方数据源的治理。还必须通过跟踪模型版本、监控生产性能和实施自动化的安全更新来保护机器学习模型。BlackHat 2022的研究人员强调了持续监控和更新的必要性，以通过保护机器学习模型来确保软件供应链的安全。通过健全的数据和模型管理，企业可以提高AI系统的安全性和可靠性。
对抗性训练：通过使用快速梯度符号法(FGSM)生成的对抗性示例可以增强机器学习模型的防御能力。FGSM通过对输入数据进行微小调整来增加模型错误，帮助模型识别并抵御攻击。研究人员指出，这种方法可以将模型的韧性提高30%。研究人员写道：“对抗性训练是提高模型在面对复杂威胁时稳健性最有效的方法之一。”
同态加密与安全访问：在机器学习中保护数据，尤其是在医疗和金融等敏感领域时，同态加密提供了强大的保护，因为它允许在加密数据上进行计算，而无需暴露数据。EY表示，“同态加密对于需要高隐私保护的行业来说是一个变革者，因为它允许在不泄露机密的情况下进行安全的数据处理。”结合远程浏览器隔离进一步减少了攻击面，确保通过安全访问协议保护管理和非管理设备。
API安全性：必须保护面向公众的API以防止模型窃取并保护敏感数据。BlackHat 2022指出，网络犯罪分子越来越多地利用API漏洞攻击企业技术堆栈和软件供应链。基于AI的洞察(如网络流量异常分析)有助于实时检测漏洞并加强防御。API安全性可以减少企业的攻击面并保护AI模型免受对抗者的攻击。
定期模型审计：定期审计对于检测漏洞和解决机器学习模型中的数据漂移至关重要。定期测试对抗性示例可确保模型在面对不断演变的威胁时保持稳健。研究人员指出，“审计有助于提高动态环境中的安全性和韧性。”Gartner关于AI安全的最新报告强调，持续的治理审核和数据管道监控对于保持模型完整性和防止对抗性操控至关重要。这些实践有助于确保长期的安全性和适应性。
保护机器学习模型的技术解决方案
多种技术和方法在防御针对机器学习模型的对抗性攻击方面已经被证明有效：
差分隐私：这一技术通过在模型输出中引入噪声来保护敏感数据，同时不会显著降低准确性。这一策略对于重视隐私的行业(如医疗)尤为重要。差分隐私是Microsoft和IBM等公司在其AI系统中用来保护敏感数据的一种技术。
AI驱动的安全访问服务边缘(SASE)：随着企业逐步整合网络和安全，SASE解决方案正得到广泛采用。主要竞争者包括Cisco、Ericsson、Fortinet、Palo Alto Networks、VMware和Zscaler等公司。这些公司提供多种功能来应对分布式和混合环境中对安全访问的日益增长的需求。Gartner预测，到2025年，80%的企业将采用SASE，这一市场预计将快速扩展。
Ericsson通过集成5G优化的SD-WAN和零信任安全来凸显其优势，并通过收购Ericom加强了这一组合。这使Ericsson能够提供一款基于云的SASE解决方案，专为混合型员工和物联网部署而设计。其Ericsson NetCloud SASE平台在提供AI驱动的分析和网络边缘的实时威胁检测方面表现出色。该平台集成了零信任网络访问(ZTNA)、基于身份的访问控制和加密流量检测。Ericsson的蜂窝智能和遥测数据用于训练AI模型，以改善故障排除的帮助功能。其AIOps能够自动检测延迟，将其定位为蜂窝接口问题，确定根本原因是蜂窝信号的问题，并建议解决方案。
同态加密的联邦学习：联邦学习允许在不共享原始数据的情况下进行分布式机器学习训练，从而保护隐私。使用同态加密计算加密数据确保整个过程中安全性。Google、IBM、Microsoft和Intel正在开发这些技术，尤其是在医疗和金融领域。Google和IBM使用这些方法在AI模型协作训练过程中保护数据，而Intel则使用硬件加速的加密技术来保障联邦学习环境。这些创新确保了数据隐私在安全、分布式的AI中得以保护。
防御攻击
鉴于对抗性攻击(包括数据投毒、模型反转和规避攻击)的潜在严重性，医疗和金融行业尤其脆弱，因为这些行业往往是攻击者的首选目标。通过使用对抗性训练、健全的数据管理和安全的API实践，企业可以显著降低对抗性攻击带来的风险。基于AI驱动的SASE，结合蜂窝优先优化和AI驱动的智能技术，已被证明在防御网络攻击方面非常有效。
