【论文】略读笔记54-前沿-硬件辅助AI训练框架

📖《GUARDIAN: A Hardware-Assisted Distributed Framework to Enhance Deep Learning Security》

2024 年发表于 CCF-C 类期刊 IEEE Transactions on Computational Social Systems。

🎯需求

• 人工智能（AI）的无处不在，使其在计算机视觉、自然语言处理、医学图像分析等各个领域得到了广泛的研究和应用。
  • 在过去的几十年里，以机器学习为代表的人工智能（AI）研究如火如荼地进行，对各行各业产生了深远的影响。在计算机视觉领域，它广泛应用于图像分类、图像合成、目标检测和跟踪。在自然语言处理中，机器学习可以在情感分析、文本合成和机器翻译中发挥作用。此外，这些主要领域的进展也促进了机器学习在其他领域的部署和应用。例如，将无监督学习应用于辅助治疗的医学图像分类，将分布式机器学习应用于智能交通系统处理多媒体计算任务。因此，人工智能的蓬勃发展极大地方便了我们的生活，为我们的日常活动提供了便利和好处。
• 然而，可靠的（responsible）人工智能面临着严峻的挑战，最突出的问题是传统开发范式带来的机器学习安全性，包括有价值的训练数据的泄漏和机器学习模型知识产权。
  • 首先，用户的数据隐私面临威胁，因为传统的机器学习模式需要收集大量的训练数据和预处理，然后才能通过迭代训练来优化模型权重。
    • 然而，这种模式假设数据提供者不关心他们的隐私问题，这在现实生活中往往不是这样。有些数据通常具有商业价值；例如，财务数据通常包含信息，例如商业公司的商业模式和发展战略。其他的可能受到伦理和道德限制，例如包含患者私人信息的医学图像，其披露会引起公众的广泛质疑。
  • 其次，机器学习模型通常具有知识产权的价值，因此模型持有者应对模型结构和权重数据保密。
    • 因此，机器学习从业者必须仔细检查他们的私有数据和模型权重，然后才能将应用程序用于安全保证的广泛使用。

🚧现状

• 现有的解决方案采用新的算法设计（如联邦学习）或密码学（如同态加密）来防止可能出现的安全漏洞。
  • 在机器学习过程中，已经提出了保护用户隐私数据和模型权重的工作。从算法的角度来看，这些方法通常会改进机器学习模式。
    • 联邦学习是一种典型的方法，它允许分布式训练的参与者在不共享数据的情况下共同训练和优化全局模型，打破了私有数据的孤岛问题。
      • 然而，联邦学习面临着许多安全问题，例如成员攻击和拜占庭攻击，这些问题需要特定的算法来解决。
    • 同态加密是一种可以保护数据和模型安全性的加密方案。它允许对密文进行加法和乘法运算的结果与解密后的明文结果相同。
      • 虽然同态加密可以提供更高的安全保障，但加密和解密步骤需要大量的计算能力。它还不支持深度学习中的标准非线性计算，例如 ReLU 和其他激活函数。
• 我们观察到，硬件辅助的可信执行环境 （TEE） 可以进一步提高机器学习的可靠性。英特尔软件卫士扩展 （SGX） 是一种流行的、受信任的执行硬件，它使用户的程序能够在不受信任的执行环境（如恶意操作系统）中运行，但可确保数据的机密性和完整性。
  • 近年来，基于硬件辅助方法的安全计算逐渐引起了研究人员和工程师的广泛关注。
  • 可信执行环境 （TEE） 为用户提供可信计算空间，即使在不受信任的操作系统和恶意外部环境中也是如此。
  • 英特尔软件防护扩展（SGX）的 TEE 由特定的英特尔硬件保证。英特尔 SGX 中应用的代码和数据分为 TEE（飞地 enclave）和具有特定硬件保护的不受信任的执行环境。机器学习用户可以将用户的私有数据或模型权重上传到飞地进行存储或计算，以确保机器学习全生命周期数据的安全性和完整性。

🛩创新

• 因此，我们提出了 GUARDIAN，这是一个分布式机器学习训练环境，它通过硬件保护机制优先考虑安全性和可靠性，可在训练过程中保护数据安全。
  • GUARDIAN的工作流程可以概括为三个主要步骤。
    • 首先，机器学习从业者使用传统的训练技术开发模型结构并初始化模型权重。
    • 其次，为了确保对用户模型和代码的影响最小，研究人员引入了Gramine作为SGX LibOS，以简化开发过程。因此，建立Gramine所需的必要配置文件以支持TEE中的分布式训练过程至关重要。
    • 最后，鉴于英特尔 SGX 的 enclave 大小有限以及 TEE 中相关的执行性能下降，GUARDIAN 采用了数据并行性来加快模型训练速度。
• 与基于算法的安全机器学习技术相比，GUARDIAN具有显著的特点。
  • 首先，与需要算法优化的联邦学习或涉及加密和解密数据或模型的基于同态加密的算法不同，GUARDIAN 的安全机制依赖于特定的硬件。它不需要对用户的代码或模型进行任何修改，因此非常方便。
  • 其次，通过细致的实验，研究了基于硬件保护的机器学习训练在实际部署中的问题。该检查表明，尽管 SGX 内部模型训练涉及更长的作业完成时间 （JCT），但数据并行性可以加快该过程。
  • 此外，我们观察到，虽然异步通信减少了训练时间，但它可能导致模型准确性下降。因此，GUARDIAN的独特属性为机器学习训练提供了安全可靠的解决方案。
• 我们的贡献如下：
  • 1）我们设计了 GUARDIAN，这是一个基于硬件辅助机器学习训练的安全计算框架。GUARDIAN在不修改代码或模型的基础上提供原生安全支持，以保护用户数据和模型不泄露并造成经济损失。
  • 2）我们通过大量的实验，全面分析了新交所的机器学习训练性能。我们的分析包括SGX应用执行时间的延长、SGX参数对任务完成时间的影响，以及通信模式对机器学习训练任务的影响。
  • 3）我们提供了 GUARDIAN 的代码 ，该代码为 TEE 中分布式机器学习训练的后续优化提供了基础。

📊效果

• 通过我们广泛的实验验证了 GUARDIAN 功能的有效性，突出了其在实际部署中的功效。我们的研究结果表明，引入安全保证会导致性能下降，这在不久的将来提供了一个可行的优化方向。

🧠疑问

1. 第二个安全问题“模型的知识产权”问题如何解决的？

---

---

• 希望这篇博客对你有帮助！如果你有任何问题或需要进一步的帮助，请随时提问。
• 如果你喜欢这篇文章，欢迎动动小手 给我一个follow或star。

🗺参考文献

[1] Z. Cai, B. Ren, R. Ma, H. Guan, M. Tian and Y. Wang, “GUARDIAN: A Hardware-Assisted Distributed Framework to Enhance Deep Learning Security,” in IEEE Transactions on Computational Social Systems, vol. 10, no. 6, pp. 3012-3020, Dec. 2023, doi: 10.1109/TCSS.2023.3262289.