在微软 Azure 上使用 Ubuntu 机密虚拟机和 Nvidia H100 GPU 的 Confidential AI 集成预览

by Canonical on 15 August 2024

使用 Azure 上的 Ubuntu 机密 AI，企业可以放心地承担各种任务，包括 ML 训练、推断、多方机密数据分析和联合学习。

AI 模型的有效性在很大程度上取决于能否访问大量高质量的数据。虽然可以使用公开可用的数据集，但对于医疗诊断或财务风险评估等任务，我们需要在训练和推断过程中访问私人数据。 

在云中执行机器学习任务时，企业担心其敏感数据隐私和模型相关知识产权可能受到损害，这是可以理解的。此外，严格的行业法规通常禁止共享此类数据。这使得利用大量有价值的私人数据变得困难，甚至完全不可能，从而限制了 AI 在重要领域的真正潜力。

机密 AI 可以直接解决这一问题，提供了一个跨越 CPU 和 GPU 的基于硬件的执行环境。该环境可以帮助保护 AI 数据和代码免遭特权系统软件（如管理程序或主机操作系统）和云中特权操作人员利用，从而增强对运行时 AI 数据和代码的保护。

为了应对这一挑战，我们很高兴于今日宣布推出 Azure 上集成了 Nvidia H100 Tensor 核心 GPU 的 Ubuntu 机密 AI 预览版。该解决方案采用 Ubuntu 22.04 机密虚拟机 (CVM) 构建而成，使用了集成 SEV-SNP 和 NVIDIA H100 GPU 的 AMD 第四代 EPYC 处理器。Ubuntu 22.04 是在 Azure 上唯一支持此产品的操作系统。

机密 AI 的运作原理

Confidential AI 成为可能，要得益于颠覆性的机密计算技术，该技术完全有别于公共云的传统威胁模型。过去，云中特权系统软件（包括操作系统、管理程序和固件）的大量代码库中存在漏洞，这对运行代码和数据的机密性与完整性构成了持续的风险。同样，恶意云管理员未经授权进行访问，可能会危及虚拟机 (VM) 及其平台的安全性。

Ubuntu CVM 旨在让您夺回对虚拟机安全保障的控制权。它们可以让您在受硬件保护的可信执行环境 (TEE) 中运行工作负载。这些安全且隔离的环境专为防止未经授权的访问或在运行时更改应用程序和数据而构建，帮助管理敏感和受监管数据的企业组织提升安全性。

因此，CVM 的主要目标是保护客机工作负载免受各种潜在的软件威胁，包括平台上的虚拟机管理器和其他非 CVM 软件所带来的威胁。CVM 还可以提高工作负载的安全性，使其免遭平台存储器上的特定物理访问攻击，包括离线动态随机访问存储器 (DRAM) 分析，如 DRAM 接口上的冷启动攻击和主动攻击。

从机密计算到机密 AI

虽然机密计算历来主要侧重于 CPU，但随着具有机密计算功能的 Nvidia H100 GPU 的出现，也为将这种安全范例扩展到 GPU 也迎来了新的可能性。Azure 解决方案集成了 CPU 和 GPU 组件，是实现机密 AI 的关键。从高层次的角度来看，该解决方案依赖于以下组件：

• CPU-TEE：在集成 SEV-SNP 的 AMD 第四代 EPYC 处理器上运行的 Ubuntu 机密虚拟机，可以保护 CPU 中的工作负载计算：
  • 运行时机密性：得益于 CPU 存储控制器内新的 AES-128 硬件加密引擎，Ubuntu CVM 的 DRAM 可以保持加密状态。每当有存储器读取或写入操作时，该引擎就会对存储页面进行加密和解密。工作负载代码和数据不是以纯文本形式存储在系统存储器中，而是使用硬件管理的加密密钥进行加密。该加密和解密过程在 CPU 内无缝进行，确保了机密工作负载的强内存隔离。
  • 运行时完整性：Ubuntu CVM 使用新的 AMD SEV SNP 指令和数据结构，允许对通常由特权系统软件执行的安全敏感型任务进行审计。这些任务涉及存储管理和平台设备访问。例如，在读取映射到机密工作负载的存储页面时，这些新指令还会提供有关最后写入页面的值的信息。此功能通过检测对存储页面未经授权的修改，帮助防止数据损坏和重放攻击。
• GPU-TEE：NVIDIA H100 Tensor Core GPU，保护 GPU 内工作负载计算的机密性和完整性。
• CPU 和 GPU 之间的 PCIe 加密通信。
• 认证组件：使依赖方（无论是工作负载的所有者还是工作负载所提供服务的使用者）能够使用密码验证 CPU 和 GPU TEE 的安全性声明。

将这些组件集成到一个内聚性解决方案中，不仅可以实现机密 Ai，而且机密 AI 还很实用，使企业组织能够利用 AI 的强大力量，同时保持最高标准的数据安全性和机密性。机密 AI 可以通过加密原语（如差分隐私）进一步得到增强，从而保护工作负载免遭更复杂的数据泄露。

立即使用 Ubuntu 构建您的机密 AI 工作负载

机密 AI 可以支持 AI 应用程序整个构建和部署生命周期内的许多用例。例如，您可以在训练阶段使用 Ubuntu CVM 保护您的数据、模型 IP 及其权重。

机密 AI 还有利于微调大型语言模型，在这种情况下，企业需要使用私人数据来优化通用模型并提高面向特定行业的模型性能。

我们坚信，机密 AI 是释放 AI 全部潜力的关键机会，对于医疗保健、金融等需要处理安全敏感型数据的行业而言尤其如此。我们诚邀您加入我们，一起见证 Ubuntu 变革之程。我们可以携手前行，在持续保持最高标准的敏感数据隐私性和安全性的同时在 AI 创新方面开拓新视野。

立即加入我们，注册使用集成了 Ubuntu 机密虚拟机的 Azure 机密 AI 预览版。 

与我们分享您的问题、用例和反馈。我们渴望聆听您的心声，并与您携手塑造 AI 安全与创新领域的未来。

更多阅读资料

• 在 Ubuntu Pro for Azure 上引入机密虚拟机
• 观看网络研讨会，了解关于机密计算的更多信息
• 阅读博文：什么是机密计算？面向首席信息安全官的高阶解释（中文）
• 阅读博文：公有云的机密计算：隔离和远程证明说明（中文）