NVIDIA GPU 架构

您可以在经过 NVIDIA 认证的裸机服务器上部署 OpenShift Container Platform，但有一些限制

您可以选择以下方法之一来访问容器化 GPU

许多开发人员和企业正在转向容器化应用程序和无服务器基础设施，但仍然对开发和维护在虚拟机 (VM) 上运行的应用程序非常感兴趣。Red Hat OpenShift Virtualization 提供了此功能，使企业能够将虚拟机集成到集群内的容器化工作流中。

您可以选择以下方法之一将工作节点连接到 GPU

您可以在能够托管不同GPU类型的NVIDIA认证的VMware vSphere服务器上部署OpenShift Container Platform。

如果VM使用vGPU实例，则必须在管理程序中安装NVIDIA GPU驱动程序。对于VMware vSphere，此主机驱动程序以VIB文件的形式提供。

可以分配给工作节点VM的vGPU最大数量取决于vSphere的版本。

您可以选择以下方法之一将工作节点连接到GPU：

与裸机部署类似，需要一台或三台以上服务器。不支持只有两台服务器的集群。

您可以在NVIDIA认证的基于内核的虚拟机 (KVM) 服务器上使用OpenShift Container Platform。

与裸机部署类似，需要一台或三台以上服务器。不支持只有两台服务器的集群。

但是，与裸机部署不同，您可以在服务器中使用不同类型的GPU。这是因为您可以将这些GPU分配给充当Kubernetes节点的不同VM。唯一的限制是Kubernetes节点在其自身级别必须具有相同的GPU类型集。

您可以选择以下方法之一来访问容器化 GPU

要启用vGPU功能，必须在主机级别安装特殊的驱动程序。此驱动程序以RPM包的形式提供。对于GPU直通分配，完全不需要此主机驱动程序。

您可以将OpenShift Container Platform部署到主要的云服务提供商 (CSP) 之一：Amazon Web Services (AWS)、Google Cloud Platform (GCP) 或Microsoft Azure。

有两种操作模式可用：完全托管部署和自托管部署。

重要的是，此计算实例必须是GPU加速的计算实例，并且GPU类型必须与NVIDIA AI Enterprise支持的GPU列表匹配。例如，T4、V100和A100属于此列表。

您可以选择以下方法之一来访问容器化 GPU

Red Hat Device Edge提供对MicroShift的访问。MicroShift提供单节点部署的简易性以及资源受限（边缘）计算所需的功能和服务。Red Hat Device Edge满足在资源受限环境中部署的裸机、虚拟、容器化或Kubernetes工作负载的需求。

您可以在Red Hat Device Edge环境中启用容器中的NVIDIA GPU。

您可以使用GPU直通来访问容器化的GPU。

计算统一设备架构 (CUDA) 是NVIDIA开发的用于GPU上通用计算的并行计算平台和编程模型。

流是在GPU上按发出顺序执行的一系列操作。CUDA命令通常在默认流中顺序执行，并且一项任务只有在前面一项任务完成后才会开始。

跨不同流的异步处理操作允许并行执行任务。在一个流中发出的任务会在另一个流中发出另一个任务之前、期间或之后运行。这允许GPU同时运行多个任务，而无需规定顺序，从而提高性能。

当您运行多个CUDA应用程序时，GPU时间切片会交错调度在超载GPU上安排的工作负载。

您可以通过为GPU定义一组副本（每个副本可以独立地分发到pod以在其上运行工作负载）来启用Kubernetes上的GPU时间切片。与多实例GPU (MIG) 不同，副本之间没有内存或故障隔离，但对于某些工作负载而言，这比完全不共享更好。在内部，GPU时间切片用于多路复用来自同一底层GPU副本的工作负载。

您可以为时间切片应用集群范围的默认配置。您也可以应用节点特定的配置。例如，您可以仅对具有 Tesla T4 GPU 的节点应用时间切片配置，而不对具有其他 GPU 型号的节点进行修改。

您可以结合这两种方法，先应用集群范围的默认配置，然后标记节点以使这些节点具有节点特定的配置。

CUDA 多进程服务 (MPS) 允许单个 GPU 使用多个 CUDA 进程。这些进程在 GPU 上并行运行，消除了 GPU 计算资源的饱和。MPS 还支持内核操作和来自不同进程的内存复制的并发执行或重叠，以提高利用率。

使用多实例 GPU (MIG)，您可以将 GPU 计算单元和内存分割成多个 MIG 实例。从系统角度来看，每个实例都代表一个独立的 GPU 设备，并且可以连接到节点上运行的任何应用程序、容器或虚拟机。使用 GPU 的软件将这些 MIG 实例中的每一个都视为独立的 GPU。

当您的应用程序不需要整个 GPU 的全部功能时，MIG 非常有用。新款 NVIDIA Ampere 架构的 MIG 功能使您可以将硬件资源分割成多个 GPU 实例，每个实例都可作为独立的启用 CUDA 的 GPU 供操作系统使用。

NVIDIA GPU Operator 1.7.0 及更高版本为 A100 和 A30 Ampere 卡提供 MIG 支持。这些 GPU 实例旨在支持多达七个独立的 CUDA 应用程序，以便它们使用专用硬件资源完全隔离运行。

虚拟机 (VM) 可以使用 NVIDIA vGPU 直接访问单个物理 GPU。您可以创建虚拟 GPU，这些虚拟 GPU 可以由企业中的虚拟机共享，并可被其他设备访问。

此功能将 GPU 性能的强大功能与 vGPU 提供的管理和安全优势相结合。vGPU 提供的其他优势包括：主动管理和监控您的虚拟机环境，混合 VDI 和计算工作负载的工作负载平衡以及跨多个虚拟机的资源共享。