专用硬件加速器在新兴的生成式人工智能和机器学习 (AI/ML) 行业中扮演着关键角色。具体来说,硬件加速器对于训练和服务大型语言模型以及驱动这项新技术的其他基础模型至关重要。数据科学家、数据工程师、机器学习工程师和开发人员可以利用专用硬件加速器进行数据密集型转换以及模型开发和服务。该生态系统中的大部分内容都是开源的,并有许多贡献合作伙伴和开源基金会。
Red Hat OpenShift Container Platform 支持添加构成硬件加速器的处理单元的卡和外围硬件
图形处理单元 (GPU)
神经处理单元 (NPU)
专用集成电路 (ASIC)
数据处理单元 (DPU)
专用硬件加速器为AI/ML开发提供了丰富的优势
为开发人员、数据工程师、数据科学家和DevOps提供的协作环境
Operators允许将AI/ML功能引入OpenShift Container Platform
对模型开发、交付和部署的本地支持
模型测试、迭代、集成、推广和作为服务的生产服务
Red Hat提供了一个优化的平台,可在Red Hat Enterprise Linux (RHEL) 和OpenShift Container Platform平台的Linux(内核和用户空间)和Kubernetes层启用这些专用硬件加速器。为此,Red Hat将Red Hat OpenShift AI和Red Hat OpenShift Container Platform的成熟功能结合在一个企业级AI应用程序平台中。
硬件Operators使用Kubernetes集群的操作框架来启用所需的加速器资源。您还可以手动或作为守护程序集部署提供的设备插件。此插件在集群中注册GPU。
某些专用硬件加速器设计用于在断开连接的环境中工作,在这些环境中必须维护安全的环境以进行开发和测试。