允许连接到 Azure API。必须将目标服务标记设置为 AzureCloud。[1]
×
在受限网络中安装 Azure 上的集群
在 OpenShift Container Platform 4.17 版本中，您可以通过在现有的 Azure 虚拟网络 (VNet) 上创建安装发行版内容的内部镜像，在受限网络中安装 Microsoft Azure 上的集群。
|
您可以使用镜像安装发行版内容安装 OpenShift Container Platform 集群，但是您的集群需要互联网访问才能使用 Azure API。 |
先决条件
-
您已将断开连接安装的镜像镜像到您的注册表并获得了 OpenShift Container Platform 版本的
imageContentSources数据。由于安装介质位于镜像主机上，您可以使用该计算机完成所有安装步骤。
-
您在 Azure 中有一个现有的 VNet。在使用安装程序预配的基础架构安装受限网络中的集群时，您不能使用安装程序预配的 VNet。您必须使用满足以下要求之一的用户预配的 VNet
-
VNet 包含镜像注册表。
-
VNet 具有防火墙规则或对托管在其他位置的镜像注册表的对等连接。
-
关于受限网络中的安装
在 OpenShift Container Platform 4.17 中，您可以执行无需主动连接到互联网即可获取软件组件的安装。受限网络安装可以使用安装程序预配的基础架构或用户预配的基础架构完成，具体取决于您要安装集群的云平台。
如果您选择在云平台上执行受限网络安装，您仍然需要访问其云 API。某些云功能（例如 Amazon Web Service 的 Route 53 DNS 和 IAM 服务）需要互联网访问。根据您的网络情况，在裸机硬件、Nutanix 或 VMware vSphere 上安装可能需要较少的互联网访问。
要完成受限网络安装，您必须创建一个镜像 OpenShift 镜像注册表内容并包含安装介质的注册表。您可以在可以访问互联网和封闭网络的镜像主机上创建此注册表，或者使用满足您限制的其他方法。
用户定义的出站路由
在 OpenShift Container Platform 中，您可以为集群选择自己的出站路由以连接到互联网。这允许您跳过创建公共 IP 地址和公共负载均衡器。
您可以在安装集群之前修改install-config.yaml文件中的参数来配置用户定义的路由。安装集群时使用出站路由需要预先存在的 VNet；安装程序不负责配置此项。
当配置集群使用用户定义的路由时，安装程序不会创建以下资源：
-
访问互联网的出站规则。
-
公共负载均衡器的公共 IP。
-
将集群机器添加到公共负载均衡器以进行出站请求的 Kubernetes 服务对象。
设置用户定义路由之前，您必须确保以下项目可用：
-
除非使用 OpenShift 镜像注册表镜像，否则可以访问互联网以拉取容器镜像。
-
集群可以访问 Azure API。
-
已配置各种允许列表端点。您可以在“配置防火墙”部分中参考这些端点。
有几种预先存在的网络设置支持使用用户定义路由访问互联网。
带有 Azure 防火墙的受限集群
您可以使用 Azure 防火墙来限制用于安装 OpenShift Container Platform 集群的虚拟网络 (VNet) 的出站路由。有关更多信息，请参阅 使用 Azure 防火墙提供用户定义的路由。您可以通过使用带有 Azure 防火墙的 VNet 并配置用户定义的路由，在受限网络中创建 OpenShift Container Platform 集群。
|
如果您使用 Azure 防火墙来限制互联网访问，则必须在 |
关于为您的 OpenShift Container Platform 集群重用 VNet
在 OpenShift Container Platform 4.17 中，您可以将集群部署到 Microsoft Azure 中的现有 Azure 虚拟网络 (VNet)。如果您这样做，还必须使用 VNet 中的现有子网和路由规则。
通过将 OpenShift Container Platform 部署到现有的 Azure VNet，您也许可以避免新帐户中的服务限制约束，或者更容易遵守公司指南设定的操作约束。如果您无法获得创建 VNet 所需的基础设施创建权限，则这是一个不错的选择。
使用您的 VNet 的要求
当您使用现有 VNet 部署集群时，必须在安装集群之前执行额外的网络配置。在安装程序预配的基础架构集群中，安装程序通常会创建以下组件，但在您安装到现有 VNet 时不会创建它们：
-
子网
-
路由表
-
VNet
-
网络安全组
|
安装程序要求您使用云提供的 DNS 服务器。不支持使用自定义 DNS 服务器，这会导致安装失败。 |
如果您使用自定义 VNet，则必须正确配置它及其子网，以便安装程序和集群可以使用。安装程序无法细分集群使用的网络范围、设置子网的路由表或设置 VNet 选项（如 DHCP），因此您必须在安装集群之前这样做。
集群必须能够访问包含现有 VNet 和子网的资源组。虽然集群创建的所有资源都放置在其创建的单独资源组中，但某些网络资源是从单独的组中使用的。某些集群操作符必须能够访问两个资源组中的资源。例如，Machine API 控制器将其创建的虚拟机的 NIC 附加到网络资源组中的子网。
您的 VNet 必须满足以下特征：
-
VNet 的 CIDR 块必须包含
Networking.MachineCIDR范围，这是集群机器的 IP 地址池。 -
VNet 及其子网必须属于同一资源组，并且子网必须配置为使用 Azure 分配的 DHCP IP 地址而不是静态 IP 地址。
您必须在您的 VNet 中提供两个子网，一个用于控制平面机器，一个用于计算机器。由于 Azure 在您指定的区域内的不同可用区中分配机器，因此您的集群默认情况下将具有高可用性。
为确保您提供的子网合适，安装程序会确认以下数据：
-
所有指定的子网都存在。
-
有两个私有子网，一个用于控制平面机器，一个用于计算机器。
-
子网 CIDR 属于您指定的机器 CIDR。机器不会在您未为其提供私有子网的可用区中进行预配。如果需要，安装程序会创建管理控制平面和工作节点的公共负载均衡器，Azure 会向其分配公共 IP 地址。
|
如果您销毁使用现有 VNet 的集群，则不会删除 VNet。 |
网络安全组要求
承载计算和控制平面机器的子网的网络安全组需要特定的访问权限才能确保集群通信正确。您必须创建规则以允许访问所需的集群通信端口。
|
安装集群之前必须到位网络安全组规则。如果您尝试在没有所需访问权限的情况下安装集群，则安装程序将无法访问 Azure API，安装将失败。 |
| 端口 | 描述 | 控制平面 | 计算 |
|---|---|---|---|
|
允许 HTTP 流量 |
x |
|
|
允许 HTTPS 流量 |
x |
|
|
允许与控制平面机器通信 |
x |
|
|
允许与机器配置服务器进行内部通信以配置机器 |
x |
|
|
x |
x |
|
|
拒绝连接到互联网。必须将目标服务标记设置为 |
x |
x |
-
如果使用 Azure 防火墙来限制互联网访问，则可以配置 Azure 防火墙以允许 Azure API。不需要网络安全组规则。有关更多信息，请参阅“附加资源”中的“配置防火墙”。
|
目前，没有受支持的方法可以阻止或限制机器配置服务器端点。必须将机器配置服务器公开到网络，以便新配置的机器（没有现有配置或状态）能够获取其配置。在此模型中，信任的根是证书签名请求 (CSR) 端点，kubelet 在此处发送其证书签名请求以批准加入集群。因此，不应使用机器配置来分发敏感信息，例如密钥和证书。 为了确保在裸机场景中机器配置服务器端点（端口 22623 和 22624）的安全，客户必须配置正确的网络策略。 |
由于集群组件不会修改 Kubernetes 控制器更新的用户提供的网络安全组，因此为 Kubernetes 控制器创建一个伪网络安全组，以便在不影响其余环境的情况下进行修改。
| 协议 | 端口 | 描述 |
|---|---|---|
ICMP |
N/A |
网络可达性测试 |
TCP |
|
指标 |
|
主机级服务，包括端口 |
|
|
Kubernetes 保留的默认端口 |
|
UDP |
|
VXLAN |
|
Geneve |
|
|
主机级服务，包括端口 |
|
|
IPsec IKE 数据包 |
|
|
IPsec NAT-T 数据包 |
|
|
UDP 端口 如果配置外部 NTP 时间服务器，则必须打开 UDP 端口 |
|
TCP/UDP |
|
Kubernetes 节点端口 |
ESP |
N/A |
IPsec 封装安全有效负载 (ESP) |
| 协议 | 端口 | 描述 |
|---|---|---|
TCP |
|
etcd 服务器和对等端口 |
创建安装配置文件
您可以自定义在 Microsoft Azure 上安装的 OpenShift Container Platform 集群。
先决条件
-
您拥有 OpenShift Container Platform 安装程序和集群的拉取密钥。对于受限网络安装，这些文件位于镜像主机上。
-
您拥有在镜像注册表创建期间生成的
imageContentSources值。 -
您已获得镜像注册表证书的内容。
-
您已检索 Red Hat Enterprise Linux CoreOS (RHCOS) 映像并将其上传到可访问的位置。
-
您拥有 Azure 订阅 ID 和租户 ID。
-
如果使用服务主体安装集群，则拥有其应用程序 ID 和密码。
-
如果使用系统分配的托管标识安装集群，则已在将运行安装程序的虚拟机上启用它。
-
如果使用用户分配的托管标识安装集群，则已满足这些先决条件
-
您拥有其客户端 ID。
-
您已将其分配给将运行安装程序的虚拟机。
-
步骤
-
可选：如果之前在此计算机上运行过安装程序，并且想要使用替代服务主体或托管标识，请转到
~/.azure/目录并删除osServicePrincipal.json配置文件。删除此文件可防止安装程序自动重用先前安装中的订阅和身份验证值。
-
创建
install-config.yaml文件。-
更改为包含安装程序的目录并运行以下命令
$ ./openshift-install create install-config --dir <installation_directory> (1)1 对于 <installation_directory>，指定用于存储安装程序创建的文件的目录名。指定目录时
-
验证目录是否具有
execute权限。此权限是必需的，用于在安装目录下运行 Terraform 二进制文件。 -
使用空目录。某些安装资源（例如引导 X.509 证书）的过期时间间隔很短，因此您不能重用安装目录。如果要重用来自另一个集群安装的单个文件，可以将它们复制到您的目录中。但是，安装资源的文件名可能会在不同版本之间发生变化。从早期 OpenShift Container Platform 版本复制安装文件时，请务必小心。
-
-
在提示符下，提供云的配置详细信息
-
可选：选择用于访问集群机器的 SSH 密钥。
对于要对其执行安装调试或灾难恢复的生产 OpenShift Container Platform 集群，请指定
ssh-agent进程使用的 SSH 密钥。 -
选择 **azure** 作为目标平台。
如果安装程序无法从之前的安装中找到
osServicePrincipal.json配置文件，则会提示您输入 Azure 订阅和身份验证值。 -
输入订阅的以下 Azure 参数值
-
**azure 订阅 ID**: 输入要用于集群的订阅 ID。
-
**azure 租户 ID**: 输入租户 ID。
-
-
根据用于部署集群的 Azure 标识，在提示输入 **azure 服务主体客户端 ID** 时执行以下操作之一
-
如果使用服务主体，请输入其应用程序 ID。
-
如果使用系统分配的托管标识，请将此值留空。
-
如果使用用户分配的托管标识，请指定其客户端 ID。
-
-
根据用于部署集群的 Azure 标识，在提示输入 **azure 服务主体客户端密钥** 时执行以下操作之一
-
如果使用服务主体，请输入其密码。
-
如果使用系统分配的托管标识，请将此值留空。
-
如果使用用户分配的托管标识，请将此值留空。
-
-
选择要将集群部署到的区域。
-
选择用于部署集群的基础域。基础域对应于您为集群创建的 Azure DNS 区域。
-
输入集群的描述性名称。
所有通过公共端点可用的 Azure 资源都受到资源名称限制，您无法创建使用某些术语的资源。有关 Azure 限制的术语列表，请参阅 Azure 文档中的解决保留资源名称错误。
-
-
-
编辑
install-config.yaml文件，以提供受限网络安装所需的附加信息。-
更新
pullSecret值以包含注册表的身份验证信息。pullSecret: '{"auths":{"<mirror_host_name>:5000": {"auth": "<credentials>","email": "[email protected]"}}}'对于
<mirror_host_name>，指定您在镜像注册表证书中指定的注册表域名；对于<credentials>，指定镜像注册表的 base64 编码用户名和密码。 -
添加
additionalTrustBundle参数和值。additionalTrustBundle: | -----BEGIN CERTIFICATE----- ZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZ -----END CERTIFICATE-----该值必须是您用于镜像注册表的证书文件的内容。证书文件可以是现有的受信任证书颁发机构，也可以是您为镜像注册表生成的自签名证书。
-
在
platform.azure字段下定义用于安装集群的 VNet 的网络和子网。networkResourceGroupName: <vnet_resource_group> (1) virtualNetwork: <vnet> (2) controlPlaneSubnet: <control_plane_subnet> (3) computeSubnet: <compute_subnet> (4)1 将 <vnet_resource_group>替换为包含现有虚拟网络 (VNet) 的资源组名称。2 将 <vnet>替换为现有的虚拟网络名称。3 将 <control_plane_subnet>替换为用于部署控制平面机器的现有子网名称。4 将 <compute_subnet>替换为用于部署计算机器的现有子网名称。 -
添加镜像内容资源，类似于以下 YAML 片段。
imageContentSources: - mirrors: - <mirror_host_name>:5000/<repo_name>/release source: quay.io/openshift-release-dev/ocp-release - mirrors: - <mirror_host_name>:5000/<repo_name>/release source: registry.redhat.io/ocp/release对于这些值，请使用您在镜像注册表创建期间记录的
imageContentSources。 -
可选：将发布策略设置为
Internal。publish: Internal通过设置此选项，您可以创建一个内部 Ingress 控制器和一个私有负载均衡器。
Azure 防火墙与 Azure 公共负载均衡器不能无缝协同工作。因此，当使用 Azure 防火墙限制互联网访问时，应将
install-config.yaml中的publish字段设置为Internal。
-
-
对
install-config.yaml文件进行您需要的任何其他修改。有关参数的更多信息，请参阅“安装配置参数”。
-
备份
install-config.yaml文件，以便您可以使用它来安装多个集群。install-config.yaml文件在安装过程中会被使用。如果您想重用该文件，则现在必须对其进行备份。
如果之前未检测到，安装程序会创建一个osServicePrincipal.json配置文件，并将此文件存储在您计算机上的~/.azure/目录中。这确保了安装程序在目标平台上创建 OpenShift Container Platform 集群时可以加载配置文件。
附加资源
集群安装的最低资源要求
每台集群机器必须满足以下最低要求
| 机器 | 操作系统 | vCPU [1] | 虚拟内存 | 存储 | 每秒输入/输出次数 (IOPS)[2] |
|---|---|---|---|---|---|
引导程序 |
RHCOS |
4 |
16 GB |
100 GB |
300 |
控制平面 |
RHCOS |
4 |
16 GB |
100 GB |
300 |
计算 |
RHCOS、RHEL 8.6 及更高版本 [3] |
2 |
8 GB |
100 GB |
300 |
-
当未启用同时多线程 (SMT) 或超线程时，一个 vCPU 等于一个物理核心。启用时，使用以下公式计算相应的比率：（每核线程数 × 核心数）× 插槽数 = vCPU。
-
OpenShift Container Platform 和 Kubernetes 对磁盘性能敏感，建议使用更快的存储，特别是对于需要 10 毫秒 p99 fsync 持续时间的控制平面节点上的 etcd。请注意，在许多云平台上，存储大小和 IOPS 成正比，因此您可能需要过度分配存储卷以获得足够的性能。
-
与所有用户配置的安装一样，如果您选择在集群中使用 RHEL 计算机器，则您应对所有操作系统生命周期管理和维护负责，包括执行系统更新、应用补丁以及完成所有其他必需的任务。RHEL 7 计算机的使用已弃用，并在 OpenShift Container Platform 4.10 及更高版本中已移除。
|
从 OpenShift Container Platform 4.13 版本开始，RHCOS 基于 RHEL 9.2 版本，这更新了微架构要求。以下列表包含每个架构所需的最低指令集架构 (ISA)：
有关更多信息，请参阅RHEL 架构。 |
|
您必须使用将 |
如果平台的实例类型满足集群机器的最低要求，则支持在 OpenShift Container Platform 中使用它。
Azure 的测试实例类型
以下 Microsoft Azure 实例类型已在 OpenShift Container Platform 中进行了测试。
基于 64 位 x86 架构的机器类型
-
standardBasv2Family -
standardBSFamily -
standardBsv2Family -
standardDADSv5Family -
standardDASv4Family -
standardDASv5Family -
standardDCACCV5Family -
standardDCADCCV5Family -
standardDCADSv5Family -
standardDCASv5Family -
standardDCSv3Family -
standardDCSv2Family -
standardDDCSv3Family -
standardDDSv4Family -
standardDDSv5Family -
standardDLDSv5Family -
standardDLSv5Family -
standardDSFamily -
standardDSv2Family -
standardDSv2PromoFamily -
standardDSv3Family -
standardDSv4Family -
standardDSv5Family -
standardEADSv5Family -
standardEASv4Family -
standardEASv5Family -
standardEBDSv5Family -
standardEBSv5Family -
standardECACCV5Family -
standardECADCCV5Family -
standardECADSv5Family -
standardECASv5Family -
standardEDSv4Family -
standardEDSv5Family -
standardEIADSv5Family -
standardEIASv4Family -
standardEIASv5Family -
standardEIBDSv5Family -
standardEIBSv5Family -
standardEIDSv5Family -
standardEISv3Family -
standardEISv5Family -
standardESv3Family -
standardESv4Family -
standardESv5Family -
standardFXMDVSFamily -
standardFSFamily -
standardFSv2Family -
standardGSFamily -
standardHBrsv2Family -
standardHBSFamily -
standardHBv4Family -
standardHCSFamily -
standardHXFamily -
standardLASv3Family -
standardLSFamily -
standardLSv2Family -
standardLSv3Family -
standardMDSHighMemoryv3Family -
standardMDSMediumMemoryv2Family -
standardMDSMediumMemoryv3Family -
standardMIDSHighMemoryv3Family -
standardMIDSMediumMemoryv2Family -
standardMISHighMemoryv3Family -
standardMISMediumMemoryv2Family -
standardMSFamily -
standardMSHighMemoryv3Family -
standardMSMediumMemoryv2Family -
standardMSMediumMemoryv3Family -
StandardNCADSA100v4Family -
Standard NCASv3_T4 Family -
standardNCSv3Family -
standardNDSv2Family -
StandardNGADSV620v1Family -
standardNPSFamily -
StandardNVADSA10v5Family -
standardNVSv3Family -
standardXEISv4Family
64 位 ARM 架构 Azure 上的测试实例类型
以下 Microsoft Azure ARM64 实例类型已在 OpenShift Container Platform 中进行了测试。
基于 64 位 ARM 架构的机器类型
-
standardBpsv2Family -
standardDPSv5Family -
standardDPDSv5Family -
standardDPLDSv5Family -
standardDPLSv5Family -
standardEPSv5Family -
standardEPDSv5Family
为 Azure VM 启用可信启动
有关支持可信启动功能的虚拟机大小的更多信息，请参阅虚拟机大小。
|
可信启动仅为技术预览功能。技术预览功能不受 Red Hat 生产服务级别协议 (SLA) 的支持，并且可能功能不完整。Red Hat 不建议在生产环境中使用它们。这些功能可让您抢先体验即将推出的产品功能，从而能够在开发过程中测试功能并提供反馈。 有关 Red Hat 技术预览功能的支持范围的更多信息，请参阅技术预览功能支持范围。 |
先决条件
-
您已创建了一个
install-config.yaml文件。
步骤
-
在部署集群之前，请编辑
install-config.yaml文件。-
仅在控制平面启用可信启动，方法是添加以下节：
controlPlane: platform: azure: settings: securityType: TrustedLaunch trustedLaunch: uefiSettings: secureBoot: Enabled virtualizedTrustedPlatformModule: Enabled -
仅在计算节点启用可信启动，方法是添加以下节：
compute: platform: azure: settings: securityType: TrustedLaunch trustedLaunch: uefiSettings: secureBoot: Enabled virtualizedTrustedPlatformModule: Enabled -
在所有节点上启用可信启动，方法是添加以下节：
platform: azure: settings: securityType: TrustedLaunch trustedLaunch: uefiSettings: secureBoot: Enabled virtualizedTrustedPlatformModule: Enabled
-
启用机密 VM
安装集群时，您可以启用机密 VM。您可以为计算节点、控制平面节点或所有节点启用机密 VM。
|
使用机密 VM 仅为技术预览功能。技术预览功能不受 Red Hat 生产服务级别协议 (SLA) 的支持，并且可能功能不完整。Red Hat 不建议在生产环境中使用它们。这些功能可让您抢先体验即将推出的产品功能，从而能够在开发过程中测试功能并提供反馈。 有关 Red Hat 技术预览功能的支持范围的更多信息，请参阅技术预览功能支持范围。 |
您可以将机密 VM 与以下 VM 大小一起使用：
-
DCasv5 系列
-
DCadsv5 系列
-
ECasv5 系列
-
ECadsv5 系列
|
目前不支持在 64 位 ARM 架构上使用机密 VM。 |
先决条件
-
您已创建了一个
install-config.yaml文件。
步骤
-
在部署集群之前，请编辑
install-config.yaml文件。-
仅在控制平面启用机密 VM，方法是添加以下节：
controlPlane: platform: azure: settings: securityType: ConfidentialVM confidentialVM: uefiSettings: secureBoot: Enabled virtualizedTrustedPlatformModule: Enabled osDisk: securityProfile: securityEncryptionType: VMGuestStateOnly -
仅在计算节点启用机密 VM，方法是添加以下节：
compute: platform: azure: settings: securityType: ConfidentialVM confidentialVM: uefiSettings: secureBoot: Enabled virtualizedTrustedPlatformModule: Enabled osDisk: securityProfile: securityEncryptionType: VMGuestStateOnly -
在所有节点上启用机密 VM，方法是添加以下节：
platform: azure: settings: securityType: ConfidentialVM confidentialVM: uefiSettings: secureBoot: Enabled virtualizedTrustedPlatformModule: Enabled osDisk: securityProfile: securityEncryptionType: VMGuestStateOnly
-
Azure 的自定义 install-config.yaml 文件示例
您可以自定义install-config.yaml文件以指定有关 OpenShift Container Platform 集群平台的更多详细信息，或修改所需参数的值。
|
此 YAML 文件示例仅供参考。您必须使用安装程序获取您的 |
apiVersion: v1
baseDomain: example.com (1)
controlPlane: (2)
hyperthreading: Enabled (3) (4)
name: master
platform:
azure:
encryptionAtHost: true
ultraSSDCapability: Enabled
osDisk:
diskSizeGB: 1024 (5)
diskType: Premium_LRS
diskEncryptionSet:
resourceGroup: disk_encryption_set_resource_group
name: disk_encryption_set_name
subscriptionId: secondary_subscription_id
osImage:
publisher: example_publisher_name
offer: example_image_offer
sku: example_offer_sku
version: example_image_version
type: Standard_D8s_v3
replicas: 3
compute: (2)
- hyperthreading: Enabled (3) (4)
name: worker
platform:
azure:
ultraSSDCapability: Enabled
type: Standard_D2s_v3
encryptionAtHost: true
osDisk:
diskSizeGB: 512 (5)
diskType: Standard_LRS
diskEncryptionSet:
resourceGroup: disk_encryption_set_resource_group
name: disk_encryption_set_name
subscriptionId: secondary_subscription_id
osImage:
publisher: example_publisher_name
offer: example_image_offer
sku: example_offer_sku
version: example_image_version
zones: (6)
- "1"
- "2"
- "3"
replicas: 5
metadata:
name: test-cluster (1)
networking:
clusterNetwork:
- cidr: 10.128.0.0/14
hostPrefix: 23
machineNetwork:
- cidr: 10.0.0.0/16
networkType: OVNKubernetes (7)
serviceNetwork:
- 172.30.0.0/16
platform:
azure:
defaultMachinePlatform:
osImage: (8)
publisher: example_publisher_name
offer: example_image_offer
sku: example_offer_sku
version: example_image_version
ultraSSDCapability: Enabled
baseDomainResourceGroupName: resource_group (9)
region: centralus (1)
resourceGroupName: existing_resource_group (10)
networkResourceGroupName: vnet_resource_group (11)
virtualNetwork: vnet (12)
controlPlaneSubnet: control_plane_subnet (13)
computeSubnet: compute_subnet (14)
outboundType: UserDefinedRouting (15)
cloudName: AzurePublicCloud
pullSecret: '{"auths": ...}' (1)
fips: false (16)
sshKey: ssh-ed25519 AAAA... (17)
additionalTrustBundle: | (18)
-----BEGIN CERTIFICATE-----
<MY_TRUSTED_CA_CERT>
-----END CERTIFICATE-----
imageContentSources: (19)
- mirrors:
- <local_registry>/<local_repository_name>/release
source: quay.io/openshift-release-dev/ocp-release
- mirrors:
- <local_registry>/<local_repository_name>/release
source: quay.io/openshift-release-dev/ocp-v4.0-art-dev
publish: Internal (20)| 1 | 必需。安装程序会提示您输入此值。 | ||
| 2 | 如果您未提供这些参数和值，安装程序将提供默认值。 | ||
| 3 | controlPlane 部分是单个映射，但compute部分是映射序列。为了满足不同数据结构的要求，compute部分的第一行必须以连字符-开头，而controlPlane部分的第一行则不能。只使用一个控制平面池。 |
||
| 4 | 是否启用或禁用同时多线程处理或超线程。默认情况下，启用同时多线程处理以提高机器内核的性能。您可以将其设置为Disabled来禁用它。如果在某些集群机器中禁用同时多线程处理，则必须在所有集群机器中禁用它。
|
||
| 5 | 您可以指定要使用的磁盘大小（以 GB 为单位）。控制平面节点的最低建议值为 1024 GB。 | ||
| 6 | 指定要将机器部署到的区域列表。为确保高可用性，请至少指定两个区域。 | ||
| 7 | 要安装的集群网络插件。默认值OVNKubernetes是唯一受支持的值。 |
||
| 8 | 可选：应用于启动控制平面和计算机的自定义 Red Hat Enterprise Linux CoreOS (RHCOS) 镜像。platform.azure.defaultMachinePlatform.osImage下的publisher、offer、sku和version参数同时适用于控制平面和计算机器。如果设置了controlPlane.platform.azure.osImage或compute.platform.azure.osImage下的参数，则它们将覆盖platform.azure.defaultMachinePlatform.osImage参数。 |
||
| 9 | 指定包含您的基础域的 DNS 区域的资源组的名称。 | ||
| 10 | 指定要将集群安装到的已存在资源组的名称。如果未定义，则会为集群创建一个新的资源组。 | ||
| 11 | 如果使用现有 VNet，请指定包含它的资源组的名称。 | ||
| 12 | 如果使用现有 VNet，请指定其名称。 | ||
| 13 | 如果使用现有 VNet，请指定托管控制平面机器的子网的名称。 | ||
| 14 | 如果使用现有 VNet，请指定托管计算机的子网的名称。 | ||
| 15 | 当使用 Azure 防火墙来限制 Internet 访问时，必须配置出站路由以通过 Azure 防火墙发送流量。配置用户定义路由可以防止在集群中公开外部端点。 | ||
| 16 | 是否启用或禁用 FIPS 模式。默认情况下，未启用 FIPS 模式。如果启用 FIPS 模式，则运行 OpenShift Container Platform 的 Red Hat Enterprise Linux CoreOS (RHCOS) 机器将绕过默认的 Kubernetes 加密套件，并改用随 RHCOS 提供的加密模块。
|
||
| 17 | 您可以选择提供用于访问集群中机器的sshKey值。
|
||
| 18 | 请提供您用于镜像注册表的证书文件内容。 | ||
| 19 | 请提供镜像仓库命令输出中的imageContentSources部分。 |
||
| 20 | 如何发布集群的用户端点。当使用 Azure 防火墙限制互联网访问时，将publish设置为Internal以部署私有集群。然后无法从互联网访问用户端点。默认值为External。 |
安装过程中配置集群范围的代理
生产环境可以拒绝直接访问互联网，而是提供 HTTP 或 HTTPS 代理。您可以通过在install-config.yaml文件中配置代理设置来配置新的 OpenShift Container Platform 集群以使用代理。
先决条件
-
您已拥有现有的
install-config.yaml文件。 -
您已查看集群需要访问的站点，并确定其中任何站点是否需要绕过代理。默认情况下，所有集群出站流量都会被代理，包括对托管云提供商 API 的调用。如有必要，您可以将站点添加到
Proxy对象的spec.noProxy字段中以绕过代理。Proxy对象的status.noProxy字段填充了安装配置中networking.machineNetwork[].cidr、networking.clusterNetwork[].cidr和networking.serviceNetwork[]字段的值。对于在 Amazon Web Services (AWS)、Google Cloud Platform (GCP)、Microsoft Azure 和 Red Hat OpenStack Platform (RHOSP) 上的安装，
Proxy对象的status.noProxy字段还会填充实例元数据端点 (169.254.169.254)。
步骤
-
编辑您的
install-config.yaml文件并添加代理设置，例如：apiVersion: v1 baseDomain: my.domain.com proxy: httpProxy: http://<username>:<pswd>@<ip>:<port> (1) httpsProxy: https://<username>:<pswd>@<ip>:<port> (2) noProxy: example.com (3) additionalTrustBundle: | (4) -----BEGIN CERTIFICATE----- <MY_TRUSTED_CA_CERT> -----END CERTIFICATE----- additionalTrustBundlePolicy: <policy_to_add_additionalTrustBundle> (5)1 用于在集群外部创建 HTTP 连接的代理 URL。URL 方案必须为 http。2 用于在集群外部创建 HTTPS 连接的代理 URL。 3 逗号分隔的目标域名、IP 地址或其他网络 CIDR 列表，用于排除代理。在域名前添加 .以仅匹配子域。例如，.y.com匹配x.y.com，但不匹配y.com。使用*绕过所有目标的代理。4 如果提供，安装程序将生成一个名为 user-ca-bundle的配置映射，位于openshift-config命名空间中，其中包含代理 HTTPS 连接所需的一个或多个附加 CA 证书。然后，集群网络运营商创建一个trusted-ca-bundle配置映射，将这些内容与 Red Hat Enterprise Linux CoreOS (RHCOS) 信任捆绑包合并，并且此配置映射在Proxy对象的trustedCA字段中引用。除非代理的身份证书由 RHCOS 信任捆绑包中的授权机构签名，否则需要additionalTrustBundle字段。5 可选：确定 Proxy对象的配置以在trustedCA字段中引用user-ca-bundle配置映射的策略。允许的值为Proxyonly和Always。使用Proxyonly仅在配置http/https代理时引用user-ca-bundle配置映射。使用Always始终引用user-ca-bundle配置映射。默认值为Proxyonly。安装程序不支持代理
readinessEndpoints字段。如果安装程序超时，请重新启动，然后使用安装程序的
wait-for命令完成部署，例如：$ ./openshift-install wait-for install-complete --log-level debug -
保存文件并在安装 OpenShift Container Platform 时引用它。
安装程序创建一个名为cluster的集群范围代理，该代理使用install-config.yaml文件中提供的代理设置。如果没有提供代理设置，仍然会创建cluster Proxy对象，但它将具有空spec。
|
仅支持名为 |
在 kube-system 项目中存储管理员级密钥的替代方法
默认情况下，管理员密钥存储在kube-system项目中。如果您在install-config.yaml文件中将credentialsMode参数配置为Manual，则必须使用以下替代方法之一：
-
要手动管理长期云凭据，请按照手动创建长期凭据中的步骤操作。
-
要实现为各个组件在集群外部管理的短期凭据，请按照配置 Azure 集群以使用短期凭据中的步骤操作。
手动创建长期凭据
在无法访问云身份和访问管理 (IAM) API 或管理员更倾向于不在集群kube-system命名空间中存储管理员级凭据密钥的环境中，可以在安装之前将云凭据运营商 (CCO) 置于手动模式。
步骤
-
如果您没有在
install-config.yaml配置文件中将credentialsMode参数设置为Manual，请修改该值，如下所示：示例配置文件片段apiVersion: v1 baseDomain: example.com credentialsMode: Manual # ... -
如果您以前没有创建安装清单文件，请运行以下命令：
$ openshift-install create manifests --dir <installation_directory>其中
<installation_directory>是安装程序创建文件的目录。 -
通过运行以下命令，使用安装文件中的发行版映像设置
$RELEASE_IMAGE变量：$ RELEASE_IMAGE=$(./openshift-install version | awk '/release image/ {print $3}') -
通过运行以下命令，从 OpenShift Container Platform 发行版映像中提取
CredentialsRequest自定义资源 (CR) 列表：$ oc adm release extract \ --from=$RELEASE_IMAGE \ --credentials-requests \ --included \(1) --install-config=<path_to_directory_with_installation_configuration>/install-config.yaml \(2) --to=<path_to_directory_for_credentials_requests> (3)1 --included参数仅包含特定集群配置所需的清单。2 指定 install-config.yaml文件的位置。3 指定要存储 CredentialsRequest对象的目录的路径。如果指定的目录不存在，此命令将创建它。此命令将为每个
CredentialsRequest对象创建一个 YAML 文件。示例CredentialsRequest对象apiVersion: cloudcredential.openshift.io/v1 kind: CredentialsRequest metadata: name: <component_credentials_request> namespace: openshift-cloud-credential-operator ... spec: providerSpec: apiVersion: cloudcredential.openshift.io/v1 kind: AzureProviderSpec roleBindings: - role: Contributor ... -
在您之前生成的
openshift-install清单目录中为密钥创建 YAML 文件。必须使用每个CredentialsRequest对象的spec.secretRef中定义的命名空间和密钥名称存储密钥。包含密钥的示例CredentialsRequest对象apiVersion: cloudcredential.openshift.io/v1 kind: CredentialsRequest metadata: name: <component_credentials_request> namespace: openshift-cloud-credential-operator ... spec: providerSpec: apiVersion: cloudcredential.openshift.io/v1 kind: AzureProviderSpec roleBindings: - role: Contributor ... secretRef: name: <component_secret> namespace: <component_namespace> ...示例Secret对象apiVersion: v1 kind: Secret metadata: name: <component_secret> namespace: <component_namespace> data: azure_subscription_id: <base64_encoded_azure_subscription_id> azure_client_id: <base64_encoded_azure_client_id> azure_client_secret: <base64_encoded_azure_client_secret> azure_tenant_id: <base64_encoded_azure_tenant_id> azure_resource_prefix: <base64_encoded_azure_resource_prefix> azure_resourcegroup: <base64_encoded_azure_resourcegroup> azure_region: <base64_encoded_azure_region>
|
在升级使用手动维护的凭据的集群之前，必须确保 CCO 处于可升级状态。 |
配置 Azure 集群以使用短期凭据
要安装使用 Microsoft Entra 工作负载 ID 的集群，必须配置云凭据运营商实用程序并为集群创建所需的 Azure 资源。
配置云凭据运营商实用程序
当云凭据运营商 (CCO) 在手动模式下运行时，要从集群外部创建和管理云凭据，请提取并准备 CCO 实用程序 (ccoctl) 二进制文件。
|
|
先决条件
-
您已拥有一个具有集群管理员访问权限的 OpenShift Container Platform 帐户。
-
您已安装 OpenShift CLI（
oc）。
-
您已为
ccoctl实用程序创建了一个全局 Microsoft Azure 帐户，并赋予其以下权限：所需的 Azure 权限
-
Microsoft.Resources/subscriptions/resourceGroups/read
-
Microsoft.Resources/subscriptions/resourceGroups/write
-
Microsoft.Resources/subscriptions/resourceGroups/delete
-
Microsoft.Authorization/roleAssignments/read
-
Microsoft.Authorization/roleAssignments/delete
-
Microsoft.Authorization/roleAssignments/write
-
Microsoft.Authorization/roleDefinitions/read
-
Microsoft.Authorization/roleDefinitions/write
-
Microsoft.Authorization/roleDefinitions/delete
-
Microsoft.Storage/storageAccounts/listkeys/action
-
Microsoft.Storage/storageAccounts/delete
-
Microsoft.Storage/storageAccounts/read
-
Microsoft.Storage/storageAccounts/write
-
Microsoft.Storage/storageAccounts/blobServices/containers/write
-
Microsoft.Storage/storageAccounts/blobServices/containers/delete
-
Microsoft.Storage/storageAccounts/blobServices/containers/read
-
Microsoft.ManagedIdentity/userAssignedIdentities/delete
-
Microsoft.ManagedIdentity/userAssignedIdentities/read
-
Microsoft.ManagedIdentity/userAssignedIdentities/write
-
Microsoft.ManagedIdentity/userAssignedIdentities/federatedIdentityCredentials/read
-
Microsoft.ManagedIdentity/userAssignedIdentities/federatedIdentityCredentials/write
-
Microsoft.ManagedIdentity/userAssignedIdentities/federatedIdentityCredentials/delete
-
Microsoft.Storage/register/action
-
Microsoft.ManagedIdentity/register/action
-
步骤
-
通过运行以下命令设置 OpenShift Container Platform 发行版镜像的变量：
$ RELEASE_IMAGE=$(./openshift-install version | awk '/release image/ {print $3}') -
通过运行以下命令从 OpenShift Container Platform 发行版镜像中获取 CCO 容器镜像：
$ CCO_IMAGE=$(oc adm release info --image-for='cloud-credential-operator' $RELEASE_IMAGE -a ~/.pull-secret)确保
$RELEASE_IMAGE的架构与您将使用ccoctl工具的环境架构匹配。 -
通过运行以下命令从 OpenShift Container Platform 发行版镜像中的 CCO 容器镜像中提取
ccoctl二进制文件：$ oc image extract $CCO_IMAGE \ --file="/usr/bin/ccoctl.<rhel_version>" \(1) -a ~/.pull-secret1 对于 <rhel_version>，请指定与主机使用的 Red Hat Enterprise Linux (RHEL) 版本相对应的值。如果未指定值，则默认使用ccoctl.rhel8。有效值为：-
rhel8：对于使用 RHEL 8 的主机，请指定此值。 -
rhel9：对于使用 RHEL 9 的主机，请指定此值。
-
-
通过运行以下命令更改权限以使
ccoctl可执行：$ chmod 775 ccoctl.<rhel_version>
验证
-
要验证
ccoctl是否已准备好使用，请显示帮助文件。运行命令时，请使用相对文件名，例如：$ ./ccoctl.rhel9示例输出OpenShift credentials provisioning tool Usage: ccoctl [command] Available Commands: aws Manage credentials objects for AWS cloud azure Manage credentials objects for Azure gcp Manage credentials objects for Google cloud help Help about any command ibmcloud Manage credentials objects for {ibm-cloud-title} nutanix Manage credentials objects for Nutanix Flags: -h, --help help for ccoctl Use "ccoctl [command] --help" for more information about a command.
使用 Cloud Credential Operator 实用程序创建 Azure 资源
您可以使用 ccoctl azure create-all 命令自动创建 Azure 资源。
|
默认情况下， |
先决条件
您必须：
-
已提取并准备
ccoctl二进制文件。 -
使用 Azure CLI 访问您的 Microsoft Azure 帐户。
步骤
-
通过运行以下命令，使用安装文件中的发行版映像设置
$RELEASE_IMAGE变量：$ RELEASE_IMAGE=$(./openshift-install version | awk '/release image/ {print $3}') -
通过运行以下命令从 OpenShift Container Platform 发行版镜像中提取
CredentialsRequest对象列表：$ oc adm release extract \ --from=$RELEASE_IMAGE \ --credentials-requests \ --included \(1) --install-config=<path_to_directory_with_installation_configuration>/install-config.yaml \(2) --to=<path_to_directory_for_credentials_requests> (3)1 --included参数仅包含特定集群配置所需的清单。2 指定 install-config.yaml文件的位置。3 指定要存储 CredentialsRequest对象的目录的路径。如果指定的目录不存在，此命令将创建它。此命令可能需要几分钟才能运行。
-
要使
ccoctl实用程序能够自动检测您的 Azure 凭据，请通过运行以下命令登录到 Azure CLI：$ az login -
使用
ccoctl工具处理所有CredentialsRequest对象，请运行以下命令：$ ccoctl azure create-all \ --name=<azure_infra_name> \(1) --output-dir=<ccoctl_output_dir> \(2) --region=<azure_region> \(3) --subscription-id=<azure_subscription_id> \(4) --credentials-requests-dir=<path_to_credentials_requests_directory> \(5) --dnszone-resource-group-name=<azure_dns_zone_resource_group_name> \(6) --tenant-id=<azure_tenant_id> (7)1 指定所有创建的 Azure 资源的用户定义名称，用于跟踪。 2 可选：指定您希望 ccoctl实用程序创建对象的目录。默认情况下，该实用程序在运行命令的目录中创建对象。3 指定将创建云资源的 Azure 区域。 4 指定要使用的 Azure 订阅 ID。 5 指定包含组件 CredentialsRequest对象文件的目录。6 指定包含集群基本域 Azure DNS 区域的资源组的名称。 7 指定要使用的 Azure 租户 ID。 如果您的集群使用由
TechPreviewNoUpgrade功能集启用的技术预览功能，则必须包含--enable-tech-preview参数。要查看其他可选参数以及如何使用它们的说明，请运行
azure create-all --help命令。
验证
-
要验证是否已创建 OpenShift Container Platform 密钥，请列出
<path_to_ccoctl_output_dir>/manifests目录中的文件。$ ls <path_to_ccoctl_output_dir>/manifests示例输出azure-ad-pod-identity-webhook-config.yaml cluster-authentication-02-config.yaml openshift-cloud-controller-manager-azure-cloud-credentials-credentials.yaml openshift-cloud-network-config-controller-cloud-credentials-credentials.yaml openshift-cluster-api-capz-manager-bootstrap-credentials-credentials.yaml openshift-cluster-csi-drivers-azure-disk-credentials-credentials.yaml openshift-cluster-csi-drivers-azure-file-credentials-credentials.yaml openshift-image-registry-installer-cloud-credentials-credentials.yaml openshift-ingress-operator-cloud-credentials-credentials.yaml openshift-machine-api-azure-cloud-credentials-credentials.yaml您可以通过查询 Azure 来验证 Microsoft Entra ID 服务帐户是否已创建。有关更多信息，请参阅 Azure 文档中关于列出 Entra ID 服务帐户的内容。
整合 Cloud Credential Operator 实用程序清单
要实现为各个组件管理在集群外部管理的短期安全凭据，您必须将 Cloud Credential Operator 实用程序 (ccoctl) 创建的清单文件移动到安装程序的正确目录。
先决条件
-
您已配置一个托管集群的云平台帐户。
-
您已配置 Cloud Credential Operator 实用程序 (
ccoctl)。 -
您已使用
ccoctl实用程序创建了集群所需的云提供商资源。
步骤
-
如果您没有在
install-config.yaml配置文件中将credentialsMode参数设置为Manual，请修改该值，如下所示：示例配置文件片段apiVersion: v1 baseDomain: example.com credentialsMode: Manual # ... -
如果您使用
ccoctl实用程序创建了一个新的 Azure 资源组而不是使用现有的资源组，请修改install-config.yaml中的resourceGroupName参数，如下所示：示例配置文件片段apiVersion: v1 baseDomain: example.com # ... platform: azure: resourceGroupName: <azure_infra_name> (1) # ...1 此值必须与使用 ccoctl azure create-all命令的--name参数指定的 Azure 资源的用户定义名称匹配。 -
如果您以前没有创建安装清单文件，请运行以下命令：
$ openshift-install create manifests --dir <installation_directory>其中
<installation_directory>是安装程序创建文件的目录。 -
通过运行以下命令，将
ccoctl实用程序生成的清单复制到安装程序创建的manifests目录：$ cp /<path_to_ccoctl_output_dir>/manifests/* ./manifests/ -
将包含私钥的
tls目录复制到安装目录：$ cp -a /<path_to_ccoctl_output_dir>/tls .
部署集群
您可以在兼容的云平台上安装 OpenShift Container Platform。
|
您只能在初始安装期间运行安装程序的 |
先决条件
-
您已配置一个托管集群的云平台帐户。
-
您拥有 OpenShift Container Platform 安装程序和集群的拉取密钥。
-
您拥有 Azure 订阅 ID 和租户 ID。
步骤
-
更改到包含安装程序的目录并初始化集群部署：
$ ./openshift-install create cluster --dir <installation_directory> \ (1) --log-level=info (2)1 对于 <installation_directory>，请指定您自定义的./install-config.yaml文件的位置。2 要查看不同的安装详细信息，请指定 warn、debug或error代替info。
验证
集群部署成功完成后：
-
终端将显示访问集群的说明，包括指向 Web 控制台的链接以及
kubeadmin用户的凭据。 -
凭据信息也会输出到
<installation_directory>/.openshift_install.log。
|
请勿删除安装程序或安装程序创建的文件。两者都是删除集群所必需的。 |
示例输出
...
INFO Install complete!
INFO To access the cluster as the system:admin user when using 'oc', run 'export KUBECONFIG=/home/myuser/install_dir/auth/kubeconfig'
INFO Access the OpenShift web-console here: https://console-openshift-console.apps.mycluster.example.com
INFO Login to the console with user: "kubeadmin", and password: "password"
INFO Time elapsed: 36m22s
|
使用 CLI 登录集群
您可以通过导出集群kubeconfig文件以默认系统用户身份登录集群。kubeconfig文件包含集群信息，CLI 使用这些信息将客户端连接到正确的集群和 API 服务器。该文件特定于某个集群，并在 OpenShift Container Platform 安装期间创建。
先决条件
-
您已部署 OpenShift Container Platform 集群。
-
您已安装
ocCLI。
步骤
-
导出
kubeadmin凭据$ export KUBECONFIG=<installation_directory>/auth/kubeconfig (1)1 对于 <installation_directory>，请指定您存储安装文件的目录路径。 -
验证您可以使用导出的配置成功运行
oc命令$ oc whoami示例输出system:admin
后续步骤
-
如有必要，您可以选择退出远程健康报告。