使用 RHEL KVM 安装集群 - 在 IBM Z 和 IBM LinuxONE 上安装 | 安装 | OpenShift Container Platform 4.17

先决条件
准备用户提供的基础架构
手动创建安装配置文件
集群网络操作员配置
- 集群网络操作员配置对象
创建 Kubernetes 清单和 Ignition 配置文件
安装 RHCOS 并启动 OpenShift Container Platform 引导过程
等待引导过程完成
使用 CLI 登录到集群
批准机器的证书签名请求
初始操作员配置
- 镜像注册表存储配置
完成用户提供的基础架构上的安装
OpenShift Container Platform 的遥测访问
后续步骤

在 OpenShift Container Platform 4.17 版本中，您可以在您自己提供的 IBM Z® 或 IBM® LinuxONE 基础架构上安装集群。

虽然本文档仅提及 IBM Z®，但其中的所有信息也适用于 IBM® LinuxONE。

先决条件

您已完成准备在使用用户提供的基础架构的 IBM Z 上安装集群中的任务。
您已查看有关 OpenShift Container Platform 安装和更新过程的详细信息。
您已阅读有关选择集群安装方法并为用户准备它的文档。
在开始安装过程之前，必须清理安装目录。这确保在安装过程中创建和更新所需的安装文件。
您已使用 OpenShift Data Foundation 或其他支持的存储协议为您的集群配置了持久性存储。要部署私有镜像注册表，必须使用具有 `ReadWriteMany` 访问权限的持久性存储进行设置。
如果您使用防火墙，则已将其配置为允许集群需要访问的站点。

如果您正在配置代理，请务必也查看此站点列表。
您已配置一个基于 RHEL 8.6 或更高版本的 RHEL 虚拟机 (KVM) 系统，该系统托管在逻辑分区 (LPAR) 上。请参阅 Red Hat Enterprise Linux 8 和 9 生命周期。

准备用户提供的基础架构

在用户提供的基础架构上安装 OpenShift Container Platform 之前，必须准备底层基础架构。

本节提供有关为准备 OpenShift Container Platform 安装而设置集群基础架构所需的高级步骤的详细信息。这包括为集群节点配置 IP 网络和网络连接、通过防火墙启用所需端口以及设置所需的 DNS 和负载均衡基础架构。

准备之后，您的集群基础架构必须满足“用户提供基础架构集群的要求”一节中概述的要求。

先决条件

您已查看 OpenShift Container Platform 4.x 已测试的集成页面。
您已查看“用户提供基础架构集群的要求”一节中详细介绍的基础架构要求。

步骤

如果您使用 DHCP 为集群节点提供 IP 网络配置，请配置您的 DHCP 服务。

将节点的持久 IP 地址添加到您的 DHCP 服务器配置中。在您的配置中，将相关网络接口的 MAC 地址与每个节点的预期 IP 地址匹配。

当您使用 DHCP 为集群机器配置 IP 地址时，机器也会通过 DHCP 获取 DNS 服务器信息。通过您的 DHCP 服务器配置定义集群节点使用的持久性 DNS 服务器地址。

如果您不使用 DHCP 服务，则必须在安装 RHCOS 时向节点提供 IP 网络配置和 DNS 服务器地址。如果您是从 ISO 镜像安装，则可以将其作为启动参数传递。有关静态 IP 配置和高级网络选项的更多信息，请参阅“安装 RHCOS 并启动 OpenShift Container Platform 引导过程”部分。

在您的 DHCP 服务器配置中定义集群节点的主机名。有关主机名考虑因素的详细信息，请参阅“通过 DHCP 设置集群节点主机名”部分。

如果您不使用 DHCP 服务，则集群节点将通过反向 DNS 查询获取其主机名。

选择执行 Red Hat Enterprise Linux CoreOS (RHCOS) 的快速安装或完整安装。对于完整安装，您必须设置 HTTP 或 HTTPS 服务器以向集群节点提供 Ignition 文件和安装映像。对于快速安装，不需要 HTTP 或 HTTPS 服务器，但是需要 DHCP 服务器。请参阅“快速安装：创建 Red Hat Enterprise Linux CoreOS (RHCOS) 机器”和“完整安装：创建 Red Hat Enterprise Linux CoreOS (RHCOS) 机器”部分。
确保您的网络基础设施在集群组件之间提供所需的网络连接。有关要求的详细信息，请参阅“用户预配基础设施的网络要求”部分。

配置您的防火墙以启用 OpenShift Container Platform 集群组件通信所需的端口。有关所需端口的详细信息，请参阅“用户预配基础设施的网络要求”部分。

默认情况下，OpenShift Container Platform 集群可以访问端口1936，因为每个控制平面节点都需要访问此端口。

避免使用 Ingress 负载均衡器公开此端口，因为这样做可能会导致公开敏感信息，例如与 Ingress 控制器相关的统计信息和指标。

设置集群所需的 DNS 基础设施。
1. 配置 Kubernetes API、应用程序通配符、引导机器、控制平面机器和计算机器的 DNS 名称解析。
2. 配置 Kubernetes API、引导机器、控制平面机器和计算机器的反向 DNS 解析。
  
  有关 OpenShift Container Platform DNS 要求的更多信息，请参阅“用户预配的 DNS 要求”部分。
验证您的 DNS 配置。
1. 从您的安装节点运行针对 Kubernetes API、通配符路由和集群节点的记录名的 DNS 查询。验证响应中的 IP 地址是否与正确的组件相对应。
2. 从您的安装节点运行针对负载均衡器和集群节点的 IP 地址的反向 DNS 查询。验证响应中的记录名是否与正确的组件相对应。
  
  有关详细的 DNS 验证步骤，请参阅“验证用户预配基础设施的 DNS 解析”部分。
预配所需的 API 和应用程序入口负载均衡基础设施。有关要求的更多信息，请参阅“用户预配基础设施的负载均衡要求”部分。

某些负载均衡解决方案需要在初始化负载均衡之前就位集群节点的 DNS 名称解析。

手动创建安装配置文件

安装集群需要您手动创建安装配置文件。

先决条件

您在本地机器上有一个 SSH 公钥，需要提供给安装程序。此密钥将用于对您的集群节点进行 SSH 身份验证，以进行调试和灾难恢复。
您已获得 OpenShift Container Platform 安装程序和集群的拉取密钥。

步骤

创建一个安装目录来存储所需的安装资源。

$ mkdir <installation_directory>

您必须创建一个目录。某些安装资源（如引导 X.509 证书）具有较短的到期间隔，因此您不能重用安装目录。如果您想重用来自另一个集群安装的单个文件，您可以将它们复制到您的目录中。但是，安装资源的文件名可能会在不同版本之间发生更改。从早期 OpenShift Container Platform 版本复制安装文件时，请谨慎操作。

自定义提供的示例install-config.yaml 文件模板，并将其保存在<installation_directory>中。

您必须将此配置文件命名为install-config.yaml。
备份install-config.yaml文件，以便您可以使用它来安装多个集群。

install-config.yaml文件在安装过程的下一步中使用。您现在必须备份它。

其他资源

IBM Z® 的安装配置参数

IBM Z 的示例 install-config.yaml 文件

您可以自定义install-config.yaml文件以指定有关 OpenShift Container Platform 集群平台的更多详细信息，或修改所需参数的值。

apiVersion: v1
baseDomain: example.com (1)
compute: (2)
- hyperthreading: Enabled (3)
  name: worker
  replicas: 0 (4)
  architecture: s390x
controlPlane: (2)
  hyperthreading: Enabled (3)
  name: master
  replicas: 3 (5)
  architecture: s390x
metadata:
  name: test (6)
networking:
  clusterNetwork:
  - cidr: 10.128.0.0/14 (7)
    hostPrefix: 23 (8)
  networkType: OVNKubernetes (9)
  serviceNetwork: (10)
  - 172.30.0.0/16
platform:
  none: {} (11)
fips: false (12)
pullSecret: '{"auths": ...}' (13)
sshKey: 'ssh-ed25519 AAAA...' (14)

1 集群的基本域名。所有 DNS 记录都必须是此基本域的子域，并且包含集群名称。

2 controlPlane部分是一个单一映射，但compute部分是一系列映射。为了满足不同数据结构的要求，compute部分的第一行必须以连字符-开头，而controlPlane部分的第一行则不能。只使用一个控制平面池。

指定是启用还是禁用同时多线程 (SMT) 或超线程。默认情况下，启用 SMT 以提高机器中内核的性能。您可以通过将参数值设置为Disabled来禁用它。如果您禁用 SMT，则必须在所有集群机器中禁用它；这包括控制平面机器和计算机器。

默认情况下启用同时多线程 (SMT)。如果您的 OpenShift Container Platform 节点上没有 SMT，则hyperthreading参数无效。

如果您禁用hyperthreading（无论是在您的 OpenShift Container Platform 节点上还是在install-config.yaml文件中），请确保您的容量规划考虑了机器性能的急剧下降。

在用户预配的基础设施上安装 OpenShift Container Platform 时，必须将此值设置为0。在安装程序预配的安装中，此参数控制集群为您创建和管理的计算机器数量。在用户预配的安装中，您必须在完成集群安装之前手动部署计算机器。

如果您要安装三节点集群，则在安装 Red Hat Enterprise Linux CoreOS (RHCOS) 机器时，不要部署任何计算机器。

5 添加到集群的控制平面机器的数量。由于集群使用这些值作为集群中 etcd 端点的数量，因此该值必须与您部署的控制平面机器的数量匹配。

6 您在 DNS 记录中指定的集群名称。

分配 Pod IP 地址的 IP 地址块。此块不得与现有物理网络重叠。这些 IP 地址用于 Pod 网络。如果您需要从外部网络访问 Pod，则必须配置负载均衡器和路由器来管理流量。

E 类 CIDR 范围保留供将来使用。要使用 E 类 CIDR 范围，您必须确保您的网络环境接受 E 类 CIDR 范围内的 IP 地址。

8 分配给每个节点的子网前缀长度。例如，如果hostPrefix设置为23，则每个节点将从给定的cidr中分配一个/23子网，这允许有510个（2^(32 - 23) - 2）Pod IP地址。如果需要从外部网络访问节点，请配置负载均衡器和路由器来管理流量。

9 要安装的集群网络插件。默认值OVNKubernetes是唯一支持的值。

10 用于服务IP地址的IP地址池。您只能输入一个IP地址池。此块不得与现有的物理网络重叠。如果需要从外部网络访问服务，请配置负载均衡器和路由器来管理流量。

必须将平台设置为none。您不能为IBM Z®基础架构提供其他平台配置变量。

使用平台类型none安装的集群无法使用某些功能，例如使用Machine API管理计算机器。即使连接到集群的计算机器安装在通常支持该功能的平台上，此限制也适用。此参数安装后无法更改。

是否启用或禁用FIPS模式。默认情况下，FIPS模式未启用。如果启用了FIPS模式，则运行OpenShift Container Platform的Red Hat Enterprise Linux CoreOS (RHCOS)机器将绕过默认的Kubernetes加密套件，并改用RHCOS提供的加密模块。

要为您的集群启用FIPS模式，必须从配置为在FIPS模式下运行的Red Hat Enterprise Linux (RHEL)计算机运行安装程序。有关在RHEL上配置FIPS模式的更多信息，请参阅切换RHEL到FIPS模式。

在FIPS模式下启动Red Hat Enterprise Linux (RHEL)或Red Hat Enterprise Linux CoreOS (RHCOS)时，OpenShift Container Platform核心组件仅在x86_64、ppc64le和s390x架构上使用已提交给NIST进行FIPS 140-2/140-3验证的RHEL加密库。

13 来自Red Hat OpenShift Cluster Manager的pull secret。此pull secret允许您对包含的授权机构（包括提供OpenShift Container Platform组件容器映像的Quay.io）提供的服务进行身份验证。

Red Hat Enterprise Linux CoreOS (RHCOS)中core用户的SSH公钥。

对于要执行安装调试或灾难恢复的生产OpenShift Container Platform集群，请指定您的ssh-agent进程使用的SSH密钥。

在安装期间配置集群范围的代理

生产环境可能会拒绝直接访问互联网，而是提供HTTP或HTTPS代理。您可以通过在install-config.yaml文件中配置代理设置来配置新的OpenShift Container Platform集群以使用代理。

先决条件

您有一个现有的install-config.yaml文件。

您已查看集群需要访问的站点，并确定其中任何站点是否需要绕过代理。默认情况下，所有集群出站流量都使用代理，包括对托管云提供商API的调用。如有必要，您已将站点添加到Proxy对象的spec.noProxy字段以绕过代理。

Proxy对象的status.noProxy字段将填充安装配置中networking.machineNetwork[].cidr、networking.clusterNetwork[].cidr和networking.serviceNetwork[]字段的值。

对于在Amazon Web Services (AWS)、Google Cloud Platform (GCP)、Microsoft Azure和Red Hat OpenStack Platform (RHOSP)上的安装，Proxy对象的status.noProxy字段还将填充实例元数据端点（169.254.169.254）。

步骤

编辑您的install-config.yaml文件并添加代理设置。例如

apiVersion: v1
baseDomain: my.domain.com
proxy:
  httpProxy: http://<username>:<pswd>@<ip>:<port> (1)
  httpsProxy: https://<username>:<pswd>@<ip>:<port> (2)
  noProxy: example.com (3)
additionalTrustBundle: | (4)
    -----BEGIN CERTIFICATE-----
    <MY_TRUSTED_CA_CERT>
    -----END CERTIFICATE-----
additionalTrustBundlePolicy: <policy_to_add_additionalTrustBundle> (5)

1	用于创建集群外部HTTP连接的代理URL。URL方案必须为`http`。
2	用于创建集群外部HTTPS连接的代理URL。
3	要从代理中排除的目标域名、IP地址或其他网络CIDR的逗号分隔列表。在域名前加`.`以仅匹配子域名。例如，`.y.com`匹配`x.y.com`，但不匹配`y.com`。使用`*`绕过所有目标的代理。
4	如果提供，安装程序将生成一个名为`user-ca-bundle`的config map，该map位于`openshift-config`命名空间中，其中包含代理HTTPS连接所需的一个或多个其他CA证书。然后，集群网络操作员创建一个`trusted-ca-bundle` config map，将这些内容与Red Hat Enterprise Linux CoreOS (RHCOS)信任捆绑包合并，并且此config map在`Proxy`对象的`trustedCA`字段中引用。除非代理的身份证书由RHCOS信任捆绑包中的授权机构签名，否则需要`additionalTrustBundle`字段。
5	可选：确定`Proxy`对象的配置以在`trustedCA`字段中引用`user-ca-bundle` config map 的策略。允许的值为`Proxyonly`和`Always`。使用`Proxyonly`仅在配置`http/https`代理时引用`user-ca-bundle` config map。使用`Always`始终引用`user-ca-bundle` config map。默认值为`Proxyonly`。

安装程序不支持代理readinessEndpoints字段。

如果安装程序超时，请重新启动，然后使用安装程序的wait-for命令完成部署。例如

$ ./openshift-install wait-for install-complete --log-level debug

保存文件并在安装OpenShift Container Platform时引用它。

安装程序创建一个名为cluster的集群范围代理，该代理使用提供的install-config.yaml文件中的代理设置。如果未提供代理设置，则仍会创建cluster Proxy对象，但它将具有nil spec。

仅支持名为cluster的Proxy对象，并且无法创建其他代理。

配置三节点集群

或者，您可以在仅包含三个控制平面机器的最小三节点集群中部署零个计算机器。这为集群管理员和开发人员提供了更小、更高效的集群，可用于测试、开发和生产。

在三节点OpenShift Container Platform环境中，三个控制平面机器是可调度的，这意味着您的应用程序工作负载将安排在其上运行。

先决条件

您有一个现有的install-config.yaml文件。

步骤

确保在您的install-config.yaml文件中将计算副本的数量设置为0，如下面的compute部分所示

compute:
- name: worker
  platform: {}
  replicas: 0

在用户提供的基础架构上安装OpenShift Container Platform时，无论您部署的计算机器数量是多少，都必须将计算机器的replicas参数值设置为0。在安装程序提供的安装中，此参数控制集群为您创建和管理的计算机器数量。这不适用于用户提供的安装，其中计算机器是手动部署的。

控制平面节点的首选资源是六个vCPU和21 GB内存。对于三个控制平面节点，这相当于最小五节点集群的内存+vCPU。您应该支持三个节点（每个节点安装在120 GB磁盘上），并使用三个启用SMT2的IFL。经过测试的最小设置是每个控制平面节点上具有三个vCPU和10 GB内存的120 GB磁盘。

对于三节点集群安装，请遵循以下步骤

如果您要部署一个具有零个计算节点的三节点集群，则 Ingress Controller Pod 将在控制平面节点上运行。在三节点集群部署中，您必须将您的应用程序入口负载均衡器配置为将HTTP和HTTPS流量路由到控制平面节点。有关更多信息，请参见“用户提供的基础架构的负载均衡要求”部分。
按照以下步骤创建 Kubernetes 清单文件时，请确保<安装目录>/manifests/cluster-scheduler-02-config.yml 文件中的mastersSchedulable参数设置为true。这将允许您的应用程序工作负载在控制平面节点上运行。
创建 Red Hat Enterprise Linux CoreOS (RHCOS) 机器时，请勿部署任何计算节点。

集群网络操作员配置

集群网络的配置作为集群网络操作员 (CNO) 配置的一部分指定，并存储在一个名为cluster的自定义资源 (CR) 对象中。CR 指定operator.openshift.io API 组中Network API 的字段。

在集群安装过程中，CNO 配置从Network.config.openshift.io API 组中的Network API 继承以下字段

clusterNetwork: 分配 Pod IP 地址的 IP 地址池。
serviceNetwork: 服务的 IP 地址池。
defaultNetwork.type: 集群网络插件。安装过程中，唯一支持的插件是OVNKubernetes。

您可以通过设置名为cluster的 CNO 对象中defaultNetwork对象的字段来指定集群的集群网络插件配置。

集群网络操作员配置对象

集群网络操作员 (CNO) 的字段在以下表格中描述

表 1. 集群网络操作员配置对象
字段	类型	描述
`metadata.name`	`字符串`	CNO 对象的名称。此名称始终为`cluster`。
`spec.clusterNetwork`	`数组`	指定分配 Pod IP 地址的 IP 地址块以及分配给集群中每个单独节点的子网前缀长度的列表。例如 `spec: clusterNetwork: - cidr: 10.128.0.0/19 hostPrefix: 23 - cidr: 10.128.32.0/19 hostPrefix: 23`
`spec.serviceNetwork`	`数组`	服务的 IP 地址块。OVN-Kubernetes 网络插件仅支持服务网络的单个 IP 地址块。例如 `spec: serviceNetwork: - 172.30.0.0/14` 您只能在创建清单之前在`install-config.yaml`文件中自定义此字段。该值在清单文件中是只读的。
`spec.defaultNetwork`	`对象`	配置集群网络的网络插件。
`spec.kubeProxyConfig`	`对象`	此对象的字段指定 kube-proxy 配置。如果您使用的是 OVN-Kubernetes 集群网络插件，则 kube-proxy 配置无效。

对于需要跨多个网络部署对象的集群，请确保为install-config.yaml文件中定义的每种网络类型指定相同的clusterNetwork.hostPrefix参数值。为每个clusterNetwork.hostPrefix参数设置不同的值可能会影响 OVN-Kubernetes 网络插件，插件无法有效地在不同节点之间路由对象流量。

defaultNetwork 对象配置

defaultNetwork对象的取值在以下表格中定义

字段类型描述

类型

字符串

OVNKubernetes。安装过程中选择 Red Hat OpenShift 网络网络插件。此值在集群安装后无法更改。

OpenShift Container Platform 默认使用 OVN-Kubernetes 网络插件。OpenShift SDN 对于新集群不再可用作安装选项。

ovnKubernetesConfig

对象

此对象仅对 OVN-Kubernetes 网络插件有效。

OVN-Kubernetes 网络插件的配置

下表描述了 OVN-Kubernetes 网络插件的配置字段

字段类型描述

mtu

整数

Geneve（通用网络虚拟化封装）覆盖网络的最大传输单元 (MTU)。这是根据主网络接口的 MTU 自动检测的。您通常不需要覆盖检测到的 MTU。

如果自动检测到的值与您预期的不符，请确认节点上主网络接口上的 MTU 是否正确。您不能使用此选项更改节点上主网络接口的 MTU 值。

如果您的集群需要为不同的节点使用不同的 MTU 值，则必须将此值设置为集群中最低 MTU 值减去100。例如，如果集群中某些节点的 MTU 为9001，而某些节点的 MTU 为1500，则必须将此值设置为1400。

genevePort

整数

用于所有 Geneve 数据包的端口。默认值为6081。此值在集群安装后无法更改。

ipsecConfig

对象

指定一个配置对象来定制 IPsec 配置。

ipv4

对象

指定 IPv4 设置的配置对象。

ipv6

对象

指定 IPv6 设置的配置对象。

policyAuditConfig

对象

指定一个配置对象来自定义网络策略审核日志记录。如果未设置，则使用默认审核日志设置。

gatewayConfig

对象

可选：指定一个配置对象来自定义如何将出站流量发送到节点网关。

迁移出站流量时，在集群网络操作员 (CNO) 成功推出更改之前，您可能会遇到工作负载和服务流量的一些中断。

表 4. `ovnKubernetesConfig.ipv4` 对象
字段	类型	描述
`internalTransitSwitchSubnet`	字符串	如果您的现有网络基础设施与`100.88.0.0/16` IPv4 子网重叠，您可以为 OVN-Kubernetes 指定不同的内部使用 IP 地址范围。启用东西向流量的分布式转接交换机的子网。此子网不能与 OVN-Kubernetes 或主机本身使用的任何其他子网重叠。它必须足够大，以容纳集群中每个节点的一个 IP 地址。默认值为`100.88.0.0/16`。
`internalJoinSubnet`	字符串	如果您的现有网络基础设施与`100.64.0.0/16` IPv4 子网重叠，您可以为 OVN-Kubernetes 指定不同的内部使用 IP 地址范围。您必须确保 IP 地址范围不与 OpenShift Container Platform 安装使用的任何其他子网重叠。IP 地址范围必须大于可以添加到集群的节点的最大数量。例如，如果`clusterNetwork.cidr`值为`10.128.0.0/14`，而`clusterNetwork.hostPrefix`值为`/23`，则节点的最大数量为`2^(23-14)=512`。默认值为`100.64.0.0/16`。

表 5. `ovnKubernetesConfig.ipv6` 对象
字段	类型	描述
`internalTransitSwitchSubnet`	字符串	如果您的现有网络基础设施与`fd97::/64` IPv6 子网重叠，您可以为 OVN-Kubernetes 指定不同的内部使用 IP 地址范围。启用东西向流量的分布式转接交换机的子网。此子网不能与 OVN-Kubernetes 或主机本身使用的任何其他子网重叠。它必须足够大，以容纳集群中每个节点的一个 IP 地址。默认值为`fd97::/64`。
`internalJoinSubnet`	字符串	如果现有网络基础设施与`fd98::/64` IPv6 子网重叠，您可以为 OVN-Kubernetes 指定不同的内部使用 IP 地址范围。您必须确保此 IP 地址范围不与 OpenShift Container Platform 安装使用的任何其他子网重叠。IP 地址范围必须大于可以添加到集群中的最大节点数。默认值为`fd98::/64`。

表 6. `policyAuditConfig` 对象
字段	类型	描述
`rateLimit`	整数	每个节点每秒生成的最多消息数。默认值为每秒`20`条消息。
`maxFileSize`	整数	审计日志的最大大小（字节）。默认值为`50000000`或 50 MB。
`maxLogFiles`	整数	保留的最大日志文件数。
`destination`	字符串	以下附加审计日志目标之一 `libc` 主机上 journald 进程的 libc `syslog()` 函数。 `udp:<host>:<port>` 一个 syslog 服务器。将`<host>:<port>`替换为 syslog 服务器的主机和端口。 `unix:<file>` 由`<file>`指定的 Unix 域套接字文件。 `null` 不向任何其他目标发送审计日志。
`syslogFacility`	字符串	syslog 设施，例如`kern`，如 RFC5424 中所定义。默认值为`local0`。

表 7. `gatewayConfig` 对象
字段	类型	描述
`routingViaHost`	`布尔值`	将此字段设置为`true`可将 Pod 的出站流量发送到主机网络堆栈。对于依赖于内核路由表中手动配置的路由的高度专业化安装和应用程序，您可能希望将出站流量路由到主机网络堆栈。默认情况下，出站流量在 OVN 中处理以退出集群，并且不受内核路由表中专用路由的影响。默认值为`false`。此字段与 Open vSwitch 硬件卸载功能存在交互。如果将此字段设置为`true`，则您不会获得卸载的性能优势，因为出站流量由主机网络堆栈处理。
`ipForwarding`	`对象`	您可以使用`Network`资源中的`ipForwarding`规范来控制OVN-Kubernetes管理接口上所有流量的IP转发。指定`Restricted`仅允许与Kubernetes相关的流量进行IP转发。指定`Global`允许转发所有IP流量。对于新安装，默认为`Restricted`。对于 OpenShift Container Platform 4.14 或更高版本的更新，默认为`Global`。
`ipv4`	`对象`	可选：指定一个对象来配置用于 IPv4 地址的主机到服务的内部 OVN-Kubernetes 伪装地址。
`ipv6`	`对象`	可选：指定一个对象来配置用于 IPv6 地址的主机到服务的内部 OVN-Kubernetes 伪装地址。

字段类型描述

internalMasqueradeSubnet

字符串

内部用于启用主机到服务流量的伪装 IPv4 地址。主机也配置了这些 IP 地址以及共享网关桥接接口。默认值为169.254.169.0/29。

对于 OpenShift Container Platform 4.17 和更高版本，集群使用169.254.0.0/17作为默认伪装子网。对于升级的集群，默认伪装子网没有变化。

字段类型描述

internalMasqueradeSubnet

字符串

内部用于启用主机到服务流量的伪装 IPv6 地址。主机也配置了这些 IP 地址以及共享网关桥接接口。默认值为fd69::/125。

对于 OpenShift Container Platform 4.17 和更高版本，集群使用fd69::/112作为默认伪装子网。对于升级的集群，默认伪装子网没有变化。

表 10. `ipsecConfig` 对象
字段	类型	描述
`mode`	`字符串`	指定 IPsec 实现的行为。必须是以下值之一 `Disabled`：集群节点上未启用 IPsec。 `External`：已为与外部主机的网络流量启用 IPsec。 `Full`：已为 Pod 流量和与外部主机的网络流量启用 IPsec。

启用 IPSec 的示例 OVN-Kubernetes 配置

defaultNetwork:
  type: OVNKubernetes
  ovnKubernetesConfig:
    mtu: 1400
    genevePort: 6081
      ipsecConfig:
        mode: Full

创建 Kubernetes 清单和 Ignition 配置文件

因为您必须修改一些集群定义文件并手动启动集群机器，所以您必须生成集群配置机器所需的 Kubernetes 清单和 Ignition 配置文件。

安装配置文件转换为 Kubernetes 清单。清单打包到 Ignition 配置文件中，这些文件稍后用于配置集群机器。

OpenShift Container Platform 安装程序生成的 Ignition 配置文件包含 24 小时后过期的证书，然后在此时续订。如果在续订证书之前关闭集群，并且 24 小时后重新启动集群，则集群会自动恢复过期的证书。例外情况是，您必须手动批准挂起的node-bootstrapper证书签名请求 (CSR) 以恢复 kubelet 证书。有关更多信息，请参阅从过期的控制平面证书中恢复的文档。
建议您在生成 Ignition 配置文件后 12 小时内使用它们，因为 24 小时证书会在集群安装后 16 到 22 小时内轮换。通过在 12 小时内使用 Ignition 配置文件，如果证书更新在安装过程中运行，您可以避免安装失败。

生成清单和 Ignition 文件的安装程序是特定于体系结构的，可以从客户端镜像镜像获取。安装程序的 Linux 版本仅在 s390x 上运行。此安装程序也可作为 Mac OS 版本提供。

先决条件

您已获得 OpenShift Container Platform 安装程序。
您已创建install-config.yaml安装配置文件。

步骤

更改到包含 OpenShift Container Platform 安装程序的目录，并为集群生成 Kubernetes 清单
```
$ ./openshift-install create manifests --dir <installation_directory> (1)
```
1 对于<installation_directory>，请指定包含您创建的install-config.yaml文件的安装目录。

如果您正在安装三节点集群，请跳过以下步骤以允许控制平面节点可调度。

当您将控制平面节点从默认的不可调度配置为可调度时，需要额外的订阅。这是因为控制平面节点随后成为计算节点。
检查<installation_directory>/manifests/cluster-scheduler-02-config.yml Kubernetes 清单文件中mastersSchedulable参数是否设置为false。此设置可防止在控制平面机器上调度 Pod。
1. 打开<installation_directory>/manifests/cluster-scheduler-02-config.yml文件。
2. 找到mastersSchedulable参数并确保它设置为false。
3. 保存并退出文件。
要创建 Ignition 配置文件，请从包含安装程序的目录运行以下命令
```
$ ./openshift-install create ignition-configs --dir <installation_directory> (1)
```
1 对于<installation_directory>，请指定相同的安装目录。

Ignition 配置文件将为安装目录中的引导程序、控制平面和计算节点创建。kubeadmin-password和kubeconfig文件将创建在./<installation_directory>/auth目录中
```
.
├── auth
│   ├── kubeadmin-password
│   └── kubeconfig
├── bootstrap.ign
├── master.ign
├── metadata.json
└── worker.ign
```

安装 RHCOS 并启动 OpenShift Container Platform 引导过程

要在您配置的 IBM Z® 基础架构上安装 OpenShift Container Platform，必须将 Red Hat Enterprise Linux CoreOS (RHCOS) 安装为 Red Hat Enterprise Linux (RHEL) 客户机虚拟机。安装 RHCOS 时，必须提供由 OpenShift Container Platform 安装程序为要安装的机器类型生成的 Ignition 配置文件。如果您已配置合适的网络、DNS 和负载均衡基础架构，则 RHCOS 机器重新启动后，OpenShift Container Platform 引导过程将自动开始。

您可以执行快速安装 RHCOS，该安装使用预打包的 QEMU 写时复制 (QCOW2) 磁盘映像。或者，您可以在新的 QCOW2 磁盘映像上执行完全安装。

为了增强系统的安全性，您可以选择在进行快速安装之前使用 IBM® Secure Execution 安装 RHCOS。

使用 IBM Secure Execution 安装 RHCOS

在使用 IBM® Secure Execution 安装 RHCOS 之前，必须准备底层基础架构。

先决条件

IBM® z15 或更高版本，或 IBM® LinuxONE III 或更高版本。
Red Hat Enterprise Linux (RHEL) 8 或更高版本。
您拥有一个引导 Ignition 文件。该文件未受保护，允许其他人查看和编辑它。
您已验证安装后引导映像未被更改。
您必须将所有节点作为 IBM® Secure Execution 客户机运行。

步骤

准备您的 RHEL KVM 主机以支持 IBM® Secure Execution。
- 默认情况下，KVM 主机不支持 IBM® Secure Execution 模式下的客户机。要支持 IBM® Secure Execution 模式下的客户机，KVM 主机必须在 LPAR 模式下启动，并带有内核参数规范 prot_virt=1。要在 RHEL 8 上启用 prot_virt=1，请按照以下步骤操作
  1. 导航到 /boot/loader/entries/ 以修改您的引导加载程序配置文件 *.conf。
  2. 添加内核命令行参数 prot_virt=1。
  3. 运行 zipl 命令并重新启动系统。
    
    成功启动并支持 IBM® Secure Execution for Linux 的 KVM 主机将发出以下内核消息
    
    prot_virt: Reserving <amount>MB as ultravisor base storage.
  4. 要验证 KVM 主机现在是否支持 IBM® Secure Execution，请运行以下命令
    
    # cat /sys/firmware/uv/prot_virt_host
    
    示例输出
    
    1
    
    对于检测其环境与安全主机环境一致的 Linux 实例，此属性的值为 1。对于其他实例，值为 0。
通过 Ignition 将您的主机密钥添加到 KVM 客户机。

在第一次启动期间，RHCOS 会查找您的主机密钥以使用它们重新加密自身。RHCOS 搜索 /etc/se-hostkeys 目录中以 ibm-z-hostkey- 开头的文件。集群运行在每台机器上的所有主机密钥都必须由管理员加载到该目录中。第一次启动后，您不能在任何其他机器上运行虚拟机。

您需要在一个安全系统上准备您的 Ignition 文件。例如，另一个 IBM® Secure Execution 客户机。

例如
```
{
  "ignition": { "version": "3.0.0" },
  "storage": {
    "files": [
      {
        "path": "/etc/se-hostkeys/ibm-z-hostkey-<your-hostkey>.crt",
        "contents": {
          "source": "data:;base64,<base64 encoded hostkey document>"
        },
        "mode": 420
      },
      {
        "path": "/etc/se-hostkeys/ibm-z-hostkey-<your-hostkey>.crt",
        "contents": {
          "source": "data:;base64,<base64 encoded hostkey document>"
        },
        "mode": 420
      }
    ]
  }
}
```
```
如果您希望节点能够在多台 IBM Z® 机器上运行，您可以根据需要添加更多主机密钥。
要生成 Base64 编码字符串，请运行以下命令
```
base64 <your-hostkey>.crt
```
与未运行 IBM® Secure Execution 的客户机相比，机器的第一次启动时间更长，因为整个映像在 Ignition 阶段之前使用随机生成的 LUKS 密码短语加密。
添加 Ignition 保护

要保护存储在 Ignition 配置文件中免于读取甚至修改的密钥，必须加密 Ignition 配置文件。

为了实现所需的安全性，在运行 IBM® Secure Execution 时，默认情况下禁用 Ignition 日志记录和本地登录。
1. 获取 secex-qemu.qcow2 映像的公共 GPG 密钥，并通过运行以下命令使用该密钥加密 Ignition 配置：
  gpg --recipient-file /path/to/ignition.gpg.pub --yes --output /path/to/config.ign.gpg --verbose --armor --encrypt /path/to/config.ign
按照 RHCOS 的快速安装步骤，使用 IBM® Secure Execution QCOW 映像安装节点。

在启动虚拟机之前，将 serial=ignition 替换为 serial=ignition_crypted，并添加 launchSecurity 参数。

验证

完成 RHCOS 的快速安装并在第一次启动时运行 Ignition 后，验证解密是否成功。

如果解密成功，您应该会看到类似于以下示例的输出

示例输出

[    2.801433] systemd[1]: Starting coreos-ignition-setup-user.service - CoreOS Ignition User Config Setup...

[    2.803959] coreos-secex-ignition-decrypt[731]: gpg: key <key_name>: public key "Secure Execution (secex) 38.20230323.dev.0" imported
[    2.808874] coreos-secex-ignition-decrypt[740]: gpg: encrypted with rsa4096 key, ID <key_name>, created <yyyy-mm-dd>
[  OK  ] Finished coreos-secex-igni…S Secex Ignition Config Decryptor.

如果解密失败，您应该会看到类似于以下示例的输出

示例输出

Starting coreos-ignition-s…reOS Ignition User Config Setup...
[    2.863675] coreos-secex-ignition-decrypt[729]: gpg: key <key_name>: public key "Secure Execution (secex) 38.20230323.dev.0" imported
[    2.869178] coreos-secex-ignition-decrypt[738]: gpg: encrypted with RSA key, ID <key_name>
[    2.870347] coreos-secex-ignition-decrypt[738]: gpg: public key decryption failed: No secret key
[    2.870371] coreos-secex-ignition-decrypt[738]: gpg: decryption failed: No secret key

其他资源

在 IBM Z 或 IBM LinuxONE 环境中配置带有静态 IP 的 NBDE

在 IBM Z® 或 IBM® LinuxONE 环境中启用 NBDE 磁盘加密需要额外的步骤，本节将详细介绍这些步骤。

先决条件

您已设置外部 Tang 服务器。有关说明，请参阅网络绑定磁盘加密。
您已安装 butane 实用程序。
您已查看有关如何使用 Butane 创建机器配置的说明。

步骤

为控制平面和计算节点创建 Butane 配置文件。

以下控制平面节点的 Butane 配置示例创建了一个名为 master-storage.bu 的文件，用于磁盘加密

variant: openshift
version: 4.17.0
metadata:
  name: master-storage
  labels:
    machineconfiguration.openshift.io/role: master
storage:
  luks:
    - clevis:
        tang:
          - thumbprint: QcPr_NHFJammnRCA3fFMVdNBwjs
            url: http://clevis.example.com:7500
        options: (1)
           - --cipher
           - aes-cbc-essiv:sha256
      device: /dev/disk/by-partlabel/root
      label: luks-root
      name: root
      wipe_volume: true
  filesystems:
    - device: /dev/mapper/root
      format: xfs
      label: root
      wipe_filesystem: true
openshift:
  fips: true (2)

1	仅当启用 FIPS 模式时才需要 cipher 选项。如果禁用 FIPS，则省略此条目。
2	是否启用或禁用FIPS模式。默认情况下，FIPS模式未启用。如果启用了FIPS模式，则运行OpenShift Container Platform的Red Hat Enterprise Linux CoreOS (RHCOS)机器将绕过默认的Kubernetes加密套件，并改用RHCOS提供的加密模块。

通过运行以下命令创建自定义 initramfs 文件以引导机器：

$ coreos-installer pxe customize \
    /root/rhcos-bootfiles/rhcos-<release>-live-initramfs.s390x.img \
    --dest-device /dev/disk/by-id/scsi-<serial_number> --dest-karg-append \
    ip=<ip_address>::<gateway_ip>:<subnet_mask>::<network_device>:none \
    --dest-karg-append nameserver=<nameserver_ip> \
    --dest-karg-append rd.neednet=1 -o \
    /root/rhcos-bootfiles/<node_name>-initramfs.s390x.img

在第一次启动之前，必须为集群中的每个节点自定义 initramfs，并添加 PXE 内核参数。

创建一个包含 ignition.platform.id=metal 和 ignition.firstboot 的参数文件。

控制平面机器的示例内核参数文件

cio_ignore=all,!condev rd.neednet=1 \
console=ttysclp0 \
ignition.firstboot ignition.platform.id=metal \
coreos.inst.ignition_url=http://<http_server>/master.ign \(1)
coreos.live.rootfs_url=http://<http_server>/rhcos-<version>-live-rootfs.<architecture>.img \(2)
ip=<ip>::<gateway>:<netmask>:<hostname>::none nameserver=<dns> \
rd.znet=qeth,0.0.bdd0,0.0.bdd1,0.0.bdd2,layer2=1 \
rd.zfcp=0.0.5677,0x600606680g7f0056,0x034F000000000000 \
zfcp.allow_lun_scan=0

1	指定 Ignition 配置文件的位置。使用 `master.ign` 或 `worker.ign`。仅支持 HTTP 和 HTTPS 协议。
2	指定正在引导的 `kernel` 和 `initramfs` 的 `rootfs` 工件的位置。仅支持 HTTP 和 HTTPS 协议。

将参数文件中的所有选项写成单行，并确保没有换行符。

其他资源

使用 Butane 创建机器配置

使用预打包的 QCOW2 磁盘映像进行快速安装

完成以下步骤，以在 Red Hat Enterprise Linux CoreOS (RHCOS) 的快速安装中创建机器，导入预打包的 Red Hat Enterprise Linux CoreOS (RHCOS) QEMU 写时复制 (QCOW2) 磁盘映像。

先决条件

至少一个在 RHEL 8.6 或更高版本上运行并带有 KVM 的 LPAR，在此过程中称为 RHEL KVM 主机。
KVM/QEMU 虚拟机管理程序安装在 RHEL KVM 主机上。
一个可以为节点执行主机名和反向查找的域名服务器 (DNS)。
一个提供 IP 地址的 DHCP 服务器。

步骤

从 Red Hat 客户门户网站上的产品下载页面或 RHCOS 映像镜像页面获取 RHEL QEMU 写时复制 (QCOW2) 磁盘映像文件。

RHCOS 映像可能不会随着每次 OpenShift Container Platform 版本的发布而更改。您必须下载版本号小于或等于您安装的 OpenShift Container Platform 版本的映像。仅使用以下过程中描述的适当 RHCOS QCOW2 映像。

将 QCOW2 磁盘映像和 Ignition 文件下载到 RHEL KVM 主机上的公共目录。

例如：/var/lib/libvirt/images

Ignition 文件由 OpenShift Container Platform 安装程序生成。

为每个 KVM 客户机节点使用 QCOW2 磁盘映像备份文件创建一个新的磁盘映像。

$ qemu-img create -f qcow2 -F qcow2 -b /var/lib/libvirt/images/{source_rhcos_qemu} /var/lib/libvirt/images/{vmname}.qcow2 {size}

使用 Ignition 文件和新的磁盘映像创建新的 KVM 客户机节点。

$ virt-install --noautoconsole \
   --connect qemu:///system \
   --name <vm_name> \
   --memory <memory_mb> \
   --vcpus <vcpus> \
   --disk <disk> \
   --launchSecurity type="s390-pv" \ (1)
   --import \
   --network network=<virt_network_parm>,mac=<mac_address> \
   --disk path=<ign_file>,format=raw,readonly=on,serial=ignition,startup_policy=optional (2)

1	如果启用了 IBM® Secure Execution，请添加 `launchSecurity type="s390-pv"` 参数。
2	如果启用了 IBM® Secure Execution，请将`serial=ignition`替换为`serial=ignition_crypted`。

在新 QCOW2 磁盘镜像上进行完整安装

完成以下步骤，在新 QEMU 写时复制 (QCOW2) 磁盘镜像上进行完整安装以创建机器。

先决条件

至少一个在 RHEL 8.6 或更高版本上运行并带有 KVM 的 LPAR，在此过程中称为 RHEL KVM 主机。
KVM/QEMU 虚拟机管理程序安装在 RHEL KVM 主机上。
一个可以为节点执行主机名和反向查找的域名服务器 (DNS)。
已设置 HTTP 或 HTTPS 服务器。

步骤

从 Red Hat 客户门户网站上的产品下载页面或RHCOS镜像镜像页面获取 RHEL 内核、initramfs 和 rootfs 文件。

文件名包含 OpenShift Container Platform 版本号。它们类似于以下示例

内核：rhcos-<version>-live-kernel-<architecture>
initramfs：rhcos-<version>-live-initramfs.<architecture>.img
rootfs：rhcos-<version>-live-rootfs.<architecture>.img

在启动virt-install之前，将下载的 RHEL 实时内核、initramfs 和 rootfs 以及 Ignition 文件移动到 HTTP 或 HTTPS 服务器。

Ignition 文件由 OpenShift Container Platform 安装程序生成。

使用 RHEL 内核、initramfs 和 Ignition 文件、新的磁盘镜像和调整后的参数行参数创建新的 KVM 客户机节点。

$ virt-install \
   --connect qemu:///system \
   --name <vm_name> \
   --memory <memory_mb> \
   --vcpus <vcpus> \
   --location <media_location>,kernel=<rhcos_kernel>,initrd=<rhcos_initrd> \ / (1)
   --disk <vm_name>.qcow2,size=<image_size>,cache=none,io=native \
   --network network=<virt_network_parm> \
   --boot hd \
   --extra-args "rd.neednet=1" \
   --extra-args "coreos.inst.install_dev=/dev/<block_device>" \
   --extra-args "coreos.inst.ignition_url=http://<http_server>/bootstrap.ign" \(2)
   --extra-args "coreos.live.rootfs_url=http://<http_server>/rhcos-<version>-live-rootfs.<architecture>.img" \(3)
   --extra-args "ip=<ip>::<gateway>:<netmask>:<hostname>::none nameserver=<dns>" \
   --noautoconsole \
   --wait

1	对于`--location`参数，请指定 HTTP 或 HTTPS 服务器上内核/initrd 的位置。
2	指定 Ignition 配置文件的位置。使用`bootstrap.ign`、`master.ign`或`worker.ign`。仅支持 HTTP 和 HTTPS 协议。
3	指定正在引导的 `kernel` 和 `initramfs` 的 `rootfs` 工件的位置。仅支持 HTTP 和 HTTPS 协议。

高级 RHCOS 安装参考

本节说明网络配置和其他高级选项，这些选项允许您修改 Red Hat Enterprise Linux CoreOS (RHCOS) 手动安装过程。下表描述了您可以与 RHCOS 实时安装程序和coreos-installer命令一起使用的内核参数和命令行选项。

ISO 安装的网络选项

如果从 ISO 映像安装 RHCOS，则可以在引导映像时手动添加内核参数来配置节点的网络。如果未指定网络参数，则当 RHCOS 检测到需要网络来获取 Ignition 配置文件时，将在 initramfs 中激活 DHCP。

手动添加网络参数时，还必须添加rd.neednet=1内核参数才能在 initramfs 中启动网络。

以下信息提供了为 ISO 安装配置 RHCOS 节点网络的示例。这些示例描述了如何使用ip=和nameserver=内核参数。

添加内核参数时，顺序很重要：ip=和nameserver=。

网络选项在系统启动期间传递给dracut工具。有关dracut支持的网络选项的更多信息，请参阅dracut.cmdline手册页。

以下示例是 ISO 安装的网络选项。

配置 DHCP 或静态 IP 地址

要配置 IP 地址，可以使用 DHCP (ip=dhcp) 或设置单个静态 IP 地址 (ip=<host_ip>)。如果设置静态 IP，则必须在每个节点上标识 DNS 服务器 IP 地址 (nameserver=<dns_ip>)。以下示例设置

节点的 IP 地址为10.10.10.2
网关地址为10.10.10.254
子网掩码为255.255.255.0
主机名为core0.example.com
DNS 服务器地址为4.4.4.41
自动配置值为none。静态配置 IP 网络时，不需要自动配置。

ip=10.10.10.2::10.10.10.254:255.255.255.0:core0.example.com:enp1s0:none
nameserver=4.4.4.41

当您使用 DHCP 为 RHCOS 机器配置 IP 地址时，机器还将通过 DHCP 获取 DNS 服务器信息。对于基于 DHCP 的部署，您可以通过 DHCP 服务器配置来定义 RHCOS 节点使用的 DNS 服务器地址。

配置 IP 地址而不使用静态主机名

您可以配置 IP 地址而不分配静态主机名。如果用户未设置静态主机名，则它将被拾取并通过反向 DNS 查询自动设置。要配置 IP 地址而不使用静态主机名，请参考以下示例

节点的 IP 地址为10.10.10.2
网关地址为10.10.10.254
子网掩码为255.255.255.0
DNS 服务器地址为4.4.4.41
自动配置值为none。静态配置 IP 网络时，不需要自动配置。

ip=10.10.10.2::10.10.10.254:255.255.255.0::enp1s0:none
nameserver=4.4.4.41

指定多个网络接口

您可以通过设置多个ip=条目来指定多个网络接口。

ip=10.10.10.2::10.10.10.254:255.255.255.0:core0.example.com:enp1s0:none
ip=10.10.10.3::10.10.10.254:255.255.255.0:core0.example.com:enp2s0:none

配置默认网关和路由

可选：您可以通过设置rd.route=值来配置到其他网络的路由。

当您配置一个或多个网络时，需要一个默认网关。如果附加网络网关与主网络网关不同，则默认网关必须为主网络网关。

运行以下命令以配置默认网关
```
ip=::10.10.10.254::::
```
输入以下命令以配置附加网络的路由
```
rd.route=20.20.20.0/24:20.20.20.254:enp2s0
```

禁用单个接口上的 DHCP

您可以禁用单个接口上的 DHCP，例如当有两个或多个网络接口并且只有一个接口正在使用时。在此示例中，enp1s0接口具有静态网络配置，并且禁用了未使用enp2s0的DHCP

ip=10.10.10.2::10.10.10.254:255.255.255.0:core0.example.com:enp1s0:none
ip=::::core0.example.com:enp2s0:none

组合 DHCP 和静态 IP 配置

您可以在具有多个网络接口的系统上组合 DHCP 和静态 IP 配置，例如

ip=enp1s0:dhcp
ip=10.10.10.2::10.10.10.254:255.255.255.0:core0.example.com:enp2s0:none

配置单个接口上的 VLAN

可选：您可以使用vlan=参数配置单个接口上的 VLAN。

要在网络接口上配置 VLAN 并使用静态 IP 地址，请运行以下命令

ip=10.10.10.2::10.10.10.254:255.255.255.0:core0.example.com:enp2s0.100:none
vlan=enp2s0.100:enp2s0

要在网络接口上配置 VLAN 并使用 DHCP，请运行以下命令
```
ip=enp2s0.100:dhcp
vlan=enp2s0.100:enp2s0
```

提供多个 DNS 服务器

您可以通过为每个服务器添加nameserver=条目来提供多个 DNS 服务器，例如

nameserver=1.1.1.1
nameserver=8.8.8.8

等待引导过程完成

集群节点首次启动到已安装到磁盘的持久性 RHCOS 环境后，OpenShift Container Platform 引导过程开始。通过 Ignition 配置文件提供的配置信息用于初始化引导过程并在机器上安装 OpenShift Container Platform。您必须等待引导过程完成。

先决条件

您已为集群创建了 Ignition 配置文件。
您已配置合适的网络、DNS 和负载均衡基础设施。
您已获得安装程序并为您的集群生成了 Ignition 配置文件。
您已在集群机器上安装 RHCOS 并提供了 OpenShift Container Platform 安装程序生成的 Ignition 配置文件。
您的机器具有直接的互联网访问权限或可以使用 HTTP 或 HTTPS 代理。

步骤

监控引导过程

$ ./openshift-install --dir <installation_directory> wait-for bootstrap-complete \ (1)
    --log-level=info (2)

1	对于`<installation_directory>`，请指定您存储安装文件的目录的路径。
2	要查看不同的安装详细信息，请指定`warn`、`debug`或`error`代替`info`。

示例输出

INFO Waiting up to 30m0s for the Kubernetes API at https://api.test.example.com:6443...
INFO API v1.30.3 up
INFO Waiting up to 30m0s for bootstrapping to complete...
INFO It is now safe to remove the bootstrap resources

当 Kubernetes API 服务器发出信号表明它已在控制平面机器上引导时，命令将成功。

引导过程完成后，从负载均衡器中移除引导机器。

此时必须从负载均衡器中移除引导机器。您也可以移除或重新格式化引导机器本身。

使用 CLI 登录集群

您可以通过导出集群kubeconfig文件以默认系统用户的身份登录到您的集群。kubeconfig文件包含集群信息，CLI 使用这些信息将客户端连接到正确的集群和API服务器。该文件特定于某个集群，并在OpenShift Container Platform安装期间创建。

先决条件

您已部署了一个OpenShift Container Platform集群。
您已安装oc CLI。

步骤

导出kubeadmin凭据
```
$ export KUBECONFIG=<installation_directory>/auth/kubeconfig (1)
```
1 对于<installation_directory>，请指定您存储安装文件的目录的路径。
验证您可以使用导出的配置成功运行oc命令
```
$ oc whoami
```
示例输出
```
system:admin
```

批准您的机器的证书签名请求

向集群添加机器时，会为每个添加的机器生成两个待处理的证书签名请求 (CSR)。您必须确认这些 CSR 已批准，或者如有必要，自行批准它们。必须先批准客户端请求，然后批准服务器请求。

先决条件

您已向集群添加机器。

步骤

确认集群识别这些机器
```
$ oc get nodes
```
示例输出
```
NAME      STATUS    ROLES   AGE  VERSION
master-0  Ready     master  63m  v1.30.3
master-1  Ready     master  63m  v1.30.3
master-2  Ready     master  64m  v1.30.3
```
输出列出了您创建的所有机器。

在批准一些 CSR 之前，上述输出可能不包含计算节点（也称为工作节点）。

查看待处理的 CSR，并确保您看到为添加到集群的每台机器的客户端请求显示“Pending”（待处理）或“Approved”（已批准）状态。

$ oc get csr

示例输出

NAME        AGE   REQUESTOR                                   CONDITION
csr-mddf5   20m   system:node:master-01.example.com   Approved,Issued
csr-z5rln   16m   system:node:worker-21.example.com   Approved,Issued

如果 CSR 未批准，在您添加的机器的所有待处理 CSR 都处于“Pending”（待处理）状态后，批准集群机器的 CSR。

由于 CSR 会自动轮换，请在将机器添加到集群后一小时内批准您的 CSR。如果您在一小时内未批准它们，证书将轮换，每个节点将存在两个以上的证书。您必须批准所有这些证书。批准客户端 CSR 后，Kubelet 会为服务证书创建一个辅助 CSR，这需要手动批准。然后，如果 Kubelet 请求具有相同参数的新证书，则machine-approver会自动批准后续的服务证书续订请求。

对于在未启用机器 API 的平台（例如裸机和其他用户提供的基础设施）上运行的集群，您必须实现一种自动批准 kubelet 服务证书请求 (CSR) 的方法。如果未批准请求，则oc exec、oc rsh和oc logs命令将无法成功，因为当 API 服务器连接到 kubelet 时需要服务证书。任何联系 Kubelet 端点的操作都需要此证书批准到位。该方法必须监视新的 CSR，确认 CSR 是由system:node或system:admin组中的node-bootstrapper服务帐户提交的，并确认节点的身份。

要单独批准它们，请对每个有效的 CSR 运行以下命令
```
$ oc adm certificate approve <csr_name> (1)
```
1 <csr_name>是当前 CSR 列表中 CSR 的名称。

要批准所有待处理的 CSR，请运行以下命令

$ oc get csr -o go-template='{{range .items}}{{if not .status}}{{.metadata.name}}{{"\n"}}{{end}}{{end}}' | xargs --no-run-if-empty oc adm certificate approve

在批准一些 CSR 之前，某些 Operator 可能无法使用。

现在您的客户端请求已批准，您必须查看添加到集群的每台机器的服务器请求。

$ oc get csr

示例输出

NAME        AGE     REQUESTOR                                                                   CONDITION
csr-bfd72   5m26s   system:node:ip-10-0-50-126.us-east-2.compute.internal                       Pending
csr-c57lv   5m26s   system:node:ip-10-0-95-157.us-east-2.compute.internal                       Pending
...

如果其余 CSR 未批准且处于“Pending”（待处理）状态，请批准集群机器的 CSR。
- 要单独批准它们，请对每个有效的 CSR 运行以下命令
  $ oc adm certificate approve <csr_name> (1)
  1 <csr_name>是当前 CSR 列表中 CSR 的名称。
- 要批准所有待处理的 CSR，请运行以下命令
  $ oc get csr -o go-template='{{range .items}}{{if not .status}}{{.metadata.name}}{{"\n"}}{{end}}{{end}}' | xargs oc adm certificate approve

批准所有客户端和服务器 CSR 后，机器将具有“Ready”（就绪）状态。通过运行以下命令进行验证

$ oc get nodes

示例输出

NAME      STATUS    ROLES   AGE  VERSION
master-0  Ready     master  73m  v1.30.3
master-1  Ready     master  73m  v1.30.3
master-2  Ready     master  74m  v1.30.3
worker-0  Ready     worker  11m  v1.30.3
worker-1  Ready     worker  11m  v1.30.3

批准服务器 CSR 后，机器可能需要几分钟才能过渡到“Ready”（就绪）状态。

其他信息

证书签名请求

初始 Operator 配置

控制平面初始化后，您必须立即配置某些 Operator，以便它们都能可用。

先决条件

您的控制平面已初始化。

步骤

观察集群组件上线

$ watch -n5 oc get clusteroperators

示例输出

NAME                                       VERSION   AVAILABLE   PROGRESSING   DEGRADED   SINCE
authentication                             4.17.0    True        False         False      19m
baremetal                                  4.17.0    True        False         False      37m
cloud-credential                           4.17.0    True        False         False      40m
cluster-autoscaler                         4.17.0    True        False         False      37m
config-operator                            4.17.0    True        False         False      38m
console                                    4.17.0    True        False         False      26m
csi-snapshot-controller                    4.17.0    True        False         False      37m
dns                                        4.17.0    True        False         False      37m
etcd                                       4.17.0    True        False         False      36m
image-registry                             4.17.0    True        False         False      31m
ingress                                    4.17.0    True        False         False      30m
insights                                   4.17.0    True        False         False      31m
kube-apiserver                             4.17.0    True        False         False      26m
kube-controller-manager                    4.17.0    True        False         False      36m
kube-scheduler                             4.17.0    True        False         False      36m
kube-storage-version-migrator              4.17.0    True        False         False      37m
machine-api                                4.17.0    True        False         False      29m
machine-approver                           4.17.0    True        False         False      37m
machine-config                             4.17.0    True        False         False      36m
marketplace                                4.17.0    True        False         False      37m
monitoring                                 4.17.0    True        False         False      29m
network                                    4.17.0    True        False         False      38m
node-tuning                                4.17.0    True        False         False      37m
openshift-apiserver                        4.17.0    True        False         False      32m
openshift-controller-manager               4.17.0    True        False         False      30m
openshift-samples                          4.17.0    True        False         False      32m
operator-lifecycle-manager                 4.17.0    True        False         False      37m
operator-lifecycle-manager-catalog         4.17.0    True        False         False      37m
operator-lifecycle-manager-packageserver   4.17.0    True        False         False      32m
service-ca                                 4.17.0    True        False         False      38m
storage                                    4.17.0    True        False         False      37m

配置不可用的 Operator。

镜像注册表存储配置

对于不提供默认存储的平台，镜像注册表 Operator 最初不可用。安装后，您必须配置注册表以使用存储，以便使注册表 Operator 可用。

显示了配置持久卷的说明，生产集群需要持久卷。在适用情况下，将显示说明，将空目录配置为存储位置，这仅适用于非生产集群。

提供了其他说明，说明如何在升级期间使用Recreate滚动策略允许镜像注册表使用块存储类型。

为 IBM Z 配置注册表存储

作为集群管理员，安装后，您必须配置注册表以使用存储。

先决条件

您可以作为具有cluster-admin角色的用户访问集群。
您在 IBM Z® 上有一个集群。

您已为集群配置了持久性存储，例如 Red Hat OpenShift Data Foundation。

当您只有一个副本时，OpenShift Container Platform 支持镜像注册表存储的ReadWriteOnce访问。ReadWriteOnce访问还要求注册表使用Recreate滚动策略。要部署支持具有两个或多个副本的高可用性的镜像注册表，需要ReadWriteMany访问。

必须具有 100Gi 容量。

步骤

要配置注册表以使用存储，请更改configs.imageregistry/cluster资源中的spec.storage.pvc。

使用共享存储时，请查看您的安全设置以防止外部访问。

验证您没有注册表 pod

$ oc get pod -n openshift-image-registry -l docker-registry=default

示例输出

No resources found in openshift-image-registry namespace

如果您的输出中确实有注册表 pod，则无需继续执行此过程。

检查注册表配置
```
$ oc edit configs.imageregistry.operator.openshift.io
```
示例输出
```
storage:
  pvc:
    claim:
```
将claim字段留空以允许自动创建image-registry-storage PVC。

检查clusteroperator状态

$ oc get clusteroperator image-registry

示例输出

NAME             VERSION              AVAILABLE   PROGRESSING   DEGRADED   SINCE   MESSAGE
image-registry   4.17                 True        False         False      6h50m

确保您的注册表设置为已管理，以启用构建和推送镜像。
- 运行
  $ oc edit configs.imageregistry/cluster
  然后，更改以下行
  managementState: Removed
  为
  managementState: Managed

在非生产集群中为镜像注册表配置存储

您必须为镜像注册表 Operator 配置存储。对于非生产集群，您可以将镜像注册表设置为空目录。如果您这样做，如果您重新启动注册表，所有镜像都将丢失。

步骤

要将镜像注册表存储设置为空目录
```
$ oc patch configs.imageregistry.operator.openshift.io cluster --type merge --patch '{"spec":{"storage":{"emptyDir":{}}}}'
```
仅为非生产集群配置此选项。

如果您在镜像注册表 Operator 初始化其组件之前运行此命令，则oc patch命令将失败并显示以下错误
```
Error from server (NotFound): configs.imageregistry.operator.openshift.io "cluster" not found
```
等待几分钟，然后再次运行该命令。

完成在用户提供的基础设施上的安装

完成 Operator 配置后，您可以完成在您提供基础设施上的集群安装。

先决条件

您的控制平面已初始化。
您已完成初始 Operator 配置。

步骤

使用以下命令确认所有集群组件都已上线

$ watch -n5 oc get clusteroperators

示例输出

NAME                                       VERSION   AVAILABLE   PROGRESSING   DEGRADED   SINCE
authentication                             4.17.0    True        False         False      19m
baremetal                                  4.17.0    True        False         False      37m
cloud-credential                           4.17.0    True        False         False      40m
cluster-autoscaler                         4.17.0    True        False         False      37m
config-operator                            4.17.0    True        False         False      38m
console                                    4.17.0    True        False         False      26m
csi-snapshot-controller                    4.17.0    True        False         False      37m
dns                                        4.17.0    True        False         False      37m
etcd                                       4.17.0    True        False         False      36m
image-registry                             4.17.0    True        False         False      31m
ingress                                    4.17.0    True        False         False      30m
insights                                   4.17.0    True        False         False      31m
kube-apiserver                             4.17.0    True        False         False      26m
kube-controller-manager                    4.17.0    True        False         False      36m
kube-scheduler                             4.17.0    True        False         False      36m
kube-storage-version-migrator              4.17.0    True        False         False      37m
machine-api                                4.17.0    True        False         False      29m
machine-approver                           4.17.0    True        False         False      37m
machine-config                             4.17.0    True        False         False      36m
marketplace                                4.17.0    True        False         False      37m
monitoring                                 4.17.0    True        False         False      29m
network                                    4.17.0    True        False         False      38m
node-tuning                                4.17.0    True        False         False      37m
openshift-apiserver                        4.17.0    True        False         False      32m
openshift-controller-manager               4.17.0    True        False         False      30m
openshift-samples                          4.17.0    True        False         False      32m
operator-lifecycle-manager                 4.17.0    True        False         False      37m
operator-lifecycle-manager-catalog         4.17.0    True        False         False      37m
operator-lifecycle-manager-packageserver   4.17.0    True        False         False      32m
service-ca                                 4.17.0    True        False         False      38m
storage                                    4.17.0    True        False         False      37m

或者，以下命令会在所有集群都可用时通知您。它还会检索并显示凭据

$ ./openshift-install --dir <installation_directory> wait-for install-complete (1)

1	对于`<installation_directory>`，请指定您存储安装文件的目录的路径。

示例输出

INFO Waiting up to 30m0s for the cluster to initialize...

当集群版本 Operator 完成从 Kubernetes API 服务器部署 OpenShift Container Platform 集群时，该命令将成功。

安装程序生成的 Ignition 配置文件包含会在 24 小时后过期的证书，届时会自动续期。如果集群在证书续期前关闭，并在 24 小时后重新启动，集群会自动恢复过期的证书。例外情况是，您必须手动批准待处理的 node-bootstrapper 证书签名请求 (CSR) 以恢复 kubelet 证书。有关更多信息，请参阅“从过期的控制平面证书中恢复”文档。
建议您在生成 Ignition 配置文件后 12 小时内使用它们，因为 24 小时证书会在集群安装后 16 到 22 小时内轮换。通过在 12 小时内使用 Ignition 配置文件，如果证书更新在安装过程中运行，您可以避免安装失败。

确认 Kubernetes API 服务器正在与 Pod 通信。

要查看所有 Pod 的列表，请使用以下命令

$ oc get pods --all-namespaces

示例输出

NAMESPACE                         NAME                                            READY   STATUS      RESTARTS   AGE
openshift-apiserver-operator      openshift-apiserver-operator-85cb746d55-zqhs8   1/1     Running     1          9m
openshift-apiserver               apiserver-67b9g                                 1/1     Running     0          3m
openshift-apiserver               apiserver-ljcmx                                 1/1     Running     0          1m
openshift-apiserver               apiserver-z25h4                                 1/1     Running     0          2m
openshift-authentication-operator authentication-operator-69d5d8bf84-vh2n8        1/1     Running     0          5m
...

使用以下命令查看上一步命令输出中列出的 Pod 的日志
```
$ oc logs <pod_name> -n <namespace> (1)
```
1 指定 Pod 名称和命名空间，如上一步命令的输出所示。

如果显示 Pod 日志，则 Kubernetes API 服务器可以与集群机器通信。

对于使用光纤通道协议 (FCP) 的安装，需要执行其他步骤来启用多路径。请勿在安装过程中启用多路径。

有关更多信息，请参阅“在 RHCOS 上使用内核参数启用多路径”文档中的《安装后机器配置任务》部分。

OpenShift Container Platform 的遥测访问

在 OpenShift Container Platform 4.17 中，默认运行的遥测服务用于提供有关集群运行状况和更新成功情况的指标，需要访问互联网。如果您的集群连接到互联网，则遥测会自动运行，并且您的集群会注册到 OpenShift 集群管理器。

确认您的 OpenShift 集群管理器库存正确无误后（无论是通过遥测自动维护还是通过 OpenShift 集群管理器手动维护），使用订阅监控来跟踪您在帐户或多集群级别上的 OpenShift Container Platform 订阅。

其他资源

后续步骤

自定义您的集群.
如有必要，您可以选择退出远程运行状况报告。

在 IBM Z 和 IBM LinuxONE 上使用 RHEL KVM 安装集群

先决条件

准备用户提供的基础架构

手动创建安装配置文件

IBM Z 的示例 install-config.yaml 文件

在安装期间配置集群范围的代理

配置三节点集群

集群网络操作员配置

集群网络操作员配置对象

defaultNetwork 对象配置

OVN-Kubernetes 网络插件的配置

创建 Kubernetes 清单和 Ignition 配置文件

安装 RHCOS 并启动 OpenShift Container Platform 引导过程

使用 IBM Secure Execution 安装 RHCOS

在 IBM Z 或 IBM LinuxONE 环境中配置带有静态 IP 的 NBDE

使用预打包的 QCOW2 磁盘映像进行快速安装

在新 QCOW2 磁盘镜像上进行完整安装

高级 RHCOS 安装参考

ISO 安装的网络选项

配置 DHCP 或静态 IP 地址

配置 IP 地址而不使用静态主机名

指定多个网络接口

配置默认网关和路由

禁用单个接口上的 DHCP

组合 DHCP 和静态 IP 配置

配置单个接口上的 VLAN

提供多个 DNS 服务器

等待引导过程完成

使用 CLI 登录集群

批准您的机器的证书签名请求

初始 Operator 配置

镜像注册表存储配置

为 IBM Z 配置注册表存储

在非生产集群中为镜像注册表配置存储

完成在用户提供的基础设施上的安装

OpenShift Container Platform 的遥测访问

后续步骤