OpenShift 文档正在迁移，不久后将仅在 docs.redhat.com（所有 Red Hat 产品文档的中心）提供。立即体验 新的文档体验。
  1. 文档
    2. history bug_report picture_as_pdf
×

在断开连接的环境中安装在 IBM Z 和 IBM LinuxONE 上具有 RHEL KVM 的集群

先决条件

关于受限网络中的安装

在OpenShift Container Platform 4.17中，您可以执行不需要主动连接到互联网即可获取软件组件的安装。受限网络安装可以使用安装程序配置的基础设施或用户配置的基础设施完成，具体取决于您要安装集群的云平台。

如果您选择在云平台上执行受限网络安装，您仍然需要访问其云API。某些云功能（例如Amazon Web Service的Route 53 DNS和IAM服务）需要互联网访问。根据您的网络，在裸机硬件、Nutanix或VMware vSphere上安装可能需要较少的互联网访问。

要完成受限网络安装，必须创建一个注册表，该注册表镜像OpenShift镜像注册表的内容并包含安装介质。您可以在可以访问互联网和封闭网络的镜像主机上创建此注册表，也可以使用满足您限制的其他方法。

由于用户配置安装的配置复杂性，请考虑在尝试使用用户配置的基础设施进行受限网络安装之前，先完成标准用户配置的基础设施安装。完成此测试安装可能会更容易隔离和排除在受限网络中安装过程中可能出现的任何问题。

其他限制

受限网络中的集群具有以下其他限制。

  • ClusterVersion状态包含无法检索可用更新错误。

  • 默认情况下，您无法使用开发者目录的内容，因为您无法访问所需的镜像流标签。

准备用户配置的基础设施

在用户配置的基础设施上安装OpenShift Container Platform之前，必须准备底层基础设施。

本节提供有关为准备OpenShift Container Platform安装而设置集群基础设施所需的高级步骤的详细信息。这包括为集群节点配置IP网络和网络连接，通过防火墙启用所需端口，以及设置所需的DNS和负载均衡基础设施。

准备之后，您的集群基础设施必须满足“用户配置基础设施集群的要求”一节中概述的要求。

先决条件
步骤

  1. 如果您使用DHCP为集群节点提供IP网络配置，请配置您的DHCP服务。

    1. 将节点的持久IP地址添加到DHCP服务器配置中。在您的配置中，将相关网络接口的MAC地址与每个节点的预期IP地址匹配。

    2. 当您使用DHCP配置集群机器的IP地址时，机器也会通过DHCP获取DNS服务器信息。通过DHCP服务器配置定义集群节点使用的持久DNS服务器地址。

      如果您不使用DHCP服务，则必须在RHCOS安装时向节点提供IP网络配置和DNS服务器的地址。如果您是从ISO镜像安装，则可以将其作为启动参数传递。有关静态IP配置和高级网络选项的更多信息，请参见“安装RHCOS并启动OpenShift Container Platform引导过程”一节。

    3. 在DHCP服务器配置中定义集群节点的主机名。有关主机名注意事项的详细信息，请参见“通过DHCP设置集群节点主机名”一节。

      如果您不使用DHCP服务，则集群节点将通过反向DNS查找获取其主机名。

  2. 选择执行Red Hat Enterprise Linux CoreOS (RHCOS)的快速安装或Red Hat Enterprise Linux CoreOS (RHCOS)的完整安装。对于完整安装，必须设置HTTP或HTTPS服务器以向集群节点提供Ignition文件和安装映像。对于快速安装，不需要HTTP或HTTPS服务器，但是需要DHCP服务器。请参见“快速安装：创建Red Hat Enterprise Linux CoreOS (RHCOS)机器”和“完整安装：创建Red Hat Enterprise Linux CoreOS (RHCOS)机器”部分。

  3. 确保您的网络基础设施在集群组件之间提供所需的网络连接。有关要求的详细信息，请参见“用户配置基础设施的网络要求”一节。

  4. 配置防火墙以启用OpenShift Container Platform集群组件通信所需的端口。有关所需端口的详细信息，请参见“用户配置基础设施的网络要求”一节。

    默认情况下，OpenShift Container Platform集群可以访问端口1936，因为每个控制平面节点都需要访问此端口。

    避免使用Ingress负载均衡器来公开此端口，因为这样做可能会导致公开与Ingress控制器相关的敏感信息，例如统计信息和指标。

  5. 设置集群所需的DNS基础设施。

    1. 为Kubernetes API、应用程序通配符、引导机器、控制平面机器和计算机器配置DNS名称解析。

    2. 为Kubernetes API、引导机器、控制平面机器和计算机器配置反向DNS解析。

      有关OpenShift Container Platform DNS要求的更多信息，请参见“用户配置的DNS要求”一节。

  6. 验证您的DNS配置。

    1. 从您的安装节点运行针对 Kubernetes API 记录名称、通配符路由和集群节点的 DNS 查询。验证响应中的 IP 地址是否对应正确的组件。

    2. 从您的安装节点运行针对负载均衡器和集群节点 IP 地址的反向 DNS 查询。验证响应中的记录名称是否对应正确的组件。

      有关详细的 DNS 验证步骤，请参见“验证用户预配基础设施的 DNS 解析”部分。

  7. 预配所需的 API 和应用程序入口负载均衡基础设施。有关要求的更多信息，请参见“用户预配基础设施的负载均衡要求”部分。

一些负载均衡解决方案要求在初始化负载均衡之前就位集群节点的 DNS 名称解析。

手动创建安装配置文件

安装集群需要您手动创建安装配置文件。

先决条件

  • 您在本地机器上拥有一个 SSH 公钥，需要将其提供给安装程序。该密钥将用于对您的集群节点进行 SSH 身份验证，以便进行调试和灾难恢复。

  • 您已获得 OpenShift Container Platform 安装程序和集群的拉取密钥。

步骤

  1. 创建一个安装目录来存储所需的安装资源。

    $ mkdir <installation_directory>

    您必须创建一个目录。一些安装资源（如引导 X.509 证书）的有效期很短，因此您不能重复使用安装目录。如果您想重复使用来自另一个集群安装的单个文件，您可以将它们复制到您的目录中。但是，安装资源的文件名可能会在不同版本之间发生变化。从早期 OpenShift Container Platform 版本复制安装文件时，请谨慎操作。

  2. 自定义提供的示例 install-config.yaml 文件模板，并将其保存到 <installation_directory> 中。

    您必须将此配置文件命名为 install-config.yaml。

  3. 备份 install-config.yaml 文件，以便您可以使用它来安装多个集群。

    install-config.yaml 文件在安装过程的下一步中使用。您现在必须备份它。
其他资源

IBM Z 的示例 install-config.yaml 文件

您可以自定义 install-config.yaml 文件以指定有关 OpenShift Container Platform 集群平台的更多详细信息，或修改所需参数的值。

apiVersion: v1
baseDomain: example.com (1)
compute: (2)
- hyperthreading: Enabled (3)
  name: worker
  replicas: 0 (4)
  architecture: s390x
controlPlane: (2)
  hyperthreading: Enabled (3)
  name: master
  replicas: 3 (5)
  architecture: s390x
metadata:
  name: test (6)
networking:
  clusterNetwork:
  - cidr: 10.128.0.0/14 (7)
    hostPrefix: 23 (8)
  networkType: OVNKubernetes (9)
  serviceNetwork: (10)
  - 172.30.0.0/16
platform:
  none: {} (11)
fips: false (12)
pullSecret: '{"auths":{"<local_registry>": {"auth": "<credentials>","email": "[email protected]"}}}' (13)
sshKey: 'ssh-ed25519 AAAA...' (14)
additionalTrustBundle: | (15)
  -----BEGIN CERTIFICATE-----
  ZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZ
  -----END CERTIFICATE-----
imageContentSources: (16)
- mirrors:
  - <local_repository>/ocp4/openshift4
  source: quay.io/openshift-release-dev/ocp-release
- mirrors:
  - <local_repository>/ocp4/openshift4
  source: quay.io/openshift-release-dev/ocp-v4.0-art-dev
1 集群的基本域名。所有 DNS 记录必须是此基本域的子域，并包含集群名称。
2 controlPlane 部分是一个单映射，但 compute 部分是一系列映射。为了满足不同数据结构的要求，compute 部分的第一行必须以连字符 - 开头，而 controlPlane 部分的第一行则不能。只使用一个控制平面池。
3 指定是启用还是禁用同时多线程 (SMT) 或超线程。默认情况下，启用 SMT 以提高机器中内核的性能。您可以将其参数值设置为 Disabled 来禁用它。如果您禁用 SMT，则必须在所有集群机器中禁用它；这包括控制平面和计算机器。

默认情况下启用同时多线程 (SMT)。如果您的 OpenShift Container Platform 节点上没有 SMT，则 hyperthreading 参数无效。

如果您禁用 hyperthreading（无论是在您的 OpenShift Container Platform 节点上还是在 install-config.yaml 文件中），请确保您的容量规划考虑了机器性能的显著下降。
4 在用户预配的基础设施上安装 OpenShift Container Platform 时，必须将此值设置为 0。在安装程序预配的安装中，该参数控制集群为您创建和管理的计算机器的数量。在用户预配的安装中，您必须在完成集群安装之前手动部署计算机器。

如果您要安装三节点集群，则在安装 Red Hat Enterprise Linux CoreOS (RHCOS) 机器时，请不要部署任何计算机器。
5 您添加到集群的控制平面机器的数量。由于集群使用这些值作为集群中 etcd 端点的数量，因此该值必须与您部署的控制平面机器的数量匹配。
6 您在 DNS 记录中指定的集群名称。
7 分配 Pod IP 地址的 IP 地址块。此块不得与现有物理网络重叠。这些 IP 地址用于 Pod 网络。如果您需要从外部网络访问 Pod，则必须配置负载均衡器和路由器来管理流量。

E 类 CIDR 范围保留供将来使用。要使用 E 类 CIDR 范围，您必须确保您的网络环境接受 E 类 CIDR 范围内的 IP 地址。
8 分配给每个节点的子网前缀长度。例如，如果 hostPrefix 设置为 23，则每个节点将从给定的 cidr 分配一个 /23 子网，这允许 510 (2^(32 - 23) - 2) 个 Pod IP 地址。如果您需要从外部网络访问节点，请配置负载均衡器和路由器来管理流量。
9 要安装的集群网络插件。默认值 OVNKubernetes 是唯一受支持的值。
10 用于服务 IP 地址的 IP 地址池。您只能输入一个 IP 地址池。此块不得与现有物理网络重叠。如果您需要从外部网络访问服务，则必须配置负载均衡器和路由器来管理流量。
11 您必须将平台设置为 none。您不能为 IBM Z® 基础设施提供其他平台配置变量。

使用平台类型 none 安装的集群无法使用某些功能，例如使用 Machine API 管理计算机器。即使连接到集群的计算机器安装在通常支持该功能的平台上，此限制也适用。此参数安装后无法更改。
12 是否启用或禁用 FIPS 模式。默认情况下，未启用 FIPS 模式。如果启用 FIPS 模式，则运行 OpenShift Container Platform 的 Red Hat Enterprise Linux CoreOS (RHCOS) 机器将绕过默认的 Kubernetes 加密套件，而是使用 RHCOS 提供的加密模块。

要为您的集群启用 FIPS 模式，您必须从配置为在 FIPS 模式下运行的 Red Hat Enterprise Linux (RHEL) 计算机运行安装程序。有关在 RHEL 上配置 FIPS 模式的更多信息，请参见 将 RHEL 切换到 FIPS 模式。

在 FIPS 模式下运行 Red Hat Enterprise Linux (RHEL) 或 Red Hat Enterprise Linux CoreOS (RHCOS) 时，OpenShift Container Platform 核心组件仅在 x86_64、ppc64le 和 s390x 架构上使用已提交给 NIST 进行 FIPS 140-2/140-3 验证的 RHEL 加密库。
13 对于<local_registry>，请指定镜像注册表用于提供内容的注册表域名，以及可选的端口。例如，registry.example.com 或 registry.example.com:5000。对于<credentials>，请指定镜像注册表的 base64 编码用户名和密码。
14 Red Hat Enterprise Linux CoreOS (RHCOS) 中 core 用户的 SSH 公钥。

对于要执行安装调试或灾难恢复的生产 OpenShift Container Platform 集群，请指定您的 ssh-agent 进程使用的 SSH 密钥。
15 添加additionalTrustBundle 参数和值。该值必须是您用于镜像注册表的证书文件的内容。证书文件可以是现有的受信任证书颁发机构，也可以是您为镜像注册表生成的自签名证书。
16 根据您用于镜像存储库的命令的输出提供imageContentSources 部分。

  • 使用oc adm release mirror 命令时，请使用imageContentSources 部分的输出。

  • 使用oc mirror 命令时，请使用运行命令生成的ImageContentSourcePolicy 文件的repositoryDigestMirrors 部分。

  • ImageContentSourcePolicy 已弃用。更多信息请参见《配置镜像注册表存储库镜像》。

在安装过程中配置集群范围的代理

生产环境可能会拒绝直接访问互联网，而是提供 HTTP 或 HTTPS 代理。您可以通过在install-config.yaml 文件中配置代理设置来配置新的 OpenShift Container Platform 集群以使用代理。

先决条件

  • 您已拥有现有的install-config.yaml 文件。

  • 您已查看集群需要访问的站点，并确定其中任何站点是否需要绕过代理。默认情况下，所有集群出站流量都会被代理，包括对托管云提供商 API 的调用。如有必要，您可以将站点添加到Proxy 对象的spec.noProxy 字段以绕过代理。

    Proxy 对象的status.noProxy 字段将填充安装配置中的networking.machineNetwork[].cidr、networking.clusterNetwork[].cidr 和networking.serviceNetwork[] 字段的值。

    对于在 Amazon Web Services (AWS)、Google Cloud Platform (GCP)、Microsoft Azure 和 Red Hat OpenStack Platform (RHOSP) 上的安装，Proxy 对象的status.noProxy 字段还将填充实例元数据端点 (169.254.169.254)。
步骤

  1. 编辑您的install-config.yaml 文件并添加代理设置。例如

    apiVersion: v1
baseDomain: my.domain.com
proxy:
  httpProxy: http://<username>:<pswd>@<ip>:<port> (1)
  httpsProxy: https://<username>:<pswd>@<ip>:<port> (2)
  noProxy: example.com (3)
additionalTrustBundle: | (4)
    -----BEGIN CERTIFICATE-----
    <MY_TRUSTED_CA_CERT>
    -----END CERTIFICATE-----
additionalTrustBundlePolicy: <policy_to_add_additionalTrustBundle> (5)
    1 用于创建集群外部 HTTP 连接的代理 URL。URL 方案必须为http。
    2 用于创建集群外部 HTTPS 连接的代理 URL。
    3 要从代理中排除的目标域名、IP 地址或其他网络 CIDR 的逗号分隔列表。在域名前加. 仅匹配子域。例如，.y.com 匹配x.y.com，但不匹配y.com。使用* 绕过所有目标的代理。
    4 如果提供，安装程序将生成一个名为user-ca-bundle 的 config map，该 map 位于openshift-config 命名空间中，包含代理 HTTPS 连接所需的一个或多个附加 CA 证书。然后，集群网络操作员将创建一个trusted-ca-bundle config map，并将这些内容与 Red Hat Enterprise Linux CoreOS (RHCOS) 信任捆绑包合并，此 config map 在Proxy 对象的trustedCA 字段中引用。除非代理的身份证书由 RHCOS 信任捆绑包中的机构签名，否则需要additionalTrustBundle 字段。
    5 可选：确定Proxy 对象的配置以在trustedCA 字段中引用user-ca-bundle config map 的策略。允许的值为Proxyonly 和Always。使用Proxyonly 仅在配置http/https 代理时引用user-ca-bundle config map。使用Always 始终引用user-ca-bundle config map。默认值为Proxyonly。

    安装程序不支持代理readinessEndpoints 字段。

    如果安装程序超时，请重新启动，然后使用安装程序的wait-for 命令完成部署。例如

    $ ./openshift-install wait-for install-complete --log-level debug

  2. 保存文件并在安装 OpenShift Container Platform 时引用它。

安装程序创建一个名为cluster 的集群范围代理，该代理使用提供的install-config.yaml 文件中的代理设置。如果未提供代理设置，则仍然会创建cluster Proxy 对象，但它将具有 nil spec。

仅支持名为cluster 的Proxy 对象，并且无法创建其他代理。

配置三节点集群

可以选择在仅包含三个控制平面机器的最小三节点集群中部署零计算机器。这为集群管理员和开发人员提供了更小、更高效的集群，可用于测试、开发和生产。

在三节点 OpenShift Container Platform 环境中，三个控制平面机器是可调度的，这意味着您的应用程序工作负载将安排在其上运行。

先决条件

  • 您已拥有现有的install-config.yaml 文件。

步骤

  • 确保在您的install-config.yaml 文件中将计算副本的数量设置为0，如下所示的compute 部分

    compute:
- name: worker
  platform: {}
  replicas: 0

    无论您部署多少台计算机器，在用户配置的基础架构上安装 OpenShift Container Platform 时，都必须将计算机器的replicas 参数值设置为0。在安装程序配置的安装中，此参数控制集群为您创建和管理的计算机器数量。这并不适用于用户配置的安装，其中计算机器是手动部署的。

    控制平面节点的首选资源是六个 vCPU 和 21 GB 内存。对于三个控制平面节点，这相当于最小五节点集群的内存 + vCPU。您应该使用三个启用 SMT2 的 IFL 支持这三个节点（每个节点安装在 120 GB 磁盘上）。经过测试的最小设置是每个控制平面节点的三个 vCPU 和 10 GB 内存，以及 120 GB 磁盘。

对于三节点集群安装，请按照以下步骤操作

  • 如果您要部署一个具有零计算节点的三节点集群，则 Ingress Controller Pod 将在控制平面节点上运行。在三节点集群部署中，您必须将应用程序入口负载均衡器配置为将 HTTP 和 HTTPS 流量路由到控制平面节点。有关更多信息，请参见《用户配置基础架构的负载均衡要求》部分。

  • 按照以下步骤创建 Kubernetes 清单文件时，请确保 <installation_directory>/manifests/cluster-scheduler-02-config.yml 文件中的 mastersSchedulable 参数设置为 true。这将允许您的应用程序工作负载在控制平面节点上运行。

  • 创建 Red Hat Enterprise Linux CoreOS (RHCOS) 机器时，请不要部署任何计算节点。

集群网络操作员配置

集群网络的配置指定为集群网络操作员 (CNO) 配置的一部分，并存储在一个名为 cluster 的自定义资源 (CR) 对象中。该 CR 指定了 operator.openshift.io API 组中 Network API 的字段。

在集群安装过程中，CNO 配置从 Network.config.openshift.io API 组中的 Network API 继承以下字段

clusterNetwork

分配 Pod IP 地址的 IP 地址池。

serviceNetwork

服务的 IP 地址池。

defaultNetwork.type

集群网络插件。安装期间，唯一支持的插件是 OVNKubernetes。

您可以通过设置名为 cluster 的 CNO 对象中 defaultNetwork 对象的字段来指定集群的集群网络插件配置。

集群网络操作员配置对象

集群网络操作员 (CNO) 的字段在以下表格中描述

表 1. 集群网络操作员配置对象
字段 类型 描述

metadata.name

字符串

CNO 对象的名称。此名称始终为 cluster。

spec.clusterNetwork

数组

一个列表，指定分配 Pod IP 地址的 IP 地址块以及分配给集群中每个节点的子网前缀长度。例如

spec:
  clusterNetwork:
  - cidr: 10.128.0.0/19
    hostPrefix: 23
  - cidr: 10.128.32.0/19
    hostPrefix: 23

spec.serviceNetwork

数组

服务的 IP 地址块。OVN-Kubernetes 网络插件只支持服务网络的单个 IP 地址块。例如

spec:
  serviceNetwork:
  - 172.30.0.0/14

您只能在创建清单之前在 install-config.yaml 文件中自定义此字段。该值在清单文件中是只读的。

spec.defaultNetwork

对象

配置集群网络的网络插件。

spec.kubeProxyConfig

对象

此对象的字段指定 kube-proxy 配置。如果您使用的是 OVN-Kubernetes 集群网络插件，则 kube-proxy 配置无效。

对于需要跨多个网络部署对象的集群，请确保为 install-config.yaml 文件中定义的每种网络类型指定相同的值作为 clusterNetwork.hostPrefix 参数。为每个 clusterNetwork.hostPrefix 参数设置不同的值可能会影响 OVN-Kubernetes 网络插件，插件无法有效地在不同节点之间路由对象流量。

defaultNetwork 对象配置

defaultNetwork 对象的值在以下表格中定义

表 2. defaultNetwork 对象
字段 类型 描述

type

字符串

OVNKubernetes。安装期间选择 Red Hat OpenShift 网络网络插件。此值在集群安装后无法更改。

OpenShift Container Platform 默认使用 OVN-Kubernetes 网络插件。OpenShift SDN 不再作为新集群的安装选项。

ovnKubernetesConfig

对象

此对象仅对 OVN-Kubernetes 网络插件有效。
OVN-Kubernetes 网络插件的配置

下表描述了 OVN-Kubernetes 网络插件的配置字段

表 3. ovnKubernetesConfig 对象
字段 类型 描述

mtu

整数

Geneve（通用网络虚拟化封装）覆盖网络的最大传输单元 (MTU)。这将根据主网络接口的 MTU 自动检测。您通常不需要覆盖检测到的 MTU。

如果自动检测到的值与您预期值不符，请确认节点上主网络接口的 MTU 正确。您不能使用此选项更改节点上主网络接口的 MTU 值。

如果您的集群需要为不同的节点指定不同的 MTU 值，则必须将此值设置为集群中最低 MTU 值减去 100。例如，如果集群中某些节点的 MTU 为 9001，而某些节点的 MTU 为 1500，则必须将此值设置为 1400。

genevePort

整数

用于所有 Geneve 数据包的端口。默认值为 6081。此值在集群安装后无法更改。

ipsecConfig

对象

指定一个配置对象来自定义 IPsec 配置。

ipv4

对象

指定 IPv4 设置的配置对象。

ipv6

对象

指定 IPv6 设置的配置对象。

policyAuditConfig

对象

指定一个配置对象来自定义网络策略审计日志记录。如果未设置，则使用默认的审计日志设置。

gatewayConfig

对象

可选：指定一个配置对象来自定义如何将出站流量发送到节点网关。

迁移出站流量期间，在集群网络操作员 (CNO) 成功推出更改之前，您可能会遇到工作负载和服务流量的一些中断。
表 4. ovnKubernetesConfig.ipv4 对象
字段 类型 描述

internalTransitSwitchSubnet

字符串

如果您的现有网络基础架构与 100.88.0.0/16 IPv4 子网重叠，您可以为 OVN-Kubernetes 指定不同的内部使用 IP 地址范围。启用东西向流量的分布式转接交换机的子网。此子网不能与 OVN-Kubernetes 或主机本身使用的任何其他子网重叠。它必须足够大，足以容纳集群中每个节点的一个 IP 地址。

默认值为 100.88.0.0/16。

internalJoinSubnet

字符串

如果您的现有网络基础架构与 100.64.0.0/16 IPv4 子网重叠，您可以为 OVN-Kubernetes 指定不同的内部使用 IP 地址范围。您必须确保 IP 地址范围不与 OpenShift Container Platform 安装使用的任何其他子网重叠。IP 地址范围必须大于可以添加到集群中的最大节点数。例如，如果 clusterNetwork.cidr 值为 10.128.0.0/14 且 clusterNetwork.hostPrefix 值为 /23，则最大节点数为 2^(23-14)=512。

默认值为 100.64.0.0/16。
表 5. ovnKubernetesConfig.ipv6 对象
字段 类型 描述

internalTransitSwitchSubnet

字符串

如果您的现有网络基础架构与 fd97::/64 IPv6 子网重叠，您可以为 OVN-Kubernetes 指定不同的内部使用 IP 地址范围。启用东西向流量的分布式转接交换机的子网。此子网不能与 OVN-Kubernetes 或主机本身使用的任何其他子网重叠。它必须足够大，足以容纳集群中每个节点的一个 IP 地址。

默认值为 fd97::/64。

internalJoinSubnet

字符串

如果现有的网络基础设施与fd98::/64 IPv6 子网重叠，您可以为 OVN-Kubernetes 指定不同的内部使用 IP 地址范围。您必须确保此 IP 地址范围不与 OpenShift Container Platform 安装使用的任何其他子网重叠。IP 地址范围必须大于可以添加到集群中的最大节点数。

默认值为fd98::/64。
表 6. policyAuditConfig 对象
字段 类型 描述

rateLimit

整数

每个节点每秒生成的最多消息数。默认值为每秒20条消息。

maxFileSize

整数

审计日志的最大大小（字节）。默认值为50000000或 50 MB。

maxLogFiles

整数

保留的最大日志文件数。

destination

字符串

以下附加审计日志目标之一

libc

主机上 journald 进程的 libc syslog() 函数。

udp:<host>:<port>

一个 syslog 服务器。将<host>:<port>替换为 syslog 服务器的主机和端口。

unix:<file>

由<file>指定的 Unix 域套接字文件。

null

不将审计日志发送到任何其他目标。

syslogFacility

字符串

syslog 设备，例如kern，如 RFC5424 中所定义。默认值为local0。
表 7. gatewayConfig 对象
字段 类型 描述

routingViaHost

布尔值

将此字段设置为true可将 pod 的出站流量发送到主机网络堆栈。对于依赖于内核路由表中手动配置的路由的高度专业化安装和应用程序，您可能希望将出站流量路由到主机网络堆栈。默认情况下，出站流量在 OVN 中处理以退出集群，并且不会受到内核路由表中专用路由的影响。默认值为false。

此字段与 Open vSwitch 硬件卸载功能交互。如果将此字段设置为true，则您不会获得卸载的性能优势，因为出站流量由主机网络堆栈处理。

ipForwarding

对象

您可以使用Network资源中的ipForwarding规范控制 OVN-Kubernetes 管理的接口上所有流量的 IP 转发。指定Restricted仅允许与 Kubernetes 相关的流量进行 IP 转发。指定Global允许转发所有 IP 流量。对于新安装，默认为Restricted。对于 OpenShift Container Platform 4.14 或更高版本的更新，默认为Global。

ipv4

对象

可选：指定一个对象来配置用于 IPv4 地址的主机到服务流量的内部 OVN-Kubernetes 伪装地址。

ipv6

对象

可选：指定一个对象来配置用于 IPv6 地址的主机到服务流量的内部 OVN-Kubernetes 伪装地址。
表 8. gatewayConfig.ipv4 对象
字段 类型 描述

internalMasqueradeSubnet

字符串

内部用于启用主机到服务流量的伪装 IPv4 地址。主机也配置了这些 IP 地址以及共享网关桥接口。默认值为169.254.169.0/29。

对于 OpenShift Container Platform 4.17 及更高版本，集群使用169.254.0.0/17作为默认伪装子网。对于升级的集群，默认伪装子网不会更改。
表 9. gatewayConfig.ipv6 对象
字段 类型 描述

internalMasqueradeSubnet

字符串

内部用于启用主机到服务流量的伪装 IPv6 地址。主机也配置了这些 IP 地址以及共享网关桥接口。默认值为fd69::/125。

对于 OpenShift Container Platform 4.17 及更高版本，集群使用fd69::/112作为默认伪装子网。对于升级的集群，默认伪装子网不会更改。
表 10. ipsecConfig 对象
字段 类型 描述

mode

字符串

指定 IPsec 实现的行为。必须是以下值之一

  • Disabled：集群节点上未启用 IPsec。

  • External：对于与外部主机的网络流量启用 IPsec。

  • Full：对于 Pod 流量和与外部主机的网络流量启用 IPsec。
启用 IPSec 的示例 OVN-Kubernetes 配置
defaultNetwork:
  type: OVNKubernetes
  ovnKubernetesConfig:
    mtu: 1400
    genevePort: 6081
      ipsecConfig:
        mode: Full

创建 Kubernetes 清单和 Ignition 配置文件

因为您必须修改一些集群定义文件并手动启动集群机器，所以您必须生成集群配置机器所需的 Kubernetes 清单和 Ignition 配置文件。

安装配置文件转换为 Kubernetes 清单。清单打包到 Ignition 配置文件中，这些文件稍后用于配置集群机器。

  • OpenShift Container Platform 安装程序生成的 Ignition 配置文件包含在 24 小时后过期的证书，然后在该时间续订。如果在续订证书之前关闭集群，并且在 24 小时后重新启动集群，则集群会自动恢复过期的证书。例外情况是，您必须手动批准挂起的node-bootstrapper证书签名请求 (CSR) 以恢复 kubelet 证书。有关更多信息，请参阅有关“从过期的控制平面证书中恢复”的文档。

  • 建议您在生成 Ignition 配置文件后 12 小时内使用它们，因为 24 小时证书会在集群安装后 16 到 22 小时之间轮换。通过在 12 小时内使用 Ignition 配置文件，您可以避免在安装期间运行证书更新时安装失败。

生成清单和 Ignition 文件的安装程序是特定于体系结构的，可以从客户端镜像镜像获取。安装程序的 Linux 版本仅在 s390x 上运行。此安装程序也可作为 Mac OS 版本提供。
先决条件

  • 您已获得 OpenShift Container Platform 安装程序。对于受限网络安装，这些文件位于您的镜像主机上。

  • 您创建了install-config.yaml安装配置文件。

步骤

  1. 更改到包含 OpenShift Container Platform 安装程序的目录，并为集群生成 Kubernetes 清单

    $ ./openshift-install create manifests --dir <installation_directory> (1)
    1 对于<installation_directory>，请指定包含您创建的install-config.yaml文件的安装目录。

    如果您正在安装三节点集群，请跳过以下步骤以允许控制平面节点可调度。

    当您将控制平面节点从默认的不可调度配置为可调度时，需要额外的订阅。这是因为控制平面节点随后成为计算节点。

  2. 检查<installation_directory>/manifests/cluster-scheduler-02-config.yml Kubernetes 清单文件中mastersSchedulable参数是否设置为false。此设置可防止在控制平面机器上调度 Pod。

    1. 打开<installation_directory>/manifests/cluster-scheduler-02-config.yml文件。

    2. 找到mastersSchedulable参数并确保将其设置为false。

    3. 保存并退出文件。

  3. 要创建 Ignition 配置文件，请从包含安装程序的目录运行以下命令

    $ ./openshift-install create ignition-configs --dir <installation_directory> (1)
    1 对于<installation_directory>，请指定相同的安装目录。

    为安装目录中的引导程序、控制平面和计算节点创建 Ignition 配置文件。kubeadmin-password和kubeconfig文件创建在./<installation_directory>/auth目录中

    .
├── auth
│   ├── kubeadmin-password
│   └── kubeconfig
├── bootstrap.ign
├── master.ign
├── metadata.json
└── worker.ign

安装 RHCOS 并启动 OpenShift Container Platform 引导过程

要在您配置的 IBM Z® 基础架构上安装 OpenShift Container Platform，必须将 Red Hat Enterprise Linux CoreOS (RHCOS) 安装为 Red Hat Enterprise Linux (RHEL) 虚拟机访客。安装 RHCOS 时，必须提供由 OpenShift Container Platform 安装程序为要安装的机器类型生成的 Ignition 配置文件。如果您已配置合适的网络、DNS 和负载均衡基础架构，则 RHCOS 机器重新启动后，OpenShift Container Platform 引导过程将自动开始。

您可以执行 RHCOS 的快速安装，该安装使用预打包的 QEMU 写时复制 (QCOW2) 磁盘映像。或者，您可以在新的 QCOW2 磁盘映像上执行完整安装。

为了进一步增强系统的安全性，您可以选择在继续进行快速安装之前使用 IBM® Secure Execution 安装 RHCOS。

使用 IBM Secure Execution 安装 RHCOS

在使用 IBM® Secure Execution 安装 RHCOS 之前，必须准备底层基础架构。

先决条件

  • IBM® z15 或更高版本，或 IBM® LinuxONE III 或更高版本。

  • Red Hat Enterprise Linux (RHEL) 8 或更高版本。

  • 您有一个引导 Ignition 文件。该文件未受保护，允许其他人查看和编辑它。

  • 您已验证安装后引导映像未被更改。

  • 必须将所有节点作为 IBM® Secure Execution 访客运行。

步骤

  1. 准备您的 RHEL KVM 主机以支持 IBM® Secure Execution。

    • 默认情况下，KVM 主机不支持 IBM® Secure Execution 模式下的访客。要支持 IBM® Secure Execution 模式下的访客，KVM 主机必须在 LPAR 模式下启动，并使用内核参数规范 prot_virt=1。要在 RHEL 8 上启用 prot_virt=1，请按照以下步骤操作

      1. 导航到 /boot/loader/entries/ 以修改引导加载程序配置文件 *.conf。

      2. 添加内核命令行参数 prot_virt=1。

      3. 运行 zipl 命令并重新启动系统。

        成功启动并支持 IBM® Secure Execution for Linux 的 KVM 主机将发出以下内核消息

        prot_virt: Reserving <amount>MB as ultravisor base storage.

      4. 要验证 KVM 主机现在是否支持 IBM® Secure Execution，请运行以下命令

        # cat /sys/firmware/uv/prot_virt_host
        示例输出
        1

        对于检测其环境与安全主机环境一致的 Linux 实例，此属性的值为 1。对于其他实例，该值为 0。

  2. 通过 Ignition 将主机密钥添加到 KVM 访客。

    在第一次启动期间，RHCOS 将查找您的主机密钥以使用它们重新加密自身。RHCOS 搜索 /etc/se-hostkeys 目录中以 ibm-z-hostkey- 开头的文件。集群运行的每台机器的所有主机密钥都必须由管理员加载到该目录中。第一次启动后，您不能在任何其他机器上运行虚拟机。

    您需要在一个安全的系统上准备您的 Ignition 文件。例如，另一个 IBM® Secure Execution 访客。

    例如

    {
  "ignition": { "version": "3.0.0" },
  "storage": {
    "files": [
      {
        "path": "/etc/se-hostkeys/ibm-z-hostkey-<your-hostkey>.crt",
        "contents": {
          "source": "data:;base64,<base64 encoded hostkey document>"
        },
        "mode": 420
      },
      {
        "path": "/etc/se-hostkeys/ibm-z-hostkey-<your-hostkey>.crt",
        "contents": {
          "source": "data:;base64,<base64 encoded hostkey document>"
        },
        "mode": 420
      }
    ]
  }
}
```

    如果您希望节点能够在多台 IBM Z® 机器上运行，您可以根据需要添加多个主机密钥。

  3. 要生成 Base64 编码字符串，请运行以下命令

    base64 <your-hostkey>.crt

    与未运行 IBM® Secure Execution 的访客相比，机器的第一次启动时间较长，因为整个映像在 Ignition 阶段之前都使用随机生成的 LUKS 密码短语加密。

  4. 添加 Ignition 保护

    要保护存储在 Ignition 配置文件中免于读取甚至修改的机密，必须加密 Ignition 配置文件。

    为了达到所需的安全性，在运行 IBM® Secure Execution 时，默认情况下禁用 Ignition 日志记录和本地登录。

    1. 获取 secex-qemu.qcow2 映像的公共 GPG 密钥，并通过运行以下命令使用该密钥加密 Ignition 配置：

      gpg --recipient-file /path/to/ignition.gpg.pub --yes --output /path/to/config.ign.gpg --verbose --armor --encrypt /path/to/config.ign

  5. 按照 RHCOS 的快速安装步骤，使用 IBM® Secure Execution QCOW 映像安装节点。

    在启动虚拟机之前，请将 serial=ignition 替换为 serial=ignition_crypted，并添加 launchSecurity 参数。
验证

完成 RHCOS 的快速安装并在第一次启动时运行 Ignition 后，验证解密是否成功。

  • 如果解密成功，您应该看到类似于以下示例的输出

    示例输出
    [    2.801433] systemd[1]: Starting coreos-ignition-setup-user.service - CoreOS Ignition User Config Setup...

[    2.803959] coreos-secex-ignition-decrypt[731]: gpg: key <key_name>: public key "Secure Execution (secex) 38.20230323.dev.0" imported
[    2.808874] coreos-secex-ignition-decrypt[740]: gpg: encrypted with rsa4096 key, ID <key_name>, created <yyyy-mm-dd>
[  OK  ] Finished coreos-secex-igni…S Secex Ignition Config Decryptor.

  • 如果解密失败，您应该看到类似于以下示例的输出

    示例输出
    Starting coreos-ignition-s…reOS Ignition User Config Setup...
[    2.863675] coreos-secex-ignition-decrypt[729]: gpg: key <key_name>: public key "Secure Execution (secex) 38.20230323.dev.0" imported
[    2.869178] coreos-secex-ignition-decrypt[738]: gpg: encrypted with RSA key, ID <key_name>
[    2.870347] coreos-secex-ignition-decrypt[738]: gpg: public key decryption failed: No secret key
[    2.870371] coreos-secex-ignition-decrypt[738]: gpg: decryption failed: No secret key
其他资源

在 IBM Z 或 IBM LinuxONE 环境中使用静态 IP 配置 NBDE

在 IBM Z® 或 IBM® LinuxONE 环境中启用 NBDE 磁盘加密需要额外的步骤，本节将详细介绍这些步骤。

先决条件

  • 您已设置外部 Tang 服务器。有关说明，请参阅 网络绑定磁盘加密。

  • 您已安装 butane 实用程序。

  • 您已查看有关如何使用 Butane 创建机器配置的说明。

步骤

  1. 为控制平面和计算节点创建 Butane 配置文件。

    以下控制平面节点的 Butane 配置示例创建一个名为 master-storage.bu 的文件，用于磁盘加密

    variant: openshift
version: 4.17.0
metadata:
  name: master-storage
  labels:
    machineconfiguration.openshift.io/role: master
storage:
  luks:
    - clevis:
        tang:
          - thumbprint: QcPr_NHFJammnRCA3fFMVdNBwjs
            url: http://clevis.example.com:7500
        options: (1)
           - --cipher
           - aes-cbc-essiv:sha256
      device: /dev/disk/by-partlabel/root
      label: luks-root
      name: root
      wipe_volume: true
  filesystems:
    - device: /dev/mapper/root
      format: xfs
      label: root
      wipe_filesystem: true
openshift:
  fips: true (2)
    1 仅当启用 FIPS 模式时才需要 cipher 选项。如果禁用 FIPS，则省略该条目。
    2 是否启用或禁用 FIPS 模式。默认情况下，未启用 FIPS 模式。如果启用 FIPS 模式，则运行 OpenShift Container Platform 的 Red Hat Enterprise Linux CoreOS (RHCOS) 机器将绕过默认的 Kubernetes 加密套件，而是使用 RHCOS 提供的加密模块。

  2. 通过运行以下命令创建一个自定义的 initramfs 文件来引导机器：

    $ coreos-installer pxe customize \
    /root/rhcos-bootfiles/rhcos-<release>-live-initramfs.s390x.img \
    --dest-device /dev/disk/by-id/scsi-<serial_number> --dest-karg-append \
    ip=<ip_address>::<gateway_ip>:<subnet_mask>::<network_device>:none \
    --dest-karg-append nameserver=<nameserver_ip> \
    --dest-karg-append rd.neednet=1 -o \
    /root/rhcos-bootfiles/<node_name>-initramfs.s390x.img

    在第一次启动之前，必须为集群中的每个节点自定义 initramfs，并添加 PXE 内核参数。

  3. 创建一个包含 ignition.platform.id=metal 和 ignition.firstboot 的参数文件。

    控制平面机器的示例内核参数文件
    cio_ignore=all,!condev rd.neednet=1 \
console=ttysclp0 \
ignition.firstboot ignition.platform.id=metal \
coreos.inst.ignition_url=http://<http_server>/master.ign \(1)
coreos.live.rootfs_url=http://<http_server>/rhcos-<version>-live-rootfs.<architecture>.img \(2)
ip=<ip>::<gateway>:<netmask>:<hostname>::none nameserver=<dns> \
rd.znet=qeth,0.0.bdd0,0.0.bdd1,0.0.bdd2,layer2=1 \
rd.zfcp=0.0.5677,0x600606680g7f0056,0x034F000000000000 \
zfcp.allow_lun_scan=0
    1 指定 Ignition 配置文件的位置。使用 master.ign 或 worker.ign。仅支持 HTTP 和 HTTPS 协议。
    2 指定正在引导的 kernel 和 initramfs 的 rootfs 工件的位置。仅支持 HTTP 和 HTTPS 协议。

    将参数文件中的所有选项写为单行，并确保没有换行符。
其他资源

使用预打包的 QCOW2 磁盘映像进行快速安装

完成以下步骤，以在 Red Hat Enterprise Linux CoreOS (RHCOS) 的快速安装中创建机器，导入预打包的 Red Hat Enterprise Linux CoreOS (RHCOS) QEMU 写时复制 (QCOW2) 磁盘映像。

先决条件

  • 至少一个在 RHEL 8.6 或更高版本上运行并具有 KVM 的 LPAR，在本过程中称为 RHEL KVM 主机。

  • KVM/QEMU 虚拟机管理程序安装在 RHEL KVM 主机上。

  • 可以为节点执行主机名和反向查找的域名服务器 (DNS)。

  • 提供 IP 地址的 DHCP 服务器。

步骤

  1. 从 Red Hat 客户门户网站的产品下载页面或RHCOS镜像站点获取 RHEL QEMU 写时复制 (QCOW2) 磁盘镜像文件。

    RHCOS 镜像可能并非随每次 OpenShift Container Platform 版本发布而更改。您必须下载版本号小于等于或等于您安装的 OpenShift Container Platform 版本的镜像。仅使用以下步骤中描述的相应 RHCOS QCOW2 镜像。

  2. 将 QCOW2 磁盘镜像和 Ignition 文件下载到 RHEL KVM 主机上的公共目录。

    例如：/var/lib/libvirt/images

    Ignition 文件由 OpenShift Container Platform 安装程序生成。

  3. 为每个 KVM 客户机节点创建一个使用 QCOW2 磁盘镜像备份文件的新磁盘镜像。

    $ qemu-img create -f qcow2 -F qcow2 -b /var/lib/libvirt/images/{source_rhcos_qemu} /var/lib/libvirt/images/{vmname}.qcow2 {size}

  4. 使用 Ignition 文件和新的磁盘镜像创建新的 KVM 客户机节点。

    $ virt-install --noautoconsole \
   --connect qemu:///system \
   --name <vm_name> \
   --memory <memory_mb> \
   --vcpus <vcpus> \
   --disk <disk> \
   --launchSecurity type="s390-pv" \ (1)
   --import \
   --network network=<virt_network_parm>,mac=<mac_address> \
   --disk path=<ign_file>,format=raw,readonly=on,serial=ignition,startup_policy=optional (2)
    1 如果启用了 IBM® 安全执行，请添加launchSecurity type="s390-pv"参数。
    2 如果启用了 IBM® 安全执行，请将serial=ignition替换为serial=ignition_crypted。

在新 QCOW2 磁盘镜像上进行完整安装

完成以下步骤，在新 QEMU 写时复制 (QCOW2) 磁盘镜像上创建机器以进行完整安装。

先决条件

  • 至少一个在 RHEL 8.6 或更高版本上运行并具有 KVM 的 LPAR，在本过程中称为 RHEL KVM 主机。

  • KVM/QEMU 虚拟机管理程序安装在 RHEL KVM 主机上。

  • 可以为节点执行主机名和反向查找的域名服务器 (DNS)。

  • 已设置 HTTP 或 HTTPS 服务器。

步骤

  1. 从 Red Hat 客户门户网站的产品下载页面或RHCOS镜像站点获取 RHEL 内核、initramfs 和 rootfs 文件。

    RHCOS 镜像可能并非随每次 OpenShift Container Platform 版本发布而更改。您必须下载版本号小于等于或等于您安装的 OpenShift Container Platform 版本的镜像。仅使用以下步骤中描述的相应 RHCOS QCOW2 镜像。

    文件名包含 OpenShift Container Platform 版本号。它们类似于以下示例

    • 内核：rhcos-<version>-live-kernel-<architecture>

    • initramfs：rhcos-<version>-live-initramfs.<architecture>.img

    • rootfs：rhcos-<version>-live-rootfs.<architecture>.img

  2. 在启动virt-install之前，将下载的 RHEL 实时内核、initramfs 和 rootfs 以及 Ignition 文件移动到 HTTP 或 HTTPS 服务器。

    Ignition 文件由 OpenShift Container Platform 安装程序生成。

  3. 使用 RHEL 内核、initramfs 和 Ignition 文件、新的磁盘镜像和调整后的参数行参数创建新的 KVM 客户机节点。

    $ virt-install \
   --connect qemu:///system \
   --name <vm_name> \
   --memory <memory_mb> \
   --vcpus <vcpus> \
   --location <media_location>,kernel=<rhcos_kernel>,initrd=<rhcos_initrd> \ / (1)
   --disk <vm_name>.qcow2,size=<image_size>,cache=none,io=native \
   --network network=<virt_network_parm> \
   --boot hd \
   --extra-args "rd.neednet=1" \
   --extra-args "coreos.inst.install_dev=/dev/<block_device>" \
   --extra-args "coreos.inst.ignition_url=http://<http_server>/bootstrap.ign" \(2)
   --extra-args "coreos.live.rootfs_url=http://<http_server>/rhcos-<version>-live-rootfs.<architecture>.img" \(3)
   --extra-args "ip=<ip>::<gateway>:<netmask>:<hostname>::none nameserver=<dns>" \
   --noautoconsole \
   --wait
    1 对于--location参数，指定 HTTP 或 HTTPS 服务器上内核/initrd 的位置。
    2 指定 Ignition 配置文件的位置。使用bootstrap.ign、master.ign或worker.ign。仅支持 HTTP 和 HTTPS 协议。
    3 指定正在引导的 kernel 和 initramfs 的 rootfs 工件的位置。仅支持 HTTP 和 HTTPS 协议。

高级 RHCOS 安装参考

本节说明网络配置和其他高级选项，这些选项允许您修改 Red Hat Enterprise Linux CoreOS (RHCOS) 手动安装过程。下表描述了您可以与 RHCOS 实时安装程序和coreos-installer命令一起使用的内核参数和命令行选项。

ISO 安装的网络选项

如果您从 ISO 镜像安装 RHCOS，则可以在启动镜像时手动添加内核参数以配置节点的网络。如果未指定任何网络参数，则当 RHCOS 检测到需要网络来获取 Ignition 配置文件时，将在 initramfs 中激活 DHCP。

手动添加网络参数时，还必须添加rd.neednet=1内核参数以在 initramfs 中启动网络。

以下信息提供有关为 ISO 安装配置 RHCOS 节点网络的示例。这些示例描述了如何使用ip=和nameserver=内核参数。

添加内核参数时的顺序很重要：ip=和nameserver=。

网络选项在系统启动期间传递给dracut工具。有关dracut支持的网络选项的更多信息，请参阅dracut.cmdline手册页。

以下示例是 ISO 安装的网络选项。

配置 DHCP 或静态 IP 地址

要配置 IP 地址，可以使用 DHCP (ip=dhcp) 或设置单个静态 IP 地址 (ip=<host_ip>)。如果设置静态 IP，则必须然后标识每个节点上的 DNS 服务器 IP 地址 (nameserver=<dns_ip>)。以下示例设置

  • 节点的 IP 地址为10.10.10.2

  • 网关地址为10.10.10.254

  • 子网掩码为255.255.255.0

  • 主机名为core0.example.com

  • DNS 服务器地址为4.4.4.41

  • 自动配置值为none。静态配置 IP 网络时不需要自动配置。

ip=10.10.10.2::10.10.10.254:255.255.255.0:core0.example.com:enp1s0:none
nameserver=4.4.4.41

当您使用 DHCP 为 RHCOS 机器配置 IP 地址时，机器还将通过 DHCP 获取 DNS 服务器信息。对于基于 DHCP 的部署，您可以通过 DHCP 服务器配置来定义 RHCOS 节点使用的 DNS 服务器地址。
配置不带静态主机名的 IP 地址

您可以配置 IP 地址而不分配静态主机名。如果用户未设置静态主机名，它将被获取并由反向 DNS 查询自动设置。要配置不带静态主机名的 IP 地址，请参阅以下示例

  • 节点的 IP 地址为10.10.10.2

  • 网关地址为10.10.10.254

  • 子网掩码为255.255.255.0

  • DNS 服务器地址为4.4.4.41

  • 自动配置值为none。静态配置 IP 网络时不需要自动配置。

ip=10.10.10.2::10.10.10.254:255.255.255.0::enp1s0:none
nameserver=4.4.4.41
指定多个网络接口

您可以通过设置多个ip=条目来指定多个网络接口。

ip=10.10.10.2::10.10.10.254:255.255.255.0:core0.example.com:enp1s0:none
ip=10.10.10.3::10.10.10.254:255.255.255.0:core0.example.com:enp2s0:none
配置默认网关和路由

可选：您可以通过设置rd.route=值来配置其他网络的路由。

当您配置一个或多个网络时，需要一个默认网关。如果附加网络网关与主网络网关不同，则默认网关必须是主网络网关。

  • 运行以下命令配置默认网关

    ip=::10.10.10.254::::

  • 输入以下命令配置附加网络的路由

    rd.route=20.20.20.0/24:20.20.20.254:enp2s0
禁用单个接口上的 DHCP

您可以禁用单个接口上的 DHCP，例如当有两个或多个网络接口并且只有一个接口正在使用时。在示例中，enp1s0接口具有静态网络配置，并且禁用了enp2s0（未使用）的 DHCP

ip=10.10.10.2::10.10.10.254:255.255.255.0:core0.example.com:enp1s0:none
ip=::::core0.example.com:enp2s0:none
组合 DHCP 和静态 IP 配置

您可以在具有多个网络接口的系统上组合 DHCP 和静态 IP 配置，例如

ip=enp1s0:dhcp
ip=10.10.10.2::10.10.10.254:255.255.255.0:core0.example.com:enp2s0:none
在单个接口上配置 VLAN

可选：您可以使用vlan=参数在单个接口上配置 VLAN。

  • 要在网络接口上配置 VLAN 并使用静态 IP 地址，请运行以下命令

    ip=10.10.10.2::10.10.10.254:255.255.255.0:core0.example.com:enp2s0.100:none
vlan=enp2s0.100:enp2s0

  • 要在网络接口上配置 VLAN 并使用 DHCP，请运行以下命令

    ip=enp2s0.100:dhcp
vlan=enp2s0.100:enp2s0
提供多个 DNS 服务器

您可以通过为每个服务器添加nameserver=条目来提供多个 DNS 服务器，例如

nameserver=1.1.1.1
nameserver=8.8.8.8

等待引导过程完成

OpenShift Container Platform 引导过程在集群节点首次启动进入已安装到磁盘的持久性 RHCOS 环境后开始。通过 Ignition 配置文件提供的配置信息用于初始化引导过程并在机器上安装 OpenShift Container Platform。您必须等待引导过程完成。

先决条件

  • 您已为您的集群创建 Ignition 配置文件。

  • 您已配置合适的网络、DNS 和负载均衡基础设施。

  • 您已获得安装程序并为您的集群生成了 Ignition 配置文件。

  • 您已在集群机器上安装 RHCOS 并提供了 OpenShift Container Platform 安装程序生成的 Ignition 配置文件。

步骤

  1. 监控引导过程

    $ ./openshift-install --dir <installation_directory> wait-for bootstrap-complete \ (1)
    --log-level=info (2)
    1 对于 <installation_directory>，请指定您存储安装文件的目录的路径。
    2 要查看不同的安装细节，请指定 warn、debug 或 error 来代替 info。
    示例输出
    INFO Waiting up to 30m0s for the Kubernetes API at https://api.test.example.com:6443...
INFO API v1.30.3 up
INFO Waiting up to 30m0s for bootstrapping to complete...
INFO It is now safe to remove the bootstrap resources

    当 Kubernetes API 服务器发出信号表明它已在控制平面机器上引导时，命令成功。

  2. 引导过程完成后，从负载均衡器中移除引导机器。

    您必须此时从负载均衡器中移除引导机器。您也可以移除或重新格式化引导机器本身。

使用 CLI 登录集群

您可以通过导出集群 kubeconfig 文件以默认系统用户身份登录到您的集群。kubeconfig 文件包含有关集群的信息，CLI 使用这些信息将客户端连接到正确的集群和 API 服务器。该文件特定于某个集群，并在 OpenShift Container Platform 安装期间创建。

先决条件

  • 您已部署 OpenShift Container Platform 集群。

  • 您已安装 oc CLI。

步骤

  1. 导出 kubeadmin 凭据

    $ export KUBECONFIG=<installation_directory>/auth/kubeconfig (1)
    1 对于 <installation_directory>，请指定您存储安装文件的目录的路径。

  2. 验证您可以使用导出的配置成功运行 oc 命令

    $ oc whoami
    示例输出
    system:admin

批准机器的证书签名请求

当您将机器添加到集群时，会为每个添加的机器生成两个待处理的证书签名请求 (CSR)。您必须确认这些 CSR 已被批准，或者如有必要，自行批准它们。必须先批准客户端请求，然后再批准服务器请求。

先决条件

  • 您已将机器添加到集群。

步骤

  1. 确认集群识别这些机器

    $ oc get nodes
    示例输出
    NAME      STATUS    ROLES   AGE  VERSION
master-0  Ready     master  63m  v1.30.3
master-1  Ready     master  63m  v1.30.3
master-2  Ready     master  64m  v1.30.3

    输出列出了您创建的所有机器。

    在批准某些 CSR 之前，上述输出可能不包含计算节点（也称为工作节点）。

  2. 查看待处理的 CSR，并确保您看到您添加到集群的每台机器的客户端请求的状态为 Pending 或 Approved。

    $ oc get csr
    示例输出
    NAME        AGE     REQUESTOR                                                                   CONDITION
csr-8b2br   15m     system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending
csr-8vnps   15m     system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending
...

    在此示例中，两台机器正在加入集群。您可能在列表中看到更多已批准的 CSR。

  3. 如果 CSR 未经批准，在您添加的所有机器的待处理 CSR 状态均为 Pending 后，请批准集群机器的 CSR。

    由于 CSR 会自动轮换，因此请在将机器添加到集群后一小时内批准您的 CSR。如果您在一小时内未批准它们，证书将轮换，并且每个节点将存在两个以上的证书。您必须批准所有这些证书。批准客户端 CSR 后，Kubelet 会为服务证书创建辅助 CSR，这需要手动批准。然后，如果 Kubelet 请求具有相同参数的新证书，则 machine-approver 会自动批准后续的服务证书续订请求。

    对于在未启用机器 API 的平台（例如裸机和其他用户预配的基础设施）上运行的集群，您必须实现一种自动批准 kubelet 服务证书请求 (CSR) 的方法。如果未批准请求，则 oc exec、oc rsh 和 oc logs 命令将无法成功，因为当 API 服务器连接到 kubelet 时需要服务证书。任何联系 Kubelet 端点的操作都需要此证书批准到位。该方法必须监视新的 CSR，确认 CSR 是由 system:node 或 system:admin 组中的 node-bootstrapper 服务帐户提交的，并确认节点的身份。

    • 要分别批准它们，请针对每个有效的 CSR 运行以下命令

      $ oc adm certificate approve <csr_name> (1)
      1 <csr_name> 是当前 CSR 列表中 CSR 的名称。

    • 要批准所有待处理的 CSR，请运行以下命令

      $ oc get csr -o go-template='{{range .items}}{{if not .status}}{{.metadata.name}}{{"\n"}}{{end}}{{end}}' | xargs --no-run-if-empty oc adm certificate approve

      在批准某些 CSR 之前，某些 Operator 可能会不可用。

  4. 现在您的客户端请求已获批准，您必须查看您添加到集群的每台机器的服务器请求

    $ oc get csr
    示例输出
    NAME        AGE     REQUESTOR                                                                   CONDITION
csr-bfd72   5m26s   system:node:ip-10-0-50-126.us-east-2.compute.internal                       Pending
csr-c57lv   5m26s   system:node:ip-10-0-95-157.us-east-2.compute.internal                       Pending
...

  5. 如果剩余的 CSR 未经批准且状态为 Pending，请批准集群机器的 CSR。

    • 要分别批准它们，请针对每个有效的 CSR 运行以下命令

      $ oc adm certificate approve <csr_name> (1)
      1 <csr_name> 是当前 CSR 列表中 CSR 的名称。

    • 要批准所有待处理的 CSR，请运行以下命令

      $ oc get csr -o go-template='{{range .items}}{{if not .status}}{{.metadata.name}}{{"\n"}}{{end}}{{end}}' | xargs oc adm certificate approve

  6. 批准所有客户端和服务器 CSR 后，机器将具有 Ready 状态。通过运行以下命令验证此状态

    $ oc get nodes
    示例输出
    NAME      STATUS    ROLES   AGE  VERSION
master-0  Ready     master  73m  v1.30.3
master-1  Ready     master  73m  v1.30.3
master-2  Ready     master  74m  v1.30.3
worker-0  Ready     worker  11m  v1.30.3
worker-1  Ready     worker  11m  v1.30.3

    批准服务器 CSR 后，机器可能需要几分钟才能过渡到 Ready 状态。
附加信息

初始 Operator 配置

控制平面初始化后，您必须立即配置一些 Operator，以便它们全部可用。

先决条件

  • 您的控制平面已初始化。

步骤

  1. 观察集群组件上线

    $ watch -n5 oc get clusteroperators
    示例输出
    NAME                                       VERSION   AVAILABLE   PROGRESSING   DEGRADED   SINCE
authentication                             4.17.0    True        False         False      19m
baremetal                                  4.17.0    True        False         False      37m
cloud-credential                           4.17.0    True        False         False      40m
cluster-autoscaler                         4.17.0    True        False         False      37m
config-operator                            4.17.0    True        False         False      38m
console                                    4.17.0    True        False         False      26m
csi-snapshot-controller                    4.17.0    True        False         False      37m
dns                                        4.17.0    True        False         False      37m
etcd                                       4.17.0    True        False         False      36m
image-registry                             4.17.0    True        False         False      31m
ingress                                    4.17.0    True        False         False      30m
insights                                   4.17.0    True        False         False      31m
kube-apiserver                             4.17.0    True        False         False      26m
kube-controller-manager                    4.17.0    True        False         False      36m
kube-scheduler                             4.17.0    True        False         False      36m
kube-storage-version-migrator              4.17.0    True        False         False      37m
machine-api                                4.17.0    True        False         False      29m
machine-approver                           4.17.0    True        False         False      37m
machine-config                             4.17.0    True        False         False      36m
marketplace                                4.17.0    True        False         False      37m
monitoring                                 4.17.0    True        False         False      29m
network                                    4.17.0    True        False         False      38m
node-tuning                                4.17.0    True        False         False      37m
openshift-apiserver                        4.17.0    True        False         False      32m
openshift-controller-manager               4.17.0    True        False         False      30m
openshift-samples                          4.17.0    True        False         False      32m
operator-lifecycle-manager                 4.17.0    True        False         False      37m
operator-lifecycle-manager-catalog         4.17.0    True        False         False      37m
operator-lifecycle-manager-packageserver   4.17.0    True        False         False      32m
service-ca                                 4.17.0    True        False         False      38m
storage                                    4.17.0    True        False         False      37m

  2. 配置不可用的 Operator。

禁用默认的 OperatorHub 目录源

在 OpenShift Container Platform 安装期间，默认情况下会为 OperatorHub 配置从 Red Hat 和社区项目提供的內容进行源代码的 Operator 目录。在受限网络环境中，您必须以集群管理员身份禁用默认目录。

步骤

  • 通过将 disableAllDefaultSources: true 添加到 OperatorHub 对象来禁用默认目录的源。

    $ oc patch OperatorHub cluster --type json \
    -p '[{"op": "add", "path": "/spec/disableAllDefaultSources", "value": true}]'

或者，您可以使用 Web 控制台来管理目录源。在**管理** → **集群设置** → **配置** → **OperatorHub** 页面中，单击**源**选项卡，您可以在其中创建、更新、删除、禁用和启用各个源。

镜像注册表存储配置

对于不提供默认存储的平台，镜像注册表操作符最初不可用。安装后，必须配置注册表以使用存储，才能使注册表操作符可用。

显示了配置持久卷的说明，这是生产集群所需的。在适用情况下，将显示将空目录配置为存储位置的说明，这仅适用于非生产集群。

提供了其他说明，用于在升级期间使用Recreate滚动策略允许镜像注册表使用块存储类型。

为 IBM Z 配置注册表存储

作为集群管理员，安装后必须配置注册表以使用存储。

先决条件

  • 您可以作为具有cluster-admin角色的用户访问集群。

  • 您在 IBM Z® 上有一个集群。

  • 您已为集群预配了持久性存储，例如 Red Hat OpenShift Data Foundation。

    当您只有一个副本时，OpenShift Container Platform 支持镜像注册表存储的ReadWriteOnce访问。ReadWriteOnce访问还要求注册表使用Recreate滚动策略。要部署支持高可用性的镜像注册表（具有两个或多个副本），需要ReadWriteMany访问。

  • 必须具有 100Gi 容量。

步骤

  1. 要配置注册表以使用存储，请更改configs.imageregistry/cluster资源中的spec.storage.pvc。

    使用共享存储时，请查看安全设置以防止外部访问。

  2. 验证您没有注册表 Pod。

    $ oc get pod -n openshift-image-registry -l docker-registry=default
    示例输出
    No resources found in openshift-image-registry namespace

    如果您的输出中确实有注册表 Pod，则无需继续执行此过程。

  3. 检查注册表配置

    $ oc edit configs.imageregistry.operator.openshift.io
    示例输出
    storage:
  pvc:
    claim:

    将claim字段留空，以允许自动创建image-registry-storage PVC。

  4. 检查clusteroperator状态

    $ oc get clusteroperator image-registry
    示例输出
    NAME             VERSION              AVAILABLE   PROGRESSING   DEGRADED   SINCE   MESSAGE
image-registry   4.17                 True        False         False      6h50m

  5. 确保您的注册表设置为托管模式，以启用镜像的构建和推送。

    • 运行

      $ oc edit configs.imageregistry/cluster

      然后，更改以下行：

      managementState: Removed

      为：

      managementState: Managed

在非生产集群中为镜像注册表配置存储

必须为镜像注册表操作符配置存储。对于非生产集群，您可以将镜像注册表设置为空目录。如果这样做，如果您重新启动注册表，则所有镜像都会丢失。

步骤

  • 要将镜像注册表存储设置为空目录

    $ oc patch configs.imageregistry.operator.openshift.io cluster --type merge --patch '{"spec":{"storage":{"emptyDir":{}}}}'

    仅为非生产集群配置此选项。

    如果您在镜像注册表操作符初始化其组件之前运行此命令，则oc patch命令将失败，并出现以下错误：

    Error from server (NotFound): configs.imageregistry.operator.openshift.io "cluster" not found

    等待几分钟，然后再次运行该命令。

完成用户预配基础设施上的安装

完成操作符配置后，您可以在您提供的基础设施上完成集群安装。

先决条件

  • 您的控制平面已初始化。

  • 您已完成初始操作符配置。

步骤

  1. 使用以下命令确认所有集群组件都联机：

    $ watch -n5 oc get clusteroperators
    示例输出
    NAME                                       VERSION   AVAILABLE   PROGRESSING   DEGRADED   SINCE
authentication                             4.17.0    True        False         False      19m
baremetal                                  4.17.0    True        False         False      37m
cloud-credential                           4.17.0    True        False         False      40m
cluster-autoscaler                         4.17.0    True        False         False      37m
config-operator                            4.17.0    True        False         False      38m
console                                    4.17.0    True        False         False      26m
csi-snapshot-controller                    4.17.0    True        False         False      37m
dns                                        4.17.0    True        False         False      37m
etcd                                       4.17.0    True        False         False      36m
image-registry                             4.17.0    True        False         False      31m
ingress                                    4.17.0    True        False         False      30m
insights                                   4.17.0    True        False         False      31m
kube-apiserver                             4.17.0    True        False         False      26m
kube-controller-manager                    4.17.0    True        False         False      36m
kube-scheduler                             4.17.0    True        False         False      36m
kube-storage-version-migrator              4.17.0    True        False         False      37m
machine-api                                4.17.0    True        False         False      29m
machine-approver                           4.17.0    True        False         False      37m
machine-config                             4.17.0    True        False         False      36m
marketplace                                4.17.0    True        False         False      37m
monitoring                                 4.17.0    True        False         False      29m
network                                    4.17.0    True        False         False      38m
node-tuning                                4.17.0    True        False         False      37m
openshift-apiserver                        4.17.0    True        False         False      32m
openshift-controller-manager               4.17.0    True        False         False      30m
openshift-samples                          4.17.0    True        False         False      32m
operator-lifecycle-manager                 4.17.0    True        False         False      37m
operator-lifecycle-manager-catalog         4.17.0    True        False         False      37m
operator-lifecycle-manager-packageserver   4.17.0    True        False         False      32m
service-ca                                 4.17.0    True        False         False      38m
storage                                    4.17.0    True        False         False      37m

    或者，以下命令会在所有集群可用时通知您。它还会检索和显示凭据：

    $ ./openshift-install --dir <installation_directory> wait-for install-complete (1)
    1 对于 <installation_directory>，请指定您存储安装文件的目录的路径。
    示例输出
    INFO Waiting up to 30m0s for the cluster to initialize...

    当集群版本操作符完成从 Kubernetes API 服务器部署 OpenShift Container Platform 集群时，该命令将成功。

    • 安装程序生成的 Ignition 配置文件包含在 24 小时后过期的证书，然后会在那时续订。如果在续订证书之前集群关闭，并且在 24 小时后集群重新启动，则集群会自动恢复过期的证书。例外情况是，您必须手动批准挂起的node-bootstrapper证书签名请求 (CSR) 以恢复 kubelet 证书。有关详细信息，请参阅有关“从过期的控制平面证书恢复”的文档。

    • 建议您在生成 Ignition 配置文件后 12 小时内使用它们，因为 24 小时证书会在集群安装后 16 到 22 小时之间轮换。通过在 12 小时内使用 Ignition 配置文件，您可以避免在安装期间运行证书更新时安装失败。

  2. 确认 Kubernetes API 服务器正在与 Pod 通信。

    1. 要查看所有 Pod 的列表，请使用以下命令：

      $ oc get pods --all-namespaces
      示例输出
      NAMESPACE                         NAME                                            READY   STATUS      RESTARTS   AGE
openshift-apiserver-operator      openshift-apiserver-operator-85cb746d55-zqhs8   1/1     Running     1          9m
openshift-apiserver               apiserver-67b9g                                 1/1     Running     0          3m
openshift-apiserver               apiserver-ljcmx                                 1/1     Running     0          1m
openshift-apiserver               apiserver-z25h4                                 1/1     Running     0          2m
openshift-authentication-operator authentication-operator-69d5d8bf84-vh2n8        1/1     Running     0          5m
...

    2. 使用以下命令查看先前命令输出中列出的 Pod 的日志：

      $ oc logs <pod_name> -n <namespace> (1)
      1 指定 Pod 名称和命名空间，如先前命令的输出中所示。

      如果显示 Pod 日志，则 Kubernetes API 服务器可以与集群机器通信。

  3. 对于使用光纤通道协议 (FCP) 的安装，需要其他步骤才能启用多路径。安装过程中不要启用多路径。

    有关详细信息，请参阅安装后机器配置任务文档中的“在 RHCOS 上使用内核参数启用多路径”。

  4. 在集群注册页面上注册您的集群。

其他资源

后续步骤