在受限网络中于 GCP 上安装集群 - 在 GCP 上安装 | 安装 | OpenShift Container Platform 4.17

在 OpenShift Container Platform 4.17 中，您可以通过在现有的 Google 虚拟专用云 (VPC) 上创建安装发行版内容的内部镜像，在受限网络上安装 Google Cloud Platform (GCP) 上的集群。

您可以使用镜像的安装发行版内容安装 OpenShift Container Platform 集群，但是您的集群需要互联网访问才能使用 GCP API。

先决条件

您查看了有关OpenShift Container Platform 安装和更新过程的详细信息。
您阅读了有关选择集群安装方法并为用户准备集群的文档。
您配置了 GCP 项目以托管集群。
您为断开连接的安装镜像了镜像到您的注册表，并获得了 OpenShift Container Platform 版本的imageContentSources数据。

由于安装介质位于镜像主机上，您可以使用该计算机完成所有安装步骤。
您在 GCP 中拥有一个现有的 VPC。在使用安装程序预配的基础架构安装受限网络中的集群时，您不能使用安装程序预配的 VPC。您必须使用满足以下要求之一的用户预配的 VPC
- 包含镜像仓库
- 拥有访问其他地方托管的镜像仓库的防火墙规则或对等连接
如果您使用防火墙，您需要配置它以允许您的集群需要访问的站点。虽然您可能需要授予更多站点的访问权限，但必须授予*.googleapis.com和accounts.google.com的访问权限。

关于受限网络中的安装

在 OpenShift Container Platform 4.17 中，您可以执行不需要主动连接到互联网即可获取软件组件的安装。受限网络安装可以使用安装程序预配的基础设施或用户预配的基础设施来完成，具体取决于您要安装集群的云平台。

如果您选择在云平台上执行受限网络安装，您仍然需要访问其云 API。某些云功能（例如 Amazon Web Service 的 Route 53 DNS 和 IAM 服务）需要互联网访问。根据您的网络情况，在裸机硬件、Nutanix 或 VMware vSphere 上安装可能需要较少的互联网访问。

要完成受限网络安装，您必须创建一个镜像仓库，该镜像仓库镜像 OpenShift 镜像仓库的内容并包含安装介质。您可以在可以访问互联网和封闭网络的镜像主机上创建此镜像仓库，或者使用满足您限制的其他方法。

其他限制

受限网络中的集群具有以下其他限制

ClusterVersion 状态包含无法检索可用更新错误。
默认情况下，您无法使用开发者目录的内容，因为您无法访问所需的镜像流标签。

OpenShift Container Platform 的互联网访问

在 OpenShift Container Platform 4.17 中，您需要访问互联网才能获取安装集群所需的镜像。

您必须具有互联网访问权限才能：

访问OpenShift 集群管理器以下载安装程序并执行订阅管理。如果集群具有互联网访问权限并且您没有禁用遥测，该服务会自动授权您的集群。
访问Quay.io以获取安装集群所需的软件包。
获取执行集群更新所需的软件包。

生成用于集群节点 SSH 访问的密钥对

在 OpenShift Container Platform 安装期间，您可以向安装程序提供 SSH 公钥。该密钥通过其 Ignition 配置文件传递给 Red Hat Enterprise Linux CoreOS (RHCOS) 节点，并用于验证对节点的 SSH 访问权限。该密钥将添加到每个节点上core用户的~/.ssh/authorized_keys列表中，从而启用无需密码的认证。

密钥传递到节点后，您可以使用密钥对以用户core身份通过 SSH 登录到 RHCOS 节点。要通过 SSH 访问节点，必须由 SSH 为您的本地用户管理私钥身份。

如果您想通过 SSH 登录到您的集群节点以执行安装调试或灾难恢复，则必须在安装过程中提供 SSH 公钥。./openshift-install gather命令也需要在集群节点上设置 SSH 公钥。

在需要灾难恢复和调试的生产环境中，请不要跳过此过程。

您必须使用本地密钥，而不是使用平台特定方法（例如AWS 密钥对）配置的密钥。

步骤

如果您在本地计算机上没有现有的 SSH 密钥对可用于对集群节点进行身份验证，请创建一个。例如，在使用 Linux 操作系统的计算机上，运行以下命令：

$ ssh-keygen -t ed25519 -N '' -f <path>/<file_name> (1)

1	指定新 SSH 密钥的路径和文件名，例如`~/.ssh/id_ed25519`。如果您有现有的密钥对，请确保您的公钥位于您的`~/.ssh`目录中。

如果您计划安装一个使用已提交给 NIST 以进行 FIPS 140-2/140-3 验证的 RHEL 加密库的 OpenShift Container Platform 集群（仅限于x86_64、ppc64le和s390x架构），请不要创建使用ed25519算法的密钥。而是创建一个使用rsa或ecdsa算法的密钥。

查看 SSH 公钥
```
$ cat <path>/<file_name>.pub
```
例如，运行以下命令以查看~/.ssh/id_ed25519.pub公钥：
```
$ cat ~/.ssh/id_ed25519.pub
```
如果尚未添加，请将 SSH 私钥身份添加到本地用户的 SSH 代理。SSH 代理对密钥的管理对于对集群节点进行无需密码的 SSH 身份验证是必需的，或者如果您想使用./openshift-install gather命令。

在某些发行版中，默认的 SSH 私钥身份（例如~/.ssh/id_rsa和~/.ssh/id_dsa）会自动管理。
1. 如果本地用户的ssh-agent进程尚未运行，请将其作为后台任务启动：
  $ eval "$(ssh-agent -s)"
  示例输出
  Agent pid 31874
  如果您的集群处于 FIPS 模式，则只能使用符合 FIPS 的算法来生成 SSH 密钥。密钥必须是 RSA 或 ECDSA。
将您的 SSH 私钥添加到ssh-agent
```
$ ssh-add <path>/<file_name> (1)
```
1 指定 SSH 私钥的路径和文件名，例如~/.ssh/id_ed25519
示例输出
```
Identity added: /home/<you>/<path>/<file_name> (<computer_name>)
```

后续步骤

安装 OpenShift Container Platform 时，请向安装程序提供 SSH 公钥。

创建安装配置文件

您可以自定义在 Google Cloud Platform (GCP) 上安装的 OpenShift Container Platform 集群。

先决条件

您拥有 OpenShift Container Platform 安装程序和集群的拉取密钥。对于受限网络安装，这些文件位于您的镜像主机上。
您拥有在镜像仓库创建期间生成的imageContentSources值。
您已获得镜像仓库证书的内容。

步骤

创建install-config.yaml文件。
1. 更改到包含安装程序的目录并运行以下命令：
  $ ./openshift-install create install-config --dir <installation_directory> (1)
  1 对于<installation_directory>，指定存储安装程序创建的文件的目录名称。
  
  指定目录时：
  - 验证该目录是否具有execute权限。此权限是必需的，以便在安装目录下运行 Terraform 二进制文件。
  - 使用空目录。某些安装资产（例如引导 X.509 证书）具有较短的有效期，因此您不能重复使用安装目录。如果您想重复使用来自另一个集群安装的单个文件，您可以将它们复制到您的目录中。但是，安装资产的文件名可能会在不同版本之间发生更改。从早期 OpenShift Container Platform 版本复制安装文件时，请谨慎操作。
2. 在提示符下，提供云的配置详细信息。
  1. 可选：选择一个 SSH 密钥来访问您的集群机器。
    
    对于您想要执行安装调试或灾难恢复的生产 OpenShift Container Platform 集群，请指定您的ssh-agent进程使用的 SSH 密钥。
  2. 选择**gcp**作为目标平台。
  3. 如果您的计算机上尚未配置 GCP 帐户的服务帐户密钥，则必须从 GCP 获取密钥，并将文件内容粘贴到此处，或输入文件的绝对路径。
  4. 选择用于配置集群的项目 ID。默认值由您配置的服务帐户指定。
  5. 选择部署集群的区域。
  6. 选择部署集群的基本域名。基本域名对应于您为集群创建的公共 DNS 区域。
  7. 输入集群的描述性名称。
编辑install-config.yaml文件，以提供在受限网络中安装所需的附加信息。
1. 更新pullSecret值，使其包含注册表的身份验证信息。
  pullSecret: '{"auths":{"<mirror_host_name>:5000": {"auth": "<credentials>","email": "[email protected]"}}}'
  对于<mirror_host_name>，请指定您在镜像注册表的证书中指定的注册表域名；对于<credentials>，请指定镜像注册表的 Base64 编码用户名和密码。
2. 添加additionalTrustBundle参数和值。
  additionalTrustBundle: | -----BEGIN CERTIFICATE----- ZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZ -----END CERTIFICATE-----
  该值必须是您用于镜像注册表的证书文件的内容。证书文件可以是现有的受信任证书颁发机构，也可以是您为镜像注册表生成的自签名证书。
3. 在父platform.gcp字段下定义用于安装集群的 VPC 的网络和子网。
  network: <existing_vpc> controlPlaneSubnet: <control_plane_subnet> computeSubnet: <compute_subnet>
  对于platform.gcp.network，请指定现有 Google VPC 的名称。对于platform.gcp.controlPlaneSubnet和platform.gcp.computeSubnet，分别指定用于部署控制平面机器和计算机器的现有子网。
4. 添加镜像内容资源，类似于以下 YAML 代码片段。
  imageContentSources: - mirrors: - <mirror_host_name>:5000/<repo_name>/release source: quay.io/openshift-release-dev/ocp-release - mirrors: - <mirror_host_name>:5000/<repo_name>/release source: registry.redhat.io/ocp/release
  对于这些值，请使用您在镜像注册表创建过程中记录的imageContentSources。
5. 可选：将发布策略设置为Internal
  publish: Internal
  通过设置此选项，您可以创建一个内部 Ingress 控制器和一个私有负载均衡器。
对install-config.yaml文件进行任何其他所需的修改。

有关参数的更多信息，请参见“安装配置参数”。
备份install-config.yaml文件，以便您可以使用它来安装多个集群。

install-config.yaml文件在安装过程中会被使用。如果您想重复使用该文件，则现在必须对其进行备份。

其他资源

GCP 的安装配置参数

集群安装的最低资源要求

每个集群机器必须满足以下最低要求

表 1. 最低资源要求
机器	操作系统	vCPU ^[1]	虚拟 RAM	存储	每秒输入/输出次数 (IOPS)^[2]
引导程序	RHCOS	4	16 GB	100 GB	300
控制平面	RHCOS	4	16 GB	100 GB	300
计算	RHCOS，RHEL 8.6 及更高版本 ^[3]	2	8 GB	100 GB	300

当未启用同时多线程 (SMT) 或超线程时，一个 vCPU 等效于一个物理内核。启用时，请使用以下公式计算相应的比率：（每个内核的线程数 × 内核数）× 插槽数 = vCPU。
OpenShift Container Platform 和 Kubernetes 对磁盘性能敏感，建议使用更快的存储，特别是对于控制平面节点上的 etcd，它需要 10 毫秒 p99 fsync 持续时间。请注意，在许多云平台上，存储大小和 IOPS 会一起扩展，因此您可能需要过度分配存储卷才能获得足够的性能。
与所有用户配置的安装一样，如果您选择在集群中使用 RHEL 计算机器，则您需要负责所有操作系统的生命周期管理和维护，包括执行系统更新、应用补丁以及完成所有其他必需的任务。在 OpenShift Container Platform 4.10 及更高版本中，已弃用使用 RHEL 7 计算机器，并且已将其移除。

从 OpenShift Container Platform 4.13 版本开始，RHCOS 基于 RHEL 9.2 版本，这更新了微架构要求。以下列表包含每个架构所需的最低指令集架构 (ISA)：

x86-64 架构需要 x86-64-v2 ISA
ARM64 架构需要 ARMv8.0-A ISA
IBM Power 架构需要 Power 9 ISA
s390x 架构需要 z14 ISA

更多信息，请参见 RHEL 架构。

如果平台的实例类型满足集群机器的最低要求，则支持在 OpenShift Container Platform 中使用它。

其他资源

优化存储

GCP 的测试实例类型

以下 Google Cloud Platform 实例类型已通过 OpenShift Container Platform 测试。

机器系列

A2
A3
C2
C2D
C3
C3D
E2
M1
N1
N2
N2D
N4
Tau T2D

在 64 位 ARM 架构上 GCP 的测试实例类型

以下 Google Cloud Platform (GCP) 64 位 ARM 实例类型已通过 OpenShift Container Platform 测试。

64 位 ARM 机器系列

Tau T2A

使用自定义机器类型

支持使用自定义机器类型安装 OpenShift Container Platform 集群。

使用自定义机器类型时，请考虑以下事项：

与预定义的实例类型类似，自定义机器类型必须满足控制平面和计算机器的最低资源要求。有关更多信息，请参见“集群安装的最低资源要求”。
自定义机器类型的名称必须符合以下语法：

custom-<number_of_cpus>-<amount_of_memory_in_mb>

例如，custom-6-20480。

作为安装过程的一部分，您需要在install-config.yaml文件中指定自定义机器类型。

包含自定义机器类型的install-config.yaml文件示例

compute:
- architecture: amd64
  hyperthreading: Enabled
  name: worker
  platform:
    gcp:
      type: custom-6-20480
  replicas: 2
controlPlane:
  architecture: amd64
  hyperthreading: Enabled
  name: master
  platform:
    gcp:
      type: custom-6-20480
  replicas: 3

启用 Shielded VM

安装集群时，可以使用 Shielded VM。Shielded VM 具有额外的安全功能，包括安全启动、固件和完整性监控以及 rootkit 检测。有关更多信息，请参阅 Google 关于Shielded VM 的文档。

目前，在具有 64 位 ARM 架构的集群上不支持 Shielded VM。

先决条件

您已创建install-config.yaml文件。

步骤

在部署集群之前，使用文本编辑器编辑install-config.yaml文件，并添加以下片段之一：

仅对控制平面机器使用 Shielded VM

controlPlane:
  platform:
    gcp:
       secureBoot: Enabled

仅对计算机器使用 Shielded VM

compute:
- platform:
    gcp:
       secureBoot: Enabled

对所有机器使用 Shielded VM

platform:
  gcp:
    defaultMachinePlatform:
       secureBoot: Enabled

启用 Confidential VM

安装集群时，可以使用 Confidential VM。Confidential VM 在处理数据时会对其进行加密。有关更多信息，请参阅 Google 关于Confidential Computing 的文档。您可以同时启用 Confidential VM 和 Shielded VM，尽管它们彼此之间并不依赖。

目前，在 64 位 ARM 架构上不支持 Confidential VM。

先决条件

您已创建install-config.yaml文件。

步骤

在部署集群之前，使用文本编辑器编辑install-config.yaml文件，并添加以下片段之一：

仅对控制平面机器使用 Confidential VM

controlPlane:
  platform:
    gcp:
       confidentialCompute: Enabled (1)
       type: n2d-standard-8 (2)
       onHostMaintenance: Terminate (3)

1	启用 Confidential VM。
2	指定支持 Confidential VM 的机器类型。Confidential VM 需要 N2D 或 C2D 系列的机器类型。有关受支持机器类型的更多信息，请参见受支持的操作系统和机器类型。
3	指定主机维护事件（例如硬件或软件更新）期间 VM 的行为。对于使用 Confidential VM 的机器，此值必须设置为`Terminate`，这将停止 VM。Confidential VM 不支持实时 VM 迁移。

仅对计算机器使用 Confidential VM

compute:
- platform:
    gcp:
       confidentialCompute: Enabled
       type: n2d-standard-8
       onHostMaintenance: Terminate

将所有机器都使用机密虚拟机

platform:
  gcp:
    defaultMachinePlatform:
       confidentialCompute: Enabled
       type: n2d-standard-8
       onHostMaintenance: Terminate

GCP 的自定义 install-config.yaml 文件示例

您可以自定义install-config.yaml文件以指定有关 OpenShift Container Platform 集群平台的更多详细信息，或修改所需参数的值。

此 YAML 文件示例仅供参考。您必须使用安装程序获取您的install-config.yaml文件并对其进行修改。

apiVersion: v1
baseDomain: example.com (1)
credentialsMode: Mint (2)
controlPlane:  (3) (4)
  hyperthreading: Enabled (5)
  name: master
  platform:
    gcp:
      type: n2-standard-4
      zones:
      - us-central1-a
      - us-central1-c
      osDisk:
        diskType: pd-ssd
        diskSizeGB: 1024
        encryptionKey: (6)
          kmsKey:
            name: worker-key
            keyRing: test-machine-keys
            location: global
            projectID: project-id
      tags: (7)
      - control-plane-tag1
      - control-plane-tag2
      osImage: (8)
        project: example-project-name
        name: example-image-name
  replicas: 3
compute:  (3) (4)
- hyperthreading: Enabled (5)
  name: worker
  platform:
    gcp:
      type: n2-standard-4
      zones:
      - us-central1-a
      - us-central1-c
      osDisk:
        diskType: pd-standard
        diskSizeGB: 128
        encryptionKey: (6)
          kmsKey:
            name: worker-key
            keyRing: test-machine-keys
            location: global
            projectID: project-id
        tags: (7)
        - compute-tag1
        - compute-tag2
        osImage: (8)
          project: example-project-name
          name: example-image-name
  replicas: 3
metadata:
  name: test-cluster (1)
networking:
  clusterNetwork:
  - cidr: 10.128.0.0/14
    hostPrefix: 23
  machineNetwork:
  - cidr: 10.0.0.0/16
  networkType: OVNKubernetes (9)
  serviceNetwork:
  - 172.30.0.0/16
platform:
  gcp:
    projectID: openshift-production (1)
    region: us-central1 (1)
    defaultMachinePlatform:
      tags: (7)
      - global-tag1
      - global-tag2
      osImage: (8)
        project: example-project-name
        name: example-image-name
    network: existing_vpc (10)
    controlPlaneSubnet: control_plane_subnet (11)
    computeSubnet: compute_subnet (12)
pullSecret: '{"auths":{"<local_registry>": {"auth": "<credentials>","email": "[email protected]"}}}' (13)
fips: false (14)
sshKey: ssh-ed25519 AAAA... (15)
additionalTrustBundle: | (16)
    -----BEGIN CERTIFICATE-----
    <MY_TRUSTED_CA_CERT>
    -----END CERTIFICATE-----
imageContentSources: (17)
- mirrors:
  - <local_registry>/<local_repository_name>/release
  source: quay.io/openshift-release-dev/ocp-release
- mirrors:
  - <local_registry>/<local_repository_name>/release
  source: quay.io/openshift-release-dev/ocp-v4.0-art-dev

1 必需。安装程序会提示您输入此值。

2 可选：添加此参数以强制云凭据操作员 (CCO) 使用指定的模式。默认情况下，CCO 使用kube-system命名空间中的根凭据来动态尝试确定凭据的功能。有关 CCO 模式的详细信息，请参阅《身份验证和授权》指南中的“关于云凭据操作员”部分。

3 如果您不提供这些参数和值，安装程序将提供默认值。

4 controlPlane部分是一个单映射，但compute部分是一系列映射。为了满足不同数据结构的要求，compute部分的第一行必须以连字符-开头，而controlPlane部分的第一行则不能。只使用一个控制平面池。

是否启用或禁用同时多线程处理或超线程。默认情况下，启用同时多线程处理以提高机器内核的性能。您可以通过将参数值设置为Disabled来禁用它。如果在某些集群机器中禁用了同时多线程处理，则必须在所有集群机器中禁用它。

如果禁用同时多线程处理，请确保您的容量规划考虑了机器性能的显著下降。如果禁用同时多线程处理，请为您的机器使用更大的机器类型，例如n1-standard-8。

6 可选：自定义加密密钥部分，用于加密虚拟机和持久卷。您的默认计算服务帐户必须拥有使用 KMS 密钥的权限，并分配正确的 IAM 角色。默认服务帐户名称遵循service-<project_number>@compute-system.iam.gserviceaccount.com模式。有关为您的服务帐户授予正确权限的更多信息，请参阅“机器管理”→“创建计算机器集”→“在 GCP 上创建计算机器集”。

7 可选：一组要应用于控制平面或计算机器集的网络标签。platform.gcp.defaultMachinePlatform.tags参数将同时应用于控制平面和计算机器。如果设置了compute.platform.gcp.tags或controlPlane.platform.gcp.tags参数，则它们将覆盖platform.gcp.defaultMachinePlatform.tags参数。

8 可选：应用于启动控制平面和计算机器的自定义 Red Hat Enterprise Linux CoreOS (RHCOS)。platform.gcp.defaultMachinePlatform.osImage下的project和name参数同时应用于控制平面和计算机器。如果设置了controlPlane.platform.gcp.osImage或compute.platform.gcp.osImage下的project和name参数，则它们将覆盖platform.gcp.defaultMachinePlatform.osImage参数。

9 要安装的集群网络插件。默认值OVNKubernetes是唯一受支持的值。

10 指定现有 VPC 的名称。

11 指定用于部署控制平面机器的现有子网的名称。子网必须属于您指定的 VPC。

12 指定用于部署计算机器的现有子网的名称。子网必须属于您指定的 VPC。

13 对于<local_registry>，请指定您的镜像注册表用于提供内容的注册表域名，以及可选的端口。例如，registry.example.com或registry.example.com:5000。对于<credentials>，请指定您的镜像注册表的 Base64 编码用户名和密码。

是否启用或禁用 FIPS 模式。默认情况下，未启用 FIPS 模式。如果启用了 FIPS 模式，则运行 OpenShift Container Platform 的 Red Hat Enterprise Linux CoreOS (RHCOS) 机器将绕过默认的 Kubernetes 密码套件，并改用随 RHCOS 提供的密码模块。

在 FIPS 模式下运行 Red Hat Enterprise Linux (RHEL) 或 Red Hat Enterprise Linux CoreOS (RHCOS) 时，OpenShift Container Platform 核心组件仅在 x86_64、ppc64le 和 s390x 架构上使用已提交给 NIST 以进行 FIPS 140-2/140-3 验证的 RHEL 密码库。

您可以选择提供用于访问集群中机器的sshKey值。

对于您想要执行安装调试或灾难恢复的生产 OpenShift Container Platform 集群，请指定您的ssh-agent进程使用的 SSH 密钥。

16 提供您用于镜像注册表的证书文件的内容。

17 提供镜像存储库命令输出中的imageContentSources部分。

在 GCP 上创建具有全局访问权限的 Ingress 控制器

您可以创建对 Google Cloud Platform (GCP) 集群具有全局访问权限的 Ingress 控制器。全局访问权限仅适用于使用内部负载均衡器的 Ingress 控制器。

先决条件

您已创建install-config.yaml并完成了对其的任何修改。

步骤

在新 GCP 集群上创建具有全局访问权限的 Ingress 控制器。

更改到包含安装程序的目录并创建一个清单文件
```
$ ./openshift-install create manifests --dir <installation_directory> (1)
```
1 对于<installation_directory>，请指定包含集群install-config.yaml文件的目录名称。
在<installation_directory>/manifests/目录中创建一个名为cluster-ingress-default-ingresscontroller.yaml的文件
```
$ touch <installation_directory>/manifests/cluster-ingress-default-ingresscontroller.yaml (1)
```
1 对于<installation_directory>，请指定包含集群manifests/目录的目录名称。

创建文件后，manifests/目录中将包含多个网络配置文件，如下所示
```
$ ls <installation_directory>/manifests/cluster-ingress-default-ingresscontroller.yaml
```
示例输出
```
cluster-ingress-default-ingresscontroller.yaml
```

在编辑器中打开cluster-ingress-default-ingresscontroller.yaml文件，并输入描述所需操作员配置的自定义资源 (CR)

clientAccess配置示例为Global

  apiVersion: operator.openshift.io/v1
  kind: IngressController
  metadata:
    name: default
    namespace: openshift-ingress-operator
  spec:
    endpointPublishingStrategy:
      loadBalancer:
        providerParameters:
          gcp:
            clientAccess: Global (1)
          type: GCP
        scope: Internal          (2)
      type: LoadBalancerService

1	将`gcp.clientAccess`设置为`Global`。
2	全局访问权限仅适用于使用内部负载均衡器的 Ingress 控制器。

在安装过程中配置集群范围的代理

生产环境可以拒绝直接访问互联网，而是提供 HTTP 或 HTTPS 代理。您可以通过在install-config.yaml文件中配置代理设置来配置新的 OpenShift Container Platform 集群以使用代理。

先决条件

您有一个现有的install-config.yaml文件。

您已查看集群需要访问的站点，并确定其中任何站点是否需要绕过代理。默认情况下，所有集群出站流量都使用代理，包括对托管云提供商 API 的调用。如果需要，您已将站点添加到Proxy对象的spec.noProxy字段以绕过代理。

Proxy对象的status.noProxy字段将填充安装配置中networking.machineNetwork[].cidr、networking.clusterNetwork[].cidr和networking.serviceNetwork[]字段的值。

对于在 Amazon Web Services (AWS)、Google Cloud Platform (GCP)、Microsoft Azure 和 Red Hat OpenStack Platform (RHOSP) 上进行的安装，Proxy对象的status.noProxy字段还将填充实例元数据端点 (169.254.169.254)。

步骤

编辑您的install-config.yaml文件并添加代理设置。例如

apiVersion: v1
baseDomain: my.domain.com
proxy:
  httpProxy: http://<username>:<pswd>@<ip>:<port> (1)
  httpsProxy: https://<username>:<pswd>@<ip>:<port> (2)
  noProxy: example.com (3)
additionalTrustBundle: | (4)
    -----BEGIN CERTIFICATE-----
    <MY_TRUSTED_CA_CERT>
    -----END CERTIFICATE-----
additionalTrustBundlePolicy: <policy_to_add_additionalTrustBundle> (5)

1	用于在集群外部创建 HTTP 连接的代理 URL。URL 方案必须为`http`。
2	用于在集群外部创建 HTTPS 连接的代理 URL。
3	要从代理中排除的目标域名、IP 地址或其他网络 CIDR 的逗号分隔列表。在域名前加上`.`以仅匹配子域。例如，`.y.com`匹配`x.y.com`，但不匹配`y.com`。使用`*`绕过所有目标的代理。
4	如果提供，安装程序会生成一个名为`user-ca-bundle`的配置映射，位于`openshift-config`命名空间中，其中包含代理 HTTPS 连接所需的一个或多个附加 CA 证书。集群网络操作符 (Cluster Network Operator) 随后会创建一个`trusted-ca-bundle`配置映射，将这些内容与 Red Hat Enterprise Linux CoreOS (RHCOS) 信任捆绑包合并，并且此配置映射在`Proxy`对象的`trustedCA`字段中被引用。除非代理的身份证书是由 RHCOS 信任捆绑包中的授权机构签署的，否则`additionalTrustBundle`字段是必需的。
5	可选：确定`Proxy`对象配置以在`trustedCA`字段中引用`user-ca-bundle`配置映射的策略。允许的值为`Proxyonly`和`Always`。使用`Proxyonly`仅在配置了`http/https`代理时才引用`user-ca-bundle`配置映射。使用`Always`始终引用`user-ca-bundle`配置映射。默认值为`Proxyonly`。

安装程序不支持代理readinessEndpoints字段。

如果安装程序超时，请重启然后使用安装程序的wait-for命令完成部署。例如：

$ ./openshift-install wait-for install-complete --log-level debug

保存文件并在安装 OpenShift Container Platform 时引用它。

安装程序创建一个名为cluster的集群范围代理，它使用提供的install-config.yaml文件中的代理设置。如果未提供代理设置，则仍然会创建cluster Proxy对象，但它将具有空spec。

仅支持名为cluster的Proxy对象，不能创建其他代理。

安装 OpenShift CLI

您可以安装 OpenShift CLI (oc) 以通过命令行界面与 OpenShift Container Platform 交互。您可以在 Linux、Windows 或 macOS 上安装oc。

如果您安装了早期版本的oc，则无法使用它来完成 OpenShift Container Platform 4.17 中的所有命令。请下载并安装新版本的oc。

在 Linux 上安装 OpenShift CLI

您可以使用以下步骤在 Linux 上安装 OpenShift CLI (oc) 二进制文件。

步骤

导航到 Red Hat 客户门户上的OpenShift Container Platform 下载页面。
从产品变体下拉列表中选择体系结构。
从版本下拉列表中选择相应的版本。
单击OpenShift v4.17 Linux 客户端条目旁边的立即下载，然后保存文件。
解压存档
```
$ tar xvf <file>
```
将oc二进制文件放置在PATH上的目录中。

要检查您的PATH，请执行以下命令：
```
$ echo $PATH
```

验证

安装 OpenShift CLI 后，可以使用oc命令。
```
$ oc <command>
```

在 Windows 上安装 OpenShift CLI

您可以使用以下步骤在 Windows 上安装 OpenShift CLI (oc) 二进制文件。

步骤

导航到 Red Hat 客户门户上的OpenShift Container Platform 下载页面。
从版本下拉列表中选择相应的版本。
单击OpenShift v4.17 Windows 客户端条目旁边的立即下载，然后保存文件。
使用 ZIP 程序解压缩存档。
将oc二进制文件移动到PATH上的目录中。

要检查您的PATH，请打开命令提示符并执行以下命令：
```
C:\> path
```

验证

安装 OpenShift CLI 后，可以使用oc命令。
```
C:\> oc <command>
```

在 macOS 上安装 OpenShift CLI

您可以使用以下步骤在 macOS 上安装 OpenShift CLI (oc) 二进制文件。

步骤

导航到 Red Hat 客户门户上的OpenShift Container Platform 下载页面。
从版本下拉列表中选择相应的版本。
单击OpenShift v4.17 macOS 客户端条目旁边的立即下载，然后保存文件。

对于 macOS arm64，请选择OpenShift v4.17 macOS arm64 客户端条目。
解压存档。
将oc二进制文件移动到PATH上的目录中。

要检查您的PATH，请打开终端并执行以下命令：
```
$ echo $PATH
```

验证

使用oc命令验证您的安装。
```
$ oc <command>
```

存储在 kube-system 项目中的管理员级密钥的替代方法

默认情况下，管理员密钥存储在kube-system项目中。如果您在install-config.yaml文件中将credentialsMode参数配置为Manual，则必须使用以下替代方法之一：

要手动管理长期云凭据，请按照手动创建长期凭据中的步骤操作。
要实现为各个组件在集群外部管理的短期凭据，请按照配置 GCP 集群以使用短期凭据中的步骤操作。

手动创建长期凭据

在无法访问云身份和访问管理 (IAM) API 或管理员更倾向于不在集群kube-system命名空间中存储管理员级凭据密钥的环境中，可以在安装之前将云凭据操作符 (CCO) 置于手动模式。

步骤

将以下细粒度权限添加到安装程序使用的 GCP 帐户：
必需的 GCP 权限
- compute.machineTypes.list
- compute.regions.list
- compute.zones.list
- dns.changes.create
- dns.changes.get
- dns.managedZones.create
- dns.managedZones.delete
- dns.managedZones.get
- dns.managedZones.list
- dns.networks.bindPrivateDNSZone
- dns.resourceRecordSets.create
- dns.resourceRecordSets.delete
- dns.resourceRecordSets.list
如果您没有在install-config.yaml配置文件中将credentialsMode参数设置为Manual，请按如下所示修改该值：
示例配置文件片段
```
apiVersion: v1
baseDomain: example.com
credentialsMode: Manual
# ...
```
如果您以前没有创建安装清单文件，请运行以下命令：
```
$ openshift-install create manifests --dir <installation_directory>
```
其中<installation_directory>是安装程序创建文件的目录。

通过运行以下命令设置包含发行版映像的$RELEASE_IMAGE变量：

$ RELEASE_IMAGE=$(./openshift-install version | awk '/release image/ {print $3}')

通过运行以下命令从 OpenShift Container Platform 发行版映像中提取CredentialsRequest自定义资源 (CR) 列表：

$ oc adm release extract \
  --from=$RELEASE_IMAGE \
  --credentials-requests \
  --included \(1)
  --install-config=<path_to_directory_with_installation_configuration>/install-config.yaml \(2)
  --to=<path_to_directory_for_credentials_requests> (3)

1	`--included`参数仅包含特定集群配置所需的清单。
2	指定`install-config.yaml`文件的路径。
3	指定要存储`CredentialsRequest`对象的目录的路径。如果指定的目录不存在，此命令会创建它。

此命令为每个CredentialsRequest对象创建一个 YAML 文件。

示例CredentialsRequest对象

apiVersion: cloudcredential.openshift.io/v1
kind: CredentialsRequest
metadata:
  name: <component_credentials_request>
  namespace: openshift-cloud-credential-operator
  ...
spec:
  providerSpec:
    apiVersion: cloudcredential.openshift.io/v1
    kind: GCPProviderSpec
    predefinedRoles:
    - roles/storage.admin
    - roles/iam.serviceAccountUser
    skipServiceCheck: true
  ...

在您之前生成的openshift-install清单目录中为密钥创建 YAML 文件。必须使用每个CredentialsRequest对象中spec.secretRef中定义的命名空间和密钥名称来存储密钥。

包含密钥的示例CredentialsRequest对象

apiVersion: cloudcredential.openshift.io/v1
kind: CredentialsRequest
metadata:
  name: <component_credentials_request>
  namespace: openshift-cloud-credential-operator
  ...
spec:
  providerSpec:
    apiVersion: cloudcredential.openshift.io/v1
      ...
  secretRef:
    name: <component_secret>
    namespace: <component_namespace>
  ...

示例Secret对象

apiVersion: v1
kind: Secret
metadata:
  name: <component_secret>
  namespace: <component_namespace>
data:
  service_account.json: <base64_encoded_gcp_service_account_file>

在升级使用手动维护的凭据的集群之前，必须确保 CCO 处于可升级状态。

配置 GCP 集群以使用短期凭据

要安装配置为使用 GCP 工作负载身份的集群，必须配置 CCO 实用程序并为您的集群创建必需的 GCP 资源。

配置云凭据操作符实用程序

当云凭据操作符 (CCO) 运行在手动模式下时，要从集群外部创建和管理云凭据，请提取并准备 CCO 实用程序 (ccoctl) 二进制文件。

ccoctl 实用程序是一个 Linux 二进制文件，必须在 Linux 环境中运行。

先决条件

您可以访问具有集群管理员访问权限的 OpenShift Container Platform 帐户。
您已安装 OpenShift CLI (oc)。

您已将以下身份验证选项之一添加到安装程序使用的 GCP 帐户中
- **IAM 工作负载身份池管理员** 角色。
- 以下细粒度权限：
  必需的 GCP 权限
  compute.projects.get
  
  iam.googleapis.com/workloadIdentityPoolProviders.create
  
  iam.googleapis.com/workloadIdentityPoolProviders.get
  
  iam.googleapis.com/workloadIdentityPools.create
  
  iam.googleapis.com/workloadIdentityPools.delete
  
  iam.googleapis.com/workloadIdentityPools.get
  
  iam.googleapis.com/workloadIdentityPools.undelete
  
  iam.roles.create
  
  iam.roles.delete
  
  iam.roles.list
  
  iam.roles.undelete
  
  iam.roles.update
  
  iam.serviceAccounts.create
  
  iam.serviceAccounts.delete
  
  iam.serviceAccounts.getIamPolicy
  
  iam.serviceAccounts.list
  
  iam.serviceAccounts.setIamPolicy
  
  iam.workloadIdentityPoolProviders.get
  
  iam.workloadIdentityPools.delete
  
  resourcemanager.projects.get
  
  resourcemanager.projects.getIamPolicy
  
  resourcemanager.projects.setIamPolicy
  
  storage.buckets.create
  
  storage.buckets.delete
  
  storage.buckets.get
  
  storage.buckets.getIamPolicy
  
  storage.buckets.setIamPolicy
  
  storage.objects.create
  
  storage.objects.delete
  
  storage.objects.list

步骤

通过运行以下命令设置 OpenShift Container Platform 发行版镜像的变量：
```
$ RELEASE_IMAGE=$(./openshift-install version | awk '/release image/ {print $3}')
```
通过运行以下命令从 OpenShift Container Platform 发行版镜像中获取 CCO 容器镜像：
```
$ CCO_IMAGE=$(oc adm release info --image-for='cloud-credential-operator' $RELEASE_IMAGE -a ~/.pull-secret)
```
确保$RELEASE_IMAGE 的架构与您将使用 ccoctl 工具的环境架构匹配。

通过运行以下命令从 OpenShift Container Platform 发行版镜像中的 CCO 容器镜像中提取 ccoctl 二进制文件：

$ oc image extract $CCO_IMAGE \
  --file="/usr/bin/ccoctl.<rhel_version>" \(1)
  -a ~/.pull-secret

1	对于 `<rhel_version>`，请指定与主机使用的 Red Hat Enterprise Linux (RHEL) 版本相对应的值。如果未指定值，则默认使用 `ccoctl.rhel8`。有效值为： `rhel8`：对于使用 RHEL 8 的主机，请指定此值。 `rhel9`：对于使用 RHEL 9 的主机，请指定此值。

更改权限以使 ccoctl 可执行，运行以下命令：
```
$ chmod 775 ccoctl.<rhel_version>
```

验证

要验证 ccoctl 是否已准备好使用，请显示帮助文件。运行命令时请使用相对文件名，例如：

$ ./ccoctl.rhel9

示例输出

OpenShift credentials provisioning tool

Usage:
  ccoctl [command]

Available Commands:
  aws          Manage credentials objects for AWS cloud
  azure        Manage credentials objects for Azure
  gcp          Manage credentials objects for Google cloud
  help         Help about any command
  ibmcloud     Manage credentials objects for {ibm-cloud-title}
  nutanix      Manage credentials objects for Nutanix

Flags:
  -h, --help   help for ccoctl

Use "ccoctl [command] --help" for more information about a command.

使用云凭据操作符实用程序创建 GCP 资源

您可以使用 ccoctl gcp create-all 命令自动创建 GCP 资源。

默认情况下，ccoctl 在运行命令的目录中创建对象。要在不同的目录中创建对象，请使用 --output-dir 标志。本步骤使用 <path_to_ccoctl_output_dir> 指代此目录。

先决条件

您必须：

提取并准备了 ccoctl 二进制文件。

步骤

通过运行以下命令设置包含发行版映像的$RELEASE_IMAGE变量：

$ RELEASE_IMAGE=$(./openshift-install version | awk '/release image/ {print $3}')

通过运行以下命令从 OpenShift Container Platform 发行版镜像中提取 CredentialsRequest 对象列表：

$ oc adm release extract \
  --from=$RELEASE_IMAGE \
  --credentials-requests \
  --included \(1)
  --install-config=<path_to_directory_with_installation_configuration>/install-config.yaml \(2)
  --to=<path_to_directory_for_credentials_requests> (3)

1	`--included`参数仅包含特定集群配置所需的清单。
2	指定`install-config.yaml`文件的路径。
3	指定要存储`CredentialsRequest`对象的目录的路径。如果指定的目录不存在，此命令会创建它。

此命令可能需要几分钟才能运行。

使用 ccoctl 工具处理所有 CredentialsRequest 对象，运行以下命令：

$ ccoctl gcp create-all \
  --name=<name> \(1)
  --region=<gcp_region> \(2)
  --project=<gcp_project_id> \(3)
  --credentials-requests-dir=<path_to_credentials_requests_directory> (4)

1	指定所有创建的 GCP 资源的用户定义名称，用于跟踪。
2	指定将创建云资源的 GCP 区域。
3	指定将创建云资源的 GCP 项目 ID。
4	指定包含用于创建 GCP 服务帐户的 `CredentialsRequest` 清单文件的目录。

如果您的集群使用由 TechPreviewNoUpgrade 功能集启用的技术预览功能，则必须包含 --enable-tech-preview 参数。

验证

要验证 OpenShift Container Platform 密钥是否已创建，请列出 <path_to_ccoctl_output_dir>/manifests 目录中的文件。

$ ls <path_to_ccoctl_output_dir>/manifests

示例输出

cluster-authentication-02-config.yaml
openshift-cloud-controller-manager-gcp-ccm-cloud-credentials-credentials.yaml
openshift-cloud-credential-operator-cloud-credential-operator-gcp-ro-creds-credentials.yaml
openshift-cloud-network-config-controller-cloud-credentials-credentials.yaml
openshift-cluster-api-capg-manager-bootstrap-credentials-credentials.yaml
openshift-cluster-csi-drivers-gcp-pd-cloud-credentials-credentials.yaml
openshift-image-registry-installer-cloud-credentials-credentials.yaml
openshift-ingress-operator-cloud-credentials-credentials.yaml
openshift-machine-api-gcp-cloud-credentials-credentials.yaml

您可以通过查询 GCP 来验证 IAM 服务帐户是否已创建。有关更多信息，请参阅 GCP 关于列出 IAM 服务帐户的文档。

合并云凭据操作符实用程序清单

要实现为各个组件管理的集群外部的短期安全凭据，您必须将云凭据操作符实用程序 (ccoctl) 创建的清单文件移动到安装程序的正确目录。

先决条件

您已配置了托管集群的云平台帐户。
您已配置云凭据操作符实用程序 (ccoctl)。
您已使用 ccoctl 实用程序创建了集群所需的云提供商资源。

步骤

将以下细粒度权限添加到安装程序使用的 GCP 帐户：
必需的 GCP 权限
- compute.machineTypes.list
- compute.regions.list
- compute.zones.list
- dns.changes.create
- dns.changes.get
- dns.managedZones.create
- dns.managedZones.delete
- dns.managedZones.get
- dns.managedZones.list
- dns.networks.bindPrivateDNSZone
- dns.resourceRecordSets.create
- dns.resourceRecordSets.delete
- dns.resourceRecordSets.list
如果您没有在install-config.yaml配置文件中将credentialsMode参数设置为Manual，请按如下所示修改该值：
示例配置文件片段
```
apiVersion: v1
baseDomain: example.com
credentialsMode: Manual
# ...
```
如果您以前没有创建安装清单文件，请运行以下命令：
```
$ openshift-install create manifests --dir <installation_directory>
```
其中<installation_directory>是安装程序创建文件的目录。
将 ccoctl 实用程序生成的清单复制到安装程序创建的 manifests 目录中，运行以下命令：
```
$ cp /<path_to_ccoctl_output_dir>/manifests/* ./manifests/
```
将包含私钥的 tls 目录复制到安装目录。
```
$ cp -a /<path_to_ccoctl_output_dir>/tls .
```

部署集群

您可以在兼容的云平台上安装 OpenShift Container Platform。

您只能在初始安装期间运行安装程序的 create cluster 命令一次。

先决条件

您已配置了托管集群的云平台帐户。
您拥有 OpenShift Container Platform 安装程序和集群的拉取密钥。
您已验证主机上的云提供商帐户是否具有部署集群的正确权限。权限不正确的帐户会导致安装过程失败，并显示一条错误消息，其中显示缺少的权限。

步骤

删除任何不使用您为集群配置的 GCP 帐户的服务帐户密钥，并存储在以下位置的现有 GCP 凭据：
- GOOGLE_CREDENTIALS、GOOGLE_CLOUD_KEYFILE_JSON 或 GCLOUD_KEYFILE_JSON 环境变量
- ~/.gcp/osServiceAccount.json 文件
- gcloud cli 默认凭据
更改到包含安装程序的目录并初始化集群部署：
```
$ ./openshift-install create cluster --dir <installation_directory> \ (1)
    --log-level=info (2)
```
1 对于 <installation_directory>，请指定自定义 ./install-config.yaml 文件的位置。

2 要查看不同的安装详细信息，请指定 warn、debug 或 error 代替 info。
可选：您可以减少用于安装集群的服务帐户的权限数量。
- 如果您为服务帐户分配了 Owner 角色，则可以删除该角色并将其替换为 Viewer 角色。
- 如果您包含了 Service Account Key Admin 角色，则可以将其删除。

验证

当集群部署成功完成时：

终端将显示访问集群的方向，包括指向 Web 控制台的链接和 kubeadmin 用户的凭据。
凭据信息也会输出到 <installation_directory>/.openshift_install.log。

请勿删除安装程序或安装程序创建的文件。两者都是删除集群所必需的。

示例输出

...
INFO Install complete!
INFO To access the cluster as the system:admin user when using 'oc', run 'export KUBECONFIG=/home/myuser/install_dir/auth/kubeconfig'
INFO Access the OpenShift web-console here: https://console-openshift-console.apps.mycluster.example.com
INFO Login to the console with user: "kubeadmin", and password: "password"
INFO Time elapsed: 36m22s

安装程序生成的 Ignition 配置文件包含在 24 小时后过期的证书，届时会自动续期。如果集群在证书续期前关闭，并在 24 小时后重新启动，集群会自动恢复已过期的证书。例外情况是，您必须手动批准挂起的 node-bootstrapper 证书签名请求 (CSR) 以恢复 kubelet 证书。有关更多信息，请参阅有关从过期的控制平面证书中恢复的文档。
建议您在生成 Ignition 配置文件后 12 小时内使用，因为在集群安装后 16 到 22 小时，24 小时的证书会轮换。在 12 小时内使用 Ignition 配置文件，可以避免在安装期间证书更新运行时导致安装失败。

使用 CLI 登录集群

您可以通过导出集群 kubeconfig 文件以默认系统用户的身份登录到您的集群。kubeconfig 文件包含集群信息，CLI 使用这些信息将客户端连接到正确的集群和 API 服务器。该文件特定于一个集群，并在 OpenShift Container Platform 安装期间创建。

先决条件

您已部署 OpenShift Container Platform 集群。
您已安装 oc CLI。

步骤

导出 kubeadmin 凭据
```
$ export KUBECONFIG=<installation_directory>/auth/kubeconfig (1)
```
1 对于 <installation_directory>，请指定您存储安装文件的目录的路径。
验证您可以使用导出的配置成功运行 oc 命令
```
$ oc whoami
```
示例输出
```
system:admin
```

禁用默认的 OperatorHub 目录源

在 OpenShift Container Platform 安装期间，默认情况下会为 OperatorHub 配置从 Red Hat 和社区项目提供的 Operator 目录源内容。在受限网络环境中，您必须以集群管理员身份禁用默认目录。

步骤

通过将 disableAllDefaultSources: true 添加到 OperatorHub 对象来禁用默认目录的源。

$ oc patch OperatorHub cluster --type json \
    -p '[{"op": "add", "path": "/spec/disableAllDefaultSources", "value": true}]'

或者，您可以使用 Web 控制台来管理目录源。在**管理** → **集群设置** → **配置** → **OperatorHub** 页面上，单击**源**选项卡，您可以在其中创建、更新、删除、禁用和启用各个源。

OpenShift Container Platform 的遥测访问

在 OpenShift Container Platform 4.17 中，默认情况下运行的遥测服务（用于提供有关集群运行状况和更新成功情况的指标）需要互联网访问。如果您的集群连接到互联网，则遥测会自动运行，并且您的集群会注册到 OpenShift 集群管理器。

确认您的 OpenShift 集群管理器库存正确后（由遥测自动维护或使用 OpenShift 集群管理器手动维护），请使用订阅监控在帐户或多集群级别跟踪您的 OpenShift Container Platform 订阅。

其他资源

有关遥测服务的更多信息，请参阅关于远程运行状况监控

后续步骤

验证安装.
自定义您的集群.
为集群示例 Operator 和 must-gather 工具配置镜像流。
了解如何在断开连接的环境中使用 Operator Lifecycle Manager。
如果您用于安装集群的镜像注册表具有受信任的 CA，请通过配置附加信任存储将其添加到集群。
如有必要，您可以选择退出远程运行状况报告。
如有必要，请参阅注册您的断开连接的集群

1	对于 `<installation_directory>`，请指定自定义 `./install-config.yaml` 文件的位置。
2	要查看不同的安装详细信息，请指定 `warn`、`debug` 或 `error` 代替 `info`。