在现有 VPC 中的 GCP 上安装集群

在 OpenShift Container Platform 4.17 版本中，您可以将集群安装到 Google Cloud Platform (GCP) 上现有的虚拟专用云 (VPC) 中。安装程序会预配其余所需的基础设施，您可以进一步自定义它。要自定义安装，请在安装集群之前修改install-config.yaml 文件中的参数。

先决条件

您已查看有关OpenShift Container Platform 安装和更新流程的详细信息。
您已阅读有关选择集群安装方法并为用户准备集群的文档。
您已配置了 GCP 项目来托管集群。
如果您使用防火墙，则已配置它以允许集群需要访问的站点。

关于使用自定义 VPC

在 OpenShift Container Platform 4.17 中，您可以将集群部署到 Google Cloud Platform (GCP) 中现有虚拟私有云 (VPC) 的现有子网中。通过将 OpenShift Container Platform 部署到现有的 GCP VPC，您或许能够避免新帐户中的限制约束，或者更轻松地遵守公司指南设定的操作约束。如果您无法获得创建 VPC 所需的基础设施创建权限，请使用此安装选项。您必须配置子网的网络。

使用您的 VPC 的要求

VPC CIDR 块和机器网络 CIDR 的并集必须是非空的。子网必须位于机器网络内。

安装程序不会创建以下组件

NAT 网关
子网
路由表
VPC 网络

安装程序要求您使用云提供的 DNS 服务器。不支持使用自定义 DNS 服务器，这会导致安装失败。

VPC 验证

为了确保您提供的子网合适，安装程序会确认以下数据：

您指定的所有子网都存在。
您为控制平面机器提供一个子网，为计算机器提供一个子网。
子网的 CIDR 属于您指定的机器 CIDR。

权限划分

某些个人可以在您的云中创建与其他人不同的资源。例如，您可能能够创建特定于应用程序的项目，例如实例、存储桶和负载均衡器，但不能创建与网络相关的组件，例如 VPC、子网或入口规则。

集群之间的隔离

如果您将 OpenShift Container Platform 部署到现有网络，则集群服务的隔离会以下列方式降低：

您可以在同一个 VPC 中安装多个 OpenShift Container Platform 集群。
允许 ICMP 入口访问整个网络。
允许 TCP 22 入口访问（SSH）整个网络。
允许控制平面 TCP 6443 入口访问（Kubernetes API）整个网络。
允许控制平面 TCP 22623 入口访问（MCS）整个网络。

OpenShift Container Platform 的互联网访问

在 OpenShift Container Platform 4.17 中，您需要访问互联网才能安装集群。

您必须具有互联网访问权限才能：

访问 OpenShift 集群管理器下载安装程序并执行订阅管理。如果集群具有互联网访问权限并且您没有禁用遥测，该服务会自动授权您的集群。
访问 Quay.io 获取安装集群所需的软件包。
获取执行集群更新所需的软件包。

如果您的集群无法直接访问互联网，您可以在您配置的某些类型基础设施上执行受限网络安装。在此过程中，您将下载所需内容并使用它来填充包含安装包的镜像注册表。对于某些安装类型，您安装集群的环境将不需要互联网访问。在更新集群之前，请更新镜像注册表的内容。

生成集群节点 SSH 访问的密钥对

在 OpenShift Container Platform 安装期间，您可以向安装程序提供 SSH 公钥。该密钥通过其 Ignition 配置文件传递给 Red Hat Enterprise Linux CoreOS (RHCOS) 节点，并用于验证对节点的 SSH 访问权限。该密钥将添加到每个节点上 `core` 用户的 `~/.ssh/authorized_keys` 列表中，从而启用无需密码的身份验证。

密钥传递到节点后，您可以使用密钥对以 `core` 用户身份通过 SSH 登录到 RHCOS 节点。要通过 SSH 访问节点，SSH 必须管理私钥标识才能用于您的本地用户。

如果您想通过 SSH 登录到集群节点以执行安装调试或灾难恢复，则必须在安装过程中提供 SSH 公钥。`./openshift-install gather` 命令也需要 SSH 公钥存在于集群节点上。

在需要灾难恢复和调试的生产环境中，请勿跳过此过程。

您必须使用本地密钥，而不是使用平台特定方法（例如 AWS 密钥对）配置的密钥。

步骤

如果您在本地计算机上没有现有的 SSH 密钥对可用于对集群节点进行身份验证，请创建一个。例如，在使用 Linux 操作系统的计算机上，运行以下命令：

$ ssh-keygen -t ed25519 -N '' -f <path>/<file_name> (1)

1	指定新 SSH 密钥的路径和文件名，例如 `~/.ssh/id_ed25519`。如果您有现有的密钥对，请确保您的公钥位于您的 `~/.ssh` 目录中。

如果您计划安装使用已提交给 NIST 以进行 FIPS 140-2/140-3 验证的 RHEL 加密库的 OpenShift Container Platform 集群（仅限于 `x86_64`、`ppc64le` 和 `s390x` 架构），请不要创建使用 `ed25519` 算法的密钥。而是创建一个使用 `rsa` 或 `ecdsa` 算法的密钥。

查看 SSH 公钥
```
$ cat <path>/<file_name>.pub
```
例如，运行以下命令以查看 `~/.ssh/id_ed25519.pub` 公钥：
```
$ cat ~/.ssh/id_ed25519.pub
```
如果尚未添加 SSH 私钥标识，请将其添加到本地用户的 SSH 代理。SSH 代理对密钥的管理对于对集群节点进行无需密码的 SSH 身份验证是必需的，或者如果您想使用 `./openshift-install gather` 命令。

在某些发行版中，默认的 SSH 私钥标识（例如 `~/.ssh/id_rsa` 和 `~/.ssh/id_dsa`）会自动管理。
1. 如果本地用户的 `ssh-agent` 进程尚未运行，请将其作为后台任务启动：
  $ eval "$(ssh-agent -s)"
  示例输出
  Agent pid 31874
  如果您的集群处于 FIPS 模式，则仅使用符合 FIPS 的算法生成 SSH 密钥。密钥必须是 RSA 或 ECDSA。
将您的 SSH 私钥添加到 `ssh-agent`
```
$ ssh-add <path>/<file_name> (1)
```
1 指定 SSH 私钥的路径和文件名，例如 `~/.ssh/id_ed25519`
示例输出
```
Identity added: /home/<you>/<path>/<file_name> (<computer_name>)
```

后续步骤

安装 OpenShift Container Platform 时，请向安装程序提供 SSH 公钥。

获取安装程序

在安装 OpenShift Container Platform 之前，请在您用于安装的主机上下载安装文件。

先决条件

您需要一台运行 Linux 或 macOS 的计算机，并具有 500 MB 的本地磁盘空间。

步骤

转到 Red Hat Hybrid Cloud Console 上的集群类型页面。如果您有 Red Hat 帐户，请使用您的凭据登录。如果没有，请创建一个帐户。
从页面的“自行运行”部分选择您的基础设施提供商。
从“OpenShift 安装程序”下的下拉菜单中选择您的主机操作系统和架构，然后单击“下载安装程序”。

将下载的文件放在您想要存储安装配置文件的目录中。

安装程序会在您用于安装集群的计算机上创建多个文件。安装集群完成后，您必须保留安装程序和安装程序创建的文件。这两个文件都是删除集群所必需的。
即使集群在安装过程中失败，删除安装程序创建的文件也不会删除您的集群。要删除您的集群，请完成针对您的特定云提供商的 OpenShift Container Platform 卸载过程。

解压安装程序。例如，在使用 Linux 操作系统的计算机上，运行以下命令
```
$ tar -xvf openshift-install-linux.tar.gz
```
从 Red Hat OpenShift 集群管理器下载您的安装pull 密钥。此 pull 密钥允许您对包含的授权机构（包括 Quay.io，它提供 OpenShift Container Platform 组件的容器镜像）提供的服务进行身份验证。

或者，您可以从Red Hat 客户门户检索安装程序，您可以在其中指定要下载的安装程序版本。但是，您必须拥有有效的订阅才能访问此页面。

创建安装配置文件

您可以自定义在 Google Cloud Platform (GCP) 上安装的 OpenShift Container Platform 集群。

先决条件

您拥有 OpenShift Container Platform 安装程序和集群的 pull 密钥。

步骤

创建install-config.yaml文件。
1. 切换到包含安装程序的目录并运行以下命令
  $ ./openshift-install create install-config --dir <installation_directory> (1)
  1 对于<installation_directory>，指定用于存储安装程序创建文件的目录名。
  
  指定目录时
  - 验证该目录是否具有execute权限。此权限是运行安装目录下 Terraform 二进制文件的必要条件。
  - 使用空目录。某些安装资源（例如引导 X.509 证书）的有效期较短，因此您不能重用安装目录。如果您想重用来自另一个集群安装的单个文件，您可以将它们复制到您的目录中。但是，安装资源的文件名在不同版本之间可能会发生变化。从早期 OpenShift Container Platform 版本复制安装文件时，请谨慎操作。
2. 在提示符处，提供您云的配置详细信息。
  1. 可选：选择一个 SSH 密钥来访问您的集群机器。
    
    对于您想要执行安装调试或灾难恢复的生产 OpenShift Container Platform 集群，请指定您的ssh-agent进程使用的 SSH 密钥。
  2. 选择gcp作为目标平台。
  3. 如果您尚未在计算机上为您的 GCP 帐户配置服务帐户密钥，则必须从 GCP 获取它并粘贴文件的全部内容或输入文件的绝对路径。
  4. 选择要在其中配置集群的项目 ID。默认值由您配置的服务帐户指定。
  5. 选择要将集群部署到的区域。
  6. 选择要将集群部署到的基础域名。基础域名对应于您为集群创建的公共 DNS 区域。
  7. 输入集群的描述性名称。
修改install-config.yaml文件。您可以在“安装配置参数”部分找到有关可用参数的更多信息。
备份install-config.yaml文件，以便您可以使用它来安装多个集群。

install-config.yaml文件在安装过程中会被使用。如果您想重用此文件，则现在必须对其进行备份。

其他资源

GCP 的安装配置参数

集群安装的最低资源要求

每台集群机器必须满足以下最低要求

表 1. 最低资源要求
机器	操作系统	vCPU ^[1]	虚拟内存	存储	每秒输入/输出 (IOPS)^[2]
引导程序	RHCOS	4	16 GB	100 GB	300
控制平面	RHCOS	4	16 GB	100 GB	300
计算	RHCOS、RHEL 8.6 及更高版本^[3]	2	8 GB	100 GB	300

当未启用同时多线程 (SMT) 或超线程时，一个 vCPU 等于一个物理核心。启用时，使用以下公式计算相应的比率：（每个核心的线程数 × 核心数）× 插槽数 = vCPU 数。
OpenShift Container Platform 和 Kubernetes 对磁盘性能很敏感，建议使用更快的存储，特别是对于控制平面节点上的 etcd，它需要 10 毫秒 p99 fsync 持续时间。请注意，在许多云平台上，存储大小和 IOPS 是一起扩展的，因此您可能需要过度分配存储卷以获得足够的性能。
与所有用户提供的安装一样，如果您选择在集群中使用 RHEL 计算机器，则您将负责所有操作系统生命周期管理和维护，包括执行系统更新、应用补丁和完成所有其他必需的任务。RHEL 7 计算机的使用已被弃用，并且已在 OpenShift Container Platform 4.10 及更高版本中删除。

从 OpenShift Container Platform 4.13 版本开始，RHCOS 基于 RHEL 9.2 版本，这更新了微架构要求。以下列表包含每个架构所需的最低指令集架构 (ISA)：

x86-64 架构需要 x86-64-v2 ISA
ARM64 架构需要 ARMv8.0-A ISA
IBM Power 架构需要 Power 9 ISA
s390x 架构需要 z14 ISA

更多信息，请参见RHEL 架构。

如果您的平台的实例类型满足集群机器的最低要求，则支持在 OpenShift Container Platform 中使用它。

其他资源

优化存储

GCP 的已测试实例类型

以下 Google Cloud Platform 实例类型已通过 OpenShift Container Platform 测试。

机器系列

A2
A3
C2
C2D
C3
C3D
E2
M1
N1
N2
N2D
N4
Tau T2D

64 位 ARM 基础架构上 GCP 的已测试实例类型

以下 Google Cloud Platform (GCP) 64 位 ARM 实例类型已通过 OpenShift Container Platform 测试。

64 位 ARM 机器系列

Tau T2A

使用自定义机器类型

支持使用自定义机器类型安装 OpenShift Container Platform 集群。

使用自定义机器类型时，请考虑以下事项：

与预定义的实例类型类似，自定义机器类型必须满足控制平面和计算机器的最低资源要求。更多信息，请参见“集群安装的最低资源要求”。
自定义机器类型的名称必须符合以下语法：

custom-<number_of_cpus>-<amount_of_memory_in_mb>

例如，custom-6-20480。

作为安装过程的一部分，您可以在install-config.yaml文件中指定自定义机器类型。

包含自定义机器类型的install-config.yaml文件示例

compute:
- architecture: amd64
  hyperthreading: Enabled
  name: worker
  platform:
    gcp:
      type: custom-6-20480
  replicas: 2
controlPlane:
  architecture: amd64
  hyperthreading: Enabled
  name: master
  platform:
    gcp:
      type: custom-6-20480
  replicas: 3

启用 Shielded VM

安装集群时，您可以使用屏蔽虚拟机 (Shielded VMs)。屏蔽虚拟机具有额外的安全功能，包括安全启动、固件和完整性监控以及 rootkit 检测。更多信息，请参阅 Google 关于屏蔽虚拟机的文档。

目前，64 位 ARM 架构的集群不支持屏蔽虚拟机。

先决条件

您已创建 install-config.yaml 文件。

步骤

在部署集群之前，请使用文本编辑器编辑 install-config.yaml 文件，并添加以下片段之一：

仅对控制平面机器使用屏蔽虚拟机

controlPlane:
  platform:
    gcp:
       secureBoot: Enabled

仅对计算机器使用屏蔽虚拟机

compute:
- platform:
    gcp:
       secureBoot: Enabled

对所有机器使用屏蔽虚拟机

platform:
  gcp:
    defaultMachinePlatform:
       secureBoot: Enabled

启用机密虚拟机 (Confidential VMs)

安装集群时，您可以使用机密虚拟机。机密虚拟机会在数据处理过程中对其进行加密。更多信息，请参阅 Google 关于机密计算的文档。您可以同时启用机密虚拟机和屏蔽虚拟机，尽管它们彼此之间并不依赖。

目前，64 位 ARM 架构不支持机密虚拟机。

先决条件

您已创建 install-config.yaml 文件。

步骤

在部署集群之前，请使用文本编辑器编辑 install-config.yaml 文件，并添加以下片段之一：

仅对控制平面机器使用机密虚拟机

controlPlane:
  platform:
    gcp:
       confidentialCompute: Enabled (1)
       type: n2d-standard-8 (2)
       onHostMaintenance: Terminate (3)

1	启用机密虚拟机。
2	指定支持机密虚拟机的机器类型。机密虚拟机需要 N2D 或 C2D 系列的机器类型。有关支持的机器类型的更多信息，请参阅支持的操作系统和机器类型。
3	指定虚拟机在主机维护事件（例如硬件或软件更新）期间的行为。对于使用机密虚拟机的机器，此值必须设置为`Terminate`，这会停止虚拟机。机密虚拟机不支持实时虚拟机迁移。

仅对计算机器使用机密虚拟机

compute:
- platform:
    gcp:
       confidentialCompute: Enabled
       type: n2d-standard-8
       onHostMaintenance: Terminate

对所有机器使用机密虚拟机

platform:
  gcp:
    defaultMachinePlatform:
       confidentialCompute: Enabled
       type: n2d-standard-8
       onHostMaintenance: Terminate

GCP 的自定义 `install-config.yaml` 文件示例

您可以自定义 install-config.yaml 文件以指定有关 OpenShift Container Platform 集群平台的更多详细信息，或修改所需参数的值。

此 YAML 文件示例仅供参考。您必须使用安装程序获取您的 install-config.yaml 文件并对其进行修改。

apiVersion: v1
baseDomain: example.com (1)
credentialsMode: Mint (2)
controlPlane:  (3) (4)
  hyperthreading: Enabled (5)
  name: master
  platform:
    gcp:
      type: n2-standard-4
      zones:
      - us-central1-a
      - us-central1-c
      osDisk:
        diskType: pd-ssd
        diskSizeGB: 1024
        encryptionKey: (6)
          kmsKey:
            name: worker-key
            keyRing: test-machine-keys
            location: global
            projectID: project-id
      tags: (7)
      - control-plane-tag1
      - control-plane-tag2
      osImage: (8)
        project: example-project-name
        name: example-image-name
  replicas: 3
compute:  (3) (4)
- hyperthreading: Enabled (5)
  name: worker
  platform:
    gcp:
      type: n2-standard-4
      zones:
      - us-central1-a
      - us-central1-c
      osDisk:
        diskType: pd-standard
        diskSizeGB: 128
        encryptionKey: (6)
          kmsKey:
            name: worker-key
            keyRing: test-machine-keys
            location: global
            projectID: project-id
        tags: (7)
        - compute-tag1
        - compute-tag2
        osImage: (8)
          project: example-project-name
          name: example-image-name
  replicas: 3
metadata:
  name: test-cluster (1)
networking:
  clusterNetwork:
  - cidr: 10.128.0.0/14
    hostPrefix: 23
  machineNetwork:
  - cidr: 10.0.0.0/16
  networkType: OVNKubernetes (9)
  serviceNetwork:
  - 172.30.0.0/16
platform:
  gcp:
    projectID: openshift-production (1)
    region: us-central1 (1)
    defaultMachinePlatform:
      tags: (7)
      - global-tag1
      - global-tag2
      osImage: (8)
        project: example-project-name
        name: example-image-name
    network: existing_vpc (10)
    controlPlaneSubnet: control_plane_subnet (11)
    computeSubnet: compute_subnet (12)
pullSecret: '{"auths": ...}' (1)
fips: false (13)
sshKey: ssh-ed25519 AAAA... (14)

1 必填。安装程序会提示您输入此值。

2 可选：添加此参数以强制云凭据操作员 (CCO) 使用指定的模式。默认情况下，CCO 使用kube-system命名空间中的 root 凭据来动态尝试确定凭据的功能。有关 CCO 模式的详细信息，请参阅身份验证和授权指南中的“关于云凭据操作员”部分。

3 如果您不提供这些参数和值，安装程序将提供默认值。

4 controlPlane 部分是一个单一映射，但 compute 部分是一系列映射。为了满足不同数据结构的要求，compute 部分的第一行必须以连字符-开头，而controlPlane 部分的第一行则不能。只使用一个控制平面池。

是否启用或禁用多线程处理，或超线程。默认情况下，启用多线程处理以提高机器内核的性能。您可以将其设置为Disabled 来禁用它。如果您在某些集群机器中禁用了多线程处理，则必须在所有集群机器中禁用它。

如果您禁用多线程处理，请确保您的容量规划考虑到了机器性能的大幅下降。如果您禁用多线程处理，请为您的机器使用更大的机器类型，例如n1-standard-8。

6 可选：用于加密虚拟机和持久卷的自定义加密密钥部分。您的默认计算服务帐户必须具有使用您的 KMS 密钥的权限，并分配正确的 IAM 角色。默认服务帐户名称遵循service-<project_number>@compute-system.iam.gserviceaccount.com模式。有关为您的服务帐户授予正确权限的更多信息，请参阅“机器管理”→“创建计算机器集”→“在 GCP 上创建计算机器集”。

7 可选：一组要应用于控制平面或计算机器集的网络标签。platform.gcp.defaultMachinePlatform.tags参数将应用于控制平面和计算机器。如果设置了compute.platform.gcp.tags或controlPlane.platform.gcp.tags参数，则它们会覆盖platform.gcp.defaultMachinePlatform.tags参数。

8 可选：应用于引导控制平面和计算机器的自定义 Red Hat Enterprise Linux CoreOS (RHCOS)。platform.gcp.defaultMachinePlatform.osImage下的project和name参数适用于控制平面和计算机器。如果设置了controlPlane.platform.gcp.osImage或compute.platform.gcp.osImage下的project和name参数，则它们会覆盖platform.gcp.defaultMachinePlatform.osImage参数。

9 要安装的集群网络插件。默认值OVNKubernetes是唯一支持的值。

10 指定现有 VPC 的名称。

11 指定用于部署控制平面机器的现有子网的名称。该子网必须属于您指定的 VPC。

12 指定用于部署计算机器的现有子网的名称。该子网必须属于您指定的 VPC。

是否启用或禁用 FIPS 模式。默认情况下，不会启用 FIPS 模式。如果启用了 FIPS 模式，则 OpenShift Container Platform 运行的 Red Hat Enterprise Linux CoreOS (RHCOS) 机器将绕过默认的 Kubernetes 加密套件，而使用 RHCOS 提供的加密模块。

要为您的集群启用 FIPS 模式，您必须从配置为在 FIPS 模式下运行的 Red Hat Enterprise Linux (RHEL) 计算机运行安装程序。有关在 RHEL 上配置 FIPS 模式的更多信息，请参阅在 FIPS 模式下安装系统。

在运行在 FIPS 模式下启动的 Red Hat Enterprise Linux (RHEL) 或 Red Hat Enterprise Linux CoreOS (RHCOS) 时，OpenShift Container Platform 核心组件仅在 x86_64、ppc64le 和 s390x 架构上使用已提交给 NIST 以进行 FIPS 140-2/140-3 验证的 RHEL 加密库。

您可以选择提供用于访问集群中机器的sshKey值。

对于您想要执行安装调试或灾难恢复的生产 OpenShift Container Platform 集群，请指定您的ssh-agent进程使用的 SSH 密钥。

其他资源

为计算机器集启用客户管理的加密密钥

在 GCP 上创建具有全局访问权限的 Ingress 控制器

您可以创建一个对 Google Cloud Platform (GCP) 集群具有全局访问权限的 Ingress Controller。全局访问权限仅适用于使用内部负载均衡器的 Ingress Controller。

先决条件

您已创建 install-config.yaml 文件并完成了对其的任何修改。

步骤

在新的 GCP 集群上创建具有全局访问权限的 Ingress Controller。

切换到包含安装程序的目录并创建一个清单文件。
```
$ ./openshift-install create manifests --dir <installation_directory> (1)
```
1 对于 <installation_directory>，请指定包含集群 install-config.yaml 文件的目录名称。
在 <installation_directory>/manifests/ 目录中创建一个名为 cluster-ingress-default-ingresscontroller.yaml 的文件。
```
$ touch <installation_directory>/manifests/cluster-ingress-default-ingresscontroller.yaml (1)
```
1 对于 <installation_directory>，请指定包含集群 manifests/ 目录的目录名称。

创建文件后，manifests/ 目录中将包含多个网络配置文件，如下所示。
```
$ ls <installation_directory>/manifests/cluster-ingress-default-ingresscontroller.yaml
```
示例输出
```
cluster-ingress-default-ingresscontroller.yaml
```

在编辑器中打开 cluster-ingress-default-ingresscontroller.yaml 文件，并输入描述所需 Operator 配置的自定义资源 (CR)。

将 clientAccess 配置示例设置为 Global。

  apiVersion: operator.openshift.io/v1
  kind: IngressController
  metadata:
    name: default
    namespace: openshift-ingress-operator
  spec:
    endpointPublishingStrategy:
      loadBalancer:
        providerParameters:
          gcp:
            clientAccess: Global (1)
          type: GCP
        scope: Internal          (2)
      type: LoadBalancerService

1	将 `gcp.clientAccess` 设置为 `Global`。
2	全局访问权限仅适用于使用内部负载均衡器的 Ingress Controller。

安装期间配置集群范围代理

生产环境可以拒绝直接访问互联网，而是提供 HTTP 或 HTTPS 代理。您可以通过在 install-config.yaml 文件中配置代理设置来配置新的 OpenShift Container Platform 集群以使用代理。

先决条件

您已有一个现有的 install-config.yaml 文件。

您已查看集群需要访问的站点，并确定其中任何站点是否需要绕过代理。默认情况下，所有集群出站流量都通过代理，包括对托管云提供商 API 的调用。如有必要，您可以将站点添加到 Proxy 对象的 spec.noProxy 字段以绕过代理。

Proxy 对象的 status.noProxy 字段将填充安装配置中的 networking.machineNetwork[].cidr、networking.clusterNetwork[].cidr 和 networking.serviceNetwork[] 字段的值。

对于在 Amazon Web Services (AWS)、Google Cloud Platform (GCP)、Microsoft Azure 和 Red Hat OpenStack Platform (RHOSP) 上进行的安装，Proxy 对象的 status.noProxy 字段还将填充实例元数据端点 (169.254.169.254)。

步骤

编辑您的 install-config.yaml 文件并添加代理设置。例如：

apiVersion: v1
baseDomain: my.domain.com
proxy:
  httpProxy: http://<username>:<pswd>@<ip>:<port> (1)
  httpsProxy: https://<username>:<pswd>@<ip>:<port> (2)
  noProxy: example.com (3)
additionalTrustBundle: | (4)
    -----BEGIN CERTIFICATE-----
    <MY_TRUSTED_CA_CERT>
    -----END CERTIFICATE-----
additionalTrustBundlePolicy: <policy_to_add_additionalTrustBundle> (5)

1	用于创建集群外部 HTTP 连接的代理 URL。URL 方案必须为 `http`。
2	用于创建集群外部 HTTPS 连接的代理 URL。
3	要从代理中排除的目标域名、IP 地址或其他网络 CIDR 的逗号分隔列表。在域名前面加上 `.` 以仅匹配子域名。例如，`.y.com` 匹配 `x.y.com`，但不匹配 `y.com`。使用 `*` 可绕过所有目标的代理。
4	如果提供，安装程序将在 `openshift-config` 命名空间中生成一个名为 `user-ca-bundle` 的配置映射，其中包含一个或多个用于代理 HTTPS 连接的附加 CA 证书。然后，集群网络操作员将创建一个 `trusted-ca-bundle` 配置映射，并将这些内容与 Red Hat Enterprise Linux CoreOS (RHCOS) 信任捆绑包合并，并且此配置映射在 `Proxy` 对象的 `trustedCA` 字段中被引用。除非代理的身份证书由 RHCOS 信任捆绑包中的授权机构签署，否则 `additionalTrustBundle` 字段是必需的。
5	可选：确定 `Proxy` 对象的配置以在 `trustedCA` 字段中引用 `user-ca-bundle` 配置映射的策略。允许的值为 `Proxyonly` 和 `Always`。使用 `Proxyonly` 仅在配置 `http/https` 代理时引用 `user-ca-bundle` 配置映射。使用 `Always` 始终引用 `user-ca-bundle` 配置映射。默认值为 `Proxyonly`。

安装程序不支持代理 readinessEndpoints 字段。

如果安装程序超时，请重新启动，然后使用安装程序的 wait-for 命令完成部署。例如：

$ ./openshift-install wait-for install-complete --log-level debug

保存文件并在安装 OpenShift Container Platform 时引用它。

安装程序将创建一个名为 cluster 的集群范围代理，该代理使用提供的 install-config.yaml 文件中的代理设置。如果未提供代理设置，则仍会创建 cluster Proxy 对象，但它将具有 nil spec。

仅支持名为 cluster 的 Proxy 对象，并且无法创建其他代理。

安装 OpenShift CLI

您可以安装 OpenShift CLI (oc) 以通过命令行界面与 OpenShift Container Platform 交互。您可以在 Linux、Windows 或 macOS 上安装 oc。

如果您安装了早期版本的 oc，则无法使用它来完成 OpenShift Container Platform 4.17 中的所有命令。请下载并安装新版本的 oc。

在 Linux 上安装 OpenShift CLI

您可以使用以下步骤在 Linux 上安装 OpenShift CLI (oc) 二进制文件。

步骤

导航到 Red Hat 客户门户网站上的 OpenShift Container Platform 下载页面。
从“产品变体”下拉列表中选择体系结构。
从“版本”下拉列表中选择相应的版本。
单击 OpenShift v4.17 Linux Clients 条目旁边的 立即下载，然后保存文件。
解压存档。
```
$ tar xvf <file>
```
将 oc 二进制文件放在 PATH 上的目录中。

要检查您的 PATH，请执行以下命令：
```
$ echo $PATH
```

验证

安装 OpenShift CLI 后，可以使用 oc 命令。
```
$ oc <command>
```

在 Windows 上安装 OpenShift CLI

您可以使用以下步骤在 Windows 上安装 OpenShift CLI (oc) 二进制文件。

步骤

导航到 Red Hat 客户门户网站上的 OpenShift Container Platform 下载页面。
从“版本”下拉列表中选择相应的版本。
单击 OpenShift v4.17 Windows Client 条目旁边的 立即下载，然后保存文件。
使用 ZIP 程序解压缩存档。
将 oc 二进制文件移动到 PATH 上的目录中。

要检查您的 PATH，请打开命令提示符并执行以下命令：
```
C:\> path
```

验证

安装 OpenShift CLI 后，可以使用 oc 命令。
```
C:\> oc <command>
```

在 macOS 上安装 OpenShift CLI

您可以使用以下步骤在 macOS 上安装 OpenShift CLI (oc) 二进制文件。

步骤

导航到 Red Hat 客户门户网站上的 OpenShift Container Platform 下载页面。
从“版本”下拉列表中选择相应的版本。
单击 OpenShift v4.17 macOS Clients 条目旁边的 立即下载，然后保存文件。

对于 macOS arm64，请选择 OpenShift v4.17 macOS arm64 Client 条目。
解压存档。
将 oc 二进制文件移动到 PATH 上的目录中。

要检查您的 PATH，请打开终端并执行以下命令：
```
$ echo $PATH
```

验证

使用 oc 命令验证您的安装。
```
$ oc <command>
```

存储在 kube-system 项目中的管理员级密钥的替代方法

默认情况下，管理员密钥存储在kube-system项目中。如果您在install-config.yaml文件中将credentialsMode参数配置为Manual，则必须使用以下替代方法之一。

要手动管理长期云凭据，请按照手动创建长期凭据中的步骤操作。
要实现由集群外部管理的、用于各个组件的短期凭据，请按照配置 GCP 集群以使用短期凭据中的步骤操作。

手动创建长期凭据

在无法访问云身份和访问管理 (IAM) API 或管理员不愿在集群kube-system命名空间中存储管理员级凭据密钥的环境中，可以在安装之前将云凭据操作器 (CCO) 置于手动模式。

步骤

为安装程序使用的 GCP 帐户添加以下细粒度权限：
必需的 GCP 权限
- compute.machineTypes.list
- compute.regions.list
- compute.zones.list
- dns.changes.create
- dns.changes.get
- dns.managedZones.create
- dns.managedZones.delete
- dns.managedZones.get
- dns.managedZones.list
- dns.networks.bindPrivateDNSZone
- dns.resourceRecordSets.create
- dns.resourceRecordSets.delete
- dns.resourceRecordSets.list
如果您未在install-config.yaml配置文件中将credentialsMode参数设置为Manual，请修改其值，如下所示：
示例配置文件片段
```
apiVersion: v1
baseDomain: example.com
credentialsMode: Manual
# ...
```
如果您之前没有创建安装清单文件，请运行以下命令：
```
$ openshift-install create manifests --dir <installation_directory>
```
其中<installation_directory>是安装程序创建文件的目录。
通过运行以下命令，使用安装文件中的发行版镜像设置$RELEASE_IMAGE变量：
```
$ RELEASE_IMAGE=$(./openshift-install version | awk '/release image/ {print $3}')
```

通过运行以下命令，从 OpenShift Container Platform 发行版镜像中提取CredentialsRequest自定义资源 (CR) 列表：

$ oc adm release extract \
  --from=$RELEASE_IMAGE \
  --credentials-requests \
  --included \(1)
  --install-config=<path_to_directory_with_installation_configuration>/install-config.yaml \(2)
  --to=<path_to_directory_for_credentials_requests> (3)

1	`--included`参数仅包含特定集群配置所需的清单。
2	指定`install-config.yaml`文件的路径。
3	指定要存储`CredentialsRequest`对象的目录的路径。如果指定的目录不存在，此命令将创建它。

此命令将为每个CredentialsRequest对象创建一个 YAML 文件。

示例CredentialsRequest对象

apiVersion: cloudcredential.openshift.io/v1
kind: CredentialsRequest
metadata:
  name: <component_credentials_request>
  namespace: openshift-cloud-credential-operator
  ...
spec:
  providerSpec:
    apiVersion: cloudcredential.openshift.io/v1
    kind: GCPProviderSpec
    predefinedRoles:
    - roles/storage.admin
    - roles/iam.serviceAccountUser
    skipServiceCheck: true
  ...

在您之前生成的openshift-install清单目录中为密钥创建 YAML 文件。必须使用每个CredentialsRequest对象的spec.secretRef中定义的命名空间和密钥名称来存储密钥。

包含密钥的示例CredentialsRequest对象

apiVersion: cloudcredential.openshift.io/v1
kind: CredentialsRequest
metadata:
  name: <component_credentials_request>
  namespace: openshift-cloud-credential-operator
  ...
spec:
  providerSpec:
    apiVersion: cloudcredential.openshift.io/v1
      ...
  secretRef:
    name: <component_secret>
    namespace: <component_namespace>
  ...

示例Secret对象

apiVersion: v1
kind: Secret
metadata:
  name: <component_secret>
  namespace: <component_namespace>
data:
  service_account.json: <base64_encoded_gcp_service_account_file>

在升级使用手动维护的凭据的集群之前，必须确保 CCO 处于可升级状态。

配置 GCP 集群以使用短期凭据

要安装配置为使用 GCP Workload Identity 的集群，必须配置 CCO 实用程序并为集群创建所需的 GCP 资源。

配置云凭据操作器实用程序

当云凭据操作器 (CCO) 处于手动模式时，要从集群外部创建和管理云凭据，请提取并准备 CCO 实用程序 (ccoctl) 二进制文件。

ccoctl实用程序是一个 Linux 二进制文件，必须在 Linux 环境中运行。

先决条件

您可以访问具有集群管理员访问权限的 OpenShift Container Platform 帐户。
您已安装 OpenShift CLI (oc)。

您已将以下身份验证选项之一添加到安装程序使用的 GCP 帐户：
- IAM Workload Identity 池管理员角色。
- 以下细粒度权限：
  必需的 GCP 权限
  compute.projects.get
  
  iam.googleapis.com/workloadIdentityPoolProviders.create
  
  iam.googleapis.com/workloadIdentityPoolProviders.get
  
  iam.googleapis.com/workloadIdentityPools.create
  
  iam.googleapis.com/workloadIdentityPools.delete
  
  iam.googleapis.com/workloadIdentityPools.get
  
  iam.googleapis.com/workloadIdentityPools.undelete
  
  iam.roles.create
  
  iam.roles.delete
  
  iam.roles.list
  
  iam.roles.undelete
  
  iam.roles.update
  
  iam.serviceAccounts.create
  
  iam.serviceAccounts.delete
  
  iam.serviceAccounts.getIamPolicy
  
  iam.serviceAccounts.list
  
  iam.serviceAccounts.setIamPolicy
  
  iam.workloadIdentityPoolProviders.get
  
  iam.workloadIdentityPools.delete
  
  resourcemanager.projects.get
  
  resourcemanager.projects.getIamPolicy
  
  resourcemanager.projects.setIamPolicy
  
  storage.buckets.create
  
  storage.buckets.delete
  
  storage.buckets.get
  
  storage.buckets.getIamPolicy
  
  storage.buckets.setIamPolicy
  
  storage.objects.create
  
  storage.objects.delete
  
  storage.objects.list

步骤

通过运行以下命令设置 OpenShift Container Platform 发行版镜像的变量：
```
$ RELEASE_IMAGE=$(./openshift-install version | awk '/release image/ {print $3}')
```
通过运行以下命令从 OpenShift Container Platform 发行版镜像中获取 CCO 容器镜像：
```
$ CCO_IMAGE=$(oc adm release info --image-for='cloud-credential-operator' $RELEASE_IMAGE -a ~/.pull-secret)
```
确保$RELEASE_IMAGE的架构与您将使用ccoctl工具的环境的架构匹配。

通过运行以下命令从 OpenShift Container Platform 发行版镜像中的 CCO 容器镜像中提取ccoctl二进制文件：

$ oc image extract $CCO_IMAGE \
  --file="/usr/bin/ccoctl.<rhel_version>" \(1)
  -a ~/.pull-secret

1	对于`<rhel_version>`，请指定与主机使用的 Red Hat Enterprise Linux (RHEL) 版本相对应的值。如果未指定值，则默认使用`ccoctl.rhel8`。有效值为： `rhel8`：对于使用 RHEL 8 的主机，请指定此值。 `rhel9`：对于使用 RHEL 9 的主机，请指定此值。

更改权限以使ccoctl可执行，请运行以下命令：
```
$ chmod 775 ccoctl.<rhel_version>
```

验证

要验证ccoctl是否已准备好使用，请显示帮助文件。运行命令时，请使用相对文件名，例如：

$ ./ccoctl.rhel9

示例输出

OpenShift credentials provisioning tool

Usage:
  ccoctl [command]

Available Commands:
  aws          Manage credentials objects for AWS cloud
  azure        Manage credentials objects for Azure
  gcp          Manage credentials objects for Google cloud
  help         Help about any command
  ibmcloud     Manage credentials objects for {ibm-cloud-title}
  nutanix      Manage credentials objects for Nutanix

Flags:
  -h, --help   help for ccoctl

Use "ccoctl [command] --help" for more information about a command.

使用云凭据操作器实用程序创建 GCP 资源

您可以使用ccoctl gcp create-all命令来自动创建 GCP 资源。

默认情况下，ccoctl在运行命令的目录中创建对象。要在不同的目录中创建对象，请使用--output-dir标志。此过程使用<path_to_ccoctl_output_dir>来引用此目录。

先决条件

您必须：

提取并准备了ccoctl二进制文件。

步骤

通过运行以下命令，使用安装文件中的发行版镜像设置$RELEASE_IMAGE变量：
```
$ RELEASE_IMAGE=$(./openshift-install version | awk '/release image/ {print $3}')
```

通过运行以下命令从 OpenShift Container Platform 发行版镜像中提取CredentialsRequest对象列表：

$ oc adm release extract \
  --from=$RELEASE_IMAGE \
  --credentials-requests \
  --included \(1)
  --install-config=<path_to_directory_with_installation_configuration>/install-config.yaml \(2)
  --to=<path_to_directory_for_credentials_requests> (3)

1	`--included`参数仅包含特定集群配置所需的清单。
2	指定`install-config.yaml`文件的路径。
3	指定要存储`CredentialsRequest`对象的目录的路径。如果指定的目录不存在，此命令将创建它。

此命令可能需要几分钟才能运行。

使用ccoctl工具运行以下命令来处理所有CredentialsRequest对象

$ ccoctl gcp create-all \
  --name=<name> \(1)
  --region=<gcp_region> \(2)
  --project=<gcp_project_id> \(3)
  --credentials-requests-dir=<path_to_credentials_requests_directory> (4)

1	指定用于跟踪所有创建的GCP资源的用户定义名称。
2	指定将创建云资源的GCP区域。
3	指定将创建云资源的GCP项目ID。
4	指定包含用于创建GCP服务帐户的`CredentialsRequest`清单文件的目录。

如果您的集群使用由TechPreviewNoUpgrade特性集启用的技术预览功能，则必须包含--enable-tech-preview参数。

验证

要验证OpenShift Container Platform密钥是否已创建，请列出<path_to_ccoctl_output_dir>/manifests目录中的文件。

$ ls <path_to_ccoctl_output_dir>/manifests

示例输出

cluster-authentication-02-config.yaml
openshift-cloud-controller-manager-gcp-ccm-cloud-credentials-credentials.yaml
openshift-cloud-credential-operator-cloud-credential-operator-gcp-ro-creds-credentials.yaml
openshift-cloud-network-config-controller-cloud-credentials-credentials.yaml
openshift-cluster-api-capg-manager-bootstrap-credentials-credentials.yaml
openshift-cluster-csi-drivers-gcp-pd-cloud-credentials-credentials.yaml
openshift-image-registry-installer-cloud-credentials-credentials.yaml
openshift-ingress-operator-cloud-credentials-credentials.yaml
openshift-machine-api-gcp-cloud-credentials-credentials.yaml

您可以通过查询GCP来验证IAM服务帐户是否已创建。有关更多信息，请参阅有关列出IAM服务帐户的GCP文档。

整合Cloud Credential Operator实用程序清单

要实现由集群外部管理的用于各个组件的短期安全凭据，必须将Cloud Credential Operator实用程序(ccoctl)创建的清单文件移动到安装程序的正确目录。

先决条件

您已配置了一个帐户，该帐户使用托管您的集群的云平台。
您已配置Cloud Credential Operator实用程序(ccoctl)。
您已使用ccoctl实用程序创建了集群所需的云提供商资源。

步骤

为安装程序使用的 GCP 帐户添加以下细粒度权限：
必需的 GCP 权限
- compute.machineTypes.list
- compute.regions.list
- compute.zones.list
- dns.changes.create
- dns.changes.get
- dns.managedZones.create
- dns.managedZones.delete
- dns.managedZones.get
- dns.managedZones.list
- dns.networks.bindPrivateDNSZone
- dns.resourceRecordSets.create
- dns.resourceRecordSets.delete
- dns.resourceRecordSets.list
如果您未在install-config.yaml配置文件中将credentialsMode参数设置为Manual，请修改其值，如下所示：
示例配置文件片段
```
apiVersion: v1
baseDomain: example.com
credentialsMode: Manual
# ...
```
如果您之前没有创建安装清单文件，请运行以下命令：
```
$ openshift-install create manifests --dir <installation_directory>
```
其中<installation_directory>是安装程序创建文件的目录。
通过运行以下命令，将ccoctl实用程序生成的清单复制到安装程序创建的manifests目录
```
$ cp /<path_to_ccoctl_output_dir>/manifests/* ./manifests/
```
将包含私钥的tls目录复制到安装目录
```
$ cp -a /<path_to_ccoctl_output_dir>/tls .
```

部署集群

您可以在兼容的云平台上安装OpenShift Container Platform。

您只能在初始安装期间运行安装程序的create cluster命令一次。

先决条件

您已配置了一个帐户，该帐户使用托管您的集群的云平台。
您拥有 OpenShift Container Platform 安装程序和集群的 pull 密钥。
您已验证主机上的云提供商帐户具有部署集群的正确权限。权限不正确的帐户会导致安装过程失败，并显示一条错误消息，其中显示缺少的权限。

步骤

删除任何不使用您为集群配置的GCP帐户的服务帐户密钥，并存储在以下位置的现有GCP凭据
- GOOGLE_CREDENTIALS、GOOGLE_CLOUD_KEYFILE_JSON或GCLOUD_KEYFILE_JSON环境变量
- ~/.gcp/osServiceAccount.json文件
- gcloud cli默认凭据
更改到包含安装程序的目录并初始化集群部署
```
$ ./openshift-install create cluster --dir <installation_directory> \ (1)
    --log-level=info (2)
```
1 对于<installation_directory>，请指定自定义./install-config.yaml文件的位置。

2 要查看不同的安装细节，请指定warn、debug或error，而不是info。
可选：您可以减少用于安装集群的服务帐户的权限数量。
- 如果您为服务帐户分配了Owner角色，则可以删除该角色并将其替换为Viewer角色。
- 如果您包含了Service Account Key Admin角色，则可以将其删除。

验证

当集群部署成功完成时

终端将显示访问集群的方向，包括指向Web控制台的链接以及kubeadmin用户的凭据。
凭据信息也会输出到<installation_directory>/.openshift_install.log。

请勿删除安装程序或安装程序创建的文件。两者都是删除集群所必需的。

示例输出

...
INFO Install complete!
INFO To access the cluster as the system:admin user when using 'oc', run 'export KUBECONFIG=/home/myuser/install_dir/auth/kubeconfig'
INFO Access the OpenShift web-console here: https://console-openshift-console.apps.mycluster.example.com
INFO Login to the console with user: "kubeadmin", and password: "password"
INFO Time elapsed: 36m22s

安装程序生成的Ignition配置文件包含在24小时后到期的证书，届时将更新这些证书。如果在更新证书之前关闭集群，并且在24小时后重新启动集群，则集群会自动恢复已过期的证书。例外情况是，您必须手动批准挂起的node-bootstrapper证书签名请求(CSR)才能恢复kubelet证书。有关更多信息，请参阅有关“从过期的控制平面证书中恢复”的文档。
建议您在生成 Ignition 配置文件后 12 小时内使用它们，因为在集群安装后 16 到 22 小时之间，24 小时的证书会轮换。在 12 小时内使用 Ignition 配置文件，可以在安装期间避免安装失败（如果证书更新在安装期间运行）。

使用CLI登录集群

您可以通过导出集群kubeconfig文件以默认系统用户身份登录到您的集群。kubeconfig文件包含有关集群的信息，CLI 使用这些信息将客户端连接到正确的集群和API服务器。该文件特定于集群，并在OpenShift Container Platform安装期间创建。

先决条件

您已部署OpenShift Container Platform集群。
您已安装oc CLI。

步骤

导出kubeadmin凭据
```
$ export KUBECONFIG=<installation_directory>/auth/kubeconfig (1)
```
1 对于<installation_directory>，请指定您存储安装文件的目录的路径。
验证您可以使用导出的配置成功运行oc命令
```
$ oc whoami
```
示例输出
```
system:admin
```

其他资源

有关访问和了解OpenShift Container Platform Web控制台的更多详细信息，请参阅访问Web控制台。

OpenShift Container Platform的遥测访问

在OpenShift Container Platform 4.17中，默认情况下运行的遥测服务（提供有关集群运行状况和更新成功的指标）需要Internet访问。如果您的集群连接到Internet，则遥测会自动运行，并且您的集群会注册到OpenShift Cluster Manager。

确认您的OpenShift Cluster Manager清单正确后（由遥测自动维护或使用OpenShift Cluster Manager手动维护），使用订阅监视来跟踪您在帐户或多集群级别上的OpenShift Container Platform订阅。

其他资源

有关遥测服务的更多信息，请参阅关于远程运行状况监控

后续步骤

自定义您的集群.
如有必要，您可以选择退出远程运行状况报告。

1	对于`<installation_directory>`，请指定自定义`./install-config.yaml`文件的位置。
2	要查看不同的安装细节，请指定`warn`、`debug`或`error`，而不是`info`。

先决条件

关于使用自定义 VPC

使用您的 VPC 的要求

VPC 验证

权限划分

集群之间的隔离

OpenShift Container Platform 的互联网访问

生成集群节点 SSH 访问的密钥对

获取安装程序

创建安装配置文件

集群安装的最低资源要求

GCP 的已测试实例类型

64 位 ARM 基础架构上 GCP 的已测试实例类型

使用自定义机器类型

启用 Shielded VM

启用机密虚拟机 (Confidential VMs)

GCP 的自定义 install-config.yaml 文件示例

在 GCP 上创建具有全局访问权限的 Ingress 控制器

安装期间配置集群范围代理

安装 OpenShift CLI

在 Linux 上安装 OpenShift CLI

在 Windows 上安装 OpenShift CLI

在 macOS 上安装 OpenShift CLI

存储在 kube-system 项目中的管理员级密钥的替代方法

手动创建长期凭据

配置 GCP 集群以使用短期凭据

配置云凭据操作器实用程序

使用云凭据操作器实用程序创建 GCP 资源

整合Cloud Credential Operator实用程序清单

部署集群

使用CLI登录集群

OpenShift Container Platform的遥测访问

后续步骤

GCP 的自定义 `install-config.yaml` 文件示例