×

先决条件

关于在受限网络中进行安装

在 OpenShift Container Platform 4.17 中,您可以执行无需主动连接到互联网即可获取软件组件的安装。受限网络安装可以使用安装程序置备的基础架构或用户置备的基础架构来完成,具体取决于您要安装集群的云平台。

如果您选择在云平台上执行受限网络安装,您仍然需要访问其云 API。某些云功能(如 Amazon Web Service 的 Route 53 DNS 和 IAM 服务)需要互联网访问。根据您的网络,您可能需要较少的互联网访问才能在裸机硬件、Nutanix 或 VMware vSphere 上进行安装。

要完成受限网络安装,您必须创建一个注册表,该注册表镜像 OpenShift 镜像注册表的内容并包含安装介质。您可以在可以访问互联网和封闭网络的镜像主机上创建此注册表,或者使用符合您限制的其他方法。

其他限制

受限网络中的集群具有以下附加限制:

  • ClusterVersion 状态包含 无法检索可用更新 错误。

  • 默认情况下,您无法使用开发者目录的内容,因为您无法访问所需的镜像流标签。

关于使用自定义 VPC

在 OpenShift Container Platform 4.17 中,您可以将集群部署到 Amazon Web Services (AWS) 中现有 Amazon Virtual Private Cloud (VPC) 中的现有子网中。通过将 OpenShift Container Platform 部署到现有的 AWS VPC,您也许能够避免新账户中的限制约束,或者更容易遵守公司指南设定的操作约束。如果您无法获得创建 VPC 所需的基础架构创建权限,请使用此安装选项。

由于安装程序无法知道您的现有子网中还存在哪些其他组件,因此它无法代表您选择子网 CIDR 等。您必须自己为安装集群的子网配置网络。

使用您的 VPC 的要求

安装程序不再创建以下组件:

  • 互联网网关

  • NAT 网关

  • 子网

  • 路由表

  • VPC

  • VPC DHCP 选项

  • VPC 端点

安装程序要求您使用云提供的 DNS 服务器。不支持使用自定义 DNS 服务器,这会导致安装失败。

如果您使用自定义 VPC,则必须正确配置它及其子网,以便安装程序和集群使用。有关 AWS VPC 控制台向导配置以及创建和管理 AWS VPC 的更多信息,请参阅 Amazon Web Services 文档中的创建 VPC

安装程序无法:

  • 细分集群使用的网络范围。

  • 为子网设置路由表。

  • 设置 DHCP 等 VPC 选项。

您必须在安装集群之前完成这些任务。有关在 AWS VPC 中配置网络的更多信息,请参阅VPC 网络组件VPC 的路由表

您的 VPC 必须满足以下特征:

  • VPC 必须不使用kubernetes.io/cluster/.*: ownedNameopenshift.io/cluster 标签。

    安装程序会修改您的子网以添加kubernetes.io/cluster/.*: shared 标签,因此您的子网必须至少有一个可用的标签槽位。请参阅 AWS 文档中的标签限制,以确认安装程序可以向您指定的每个子网添加标签。您不能使用Name标签,因为它与 EC2 的Name字段重叠,导致安装失败。

  • 如果您想将 OpenShift Container Platform 集群扩展到 AWS Outpost 并拥有现有的 Outpost 子网,则现有子网必须使用kubernetes.io/cluster/unmanaged: true标签。如果您不应用此标签,则安装可能会失败,因为 Cloud Controller Manager 会在 Outpost 子网中创建服务负载均衡器,这是一种不受支持的配置。

  • 您必须在您的 VPC 中启用enableDnsSupportenableDnsHostnames属性,以便集群可以使用附加到 VPC 的 Route 53 区域来解析集群的内部 DNS 记录。请参阅 AWS 文档中的VPC 中的 DNS 支持

    如果您更倾向于使用您自己的 Route 53 托管私有区域,则必须在安装集群之前将现有的托管区域与您的 VPC 关联。您可以使用install-config.yaml文件中的platform.aws.hostedZoneplatform.aws.hostedZoneRole字段定义您的托管区域。您可以通过与安装集群的帐户共享私有托管区域来自另一个帐户使用它。如果您使用的是另一个帐户的私有托管区域,则必须使用PassthroughManual凭据模式。

如果您在断开连接的环境中工作,则无法访问 EC2、ELB 和 S3 端点的公共 IP 地址。根据您希望在安装过程中限制互联网流量的程度,可以使用以下配置选项:

选项 1:创建 VPC 端点

创建一个 VPC 端点并将其附加到集群正在使用的子网。将端点命名如下:

  • ec2.<aws_region>.amazonaws.com

  • elasticloadbalancing.<aws_region>.amazonaws.com

  • s3.<aws_region>.amazonaws.com

使用此选项,网络流量将保持在您的 VPC 和所需的 AWS 服务之间私密。

选项 2:创建不带 VPC 端点的代理

作为安装过程的一部分,您可以配置 HTTP 或 HTTPS 代理。使用此选项,互联网流量将通过代理到达所需的 AWS 服务。

选项 3:创建带有 VPC 端点的代理

作为安装过程的一部分,您可以使用 VPC 端点配置 HTTP 或 HTTPS 代理。创建一个 VPC 端点并将其附加到集群正在使用的子网。将端点命名如下:

  • ec2.<aws_region>.amazonaws.com

  • elasticloadbalancing.<aws_region>.amazonaws.com

  • s3.<aws_region>.amazonaws.com

install-config.yaml文件中配置代理时,请将这些端点添加到noProxy字段。使用此选项,代理将阻止集群直接访问互联网。但是,网络流量将保持在您的 VPC 和所需的 AWS 服务之间私密。

必需的 VPC 组件

您必须提供合适的 VPC 和子网,以允许与您的机器通信。

组件 AWS 类型 描述

VPC

  • AWS::EC2::VPC

  • AWS::EC2::VPCEndpoint

您必须为集群提供一个公共 VPC 用于使用。VPC 使用一个端点,该端点引用每个子网的路由表,以改进与托管在 S3 中的注册表通信。

公共子网

  • AWS::EC2::Subnet

  • AWS::EC2::SubnetNetworkAclAssociation

您的 VPC 必须具有 1 到 3 个可用区之间的公共子网,并将它们与适当的入站规则关联。

互联网网关

  • AWS::EC2::InternetGateway

  • AWS::EC2::VPCGatewayAttachment

  • AWS::EC2::RouteTable

  • AWS::EC2::Route

  • AWS::EC2::SubnetRouteTableAssociation

  • AWS::EC2::NatGateway

  • AWS::EC2::EIP

您必须拥有一个公共互联网网关,其中包含公共路由,并附加到 VPC。在提供的模板中,每个公共子网都具有一个带有 EIP 地址的 NAT 网关。这些 NAT 网关允许集群资源(如私有子网实例)访问互联网,并且对于某些受限网络或代理场景而言并非必需。

网络访问控制

  • AWS::EC2::NetworkAcl

  • AWS::EC2::NetworkAclEntry

您必须允许 VPC 访问以下端口:

端口

原因

80

入站 HTTP 流量

443

入站 HTTPS 流量

22

入站 SSH 流量

1024 - 65535

入站临时流量

0 - 65535

出站临时流量

私有子网

  • AWS::EC2::Subnet

  • AWS::EC2::RouteTable

  • AWS::EC2::SubnetRouteTableAssociation

您的 VPC 可以具有私有子网。提供的 CloudFormation 模板可以为 1 到 3 个可用区创建私有子网。如果您使用私有子网,则必须为其提供适当的路由和表。

VPC 验证

为了确保您提供的子网合适,安装程序会确认以下数据:

  • 您指定的所有子网都存在。

  • 您提供私有子网。

  • 子网 CIDR 属于您指定的机器 CIDR。

  • 您为每个可用区提供子网。每个可用区最多包含一个公共子网和一个私有子网。如果您使用私有集群,则每个可用区仅提供一个私有子网。否则,每个可用区都提供一个公共子网和一个私有子网。

  • 您为每个私有子网可用区提供一个公共子网。机器不会在您未为其提供私有子网的可用区中进行配置。

如果您销毁使用现有 VPC 的集群,则不会删除 VPC。当您从 VPC 中删除 OpenShift Container Platform 集群时,将从其使用的子网中删除kubernetes.io/cluster/.*: shared标签。

权限划分

从 OpenShift Container Platform 4.3 开始,您不需要安装程序配置的基础架构集群部署集群所需的所有权限。此更改模拟您公司可能拥有的权限划分:有些人可以在您的云中创建与其他人不同的资源。例如,您可能能够创建特定于应用程序的项目,例如实例、存储桶和负载均衡器,但不能创建与网络相关的组件,例如 VPC、子网或入口规则。

创建集群时使用的 AWS 凭据不需要创建 VPC 和 VPC 内的核心网络组件(例如子网、路由表、互联网网关、NAT 和 VPN)所需的网络权限。您仍然需要权限来创建集群机器所需的应用程序资源,例如 ELB、安全组、S3 存储桶和节点。

集群之间的隔离

如果您将 OpenShift Container Platform 部署到现有网络,则集群服务的隔离会以以下方式降低:

  • 您可以在同一个 VPC 中安装多个 OpenShift Container Platform 集群。

  • 允许来自整个网络的 ICMP 入站流量。

  • 允许来自整个网络的 TCP 22 入站流量(SSH)。

  • 允许来自整个网络的控制平面 TCP 6443 入站流量(Kubernetes API)。

  • 允许来自整个网络的控制平面 TCP 22623 入站流量(MCS)。

创建安装配置文件

您可以自定义您在 Amazon Web Services (AWS) 上安装的 OpenShift Container Platform 集群。

先决条件
  • 您拥有 OpenShift Container Platform 安装程序和集群的拉取密钥。对于受限网络安装,这些文件位于您的镜像主机上。

  • 您拥有在镜像注册表创建期间生成的imageContentSources值。

  • 您已获得镜像注册表证书的内容。

步骤
  1. 创建install-config.yaml文件。

    1. 更改到包含安装程序的目录并运行以下命令:

      $ ./openshift-install create install-config --dir <installation_directory> (1)
      1 对于<安装目录>,请指定安装程序创建的文件存储目录名称。

      指定目录时

      • 请验证该目录是否具有执行权限。此权限是运行安装目录下 Terraform 二进制文件的必要条件。

      • 请使用空目录。某些安装资源(例如引导 X.509 证书)的有效期较短,因此您不能重用安装目录。如果您想重用另一个集群安装中的单个文件,可以将它们复制到您的目录中。但是,安装资源的文件名在不同版本之间可能会发生变化。从早期版本的 OpenShift Container Platform 复制安装文件时,请谨慎操作。

    2. 在提示符下,提供您的云的配置详细信息

      1. 可选:选择一个 SSH 密钥来访问您的集群机器。

        对于您想要执行安装调试或灾难恢复的生产 OpenShift Container Platform 集群,请指定您的ssh-agent进程使用的 SSH 密钥。

      2. 选择**AWS**作为目标平台。

      3. 如果您计算机上没有存储 Amazon Web Services (AWS) 配置文件,请输入您配置为运行安装程序的用户AWS访问密钥 ID 和秘密访问密钥。

      4. 选择要将集群部署到的 AWS 区域。

      5. 选择您为集群配置的 Route 53 服务的基础域。

      6. 输入集群的描述性名称。

  2. 编辑install-config.yaml文件以提供受限网络安装所需的附加信息。

    1. 更新pullSecret值以包含注册表的身份验证信息

      pullSecret: '{"auths":{"<mirror_host_name>:5000": {"auth": "<credentials>","email": "[email protected]"}}}'

      对于<镜像主机名>,请指定您在镜像注册表的证书中指定的注册表域名;对于<凭据>,请指定镜像注册表的 Base64 编码用户名和密码。

    2. 添加additionalTrustBundle参数和值。

      additionalTrustBundle: |
        -----BEGIN CERTIFICATE-----
        ZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZ
        -----END CERTIFICATE-----

      该值必须是您用于镜像注册表的证书文件的内容。证书文件可以是现有的受信任证书颁发机构,也可以是您为镜像注册表生成的自签名证书。

    3. 定义要在其中安装集群的 VPC 的子网

      subnets:
      - subnet-1
      - subnet-2
      - subnet-3
    4. 添加镜像内容资源,类似于以下 YAML 片段

      imageContentSources:
      - mirrors:
        - <mirror_host_name>:5000/<repo_name>/release
        source: quay.io/openshift-release-dev/ocp-release
      - mirrors:
        - <mirror_host_name>:5000/<repo_name>/release
        source: registry.redhat.io/ocp/release

      对于这些值,请使用您在镜像注册表创建过程中记录的imageContentSources

    5. 可选:将发布策略设置为Internal

      publish: Internal

      通过设置此选项,您可以创建一个内部 Ingress 控制器和一个私有负载均衡器。

  3. install-config.yaml文件进行任何其他所需的修改。

    有关参数的更多信息,请参见“安装配置参数”。

  4. 备份install-config.yaml文件,以便您可以使用它安装多个集群。

    install-config.yaml文件在安装过程中会被使用。如果您想重用此文件,则现在必须对其进行备份。

集群安装的最低资源要求

每个集群机器必须满足以下最低要求

表 1. 最低资源要求
机器 操作系统 vCPU [1] 虚拟内存 存储 每秒输入/输出 (IOPS)[2]

引导程序

RHCOS

4

16 GB

100 GB

300

控制平面

RHCOS

4

16 GB

100 GB

300

计算

RHCOS、RHEL 8.6 及更高版本 [3]

2

8 GB

100 GB

300

  1. 当未启用同时多线程 (SMT) 或超线程时,一个 vCPU 等于一个物理核心。启用时,请使用以下公式计算相应的比率:(每个核心的线程数 × 核心数)× 插槽数 = vCPU。

  2. OpenShift Container Platform 和 Kubernetes 对磁盘性能敏感,建议使用更快的存储,特别是对于控制平面节点上的 etcd,它需要 10 毫秒 p99 fsync 持续时间。请注意,在许多云平台上,存储大小和 IOPS 是成比例缩放的,因此您可能需要过度分配存储卷才能获得足够的性能。

  3. 与所有用户预配的安装一样,如果您选择在集群中使用 RHEL 计算机器,则您将负责所有操作系统生命周期管理和维护,包括执行系统更新、应用补丁以及完成所有其他必需的任务。RHEL 7 计算机器的使用已被弃用,并在 OpenShift Container Platform 4.10 及更高版本中被移除。

从 OpenShift Container Platform 4.13 版本开始,RHCOS 基于 RHEL 9.2 版本,更新了微架构要求。以下列表包含每个架构所需的最低指令集架构 (ISA):

  • x86-64 架构需要 x86-64-v2 ISA

  • ARM64 架构需要 ARMv8.0-A ISA

  • IBM Power 架构需要 Power 9 ISA

  • s390x 架构需要 z14 ISA

更多信息,请参见 RHEL 架构

如果平台的实例类型满足集群机器的最低要求,则支持在 OpenShift Container Platform 中使用它。

其他资源

AWS 的自定义 install-config.yaml 文件示例

您可以自定义安装配置文件 (install-config.yaml) 以指定有关 OpenShift Container Platform 集群平台的更多详细信息,或修改所需参数的值。

此 YAML 文件示例仅供参考。您必须使用安装程序获取您的install-config.yaml文件并对其进行修改。

apiVersion: v1
baseDomain: example.com (1)
credentialsMode: Mint (2)
controlPlane:  (3) (4)
  hyperthreading: Enabled (5)
  name: master
  platform:
    aws:
      zones:
      - us-west-2a
      - us-west-2b
      rootVolume:
        iops: 4000
        size: 500
        type: io1 (6)
      metadataService:
        authentication: Optional (7)
      type: m6i.xlarge
  replicas: 3
compute: (3)
- hyperthreading: Enabled (5)
  name: worker
  platform:
    aws:
      rootVolume:
        iops: 2000
        size: 500
        type: io1 (6)
      metadataService:
        authentication: Optional (7)
      type: c5.4xlarge
      zones:
      - us-west-2c
  replicas: 3
metadata:
  name: test-cluster (1)
networking:
  clusterNetwork:
  - cidr: 10.128.0.0/14
    hostPrefix: 23
  machineNetwork:
  - cidr: 10.0.0.0/16
  networkType: OVNKubernetes (8)
  serviceNetwork:
  - 172.30.0.0/16
platform:
  aws:
    region: us-west-2 (1)
    propagateUserTags: true (3)
    userTags:
      adminContact: jdoe
      costCenter: 7536
    subnets: (9)
    - subnet-1
    - subnet-2
    - subnet-3
    amiID: ami-0c5d3e03c0ab9b19a (10)
    serviceEndpoints: (11)
      - name: ec2
        url: https://vpce-id.ec2.us-west-2.vpce.amazonaws.com
    hostedZone: Z3URY6TWQ91KVV (12)
fips: false (13)
sshKey: ssh-ed25519 AAAA... (14)
pullSecret: '{"auths":{"<local_registry>": {"auth": "<credentials>","email": "[email protected]"}}}' (15)
additionalTrustBundle: | (16)
    -----BEGIN CERTIFICATE-----
    <MY_TRUSTED_CA_CERT>
    -----END CERTIFICATE-----
imageContentSources: (17)
- mirrors:
  - <local_registry>/<local_repository_name>/release
  source: quay.io/openshift-release-dev/ocp-release
- mirrors:
  - <local_registry>/<local_repository_name>/release
  source: quay.io/openshift-release-dev/ocp-v4.0-art-dev
1 必需。安装程序会提示您输入此值。
2 可选:添加此参数以强制云凭据操作员 (CCO) 使用指定的模式。默认情况下,CCO 使用kube-system命名空间中的根凭据来动态尝试确定凭据的功能。有关 CCO 模式的详细信息,请参阅《身份验证和授权》指南中的“关于云凭据操作员”部分。
3 如果您不提供这些参数和值,安装程序将提供默认值。
4 controlPlane部分是一个单映射,但compute部分是映射序列。为了满足不同数据结构的要求,compute部分的第一行必须以连字符-开头,而controlPlane部分的第一行则不能。只使用一个控制平面池。
5 是否启用或禁用同时多线程处理,或称超线程。默认情况下,启用同时多线程处理以提高机器内核的性能。您可以将参数值设置为Disabled来禁用它。如果您在某些集群机器上禁用了同时多线程处理,则必须在所有集群机器上禁用它。

如果您禁用同时多线程处理,请确保您的容量规划考虑到了机器性能的显著下降。如果禁用同时多线程处理,请为您的机器使用更大的实例类型,例如m4.2xlargem5.2xlarge

6 为了为 etcd 配置更快的存储,特别是对于更大的集群,请将存储类型设置为io1并将iops设置为2000
7 是否需要Amazon EC2 实例元数据服务 v2 (IMDSv2)。要需要 IMDSv2,请将参数值设置为Required。要允许同时使用 IMDSv1 和 IMDSv2,请将参数值设置为Optional。如果未指定值,则允许使用 IMDSv1 和 IMDSv2。

在集群安装期间为控制平面机器设置的 IMDS 配置只能使用 AWS CLI 更改。计算机器的 IMDS 配置可以使用计算机器集进行更改。

8 要安装的集群网络插件。默认值OVNKubernetes是唯一支持的值。
9 如果您提供自己的 VPC,请为集群使用的每个可用区指定子网。
10 用于引导集群机器的 AMI 的 ID。如果设置,AMI 必须属于与集群相同的区域。
11 AWS 服务端点。安装到未知 AWS 区域时需要自定义端点。端点 URL 必须使用https协议,并且主机必须信任证书。
12 您现有 Route 53 私有托管区的 ID。提供现有托管区要求您提供自己的 VPC,并且托管区在安装集群之前已与 VPC 关联。如果未定义,安装程序将创建一个新的托管区。
13 是否启用或禁用 FIPS 模式。默认情况下,FIPS 模式未启用。如果启用 FIPS 模式,则运行 OpenShift Container Platform 的 Red Hat Enterprise Linux CoreOS (RHCOS) 机器将绕过默认的 Kubernetes 加密套件,并改用 RHCOS 提供的加密模块。

要为您的集群启用 FIPS 模式,您必须从配置为在 FIPS 模式下运行的 Red Hat Enterprise Linux (RHEL) 计算机运行安装程序。有关在 RHEL 上配置 FIPS 模式的更多信息,请参阅将 RHEL 切换到 FIPS 模式

在 FIPS 模式下启动的 Red Hat Enterprise Linux (RHEL) 或 Red Hat Enterprise Linux CoreOS (RHCOS) 运行时,OpenShift Container Platform 核心组件仅在 x86_64、ppc64le 和 s390x 架构上使用已提交给 NIST 用于 FIPS 140-2/140-3 验证的 RHEL 加密库。

14 您可以选择提供用于访问集群中机器的sshKey值。

对于您想要执行安装调试或灾难恢复的生产 OpenShift Container Platform 集群,请指定您的ssh-agent进程使用的 SSH 密钥。

15 对于<local_registry>,请指定镜像注册表用于提供内容的注册表域名,以及可选的端口,例如registry.example.comregistry.example.com:5000。对于<credentials>,请指定镜像注册表的 Base64 编码用户名和密码。
16 提供您用于镜像注册表的证书文件的内容。
17 提供镜像存储库的命令输出中的imageContentSources部分。

在安装期间配置集群范围的代理

生产环境可以拒绝直接访问互联网,而是提供 HTTP 或 HTTPS 代理。您可以通过在install-config.yaml文件中配置代理设置来配置新的 OpenShift Container Platform 集群以使用代理。

先决条件
  • 您有一个现有的install-config.yaml文件。

  • 您已查看集群需要访问的站点,并确定其中任何站点是否需要绕过代理。默认情况下,所有集群出站流量都通过代理,包括对托管云提供商 API 的调用。如有必要,您可以将站点添加到Proxy对象的spec.noProxy字段中以绕过代理。

    Proxy对象的status.noProxy字段将填充安装配置中的networking.machineNetwork[].cidrnetworking.clusterNetwork[].cidrnetworking.serviceNetwork[]字段的值。

    对于 Amazon Web Services (AWS)、Google Cloud Platform (GCP)、Microsoft Azure 和 Red Hat OpenStack Platform (RHOSP) 上的安装,Proxy对象的status.noProxy字段还将填充实例元数据端点 (169.254.169.254)。

步骤
  1. 编辑您的install-config.yaml文件并添加代理设置。例如

    apiVersion: v1
    baseDomain: my.domain.com
    proxy:
      httpProxy: http://<username>:<pswd>@<ip>:<port> (1)
      httpsProxy: https://<username>:<pswd>@<ip>:<port> (2)
      noProxy: ec2.<aws_region>.amazonaws.com,elasticloadbalancing.<aws_region>.amazonaws.com,s3.<aws_region>.amazonaws.com (3)
    additionalTrustBundle: | (4)
        -----BEGIN CERTIFICATE-----
        <MY_TRUSTED_CA_CERT>
        -----END CERTIFICATE-----
    additionalTrustBundlePolicy: <policy_to_add_additionalTrustBundle> (5)
    1 用于创建集群外部 HTTP 连接的代理 URL。URL 方案必须为http
    2 用于创建集群外部 HTTPS 连接的代理 URL。
    3 要从代理中排除的目标域名、IP 地址或其他网络 CIDR 的逗号分隔列表。在域名前加上.以仅匹配子域名。例如,.y.com匹配x.y.com,但不匹配y.com。使用*绕过所有目标的代理。如果您已将 Amazon EC2Elastic Load BalancingS3 VPC 端点添加到您的 VPC,则必须将这些端点添加到noProxy字段。
    4 如果提供,安装程序将生成一个名为user-ca-bundle的 config map,位于openshift-config命名空间中,其中包含一个或多个用于代理 HTTPS 连接的附加 CA 证书。集群网络操作员随后将创建一个trusted-ca-bundle config map,该 map 将这些内容与 Red Hat Enterprise Linux CoreOS (RHCOS) 信任捆绑包合并,并且此 config map 在Proxy对象的trustedCA字段中引用。除非代理的身份证书由 RHCOS 信任捆绑包中的授权机构签名,否则需要additionalTrustBundle字段。
    5 可选:确定Proxy对象的配置以在trustedCA字段中引用user-ca-bundle config map 的策略。允许的值为ProxyonlyAlways。使用Proxyonly仅在配置http/https代理时引用user-ca-bundle config map。使用Always始终引用user-ca-bundle config map。默认值为Proxyonly

    安装程序不支持代理readinessEndpoints字段。

    如果安装程序超时,请重新启动,然后使用安装程序的wait-for命令完成部署。例如

    $ ./openshift-install wait-for install-complete --log-level debug
  2. 保存文件并在安装OpenShift Container Platform时引用它。

安装程序创建一个名为cluster的集群范围代理,该代理使用提供的install-config.yaml文件中的代理设置。如果未提供代理设置,则仍会创建cluster Proxy对象,但它将具有nil spec

仅支持名为clusterProxy对象,不能创建其他代理。

在kube-system项目中存储管理员级密钥的替代方法

默认情况下,管理员密钥存储在kube-system项目中。如果您在install-config.yaml文件中将credentialsMode参数配置为Manual,则必须使用以下替代方法之一

手动创建长期凭据

在无法访问云身份和访问管理 (IAM) API,或管理员更倾向于不在集群kube-system命名空间中存储管理员级凭据密钥的环境中,可以在安装之前将云凭据操作员 (CCO) 置于手动模式。

步骤
  1. 如果您未在install-config.yaml配置文件中将credentialsMode参数设置为Manual,请修改该值,如下所示

    示例配置文件片段
    apiVersion: v1
    baseDomain: example.com
    credentialsMode: Manual
    # ...
  2. 如果您以前没有创建安装清单文件,请运行以下命令来创建:

    $ openshift-install create manifests --dir <installation_directory>

    其中<installation_directory>是安装程序创建文件的目录。

  3. 通过运行以下命令,使用安装文件中的发行版镜像设置$RELEASE_IMAGE变量:

    $ RELEASE_IMAGE=$(./openshift-install version | awk '/release image/ {print $3}')
  4. 通过运行以下命令,从OpenShift Container Platform发行版镜像中提取CredentialsRequest自定义资源 (CR) 列表:

    $ oc adm release extract \
      --from=$RELEASE_IMAGE \
      --credentials-requests \
      --included \(1)
      --install-config=<path_to_directory_with_installation_configuration>/install-config.yaml \(2)
      --to=<path_to_directory_for_credentials_requests> (3)
    1 --included参数仅包含特定集群配置所需的清单。
    2 指定install-config.yaml文件的位置。
    3 指定要存储CredentialsRequest对象的目录的路径。如果指定的目录不存在,此命令将创建它。

    此命令将为每个CredentialsRequest对象创建一个YAML文件。

    示例CredentialsRequest对象
    apiVersion: cloudcredential.openshift.io/v1
    kind: CredentialsRequest
    metadata:
      name: <component_credentials_request>
      namespace: openshift-cloud-credential-operator
      ...
    spec:
      providerSpec:
        apiVersion: cloudcredential.openshift.io/v1
        kind: AWSProviderSpec
        statementEntries:
        - effect: Allow
          action:
          - iam:GetUser
          - iam:GetUserPolicy
          - iam:ListAccessKeys
          resource: "*"
      ...
  5. 为之前生成的openshift-install清单目录中的密钥创建YAML文件。必须使用每个CredentialsRequest对象中spec.secretRef定义的命名空间和密钥名称来存储密钥。

    带有密钥的示例CredentialsRequest对象
    apiVersion: cloudcredential.openshift.io/v1
    kind: CredentialsRequest
    metadata:
      name: <component_credentials_request>
      namespace: openshift-cloud-credential-operator
      ...
    spec:
      providerSpec:
        apiVersion: cloudcredential.openshift.io/v1
        kind: AWSProviderSpec
        statementEntries:
        - effect: Allow
          action:
          - s3:CreateBucket
          - s3:DeleteBucket
          resource: "*"
          ...
      secretRef:
        name: <component_secret>
        namespace: <component_namespace>
      ...
    示例Secret对象
    apiVersion: v1
    kind: Secret
    metadata:
      name: <component_secret>
      namespace: <component_namespace>
    data:
      aws_access_key_id: <base64_encoded_aws_access_key_id>
      aws_secret_access_key: <base64_encoded_aws_secret_access_key>

在升级使用手动维护凭据的集群之前,必须确保CCO处于可升级状态。

配置AWS集群以使用短期凭据

要安装配置为使用AWS安全令牌服务(STS)的集群,必须配置CCO实用程序并为集群创建所需的AWS资源。

配置云凭据操作员实用程序

当云凭据操作员(CCO)处于手动模式时,要从集群外部创建和管理云凭据,请提取并准备CCO实用程序(ccoctl)二进制文件。

ccoctl实用程序是一个Linux二进制文件,必须在Linux环境中运行。

先决条件
  • 您可以访问具有集群管理员访问权限的OpenShift Container Platform帐户。

  • 您已安装OpenShift CLI (oc)。

  • 您已为ccoctl实用程序创建了一个AWS帐户,并具有以下权限:

    所需的AWS权限

    所需的iam权限

    • iam:CreateOpenIDConnectProvider

    • iam:CreateRole

    • iam:DeleteOpenIDConnectProvider

    • iam:DeleteRole

    • iam:DeleteRolePolicy

    • iam:GetOpenIDConnectProvider

    • iam:GetRole

    • iam:GetUser

    • iam:ListOpenIDConnectProviders

    • iam:ListRolePolicies

    • iam:ListRoles

    • iam:PutRolePolicy

    • iam:TagOpenIDConnectProvider

    • iam:TagRole

    所需的s3权限

    • s3:CreateBucket

    • s3:DeleteBucket

    • s3:DeleteObject

    • s3:GetBucketAcl

    • s3:GetBucketTagging

    • s3:GetObject

    • s3:GetObjectAcl

    • s3:GetObjectTagging

    • s3:ListBucket

    • s3:PutBucketAcl

    • s3:PutBucketPolicy

    • s3:PutBucketPublicAccessBlock

    • s3:PutBucketTagging

    • s3:PutObject

    • s3:PutObjectAcl

    • s3:PutObjectTagging

    所需的cloudfront权限

    • cloudfront:ListCloudFrontOriginAccessIdentities

    • cloudfront:ListDistributions

    • cloudfront:ListTagsForResource

    如果您计划将OIDC配置存储在通过公共CloudFront分发URL由IAM身份提供程序访问的私有S3存储桶中,则运行ccoctl实用程序的AWS帐户需要以下其他权限:

    具有CloudFront的私有S3存储桶的其他权限
    • cloudfront:CreateCloudFrontOriginAccessIdentity

    • cloudfront:CreateDistribution

    • cloudfront:DeleteCloudFrontOriginAccessIdentity

    • cloudfront:DeleteDistribution

    • cloudfront:GetCloudFrontOriginAccessIdentity

    • cloudfront:GetCloudFrontOriginAccessIdentityConfig

    • cloudfront:GetDistribution

    • cloudfront:TagResource

    • cloudfront:UpdateDistribution

    这些附加权限支持在使用ccoctl aws create-all命令处理凭据请求时使用--create-private-s3-bucket选项。

步骤
  1. 通过运行以下命令设置OpenShift Container Platform发行版镜像的变量:

    $ RELEASE_IMAGE=$(./openshift-install version | awk '/release image/ {print $3}')
  2. 通过运行以下命令从OpenShift Container Platform发行版镜像中获取CCO容器镜像:

    $ CCO_IMAGE=$(oc adm release info --image-for='cloud-credential-operator' $RELEASE_IMAGE -a ~/.pull-secret)

    确保$RELEASE_IMAGE的架构与您将使用ccoctl工具的环境架构匹配。

  3. 通过运行以下命令从OpenShift Container Platform发行版镜像中的CCO容器镜像中提取ccoctl二进制文件:

    $ oc image extract $CCO_IMAGE \
      --file="/usr/bin/ccoctl.<rhel_version>" \(1)
      -a ~/.pull-secret
    1 对于<rhel_version>,请指定与主机使用的Red Hat Enterprise Linux (RHEL)版本相对应的值。如果未指定值,则默认使用ccoctl.rhel8。有效值为:
    • rhel8:对于使用RHEL 8的主机,请指定此值。

    • rhel9:对于使用RHEL 9的主机,请指定此值。

  4. 更改权限以使ccoctl可执行,请运行以下命令:

    $ chmod 775 ccoctl.<rhel_version>
验证
  • 要验证ccoctl是否已准备好使用,请显示帮助文件。运行命令时,请使用相对文件名,例如:

    $ ./ccoctl.rhel9
    示例输出
    OpenShift credentials provisioning tool
    
    Usage:
      ccoctl [command]
    
    Available Commands:
      aws          Manage credentials objects for AWS cloud
      azure        Manage credentials objects for Azure
      gcp          Manage credentials objects for Google cloud
      help         Help about any command
      ibmcloud     Manage credentials objects for {ibm-cloud-title}
      nutanix      Manage credentials objects for Nutanix
    
    Flags:
      -h, --help   help for ccoctl
    
    Use "ccoctl [command] --help" for more information about a command.

使用云凭据操作员实用程序创建AWS资源

创建AWS资源时,您可以选择以下选项:

  • 您可以使用ccoctl aws create-all命令自动创建AWS资源。这是创建资源最快的方法。请参阅使用单个命令创建AWS资源

  • 如果您需要在修改AWS资源之前查看ccoctl工具创建的JSON文件,或者ccoctl工具用于自动创建AWS资源的过程不符合您组织的要求,则可以单独创建AWS资源。请参阅单独创建AWS资源

使用单个命令创建AWS资源

如果ccoctl工具用于自动创建AWS资源的过程符合贵组织的要求,则可以使用ccoctl aws create-all命令来自动创建AWS资源。

否则,您可以单独创建AWS资源。有关更多信息,请参见“单独创建AWS资源”。

默认情况下,ccoctl在运行命令的目录中创建对象。要在其他目录中创建对象,请使用--output-dir标志。此过程使用<path_to_ccoctl_output_dir>来引用此目录。

先决条件

您必须拥有:

  • 已提取并准备好的ccoctl二进制文件。

步骤
  1. 通过运行以下命令,使用安装文件中的发行版镜像设置$RELEASE_IMAGE变量:

    $ RELEASE_IMAGE=$(./openshift-install version | awk '/release image/ {print $3}')
  2. 通过运行以下命令,从OpenShift Container Platform发行版镜像中提取CredentialsRequest对象的列表:

    $ oc adm release extract \
      --from=$RELEASE_IMAGE \
      --credentials-requests \
      --included \(1)
      --install-config=<path_to_directory_with_installation_configuration>/install-config.yaml \(2)
      --to=<path_to_directory_for_credentials_requests> (3)
    1 --included参数仅包含特定集群配置所需的清单。
    2 指定install-config.yaml文件的位置。
    3 指定要存储CredentialsRequest对象的目录的路径。如果指定的目录不存在,此命令将创建它。

    此命令可能需要几分钟才能运行。

  3. 使用ccoctl工具处理所有CredentialsRequest对象,方法是运行以下命令:

    $ ccoctl aws create-all \
      --name=<name> \(1)
      --region=<aws_region> \(2)
      --credentials-requests-dir=<path_to_credentials_requests_directory> \(3)
      --output-dir=<path_to_ccoctl_output_dir> \(4)
      --create-private-s3-bucket (5)
    1 指定用于标记为跟踪而创建的任何云资源的名称。
    2 指定将创建云资源的AWS区域。
    3 指定包含组件CredentialsRequest对象文件的目录。
    4 可选:指定您希望ccoctl实用程序创建对象的目录。默认情况下,该实用程序在运行命令的目录中创建对象。
    5 可选:默认情况下,ccoctl实用程序将OpenID Connect (OIDC)配置文件存储在公共S3存储桶中,并使用S3 URL作为公共OIDC端点。要将OIDC配置存储在私有S3存储桶中(该存储桶通过公共CloudFront分发URL由IAM身份提供程序访问),请使用--create-private-s3-bucket参数。

    如果您的集群使用由TechPreviewNoUpgrade功能集启用的技术预览功能,则必须包含--enable-tech-preview参数。

验证
  • 要验证OpenShift Container Platform密钥是否已创建,请列出<path_to_ccoctl_output_dir>/manifests目录中的文件。

    $ ls <path_to_ccoctl_output_dir>/manifests
    示例输出
    cluster-authentication-02-config.yaml
    openshift-cloud-credential-operator-cloud-credential-operator-iam-ro-creds-credentials.yaml
    openshift-cloud-network-config-controller-cloud-credentials-credentials.yaml
    openshift-cluster-api-capa-manager-bootstrap-credentials-credentials.yaml
    openshift-cluster-csi-drivers-ebs-cloud-credentials-credentials.yaml
    openshift-image-registry-installer-cloud-credentials-credentials.yaml
    openshift-ingress-operator-cloud-credentials-credentials.yaml
    openshift-machine-api-aws-cloud-credentials-credentials.yaml

    您可以通过查询AWS来验证IAM角色是否已创建。有关更多信息,请参阅AWS文档中关于列出IAM角色的部分。

单独创建AWS资源

您可以使用ccoctl工具单独创建AWS资源。此选项可能对在不同用户或部门之间共享创建这些资源责任的组织很有用。

否则,您可以使用ccoctl aws create-all命令自动创建AWS资源。有关更多信息,请参见“使用单个命令创建AWS资源”。

默认情况下,ccoctl在运行命令的目录中创建对象。要在其他目录中创建对象,请使用--output-dir标志。此过程使用<path_to_ccoctl_output_dir>来引用此目录。

某些ccoctl命令会进行AWS API调用以创建或修改AWS资源。您可以使用--dry-run标志来避免进行API调用。使用此标志会在本地文件系统上创建JSON文件。您可以查看和修改JSON文件,然后使用--cli-input-json参数使用AWS CLI工具应用它们。

先决条件
  • 提取并准备ccoctl二进制文件。

步骤
  1. 通过运行以下命令生成用于设置集群的OpenID Connect提供程序的公钥和私钥文件:

    $ ccoctl aws create-key-pair
    示例输出
    2021/04/13 11:01:02 Generating RSA keypair
    2021/04/13 11:01:03 Writing private key to /<path_to_ccoctl_output_dir>/serviceaccount-signer.private
    2021/04/13 11:01:03 Writing public key to /<path_to_ccoctl_output_dir>/serviceaccount-signer.public
    2021/04/13 11:01:03 Copying signing key for use by installer

    其中serviceaccount-signer.privateserviceaccount-signer.public是生成的密钥文件。

    此命令还会在/<path_to_ccoctl_output_dir>/tls/bound-service-account-signing-key.key中创建一个集群在安装过程中需要的私钥。

  2. 通过运行以下命令在AWS上创建一个OpenID Connect身份提供程序和S3存储桶:

    $ ccoctl aws create-identity-provider \
      --name=<name> \(1)
      --region=<aws_region> \(2)
      --public-key-file=<path_to_ccoctl_output_dir>/serviceaccount-signer.public (3)
    1 <name>是用于标记为跟踪而创建的任何云资源的名称。
    2 <aws-region>是将创建云资源的AWS区域。
    3 <path_to_ccoctl_output_dir>ccoctl aws create-key-pair命令生成的公钥文件的路径。
    示例输出
    2021/04/13 11:16:09 Bucket <name>-oidc created
    2021/04/13 11:16:10 OpenID Connect discovery document in the S3 bucket <name>-oidc at .well-known/openid-configuration updated
    2021/04/13 11:16:10 Reading public key
    2021/04/13 11:16:10 JSON web key set (JWKS) in the S3 bucket <name>-oidc at keys.json updated
    2021/04/13 11:16:18 Identity Provider created with ARN: arn:aws:iam::<aws_account_id>:oidc-provider/<name>-oidc.s3.<aws_region>.amazonaws.com

    其中openid-configuration是一个发现文档,keys.json是一个JSON Web密钥集文件。

    此命令还会在/<path_to_ccoctl_output_dir>/manifests/cluster-authentication-02-config.yaml中创建一个YAML配置文件。此文件设置集群生成的Service Account令牌的发行者URL字段,以便AWS IAM身份提供程序信任这些令牌。

  3. 为集群中的每个组件创建IAM角色。

    1. 通过运行以下命令,使用安装文件中的发行版镜像设置$RELEASE_IMAGE变量:

      $ RELEASE_IMAGE=$(./openshift-install version | awk '/release image/ {print $3}')
    2. 从OpenShift Container Platform发行版镜像中提取CredentialsRequest对象的列表。

      $ oc adm release extract \
        --from=$RELEASE_IMAGE \
        --credentials-requests \
        --included \(1)
        --install-config=<path_to_directory_with_installation_configuration>/install-config.yaml \(2)
        --to=<path_to_directory_for_credentials_requests> (3)
      1 --included参数仅包含特定集群配置所需的清单。
      2 指定install-config.yaml文件的位置。
      3 指定要存储CredentialsRequest对象的目录的路径。如果指定的目录不存在,此命令将创建它。
    3. 使用ccoctl工具处理所有CredentialsRequest对象,方法是运行以下命令:

      $ ccoctl aws create-iam-roles \
        --name=<name> \
        --region=<aws_region> \
        --credentials-requests-dir=<path_to_credentials_requests_directory> \
        --identity-provider-arn=arn:aws:iam::<aws_account_id>:oidc-provider/<name>-oidc.s3.<aws_region>.amazonaws.com

      对于使用替代IAM API端点(例如GovCloud)的AWS环境,您还必须使用--region参数指定您的区域。

      如果您的集群使用由TechPreviewNoUpgrade功能集启用的技术预览功能,则必须包含--enable-tech-preview参数。

      对于每个CredentialsRequest对象,ccoctl都会创建一个IAM角色,该角色具有与指定的OIDC身份提供程序绑定的信任策略,以及OpenShift Container Platform发行版镜像中每个CredentialsRequest对象中定义的权限策略。

验证
  • 要验证OpenShift Container Platform密钥是否已创建,请列出<path_to_ccoctl_output_dir>/manifests目录中的文件。

    $ ls <path_to_ccoctl_output_dir>/manifests
    示例输出
    cluster-authentication-02-config.yaml
    openshift-cloud-credential-operator-cloud-credential-operator-iam-ro-creds-credentials.yaml
    openshift-cloud-network-config-controller-cloud-credentials-credentials.yaml
    openshift-cluster-api-capa-manager-bootstrap-credentials-credentials.yaml
    openshift-cluster-csi-drivers-ebs-cloud-credentials-credentials.yaml
    openshift-image-registry-installer-cloud-credentials-credentials.yaml
    openshift-ingress-operator-cloud-credentials-credentials.yaml
    openshift-machine-api-aws-cloud-credentials-credentials.yaml

    您可以通过查询AWS来验证IAM角色是否已创建。有关更多信息,请参阅AWS文档中关于列出IAM角色的部分。

整合Cloud Credential Operator实用程序清单

要实现为各个组件管理在集群外部管理的短期安全凭据,必须将Cloud Credential Operator实用程序(ccoctl)创建的清单文件移动到安装程序的正确目录。

先决条件
  • 您已配置了一个帐户,该帐户与托管集群的云平台相关联。

  • 您已配置Cloud Credential Operator实用程序(ccoctl)。

  • 您已使用ccoctl实用程序创建了集群所需的云提供商资源。

步骤
  1. 如果您未在install-config.yaml配置文件中将credentialsMode参数设置为Manual,请修改该值,如下所示

    示例配置文件片段
    apiVersion: v1
    baseDomain: example.com
    credentialsMode: Manual
    # ...
  2. 如果您以前没有创建安装清单文件,请运行以下命令来创建:

    $ openshift-install create manifests --dir <installation_directory>

    其中<installation_directory>是安装程序创建文件的目录。

  3. 通过运行以下命令,将ccoctl实用程序生成的清单复制到安装程序创建的manifests目录:

    $ cp /<path_to_ccoctl_output_dir>/manifests/* ./manifests/
  4. 将包含私钥的tls目录复制到安装目录:

    $ cp -a /<path_to_ccoctl_output_dir>/tls .

部署集群

您可以在兼容的云平台上安装OpenShift Container Platform。

您只能在初始安装期间运行安装程序的create cluster命令一次。

先决条件
  • 您已配置了一个帐户,该帐户与托管集群的云平台相关联。

  • 您拥有OpenShift Container Platform安装程序和集群的pull secret。

  • 您已验证主机上的云提供商帐户是否具有部署集群的正确权限。权限不正确的帐户会导致安装过程失败,并显示一条错误消息,其中显示缺少的权限。

步骤
  1. 更改到包含安装程序的目录并初始化集群部署:

    $ ./openshift-install create cluster --dir <installation_directory> \ (1)
        --log-level=info (2)
    
    1 对于<installation_directory>,请指定自定义./install-config.yaml文件的位置。
    2 要查看不同的安装详细信息,请指定warndebugerror而不是info
  2. 可选:从用于安装集群的IAM帐户中删除或禁用AdministratorAccess策略。

    只有在安装期间才需要AdministratorAccess策略提供的提升的权限。

验证

当集群部署成功完成时:

  • 终端将显示访问集群的说明,包括指向Web控制台的链接和kubeadmin用户的凭据。

  • 凭据信息也会输出到<安装目录>/.openshift_install.log

请勿删除安装程序或安装程序创建的文件。两者都用于删除集群。

示例输出
...
INFO Install complete!
INFO To access the cluster as the system:admin user when using 'oc', run 'export KUBECONFIG=/home/myuser/install_dir/auth/kubeconfig'
INFO Access the OpenShift web-console here: https://console-openshift-console.apps.mycluster.example.com
INFO Login to the console with user: "kubeadmin", and password: "password"
INFO Time elapsed: 36m22s
  • 安装程序生成的 Ignition 配置文件包含在 24 小时后过期的证书,届时会自动续期。如果在证书续期之前关闭集群,并在 24 小时后重新启动集群,则集群会自动恢复过期的证书。例外情况是,您必须手动批准待处理的node-bootstrapper证书签名请求 (CSR) 以恢复 kubelet 证书。有关更多信息,请参阅从过期的控制平面证书中恢复的相关文档。

  • 建议您在生成 Ignition 配置文件后 12 小时内使用它们,因为集群安装后 16 到 22 小时会进行 24 小时证书轮换。在 12 小时内使用 Ignition 配置文件,可以避免在安装期间证书更新导致安装失败。

使用 CLI 登录集群

您可以通过导出集群kubeconfig文件以默认系统用户身份登录到您的集群。kubeconfig文件包含集群信息,CLI 使用这些信息将客户端连接到正确的集群和 API 服务器。该文件特定于一个集群,并在 OpenShift Container Platform 安装期间创建。

先决条件
  • 您已部署 OpenShift Container Platform 集群。

  • 您已安装oc CLI。

步骤
  1. 导出kubeadmin凭据

    $ export KUBECONFIG=<installation_directory>/auth/kubeconfig (1)
    1 对于<安装目录>,请指定您存储安装文件的目录的路径。
  2. 验证您可以使用导出的配置成功运行oc命令

    $ oc whoami
    示例输出
    system:admin

禁用默认的 OperatorHub 目录源

在 OpenShift Container Platform 安装期间,默认情况下会为 OperatorHub 配置从 Red Hat 和社区项目提供的源内容的 Operator 目录。在受限网络环境中,您必须以集群管理员身份禁用默认目录。

步骤
  • 通过将disableAllDefaultSources: true添加到OperatorHub对象来禁用默认目录的源。

    $ oc patch OperatorHub cluster --type json \
        -p '[{"op": "add", "path": "/spec/disableAllDefaultSources", "value": true}]'

或者,您可以使用 Web 控制台管理目录源。在管理集群设置配置OperatorHub页面中,点击选项卡,您可以在此处创建、更新、删除、禁用和启用各个源。

后续步骤