×

先决条件

关于使用自定义 VPC

在 OpenShift Container Platform 4.17 中,您可以将集群部署到 Amazon Web Services (AWS) 中现有 Amazon Virtual Private Cloud (VPC) 中的现有子网中。通过将 OpenShift Container Platform 部署到现有的 AWS VPC,您也许能够避免新帐户中的限制约束,或者更容易遵守公司指南设定的操作约束。如果您无法获得创建 VPC 所需的基础架构创建权限,请使用此安装选项。

由于安装程序无法知道您的现有子网中还包含哪些其他组件,因此它无法代表您选择子网 CIDR 等。您必须自己为安装集群的子网配置网络。

使用您的 VPC 的要求

安装程序不再创建以下组件:

  • 互联网网关

  • NAT 网关

  • 子网

  • 路由表

  • VPC

  • VPC DHCP 选项

  • VPC 端点

安装程序要求您使用云提供的 DNS 服务器。不支持使用自定义 DNS 服务器,这会导致安装失败。

如果您使用自定义 VPC,则必须正确配置它及其子网,以便安装程序和集群可以使用。有关 AWS VPC 控制台向导配置以及创建和管理 AWS VPC 的更多信息,请参阅 AWS 文档中的创建 VPC

安装程序无法:

  • 细分集群使用的网络范围。

  • 设置子网的路由表。

  • 设置 DHCP 等 VPC 选项。

您必须在安装集群之前完成这些任务。有关在 AWS VPC 中配置网络的更多信息,请参阅VPC 网络组件VPC 的路由表

您的 VPC 必须满足以下特性:

  • 为集群使用的每个可用区创建一个公共子网和私有子网。每个可用区最多可以包含一个公共子网和一个私有子网。有关此类型配置的示例,请参阅 AWS 文档中的具有公共和私有子网 (NAT) 的 VPC

    记录每个子网 ID。完成安装需要您在install-config.yaml文件的platform部分中输入这些值。请参阅 AWS 文档中的查找子网 ID

  • VPC 的 CIDR 块必须包含Networking.MachineCIDR范围,这是集群机器的 IP 地址池。子网 CIDR 块必须属于您指定的机器 CIDR。

  • VPC 必须连接到公共互联网网关。对于每个可用区:

    • 公共子网需要到互联网网关的路由。

    • 公共子网需要一个带有 EIP 地址的 NAT 网关。

    • 私有子网需要到公共子网中 NAT 网关的路由。

  • VPC 不得使用kubernetes.io/cluster/.*: ownedNameopenshift.io/cluster标签。

    安装程序会修改您的子网以添加kubernetes.io/cluster/.*: shared标签,因此您的子网必须至少有一个可用的空标签槽位。请参阅AWS文档中的标签限制,以确认安装程序可以向您指定的每个子网添加标签。您不能使用Name标签,因为它与EC2的Name字段冲突,会导致安装失败。

  • 如果您想将OpenShift Container Platform集群扩展到AWS Outpost,并且拥有现有的Outpost子网,则现有子网必须使用kubernetes.io/cluster/unmanaged: true标签。如果您不应用此标签,则安装可能会失败,因为Cloud Controller Manager会在Outpost子网中创建服务负载均衡器,这是一种不受支持的配置。

  • 您必须在您的VPC中启用enableDnsSupportenableDnsHostnames属性,以便集群可以使用附加到VPC的Route 53区域来解析集群的内部DNS记录。请参阅AWS文档中的VPC中的DNS支持

    如果您更倾向于使用您自己的Route 53托管私有区域,则必须在安装集群之前将现有的托管区域与您的VPC关联。您可以使用install-config.yaml文件中的platform.aws.hostedZoneplatform.aws.hostedZoneRole字段来定义您的托管区域。您可以通过与安装集群的帐户共享私有托管区域来自另一个帐户使用它。如果您使用的是来自另一个帐户的私有托管区域,则必须使用PassthroughManual凭据模式。

如果您在隔离环境中工作,则无法访问EC2、ELB和S3端点的公共IP地址。根据您希望在安装过程中限制互联网流量的程度,可以使用以下配置选项:

选项1:创建VPC端点

创建一个VPC端点并将其附加到集群正在使用的子网。将端点命名如下:

  • ec2.<aws_region>.amazonaws.com

  • elasticloadbalancing.<aws_region>.amazonaws.com

  • s3.<aws_region>.amazonaws.com

使用此选项,网络流量将保留在您的VPC和所需的AWS服务之间。

选项2:创建不使用VPC端点的代理

作为安装过程的一部分,您可以配置HTTP或HTTPS代理。使用此选项,互联网流量将通过代理才能访问所需的AWS服务。

选项3:创建使用VPC端点的代理

作为安装过程的一部分,您可以使用VPC端点配置HTTP或HTTPS代理。创建一个VPC端点并将其附加到集群正在使用的子网。将端点命名如下:

  • ec2.<aws_region>.amazonaws.com

  • elasticloadbalancing.<aws_region>.amazonaws.com

  • s3.<aws_region>.amazonaws.com

install-config.yaml文件中配置代理时,请将这些端点添加到noProxy字段。使用此选项,代理可以防止集群直接访问互联网。但是,网络流量将保留在您的VPC和所需的AWS服务之间。

必需的VPC组件

您必须提供合适的VPC和子网,以允许与您的机器进行通信。

组件 AWS类型 描述

VPC

  • AWS::EC2::VPC

  • AWS::EC2::VPCEndpoint

您必须为集群提供一个公共VPC。VPC使用引用每个子网路由表的端点,以改善与托管在S3中的注册表之间的通信。

公共子网

  • AWS::EC2::Subnet

  • AWS::EC2::SubnetNetworkAclAssociation

您的VPC必须具有1到3个可用区之间的公共子网,并将它们与相应的入站规则关联。

互联网网关

  • AWS::EC2::InternetGateway

  • AWS::EC2::VPCGatewayAttachment

  • AWS::EC2::RouteTable

  • AWS::EC2::Route

  • AWS::EC2::SubnetRouteTableAssociation

  • AWS::EC2::NatGateway

  • AWS::EC2::EIP

您必须拥有一个公共互联网网关,并将其与公共路由一起附加到VPC。在提供的模板中,每个公共子网都有一个带有EIP地址的NAT网关。这些NAT网关允许集群资源(如私有子网实例)访问互联网,并且在某些受限网络或代理场景中并非必需。

网络访问控制

  • AWS::EC2::NetworkAcl

  • AWS::EC2::NetworkAclEntry

您必须允许VPC访问以下端口:

端口

原因

80

入站HTTP流量

443

入站HTTPS流量

22

入站SSH流量

1024 - 65535

入站临时流量

0 - 65535

出站临时流量

私有子网

  • AWS::EC2::Subnet

  • AWS::EC2::RouteTable

  • AWS::EC2::SubnetRouteTableAssociation

您的VPC可以具有私有子网。提供的CloudFormation模板可以为1到3个可用区创建私有子网。如果您使用私有子网,则必须为其提供相应的路由和表。

VPC验证

为了确保您提供的子网适合,安装程序会确认以下数据:

  • 您指定的所有子网都存在。

  • 您提供了私有子网。

  • 子网CIDR属于您指定的机器CIDR。

  • 您为每个可用区提供了子网。每个可用区最多包含一个公共子网和一个私有子网。如果您使用私有集群,则每个可用区只提供一个私有子网。否则,每个可用区正好提供一个公共子网和一个私有子网。

  • 您为每个私有子网可用区提供了一个公共子网。不会在您未为其提供私有子网的可用区中配置机器。

如果您销毁使用现有VPC的集群,则不会删除VPC。当您从VPC中移除OpenShift Container Platform集群时,kubernetes.io/cluster/.*: shared标签将从其使用的子网中移除。

权限划分

从OpenShift Container Platform 4.3开始,您不需要安装程序配置的基础架构集群所需的所有权限来部署集群。此更改模仿您公司可能拥有的权限划分:某些个人可以在您的云中创建与其他人不同的资源。例如,您可以创建特定于应用程序的项目,如实例、存储桶和负载均衡器,但不能创建与网络相关的组件,例如VPC、子网或入口规则。

创建集群时使用的AWS凭据不需要创建VPC和VPC内的核心网络组件(例如子网、路由表、互联网网关、NAT和VPN)所需的网络权限。您仍然需要权限来创建集群中的机器所需的应用程序资源,例如ELB、安全组、S3存储桶和节点。

集群之间的隔离

如果您将OpenShift Container Platform部署到现有网络,则集群服务的隔离将以以下方式降低:

  • 您可以在同一个VPC中安装多个OpenShift Container Platform集群。

  • 允许来自整个网络的ICMP入站流量。

  • 允许来自整个网络的TCP 22入站流量(SSH)。

  • 允许来自整个网络的控制平面TCP 6443入站流量(Kubernetes API)。

  • 允许来自整个网络的控制平面TCP 22623入站流量(MCS)。

可选:AWS安全组

默认情况下,安装程序会创建安全组并将其附加到控制平面和计算机器。与默认安全组关联的规则无法修改。

但是,您可以应用与现有 VPC 关联的其他现有 AWS 安全组来控制控制平面和计算机器。在需要控制这些机器的入站或出站流量的情况下,应用自定义安全组可以帮助您满足组织的安全需求。

作为安装过程的一部分,您可以在部署集群之前修改install-config.yaml文件来应用自定义安全组。

更多信息,请参见“将现有 AWS 安全组应用于集群”。

在共享 VPC 中安装时修改信任策略

如果您使用共享 VPC 安装集群,则可以使用PassthroughManual凭据模式。您必须在拥有 VPC 的账户的信任策略中添加用于安装集群的 IAM 角色作为主体。

如果您使用Passthrough模式,请将创建集群的账户的 Amazon 资源名称 (ARN)(例如arn:aws:iam::123456789012:user/clustercreator)添加到信任策略中作为主体。

如果您使用Manual模式,请将创建集群的账户的 ARN 以及集群所有者账户中入口操作员角色的 ARN(例如arn:aws:iam::123456789012:role/-openshift-ingress-operator-cloud-credentials)添加到信任策略中作为主体。

您必须将以下操作添加到策略中

共享 VPC 安装所需的权限
  • route53:ChangeResourceRecordSets

  • route53:ListHostedZones

  • route53:ListHostedZonesByName

  • route53:ListResourceRecordSets

  • route53:ChangeTagsForResource

  • route53:GetAccountLimit

  • route53:GetChange

  • route53:GetHostedZone

  • route53:ListTagsForResource

  • route53:UpdateHostedZoneComment

  • tag:GetResources

  • tag:UntagResources

创建安装配置文件

您可以自定义您在 Amazon Web Services (AWS) 上安装的 OpenShift Container Platform 集群。

先决条件
  • 您拥有 OpenShift Container Platform 安装程序和集群的拉取密钥。

步骤
  1. 创建install-config.yaml文件。

    1. 更改到包含安装程序的目录并运行以下命令

      $ ./openshift-install create install-config --dir <installation_directory> (1)
      1 对于,请指定用于存储安装程序创建文件的目录名称。

      指定目录时

      • 验证该目录是否具有execute权限。此权限是在安装目录下运行 Terraform 二进制文件所必需的。

      • 使用空目录。一些安装资源(例如 bootstrap X.509 证书)的有效期很短,因此您不能重用安装目录。如果您想重用另一个集群安装中的单个文件,您可以将它们复制到您的目录中。但是,安装资源的文件名在不同版本之间可能会发生变化。从早期 OpenShift Container Platform 版本复制安装文件时,请谨慎操作。

    2. 在提示符下,提供云的配置详细信息。

      1. 可选:选择一个 SSH 密钥来访问您的集群机器。

        对于要执行安装调试或灾难恢复的生产 OpenShift Container Platform 集群,请指定您的ssh-agent进程使用的 SSH 密钥。

      2. 选择AWS作为目标平台。

      3. 如果您的计算机上没有存储 Amazon Web Services (AWS) 配置文件,请输入您配置为运行安装程序的用户 的 AWS 访问密钥 ID 和秘密访问密钥。

      4. 选择要将集群部署到的 AWS 区域。

      5. 为为集群配置的 Route 53 服务选择基本域名。

      6. 输入集群的描述性名称。

  2. 修改install-config.yaml文件。您可以在“安装配置参数”部分找到有关可用参数的更多信息。

  3. 备份install-config.yaml文件,以便您可以使用它来安装多个集群。

    install-config.yaml文件在安装过程中被使用。如果您想重用该文件,则现在必须对其进行备份。

集群安装的最低资源要求

每个集群机器必须满足以下最低要求

表 1. 最低资源要求
机器 操作系统 vCPU [1] 虚拟内存 存储 每秒输入/输出 (IOPS)[2]

引导程序

RHCOS

4

16 GB

100 GB

300

控制平面

RHCOS

4

16 GB

100 GB

300

计算

RHCOS、RHEL 8.6 及更高版本[3]

2

8 GB

100 GB

300

  1. 当未启用同时多线程 (SMT) 或超线程时,一个 vCPU 等于一个物理核心。启用时,使用以下公式计算相应的比率:(每个核心的线程数 × 核心数)× 插槽数 = vCPU 数。

  2. OpenShift Container Platform 和 Kubernetes 对磁盘性能很敏感,建议使用更快的存储,特别是对于控制平面节点上的 etcd,它需要 10 毫秒 p99 fsync 持续时间。请注意,在许多云平台上,存储大小和 IOPS 同时扩展,因此您可能需要过度分配存储卷以获得足够的性能。

  3. 与所有用户配置的安装一样,如果您选择在集群中使用 RHEL 计算机器,您将负责所有操作系统生命周期管理和维护,包括执行系统更新、应用补丁以及完成所有其他必需的任务。RHEL 7 计算机的使用已弃用,并在 OpenShift Container Platform 4.10 及更高版本中已被删除。

从 OpenShift Container Platform 4.13 版本开始,RHCOS 基于 RHEL 9.2 版本,这更新了微架构要求。以下列表包含每个架构所需的最低指令集体系结构 (ISA):

  • x86-64 架构需要 x86-64-v2 ISA

  • ARM64 架构需要 ARMv8.0-A ISA

  • IBM Power 架构需要 Power 9 ISA

  • s390x 架构需要 z14 ISA

更多信息,请参见RHEL 架构

如果平台的实例类型满足集群机器的最低要求,则支持在 OpenShift Container Platform 中使用它。

其他资源

AWS 的测试实例类型

以下 Amazon Web Services (AWS) 实例类型已通过 OpenShift Container Platform 测试。

将以下图表中包含的机器类型用于您的 AWS 实例。如果您使用图表中未列出的实例类型,请确保您使用的实例大小与“集群安装的最低资源要求”部分中列出的最低资源要求相匹配。

基于 64 位 x86 架构的机器类型
  • c4.*

  • c5.*

  • c5a.*

  • i3.*

  • m4.*

  • m5.*

  • m5a.*

  • m6a.*

  • m6i.*

  • r4.*

  • r5.*

  • r5a.*

  • r6i.*

  • t3.*

  • t3a.*

在64位ARM架构AWS上测试的实例类型

以下Amazon Web Services (AWS) 64位ARM实例类型已通过OpenShift Container Platform测试。

对于您的AWS ARM实例,请使用以下图表中包含的机器类型。如果您使用的实例类型未在图表中列出,请确保您使用的实例大小与“集群安装的最低资源要求”中列出的最低资源要求相匹配。

基于64位ARM架构的机器类型
  • c6g.*

  • c7g.*

  • m6g.*

  • m7g.*

  • r8g.*

AWS的自定义install-config.yaml文件示例

您可以自定义安装配置文件(install-config.yaml)以指定有关OpenShift Container Platform集群平台的更多详细信息,或修改所需参数的值。

此YAML文件示例仅供参考。您必须使用安装程序获取您的install-config.yaml文件并对其进行修改。

apiVersion: v1
baseDomain: example.com (1)
credentialsMode: Mint (2)
controlPlane:  (3) (4)
  hyperthreading: Enabled (5)
  name: master
  platform:
    aws:
      zones:
      - us-west-2a
      - us-west-2b
      rootVolume:
        iops: 4000
        size: 500
        type: io1 (6)
      metadataService:
        authentication: Optional (7)
      type: m6i.xlarge
  replicas: 3
compute: (3)
- hyperthreading: Enabled (5)
  name: worker
  platform:
    aws:
      rootVolume:
        iops: 2000
        size: 500
        type: io1 (6)
      metadataService:
        authentication: Optional (7)
      type: c5.4xlarge
      zones:
      - us-west-2c
  replicas: 3
metadata:
  name: test-cluster (1)
networking:
  clusterNetwork:
  - cidr: 10.128.0.0/14
    hostPrefix: 23
  machineNetwork:
  - cidr: 10.0.0.0/16
  networkType: OVNKubernetes (8)
  serviceNetwork:
  - 172.30.0.0/16
platform:
  aws:
    region: us-west-2 (1)
    propagateUserTags: true (3)
    userTags:
      adminContact: jdoe
      costCenter: 7536
    subnets: (9)
    - subnet-1
    - subnet-2
    - subnet-3
    amiID: ami-0c5d3e03c0ab9b19a (10)
    serviceEndpoints: (11)
      - name: ec2
        url: https://vpce-id.ec2.us-west-2.vpce.amazonaws.com
    hostedZone: Z3URY6TWQ91KVV (12)
fips: false (13)
sshKey: ssh-ed25519 AAAA... (14)
pullSecret: '{"auths": ...}' (1)
1 必填。安装程序会提示您输入此值。
2 可选:添加此参数以强制Cloud Credential Operator (CCO) 使用指定的模式。默认情况下,CCO 使用kube-system命名空间中的根凭据来动态尝试确定凭据的功能。有关CCO模式的详细信息,请参阅《身份验证和授权》指南中的“关于Cloud Credential Operator”部分。
3 如果您未提供这些参数和值,安装程序将提供默认值。
4 controlPlane部分是一个单一映射,但compute部分是一系列映射。为了满足不同数据结构的要求,compute部分的第一行必须以连字符-开头,而controlPlane部分的第一行则不能。仅使用一个控制平面池。
5 是否启用或禁用同时多线程处理,或称超线程。默认情况下,启用同时多线程处理以提高机器内核的性能。您可以将其参数值设置为Disabled以禁用它。如果在某些集群机器中禁用了同时多线程处理,则必须在所有集群机器中禁用它。

如果您禁用同时多线程处理,请确保您的容量规划考虑到了机器性能的显著下降。如果您禁用同时多线程处理,请为您的机器使用更大的实例类型,例如m4.2xlargem5.2xlarge

6 为了为etcd配置更快的存储,尤其是在较大的集群中,请将存储类型设置为io1并将iops设置为2000
7 是否需要Amazon EC2 实例元数据服务 v2 (IMDSv2)。要需要IMDSv2,请将参数值设置为Required。要允许同时使用IMDSv1和IMDSv2,请将参数值设置为Optional。如果未指定值,则允许使用IMDSv1和IMDSv2。

在集群安装期间设置的控制平面机器的IMDS配置只能使用AWS CLI更改。计算机器的IMDS配置可以使用计算机器集更改。

8 要安装的集群网络插件。默认值OVNKubernetes是唯一支持的值。
9 如果您提供自己的VPC,请为集群使用的每个可用区指定子网。
10 用于引导集群机器的AMI的ID。如果设置,AMI必须属于与集群相同的区域。
11 AWS服务端点。安装到未知AWS区域时需要自定义端点。端点URL必须使用https协议,并且主机必须信任证书。
12 您现有Route 53私有托管区的ID。提供现有托管区需要您提供自己的VPC,并且托管区在安装集群之前已与VPC关联。如果未定义,安装程序将创建一个新的托管区。
13 是否启用或禁用FIPS模式。默认情况下,FIPS模式未启用。如果启用FIPS模式,则OpenShift Container Platform运行的Red Hat Enterprise Linux CoreOS (RHCOS)机器将绕过默认的Kubernetes加密套件,并改用随RHCOS提供的加密模块。

要为您的集群启用FIPS模式,您必须从配置为在FIPS模式下运行的Red Hat Enterprise Linux (RHEL)计算机运行安装程序。有关在RHEL上配置FIPS模式的更多信息,请参阅将RHEL切换到FIPS模式

在运行在FIPS模式下启动的Red Hat Enterprise Linux (RHEL)或Red Hat Enterprise Linux CoreOS (RHCOS)时,OpenShift Container Platform核心组件仅在x86_64、ppc64le和s390x架构上使用已提交给NIST进行FIPS 140-2/140-3验证的RHEL加密库。

14 您可以选择提供用于访问集群中机器的sshKey值。

对于要执行安装调试或灾难恢复的生产 OpenShift Container Platform 集群,请指定您的ssh-agent进程使用的 SSH 密钥。

在安装过程中配置集群范围的代理

生产环境可以拒绝直接访问互联网,而是提供HTTP或HTTPS代理。您可以通过在install-config.yaml文件中配置代理设置来配置新的OpenShift Container Platform集群以使用代理。

先决条件
  • 您有一个现有的install-config.yaml文件。

  • 您已查看集群需要访问的站点,并确定其中任何站点是否需要绕过代理。默认情况下,所有集群出站流量都将被代理,包括对托管云提供商API的调用。如有必要,您已将站点添加到Proxy对象的spec.noProxy字段以绕过代理。

    Proxy对象的status.noProxy字段将填充您的安装配置中的networking.machineNetwork[].cidrnetworking.clusterNetwork[].cidrnetworking.serviceNetwork[]字段的值。

    对于Amazon Web Services (AWS)、Google Cloud Platform (GCP)、Microsoft Azure和Red Hat OpenStack Platform (RHOSP)上的安装,Proxy对象的status.noProxy字段还将填充实例元数据端点(169.254.169.254)。

步骤
  1. 编辑您的install-config.yaml文件并添加代理设置。例如

    apiVersion: v1
    baseDomain: my.domain.com
    proxy:
      httpProxy: http://<username>:<pswd>@<ip>:<port> (1)
      httpsProxy: https://<username>:<pswd>@<ip>:<port> (2)
      noProxy: ec2.<aws_region>.amazonaws.com,elasticloadbalancing.<aws_region>.amazonaws.com,s3.<aws_region>.amazonaws.com (3)
    additionalTrustBundle: | (4)
        -----BEGIN CERTIFICATE-----
        <MY_TRUSTED_CA_CERT>
        -----END CERTIFICATE-----
    additionalTrustBundlePolicy: <policy_to_add_additionalTrustBundle> (5)
    1 用于创建集群外部HTTP连接的代理URL。URL方案必须为http
    2 用于创建集群外部HTTPS连接的代理URL。
    3 要从代理中排除的目标域名、IP地址或其他网络CIDR的逗号分隔列表。以.为前缀的域名仅匹配子域名。例如,.y.com匹配x.y.com,但不匹配y.com。使用*绕过所有目标的代理。如果您已将Amazon EC2Elastic Load BalancingS3 VPC端点添加到您的VPC,则必须将这些端点添加到noProxy字段。
    4 如果提供,安装程序会生成一个名为user-ca-bundle的配置映射,该映射位于openshift-config命名空间中,其中包含代理HTTPS连接所需的一个或多个附加CA证书。然后,集群网络操作符会创建一个trusted-ca-bundle配置映射,将这些内容与Red Hat Enterprise Linux CoreOS (RHCOS)信任捆绑包合并,并且此配置映射在Proxy对象的trustedCA字段中被引用。除非代理的身份证书由RHCOS信任捆绑包中的授权机构签名,否则additionalTrustBundle字段是必需的。
    5 可选:确定Proxy对象的配置以在trustedCA字段中引用user-ca-bundle配置映射的策略。允许的值为ProxyonlyAlways。使用Proxyonly仅在配置http/https代理时引用user-ca-bundle配置映射。使用Always始终引用user-ca-bundle配置映射。默认值为Proxyonly

    安装程序不支持代理readinessEndpoints字段。

    如果安装程序超时,请重新启动,然后使用安装程序的wait-for命令完成部署。例如

    $ ./openshift-install wait-for install-complete --log-level debug
  2. 保存文件并在安装OpenShift Container Platform时引用它。

安装程序创建一个名为cluster的集群范围代理,该代理使用提供的install-config.yaml文件中的代理设置。如果未提供代理设置,则仍然会创建cluster Proxy对象,但它将具有nil spec

仅支持名为clusterProxy对象,不能创建其他代理。

将现有的AWS安全组应用于集群

将现有的AWS安全组应用于您的控制平面和计算机器可以帮助您满足组织的安全需求,在这种情况下,您需要控制这些机器的传入或传出流量。

先决条件
  • 您已在AWS中创建了安全组。有关更多信息,请参阅AWS关于使用安全组的文档。

  • 安全组必须与您要向其部署集群的现有VPC关联。安全组不能与其他VPC关联。

  • 您有一个现有的install-config.yaml文件。

步骤
  1. install-config.yaml文件中,编辑compute.platform.aws.additionalSecurityGroupIDs参数以指定计算机器的一个或多个自定义安全组。

  2. 编辑controlPlane.platform.aws.additionalSecurityGroupIDs参数以指定控制平面机器的一个或多个自定义安全组。

  3. 保存文件并在部署集群时引用它。

指定自定义安全组的install-config.yaml文件示例
# ...
compute:
- hyperthreading: Enabled
  name: worker
  platform:
    aws:
      additionalSecurityGroupIDs:
        - sg-1 (1)
        - sg-2
  replicas: 3
controlPlane:
  hyperthreading: Enabled
  name: master
  platform:
    aws:
      additionalSecurityGroupIDs:
        - sg-3
        - sg-4
  replicas: 3
platform:
  aws:
    region: us-east-1
    subnets: (2)
      - subnet-1
      - subnet-2
      - subnet-3
1 指定安全组的名称,如其在Amazon EC2控制台中显示的那样,包括sg前缀。
2 为集群使用的每个可用区指定子网。

在kube-system项目中存储管理员级密钥的替代方法

默认情况下,管理员密钥存储在kube-system项目中。如果您在install-config.yaml文件中将credentialsMode参数配置为Manual,则必须使用以下替代方法之一

手动创建长期凭据

在无法访问云身份和访问管理(IAM) API或管理员更倾向于不在集群kube-system命名空间中存储管理员级凭据密钥的环境中,可以在安装前将云凭据操作符(CCO)置于手动模式。

步骤
  1. 如果您未在install-config.yaml配置文件中将credentialsMode参数设置为Manual,请修改该值,如下所示

    配置文件片段示例
    apiVersion: v1
    baseDomain: example.com
    credentialsMode: Manual
    # ...
  2. 如果您以前没有创建安装清单文件,请运行以下命令来创建

    $ openshift-install create manifests --dir <installation_directory>

    其中<installation_directory>是安装程序创建文件的目录。

  3. 通过运行以下命令,使用安装文件中的发行版镜像设置$RELEASE_IMAGE变量

    $ RELEASE_IMAGE=$(./openshift-install version | awk '/release image/ {print $3}')
  4. 通过运行以下命令,从OpenShift Container Platform发行版镜像中提取CredentialsRequest自定义资源(CR)列表

    $ oc adm release extract \
      --from=$RELEASE_IMAGE \
      --credentials-requests \
      --included \(1)
      --install-config=<path_to_directory_with_installation_configuration>/install-config.yaml \(2)
      --to=<path_to_directory_for_credentials_requests> (3)
    1 --included参数仅包含特定集群配置所需的清单。
    2 指定install-config.yaml文件的位置。
    3 指定要存储CredentialsRequest对象的目录的路径。如果指定的目录不存在,则此命令会创建它。

    此命令为每个CredentialsRequest对象创建一个YAML文件。

    CredentialsRequest对象示例
    apiVersion: cloudcredential.openshift.io/v1
    kind: CredentialsRequest
    metadata:
      name: <component_credentials_request>
      namespace: openshift-cloud-credential-operator
      ...
    spec:
      providerSpec:
        apiVersion: cloudcredential.openshift.io/v1
        kind: AWSProviderSpec
        statementEntries:
        - effect: Allow
          action:
          - iam:GetUser
          - iam:GetUserPolicy
          - iam:ListAccessKeys
          resource: "*"
      ...
  5. 在您之前生成的openshift-install清单目录中为密钥创建YAML文件。必须使用每个CredentialsRequest对象中spec.secretRef定义的命名空间和密钥名称来存储密钥。

    包含密钥的CredentialsRequest对象示例
    apiVersion: cloudcredential.openshift.io/v1
    kind: CredentialsRequest
    metadata:
      name: <component_credentials_request>
      namespace: openshift-cloud-credential-operator
      ...
    spec:
      providerSpec:
        apiVersion: cloudcredential.openshift.io/v1
        kind: AWSProviderSpec
        statementEntries:
        - effect: Allow
          action:
          - s3:CreateBucket
          - s3:DeleteBucket
          resource: "*"
          ...
      secretRef:
        name: <component_secret>
        namespace: <component_namespace>
      ...
    Secret对象示例
    apiVersion: v1
    kind: Secret
    metadata:
      name: <component_secret>
      namespace: <component_namespace>
    data:
      aws_access_key_id: <base64_encoded_aws_access_key_id>
      aws_secret_access_key: <base64_encoded_aws_secret_access_key>

在升级使用手动维护的凭据的集群之前,必须确保CCO处于可升级状态。

配置AWS集群以使用短期凭据

要安装配置为使用AWS安全令牌服务(STS)的集群,必须配置CCO实用程序并为集群创建所需的AWS资源。

配置云凭据操作符实用程序

当云凭据操作符(CCO)在手动模式下运行时,要从集群外部创建和管理云凭据,请提取并准备CCO实用程序(ccoctl)二进制文件。

ccoctl实用程序是一个Linux二进制文件,必须在Linux环境中运行。

先决条件
  • 您可以访问具有集群管理员访问权限的OpenShift Container Platform帐户。

  • 您已安装OpenShift CLI (oc)。

  • 您已为ccoctl实用程序创建了一个AWS帐户,并具有以下权限:

    所需的AWS权限

    所需的iam权限

    • iam:CreateOpenIDConnectProvider

    • iam:CreateRole

    • iam:DeleteOpenIDConnectProvider

    • iam:DeleteRole

    • iam:DeleteRolePolicy

    • iam:GetOpenIDConnectProvider

    • iam:GetRole

    • iam:GetUser

    • iam:ListOpenIDConnectProviders

    • iam:ListRolePolicies

    • iam:ListRoles

    • iam:PutRolePolicy

    • iam:TagOpenIDConnectProvider

    • iam:TagRole

    所需的s3权限

    • s3:CreateBucket

    • s3:DeleteBucket

    • s3:DeleteObject

    • s3:GetBucketAcl

    • s3:GetBucketTagging

    • s3:GetObject

    • s3:GetObjectAcl

    • s3:GetObjectTagging

    • s3:ListBucket

    • s3:PutBucketAcl

    • s3:PutBucketPolicy

    • s3:PutBucketPublicAccessBlock

    • s3:PutBucketTagging

    • s3:PutObject

    • s3:PutObjectAcl

    • s3:PutObjectTagging

    所需的cloudfront权限

    • cloudfront:ListCloudFrontOriginAccessIdentities

    • cloudfront:ListDistributions

    • cloudfront:ListTagsForResource

    如果您计划将OIDC配置存储在通过公共CloudFront分发URL由IAM身份提供商访问的私有S3存储桶中,则运行ccoctl实用程序的AWS帐户需要以下其他权限:

    使用CloudFront的私有S3存储桶的其他权限
    • cloudfront:CreateCloudFrontOriginAccessIdentity

    • cloudfront:CreateDistribution

    • cloudfront:DeleteCloudFrontOriginAccessIdentity

    • cloudfront:DeleteDistribution

    • cloudfront:GetCloudFrontOriginAccessIdentity

    • cloudfront:GetCloudFrontOriginAccessIdentityConfig

    • cloudfront:GetDistribution

    • cloudfront:TagResource

    • cloudfront:UpdateDistribution

    这些额外的权限支持在使用ccoctl aws create-all命令处理凭据请求时使用--create-private-s3-bucket选项。

步骤
  1. 通过运行以下命令设置OpenShift Container Platform发行版镜像的变量

    $ RELEASE_IMAGE=$(./openshift-install version | awk '/release image/ {print $3}')
  2. 通过运行以下命令从OpenShift Container Platform发行版镜像中获取CCO容器镜像

    $ CCO_IMAGE=$(oc adm release info --image-for='cloud-credential-operator' $RELEASE_IMAGE -a ~/.pull-secret)

    确保$RELEASE_IMAGE的架构与您将使用ccoctl工具的环境架构匹配。

  3. 通过运行以下命令从OpenShift Container Platform发行版镜像中的CCO容器镜像中提取ccoctl二进制文件

    $ oc image extract $CCO_IMAGE \
      --file="/usr/bin/ccoctl.<rhel_version>" \(1)
      -a ~/.pull-secret
    1 对于<rhel_version>,请指定与主机使用的Red Hat Enterprise Linux (RHEL)版本相对应的值。如果未指定值,则默认使用ccoctl.rhel8。有效值为:
    • rhel8:对于使用RHEL 8的主机,指定此值。

    • rhel9:对于使用RHEL 9的主机,指定此值。

  4. 通过运行以下命令更改权限以使ccoctl可执行

    $ chmod 775 ccoctl.<rhel_version>
验证
  • 要验证ccoctl是否可以使用,请显示帮助文件。运行命令时,请使用相对文件名,例如:

    $ ./ccoctl.rhel9
    示例输出
    OpenShift credentials provisioning tool
    
    Usage:
      ccoctl [command]
    
    Available Commands:
      aws          Manage credentials objects for AWS cloud
      azure        Manage credentials objects for Azure
      gcp          Manage credentials objects for Google cloud
      help         Help about any command
      ibmcloud     Manage credentials objects for {ibm-cloud-title}
      nutanix      Manage credentials objects for Nutanix
    
    Flags:
      -h, --help   help for ccoctl
    
    Use "ccoctl [command] --help" for more information about a command.

使用Cloud Credential Operator实用程序创建AWS资源

创建AWS资源时,您有以下选项:

  • 您可以使用ccoctl aws create-all命令自动创建AWS资源。这是创建资源最快的方法。请参见使用单个命令创建AWS资源

  • 如果您需要在修改AWS资源之前查看ccoctl工具创建的JSON文件,或者ccoctl工具用于自动创建AWS资源的过程不符合您组织的要求,您可以单独创建AWS资源。请参见单独创建AWS资源

使用单个命令创建AWS资源

如果ccoctl工具用于自动创建AWS资源的过程符合您组织的要求,则可以使用ccoctl aws create-all命令自动创建AWS资源。

否则,您可以单独创建AWS资源。有关更多信息,请参见“单独创建AWS资源”。

默认情况下,ccoctl在运行命令的目录中创建对象。要在不同的目录中创建对象,请使用--output-dir标志。此过程使用<path_to_ccoctl_output_dir>来引用此目录。

先决条件

您必须:

  • 提取并准备ccoctl二进制文件。

步骤
  1. 通过运行以下命令,使用安装文件中的发行版镜像设置$RELEASE_IMAGE变量

    $ RELEASE_IMAGE=$(./openshift-install version | awk '/release image/ {print $3}')
  2. 通过运行以下命令从OpenShift Container Platform发行版镜像中提取CredentialsRequest对象的列表

    $ oc adm release extract \
      --from=$RELEASE_IMAGE \
      --credentials-requests \
      --included \(1)
      --install-config=<path_to_directory_with_installation_configuration>/install-config.yaml \(2)
      --to=<path_to_directory_for_credentials_requests> (3)
    1 --included参数仅包含特定集群配置所需的清单。
    2 指定install-config.yaml文件的位置。
    3 指定要存储CredentialsRequest对象的目录的路径。如果指定的目录不存在,则此命令会创建它。

    此命令可能需要几分钟才能运行。

  3. 使用ccoctl工具处理所有CredentialsRequest对象,运行以下命令:

    $ ccoctl aws create-all \
      --name=<name> \(1)
      --region=<aws_region> \(2)
      --credentials-requests-dir=<path_to_credentials_requests_directory> \(3)
      --output-dir=<path_to_ccoctl_output_dir> \(4)
      --create-private-s3-bucket (5)
    1 指定用于标记为跟踪而创建的任何云资源的名称。
    2 指定将创建云资源的AWS区域。
    3 指定包含组件CredentialsRequest对象文件的目录。
    4 可选:指定您希望ccoctl实用程序创建对象的目录。默认情况下,该实用程序在运行命令的目录中创建对象。
    5 可选:默认情况下,ccoctl实用程序将OpenID Connect (OIDC)配置文件存储在公共S3存储桶中,并使用S3 URL作为公共OIDC端点。要改为将OIDC配置存储在私有S3存储桶中,并通过公共CloudFront分发URL由IAM身份提供程序访问,请使用--create-private-s3-bucket参数。

    如果您的集群使用由TechPreviewNoUpgrade功能集启用的技术预览功能,则必须包含--enable-tech-preview参数。

验证
  • 要验证是否创建了OpenShift Container Platform密钥,请列出<path_to_ccoctl_output_dir>/manifests目录中的文件

    $ ls <path_to_ccoctl_output_dir>/manifests
    示例输出
    cluster-authentication-02-config.yaml
    openshift-cloud-credential-operator-cloud-credential-operator-iam-ro-creds-credentials.yaml
    openshift-cloud-network-config-controller-cloud-credentials-credentials.yaml
    openshift-cluster-api-capa-manager-bootstrap-credentials-credentials.yaml
    openshift-cluster-csi-drivers-ebs-cloud-credentials-credentials.yaml
    openshift-image-registry-installer-cloud-credentials-credentials.yaml
    openshift-ingress-operator-cloud-credentials-credentials.yaml
    openshift-machine-api-aws-cloud-credentials-credentials.yaml

    您可以通过查询AWS来验证是否创建了IAM角色。有关更多信息,请参阅AWS文档中关于列出IAM角色的部分。

单独创建AWS资源

您可以使用ccoctl工具单独创建AWS资源。对于在不同用户或部门之间共享创建这些资源责任的组织,此选项可能很有用。

否则,您可以使用ccoctl aws create-all命令自动创建AWS资源。有关更多信息,请参见“使用单个命令创建AWS资源”。

默认情况下,ccoctl在运行命令的目录中创建对象。要在不同的目录中创建对象,请使用--output-dir标志。此过程使用<path_to_ccoctl_output_dir>来引用此目录。

一些ccoctl命令会发出AWS API调用以创建或修改AWS资源。您可以使用--dry-run标志来避免进行API调用。使用此标志会在本地文件系统上创建JSON文件。您可以查看和修改JSON文件,然后使用AWS CLI工具和--cli-input-json参数应用它们。

先决条件
  • 提取并准备ccoctl二进制文件。

步骤
  1. 生成用于设置集群的OpenID Connect提供程序的公钥和私钥文件,运行以下命令:

    $ ccoctl aws create-key-pair
    示例输出
    2021/04/13 11:01:02 Generating RSA keypair
    2021/04/13 11:01:03 Writing private key to /<path_to_ccoctl_output_dir>/serviceaccount-signer.private
    2021/04/13 11:01:03 Writing public key to /<path_to_ccoctl_output_dir>/serviceaccount-signer.public
    2021/04/13 11:01:03 Copying signing key for use by installer

    其中serviceaccount-signer.privateserviceaccount-signer.public是生成的密钥文件。

    此命令还会在/<path_to_ccoctl_output_dir>/tls/bound-service-account-signing-key.key中创建集群安装期间所需的私钥。

  2. 通过运行以下命令创建AWS上的OpenID Connect身份提供程序和S3存储桶:

    $ ccoctl aws create-identity-provider \
      --name=<name> \(1)
      --region=<aws_region> \(2)
      --public-key-file=<path_to_ccoctl_output_dir>/serviceaccount-signer.public (3)
    1 <name>是用于标记为跟踪而创建的任何云资源的名称。
    2 <aws-region>是将创建云资源的AWS区域。
    3 <path_to_ccoctl_output_dir>ccoctl aws create-key-pair命令生成的公钥文件的路径。
    示例输出
    2021/04/13 11:16:09 Bucket <name>-oidc created
    2021/04/13 11:16:10 OpenID Connect discovery document in the S3 bucket <name>-oidc at .well-known/openid-configuration updated
    2021/04/13 11:16:10 Reading public key
    2021/04/13 11:16:10 JSON web key set (JWKS) in the S3 bucket <name>-oidc at keys.json updated
    2021/04/13 11:16:18 Identity Provider created with ARN: arn:aws:iam::<aws_account_id>:oidc-provider/<name>-oidc.s3.<aws_region>.amazonaws.com

    其中openid-configuration是发现文档,keys.json是JSON Web密钥集文件。

    此命令还会在/<path_to_ccoctl_output_dir>/manifests/cluster-authentication-02-config.yaml中创建一个YAML配置文件。此文件设置集群生成的Service Account令牌的发行者URL字段,以便AWS IAM身份提供程序信任这些令牌。

  3. 为集群中的每个组件创建IAM角色

    1. 通过运行以下命令,使用安装文件中的发行版镜像设置$RELEASE_IMAGE变量

      $ RELEASE_IMAGE=$(./openshift-install version | awk '/release image/ {print $3}')
    2. 从OpenShift Container Platform发行版镜像中提取CredentialsRequest对象的列表

      $ oc adm release extract \
        --from=$RELEASE_IMAGE \
        --credentials-requests \
        --included \(1)
        --install-config=<path_to_directory_with_installation_configuration>/install-config.yaml \(2)
        --to=<path_to_directory_for_credentials_requests> (3)
      1 --included参数仅包含特定集群配置所需的清单。
      2 指定install-config.yaml文件的位置。
      3 指定要存储CredentialsRequest对象的目录的路径。如果指定的目录不存在,则此命令会创建它。
    3. 使用ccoctl工具处理所有CredentialsRequest对象,运行以下命令:

      $ ccoctl aws create-iam-roles \
        --name=<name> \
        --region=<aws_region> \
        --credentials-requests-dir=<path_to_credentials_requests_directory> \
        --identity-provider-arn=arn:aws:iam::<aws_account_id>:oidc-provider/<name>-oidc.s3.<aws_region>.amazonaws.com

      对于使用替代IAM API端点(例如GovCloud)的AWS环境,您还必须使用--region参数指定您的区域。

      如果您的集群使用由TechPreviewNoUpgrade功能集启用的技术预览功能,则必须包含--enable-tech-preview参数。

      对于每个CredentialsRequest对象,ccoctl都会创建一个IAM角色,该角色具有与指定的OIDC身份提供程序绑定的信任策略,以及在OpenShift Container Platform发行版镜像中的每个CredentialsRequest对象中定义的权限策略。

验证
  • 要验证是否创建了OpenShift Container Platform密钥,请列出<path_to_ccoctl_output_dir>/manifests目录中的文件

    $ ls <path_to_ccoctl_output_dir>/manifests
    示例输出
    cluster-authentication-02-config.yaml
    openshift-cloud-credential-operator-cloud-credential-operator-iam-ro-creds-credentials.yaml
    openshift-cloud-network-config-controller-cloud-credentials-credentials.yaml
    openshift-cluster-api-capa-manager-bootstrap-credentials-credentials.yaml
    openshift-cluster-csi-drivers-ebs-cloud-credentials-credentials.yaml
    openshift-image-registry-installer-cloud-credentials-credentials.yaml
    openshift-ingress-operator-cloud-credentials-credentials.yaml
    openshift-machine-api-aws-cloud-credentials-credentials.yaml

    您可以通过查询AWS来验证是否创建了IAM角色。有关更多信息,请参阅AWS文档中关于列出IAM角色的部分。

整合Cloud Credential Operator实用程序清单

要实现为各个组件管理集群外部的短期安全凭据,您必须将Cloud Credential Operator实用程序(ccoctl)创建的清单文件移动到安装程序的正确目录。

先决条件
  • 您已配置一个帐户,该帐户具有托管您的集群的云平台。

  • 您已配置Cloud Credential Operator实用程序(ccoctl)。

  • 您已使用ccoctl实用程序创建了集群所需的云提供商资源。

步骤
  1. 如果您未在install-config.yaml配置文件中将credentialsMode参数设置为Manual,请修改该值,如下所示

    配置文件片段示例
    apiVersion: v1
    baseDomain: example.com
    credentialsMode: Manual
    # ...
  2. 如果您以前没有创建安装清单文件,请运行以下命令来创建

    $ openshift-install create manifests --dir <installation_directory>

    其中<installation_directory>是安装程序创建文件的目录。

  3. ccoctl实用程序生成的清单复制到安装程序创建的manifests目录中,方法是运行以下命令:

    $ cp /<path_to_ccoctl_output_dir>/manifests/* ./manifests/
  4. 将包含私钥的tls目录复制到安装目录。

    $ cp -a /<path_to_ccoctl_output_dir>/tls .

部署集群

您可以在兼容的云平台上安装OpenShift Container Platform。

您只能在初始安装期间运行安装程序的create cluster命令一次。

先决条件
  • 您已配置一个帐户,该帐户具有托管您的集群的云平台。

  • 您拥有 OpenShift Container Platform 安装程序和集群的拉取密钥。

  • 您已验证主机上的云提供商帐户具有部署集群的正确权限。权限不正确的帐户会导致安装过程失败,并显示一条错误消息,其中显示缺少的权限。

步骤
  1. 切换到包含安装程序的目录,并初始化集群部署。

    $ ./openshift-install create cluster --dir <installation_directory> \ (1)
        --log-level=info (2)
    
    1 对于<installation_directory>,请指定您自定义的./install-config.yaml文件的路径。
    2 要查看不同的安装详细信息,请指定warndebugerror代替info
  2. 可选:从用于安装集群的IAM帐户中删除或禁用AdministratorAccess策略。

    只有在安装过程中才需要AdministratorAccess策略提供的提升的权限。

验证

集群部署成功完成时

  • 终端将显示访问集群的说明,包括指向 Web 控制台的链接以及kubeadmin用户的凭据。

  • 凭据信息也会输出到<installation_directory>/.openshift_install.log

请勿删除安装程序或安装程序创建的文件。两者都是删除集群所必需的。

示例输出
...
INFO Install complete!
INFO To access the cluster as the system:admin user when using 'oc', run 'export KUBECONFIG=/home/myuser/install_dir/auth/kubeconfig'
INFO Access the OpenShift web-console here: https://console-openshift-console.apps.mycluster.example.com
INFO Login to the console with user: "kubeadmin", and password: "password"
INFO Time elapsed: 36m22s
  • 安装程序生成的 Ignition 配置文件包含在 24 小时后过期的证书,届时将续订这些证书。如果在续订证书之前关闭集群,并在 24 小时后重新启动集群,则集群会自动恢复已过期的证书。例外情况是,您必须手动批准挂起的node-bootstrapper证书签名请求 (CSR) 以恢复 kubelet 证书。有关更多信息,请参阅从过期的控制平面证书中恢复文档。

  • 建议您在生成 Ignition 配置文件后 12 小时内使用它们,因为在集群安装后 16 到 22 小时,24 小时证书会轮换。通过在 12 小时内使用 Ignition 配置文件,如果在安装过程中运行证书更新,您可以避免安装失败。

使用 CLI 登录集群

您可以通过导出集群kubeconfig文件以默认系统用户身份登录到集群。kubeconfig文件包含有关集群的信息,CLI 使用这些信息将客户端连接到正确的集群和 API 服务器。该文件特定于某个集群,并在 OpenShift Container Platform 安装期间创建。

先决条件
  • 您已部署了一个 OpenShift Container Platform 集群。

  • 您已安装oc CLI。

步骤
  1. 导出kubeadmin凭据

    $ export KUBECONFIG=<installation_directory>/auth/kubeconfig (1)
    1 对于<installation_directory>,请指定您存储安装文件的目录的路径。
  2. 验证您可以使用导出的配置成功运行oc命令。

    $ oc whoami
    示例输出
    system:admin

使用 Web 控制台登录集群

在 OpenShift Container Platform 安装后,默认情况下存在kubeadmin用户。您可以使用 OpenShift Container Platform Web 控制台以kubeadmin用户身份登录到集群。

先决条件
  • 您可以访问安装主机。

  • 您已完成集群安装,并且所有集群运算符都可用。

步骤
  1. 从安装主机上的kubeadmin-password文件获取kubeadmin用户的密码。

    $ cat <installation_directory>/auth/kubeadmin-password

    或者,您可以从安装主机上的<installation_directory>/.openshift_install.log日志文件获取kubeadmin密码。

  2. 列出 OpenShift Container Platform Web 控制台路由。

    $ oc get routes -n openshift-console | grep 'console-openshift'

    或者,您可以从安装主机上的<installation_directory>/.openshift_install.log日志文件获取 OpenShift Container Platform 路由。

    示例输出
    console     console-openshift-console.apps.<cluster_name>.<base_domain>            console     https   reencrypt/Redirect   None
  3. 在 Web 浏览器中导航到前面命令输出中详细说明的路由,并以kubeadmin用户身份登录。

其他资源
  • 有关访问和了解 OpenShift Container Platform Web 控制台的更多详细信息,请参阅访问 Web 控制台

后续步骤