VPC
在 OpenShift Container Platform 4.17 版本中,您可以通过在现有的 Amazon Virtual Private Cloud (VPC) 上创建安装发行版内容的内部镜像,在受限网络的 Amazon Web Services (AWS) 上安装集群。
您已查看有关OpenShift Container Platform 安装和更新流程的详细信息。
您已阅读有关选择集群安装方法并为用户准备的文档。
您已将断开连接安装的镜像镜像到您的注册表,并获得了 OpenShift Container Platform 版本的 imageContentSources
数据。
由于安装介质位于镜像主机上,您可以使用该计算机完成所有安装步骤。 |
您在 AWS 中拥有一个现有的 VPC。当使用安装程序置备的基础架构安装到受限网络时,您不能使用安装程序置备的 VPC。您必须使用用户置备的 VPC,该 VPC 必须满足以下要求之一:
包含镜像注册表
具有防火墙规则或对托管在其他位置的镜像注册表的对等连接
您已配置了一个 AWS 账户来托管集群。
如果您在计算机上存储了 AWS 配置文件,则它不能使用您在使用多因素身份验证设备时生成的临时会话令牌。集群将继续使用您当前的 AWS 凭据为整个集群生命周期创建 AWS 资源,因此您必须使用基于密钥的长期凭据。要生成合适的密钥,请参阅 AWS 文档中的管理 IAM 用户的访问密钥。您可以在运行安装程序时提供密钥。 |
您已下载 AWS CLI 并将其安装在您的计算机上。请参阅 AWS 文档中的使用捆绑安装程序安装 AWS CLI(Linux、macOS 或 UNIX)。
如果您使用防火墙并计划使用遥测服务,则您已配置防火墙以允许您的集群需要访问的站点。
如果您正在配置代理,请务必也查看此站点列表。 |
在 OpenShift Container Platform 4.17 中,您可以执行无需主动连接到互联网即可获取软件组件的安装。受限网络安装可以使用安装程序置备的基础架构或用户置备的基础架构来完成,具体取决于您要安装集群的云平台。
如果您选择在云平台上执行受限网络安装,您仍然需要访问其云 API。某些云功能(如 Amazon Web Service 的 Route 53 DNS 和 IAM 服务)需要互联网访问。根据您的网络,您可能需要较少的互联网访问才能在裸机硬件、Nutanix 或 VMware vSphere 上进行安装。
要完成受限网络安装,您必须创建一个注册表,该注册表镜像 OpenShift 镜像注册表的内容并包含安装介质。您可以在可以访问互联网和封闭网络的镜像主机上创建此注册表,或者使用符合您限制的其他方法。
在 OpenShift Container Platform 4.17 中,您可以将集群部署到 Amazon Web Services (AWS) 中现有 Amazon Virtual Private Cloud (VPC) 中的现有子网中。通过将 OpenShift Container Platform 部署到现有的 AWS VPC,您也许能够避免新账户中的限制约束,或者更容易遵守公司指南设定的操作约束。如果您无法获得创建 VPC 所需的基础架构创建权限,请使用此安装选项。
由于安装程序无法知道您的现有子网中还存在哪些其他组件,因此它无法代表您选择子网 CIDR 等。您必须自己为安装集群的子网配置网络。
安装程序不再创建以下组件:
互联网网关
NAT 网关
子网
路由表
VPC
VPC DHCP 选项
VPC 端点
安装程序要求您使用云提供的 DNS 服务器。不支持使用自定义 DNS 服务器,这会导致安装失败。 |
如果您使用自定义 VPC,则必须正确配置它及其子网,以便安装程序和集群使用。有关 AWS VPC 控制台向导配置以及创建和管理 AWS VPC 的更多信息,请参阅 Amazon Web Services 文档中的创建 VPC。
安装程序无法:
细分集群使用的网络范围。
为子网设置路由表。
设置 DHCP 等 VPC 选项。
您的 VPC 必须满足以下特征:
VPC 必须不使用kubernetes.io/cluster/.*: owned
、Name
和 openshift.io/cluster
标签。
安装程序会修改您的子网以添加kubernetes.io/cluster/.*: shared
标签,因此您的子网必须至少有一个可用的标签槽位。请参阅 AWS 文档中的标签限制,以确认安装程序可以向您指定的每个子网添加标签。您不能使用Name
标签,因为它与 EC2 的Name
字段重叠,导致安装失败。
如果您想将 OpenShift Container Platform 集群扩展到 AWS Outpost 并拥有现有的 Outpost 子网,则现有子网必须使用kubernetes.io/cluster/unmanaged: true
标签。如果您不应用此标签,则安装可能会失败,因为 Cloud Controller Manager 会在 Outpost 子网中创建服务负载均衡器,这是一种不受支持的配置。
您必须在您的 VPC 中启用enableDnsSupport
和enableDnsHostnames
属性,以便集群可以使用附加到 VPC 的 Route 53 区域来解析集群的内部 DNS 记录。请参阅 AWS 文档中的VPC 中的 DNS 支持。
如果您更倾向于使用您自己的 Route 53 托管私有区域,则必须在安装集群之前将现有的托管区域与您的 VPC 关联。您可以使用install-config.yaml
文件中的platform.aws.hostedZone
和platform.aws.hostedZoneRole
字段定义您的托管区域。您可以通过与安装集群的帐户共享私有托管区域来自另一个帐户使用它。如果您使用的是另一个帐户的私有托管区域,则必须使用Passthrough
或Manual
凭据模式。
如果您在断开连接的环境中工作,则无法访问 EC2、ELB 和 S3 端点的公共 IP 地址。根据您希望在安装过程中限制互联网流量的程度,可以使用以下配置选项:
创建一个 VPC 端点并将其附加到集群正在使用的子网。将端点命名如下:
ec2.<aws_region>.amazonaws.com
elasticloadbalancing.<aws_region>.amazonaws.com
s3.<aws_region>.amazonaws.com
使用此选项,网络流量将保持在您的 VPC 和所需的 AWS 服务之间私密。
作为安装过程的一部分,您可以配置 HTTP 或 HTTPS 代理。使用此选项,互联网流量将通过代理到达所需的 AWS 服务。
作为安装过程的一部分,您可以使用 VPC 端点配置 HTTP 或 HTTPS 代理。创建一个 VPC 端点并将其附加到集群正在使用的子网。将端点命名如下:
ec2.<aws_region>.amazonaws.com
elasticloadbalancing.<aws_region>.amazonaws.com
s3.<aws_region>.amazonaws.com
在install-config.yaml
文件中配置代理时,请将这些端点添加到noProxy
字段。使用此选项,代理将阻止集群直接访问互联网。但是,网络流量将保持在您的 VPC 和所需的 AWS 服务之间私密。
您必须提供合适的 VPC 和子网,以允许与您的机器通信。
组件 | AWS 类型 | 描述 | |
---|---|---|---|
VPC |
|
您必须为集群提供一个公共 VPC 用于使用。VPC 使用一个端点,该端点引用每个子网的路由表,以改进与托管在 S3 中的注册表通信。 |
|
公共子网 |
|
您的 VPC 必须具有 1 到 3 个可用区之间的公共子网,并将它们与适当的入站规则关联。 |
|
互联网网关 |
|
您必须拥有一个公共互联网网关,其中包含公共路由,并附加到 VPC。在提供的模板中,每个公共子网都具有一个带有 EIP 地址的 NAT 网关。这些 NAT 网关允许集群资源(如私有子网实例)访问互联网,并且对于某些受限网络或代理场景而言并非必需。 |
|
网络访问控制 |
|
您必须允许 VPC 访问以下端口: |
|
端口 |
原因 |
||
|
入站 HTTP 流量 |
||
|
入站 HTTPS 流量 |
||
|
入站 SSH 流量 |
||
|
入站临时流量 |
||
|
出站临时流量 |
||
私有子网 |
|
您的 VPC 可以具有私有子网。提供的 CloudFormation 模板可以为 1 到 3 个可用区创建私有子网。如果您使用私有子网,则必须为其提供适当的路由和表。 |
为了确保您提供的子网合适,安装程序会确认以下数据:
您指定的所有子网都存在。
您提供私有子网。
子网 CIDR 属于您指定的机器 CIDR。
您为每个可用区提供子网。每个可用区最多包含一个公共子网和一个私有子网。如果您使用私有集群,则每个可用区仅提供一个私有子网。否则,每个可用区都提供一个公共子网和一个私有子网。
您为每个私有子网可用区提供一个公共子网。机器不会在您未为其提供私有子网的可用区中进行配置。
如果您销毁使用现有 VPC 的集群,则不会删除 VPC。当您从 VPC 中删除 OpenShift Container Platform 集群时,将从其使用的子网中删除kubernetes.io/cluster/.*: shared
标签。
您可以自定义您在 Amazon Web Services (AWS) 上安装的 OpenShift Container Platform 集群。
您拥有 OpenShift Container Platform 安装程序和集群的拉取密钥。对于受限网络安装,这些文件位于您的镜像主机上。
您拥有在镜像注册表创建期间生成的imageContentSources
值。
您已获得镜像注册表证书的内容。
创建install-config.yaml
文件。
更改到包含安装程序的目录并运行以下命令:
$ ./openshift-install create install-config --dir <installation_directory> (1)
1 | 对于<安装目录> ,请指定安装程序创建的文件存储目录名称。 |
指定目录时
请验证该目录是否具有执行
权限。此权限是运行安装目录下 Terraform 二进制文件的必要条件。
请使用空目录。某些安装资源(例如引导 X.509 证书)的有效期较短,因此您不能重用安装目录。如果您想重用另一个集群安装中的单个文件,可以将它们复制到您的目录中。但是,安装资源的文件名在不同版本之间可能会发生变化。从早期版本的 OpenShift Container Platform 复制安装文件时,请谨慎操作。
在提示符下,提供您的云的配置详细信息
可选:选择一个 SSH 密钥来访问您的集群机器。
对于您想要执行安装调试或灾难恢复的生产 OpenShift Container Platform 集群,请指定您的 |
选择**AWS**作为目标平台。
如果您计算机上没有存储 Amazon Web Services (AWS) 配置文件,请输入您配置为运行安装程序的用户AWS访问密钥 ID 和秘密访问密钥。
选择要将集群部署到的 AWS 区域。
选择您为集群配置的 Route 53 服务的基础域。
输入集群的描述性名称。
编辑install-config.yaml
文件以提供受限网络安装所需的附加信息。
更新pullSecret
值以包含注册表的身份验证信息
pullSecret: '{"auths":{"<mirror_host_name>:5000": {"auth": "<credentials>","email": "[email protected]"}}}'
对于<镜像主机名>
,请指定您在镜像注册表的证书中指定的注册表域名;对于<凭据>
,请指定镜像注册表的 Base64 编码用户名和密码。
添加additionalTrustBundle
参数和值。
additionalTrustBundle: |
-----BEGIN CERTIFICATE-----
ZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZ
-----END CERTIFICATE-----
该值必须是您用于镜像注册表的证书文件的内容。证书文件可以是现有的受信任证书颁发机构,也可以是您为镜像注册表生成的自签名证书。
定义要在其中安装集群的 VPC 的子网
subnets:
- subnet-1
- subnet-2
- subnet-3
添加镜像内容资源,类似于以下 YAML 片段
imageContentSources:
- mirrors:
- <mirror_host_name>:5000/<repo_name>/release
source: quay.io/openshift-release-dev/ocp-release
- mirrors:
- <mirror_host_name>:5000/<repo_name>/release
source: registry.redhat.io/ocp/release
对于这些值,请使用您在镜像注册表创建过程中记录的imageContentSources
。
可选:将发布策略设置为Internal
publish: Internal
通过设置此选项,您可以创建一个内部 Ingress 控制器和一个私有负载均衡器。
对install-config.yaml
文件进行任何其他所需的修改。
有关参数的更多信息,请参见“安装配置参数”。
备份install-config.yaml
文件,以便您可以使用它安装多个集群。
|
每个集群机器必须满足以下最低要求
机器 | 操作系统 | vCPU [1] | 虚拟内存 | 存储 | 每秒输入/输出 (IOPS)[2] |
---|---|---|---|---|---|
引导程序 |
RHCOS |
4 |
16 GB |
100 GB |
300 |
控制平面 |
RHCOS |
4 |
16 GB |
100 GB |
300 |
计算 |
RHCOS、RHEL 8.6 及更高版本 [3] |
2 |
8 GB |
100 GB |
300 |
当未启用同时多线程 (SMT) 或超线程时,一个 vCPU 等于一个物理核心。启用时,请使用以下公式计算相应的比率:(每个核心的线程数 × 核心数)× 插槽数 = vCPU。
OpenShift Container Platform 和 Kubernetes 对磁盘性能敏感,建议使用更快的存储,特别是对于控制平面节点上的 etcd,它需要 10 毫秒 p99 fsync 持续时间。请注意,在许多云平台上,存储大小和 IOPS 是成比例缩放的,因此您可能需要过度分配存储卷才能获得足够的性能。
与所有用户预配的安装一样,如果您选择在集群中使用 RHEL 计算机器,则您将负责所有操作系统生命周期管理和维护,包括执行系统更新、应用补丁以及完成所有其他必需的任务。RHEL 7 计算机器的使用已被弃用,并在 OpenShift Container Platform 4.10 及更高版本中被移除。
从 OpenShift Container Platform 4.13 版本开始,RHCOS 基于 RHEL 9.2 版本,更新了微架构要求。以下列表包含每个架构所需的最低指令集架构 (ISA):
更多信息,请参见 RHEL 架构。 |
如果平台的实例类型满足集群机器的最低要求,则支持在 OpenShift Container Platform 中使用它。
您可以自定义安装配置文件 (install-config.yaml
) 以指定有关 OpenShift Container Platform 集群平台的更多详细信息,或修改所需参数的值。
此 YAML 文件示例仅供参考。您必须使用安装程序获取您的 |
apiVersion: v1
baseDomain: example.com (1)
credentialsMode: Mint (2)
controlPlane: (3) (4)
hyperthreading: Enabled (5)
name: master
platform:
aws:
zones:
- us-west-2a
- us-west-2b
rootVolume:
iops: 4000
size: 500
type: io1 (6)
metadataService:
authentication: Optional (7)
type: m6i.xlarge
replicas: 3
compute: (3)
- hyperthreading: Enabled (5)
name: worker
platform:
aws:
rootVolume:
iops: 2000
size: 500
type: io1 (6)
metadataService:
authentication: Optional (7)
type: c5.4xlarge
zones:
- us-west-2c
replicas: 3
metadata:
name: test-cluster (1)
networking:
clusterNetwork:
- cidr: 10.128.0.0/14
hostPrefix: 23
machineNetwork:
- cidr: 10.0.0.0/16
networkType: OVNKubernetes (8)
serviceNetwork:
- 172.30.0.0/16
platform:
aws:
region: us-west-2 (1)
propagateUserTags: true (3)
userTags:
adminContact: jdoe
costCenter: 7536
subnets: (9)
- subnet-1
- subnet-2
- subnet-3
amiID: ami-0c5d3e03c0ab9b19a (10)
serviceEndpoints: (11)
- name: ec2
url: https://vpce-id.ec2.us-west-2.vpce.amazonaws.com
hostedZone: Z3URY6TWQ91KVV (12)
fips: false (13)
sshKey: ssh-ed25519 AAAA... (14)
pullSecret: '{"auths":{"<local_registry>": {"auth": "<credentials>","email": "[email protected]"}}}' (15)
additionalTrustBundle: | (16)
-----BEGIN CERTIFICATE-----
<MY_TRUSTED_CA_CERT>
-----END CERTIFICATE-----
imageContentSources: (17)
- mirrors:
- <local_registry>/<local_repository_name>/release
source: quay.io/openshift-release-dev/ocp-release
- mirrors:
- <local_registry>/<local_repository_name>/release
source: quay.io/openshift-release-dev/ocp-v4.0-art-dev
1 | 必需。安装程序会提示您输入此值。 | ||
2 | 可选:添加此参数以强制云凭据操作员 (CCO) 使用指定的模式。默认情况下,CCO 使用kube-system 命名空间中的根凭据来动态尝试确定凭据的功能。有关 CCO 模式的详细信息,请参阅《身份验证和授权》指南中的“关于云凭据操作员”部分。 |
||
3 | 如果您不提供这些参数和值,安装程序将提供默认值。 | ||
4 | controlPlane 部分是一个单映射,但compute 部分是映射序列。为了满足不同数据结构的要求,compute 部分的第一行必须以连字符- 开头,而controlPlane 部分的第一行则不能。只使用一个控制平面池。 |
||
5 | 是否启用或禁用同时多线程处理,或称超线程 。默认情况下,启用同时多线程处理以提高机器内核的性能。您可以将参数值设置为Disabled 来禁用它。如果您在某些集群机器上禁用了同时多线程处理,则必须在所有集群机器上禁用它。
|
||
6 | 为了为 etcd 配置更快的存储,特别是对于更大的集群,请将存储类型设置为io1 并将iops 设置为2000 。 |
||
7 | 是否需要Amazon EC2 实例元数据服务 v2 (IMDSv2)。要需要 IMDSv2,请将参数值设置为Required 。要允许同时使用 IMDSv1 和 IMDSv2,请将参数值设置为Optional 。如果未指定值,则允许使用 IMDSv1 和 IMDSv2。
|
||
8 | 要安装的集群网络插件。默认值OVNKubernetes 是唯一支持的值。 |
||
9 | 如果您提供自己的 VPC,请为集群使用的每个可用区指定子网。 | ||
10 | 用于引导集群机器的 AMI 的 ID。如果设置,AMI 必须属于与集群相同的区域。 | ||
11 | AWS 服务端点。安装到未知 AWS 区域时需要自定义端点。端点 URL 必须使用https 协议,并且主机必须信任证书。 |
||
12 | 您现有 Route 53 私有托管区的 ID。提供现有托管区要求您提供自己的 VPC,并且托管区在安装集群之前已与 VPC 关联。如果未定义,安装程序将创建一个新的托管区。 | ||
13 | 是否启用或禁用 FIPS 模式。默认情况下,FIPS 模式未启用。如果启用 FIPS 模式,则运行 OpenShift Container Platform 的 Red Hat Enterprise Linux CoreOS (RHCOS) 机器将绕过默认的 Kubernetes 加密套件,并改用 RHCOS 提供的加密模块。
|
||
14 | 您可以选择提供用于访问集群中机器的sshKey 值。
|
||
15 | 对于<local_registry> ,请指定镜像注册表用于提供内容的注册表域名,以及可选的端口,例如registry.example.com 或registry.example.com:5000 。对于<credentials> ,请指定镜像注册表的 Base64 编码用户名和密码。 |
||
16 | 提供您用于镜像注册表的证书文件的内容。 | ||
17 | 提供镜像存储库的命令输出中的imageContentSources 部分。 |
生产环境可以拒绝直接访问互联网,而是提供 HTTP 或 HTTPS 代理。您可以通过在install-config.yaml
文件中配置代理设置来配置新的 OpenShift Container Platform 集群以使用代理。
您有一个现有的install-config.yaml
文件。
您已查看集群需要访问的站点,并确定其中任何站点是否需要绕过代理。默认情况下,所有集群出站流量都通过代理,包括对托管云提供商 API 的调用。如有必要,您可以将站点添加到Proxy
对象的spec.noProxy
字段中以绕过代理。
对于 Amazon Web Services (AWS)、Google Cloud Platform (GCP)、Microsoft Azure 和 Red Hat OpenStack Platform (RHOSP) 上的安装, |
编辑您的install-config.yaml
文件并添加代理设置。例如
apiVersion: v1
baseDomain: my.domain.com
proxy:
httpProxy: http://<username>:<pswd>@<ip>:<port> (1)
httpsProxy: https://<username>:<pswd>@<ip>:<port> (2)
noProxy: ec2.<aws_region>.amazonaws.com,elasticloadbalancing.<aws_region>.amazonaws.com,s3.<aws_region>.amazonaws.com (3)
additionalTrustBundle: | (4)
-----BEGIN CERTIFICATE-----
<MY_TRUSTED_CA_CERT>
-----END CERTIFICATE-----
additionalTrustBundlePolicy: <policy_to_add_additionalTrustBundle> (5)
1 | 用于创建集群外部 HTTP 连接的代理 URL。URL 方案必须为http 。 |
2 | 用于创建集群外部 HTTPS 连接的代理 URL。 |
3 | 要从代理中排除的目标域名、IP 地址或其他网络 CIDR 的逗号分隔列表。在域名前加上. 以仅匹配子域名。例如,.y.com 匹配x.y.com ,但不匹配y.com 。使用* 绕过所有目标的代理。如果您已将 Amazon EC2 、Elastic Load Balancing 和S3 VPC 端点添加到您的 VPC,则必须将这些端点添加到noProxy 字段。 |
4 | 如果提供,安装程序将生成一个名为user-ca-bundle 的 config map,位于openshift-config 命名空间中,其中包含一个或多个用于代理 HTTPS 连接的附加 CA 证书。集群网络操作员随后将创建一个trusted-ca-bundle config map,该 map 将这些内容与 Red Hat Enterprise Linux CoreOS (RHCOS) 信任捆绑包合并,并且此 config map 在Proxy 对象的trustedCA 字段中引用。除非代理的身份证书由 RHCOS 信任捆绑包中的授权机构签名,否则需要additionalTrustBundle 字段。 |
5 | 可选:确定Proxy 对象的配置以在trustedCA 字段中引用user-ca-bundle config map 的策略。允许的值为Proxyonly 和Always 。使用Proxyonly 仅在配置http/https 代理时引用user-ca-bundle config map。使用Always 始终引用user-ca-bundle config map。默认值为Proxyonly 。 |
安装程序不支持代理 |
如果安装程序超时,请重新启动,然后使用安装程序的
|
保存文件并在安装OpenShift Container Platform时引用它。
安装程序创建一个名为cluster
的集群范围代理,该代理使用提供的install-config.yaml
文件中的代理设置。如果未提供代理设置,则仍会创建cluster
Proxy
对象,但它将具有nil spec
。
仅支持名为 |
默认情况下,管理员密钥存储在kube-system
项目中。如果您在install-config.yaml
文件中将credentialsMode
参数配置为Manual
,则必须使用以下替代方法之一
要手动管理长期云凭据,请按照手动创建长期凭据中的步骤操作。
要实现由集群外部为各个组件管理的短期凭据,请按照配置AWS集群以使用短期凭据中的步骤操作。
在无法访问云身份和访问管理 (IAM) API,或管理员更倾向于不在集群kube-system
命名空间中存储管理员级凭据密钥的环境中,可以在安装之前将云凭据操作员 (CCO) 置于手动模式。
如果您未在install-config.yaml
配置文件中将credentialsMode
参数设置为Manual
,请修改该值,如下所示
apiVersion: v1
baseDomain: example.com
credentialsMode: Manual
# ...
如果您以前没有创建安装清单文件,请运行以下命令来创建:
$ openshift-install create manifests --dir <installation_directory>
其中<installation_directory>
是安装程序创建文件的目录。
通过运行以下命令,使用安装文件中的发行版镜像设置$RELEASE_IMAGE
变量:
$ RELEASE_IMAGE=$(./openshift-install version | awk '/release image/ {print $3}')
通过运行以下命令,从OpenShift Container Platform发行版镜像中提取CredentialsRequest
自定义资源 (CR) 列表:
$ oc adm release extract \
--from=$RELEASE_IMAGE \
--credentials-requests \
--included \(1)
--install-config=<path_to_directory_with_installation_configuration>/install-config.yaml \(2)
--to=<path_to_directory_for_credentials_requests> (3)
1 | --included 参数仅包含特定集群配置所需的清单。 |
2 | 指定install-config.yaml 文件的位置。 |
3 | 指定要存储CredentialsRequest 对象的目录的路径。如果指定的目录不存在,此命令将创建它。 |
此命令将为每个CredentialsRequest
对象创建一个YAML文件。
CredentialsRequest
对象apiVersion: cloudcredential.openshift.io/v1
kind: CredentialsRequest
metadata:
name: <component_credentials_request>
namespace: openshift-cloud-credential-operator
...
spec:
providerSpec:
apiVersion: cloudcredential.openshift.io/v1
kind: AWSProviderSpec
statementEntries:
- effect: Allow
action:
- iam:GetUser
- iam:GetUserPolicy
- iam:ListAccessKeys
resource: "*"
...
为之前生成的openshift-install
清单目录中的密钥创建YAML文件。必须使用每个CredentialsRequest
对象中spec.secretRef
定义的命名空间和密钥名称来存储密钥。
CredentialsRequest
对象apiVersion: cloudcredential.openshift.io/v1
kind: CredentialsRequest
metadata:
name: <component_credentials_request>
namespace: openshift-cloud-credential-operator
...
spec:
providerSpec:
apiVersion: cloudcredential.openshift.io/v1
kind: AWSProviderSpec
statementEntries:
- effect: Allow
action:
- s3:CreateBucket
- s3:DeleteBucket
resource: "*"
...
secretRef:
name: <component_secret>
namespace: <component_namespace>
...
Secret
对象apiVersion: v1
kind: Secret
metadata:
name: <component_secret>
namespace: <component_namespace>
data:
aws_access_key_id: <base64_encoded_aws_access_key_id>
aws_secret_access_key: <base64_encoded_aws_secret_access_key>
在升级使用手动维护凭据的集群之前,必须确保CCO处于可升级状态。 |
要安装配置为使用AWS安全令牌服务(STS)的集群,必须配置CCO实用程序并为集群创建所需的AWS资源。
当云凭据操作员(CCO)处于手动模式时,要从集群外部创建和管理云凭据,请提取并准备CCO实用程序(ccoctl
)二进制文件。
|
您可以访问具有集群管理员访问权限的OpenShift Container Platform帐户。
您已安装OpenShift CLI (oc
)。
您已为ccoctl
实用程序创建了一个AWS帐户,并具有以下权限:
所需的iam
权限
iam:CreateOpenIDConnectProvider
iam:CreateRole
iam:DeleteOpenIDConnectProvider
iam:DeleteRole
iam:DeleteRolePolicy
iam:GetOpenIDConnectProvider
iam:GetRole
iam:GetUser
iam:ListOpenIDConnectProviders
iam:ListRolePolicies
iam:ListRoles
iam:PutRolePolicy
iam:TagOpenIDConnectProvider
iam:TagRole
所需的s3
权限
s3:CreateBucket
s3:DeleteBucket
s3:DeleteObject
s3:GetBucketAcl
s3:GetBucketTagging
s3:GetObject
s3:GetObjectAcl
s3:GetObjectTagging
s3:ListBucket
s3:PutBucketAcl
s3:PutBucketPolicy
s3:PutBucketPublicAccessBlock
s3:PutBucketTagging
s3:PutObject
s3:PutObjectAcl
s3:PutObjectTagging
所需的cloudfront
权限
cloudfront:ListCloudFrontOriginAccessIdentities
cloudfront:ListDistributions
cloudfront:ListTagsForResource
如果您计划将OIDC配置存储在通过公共CloudFront分发URL由IAM身份提供程序访问的私有S3存储桶中,则运行ccoctl
实用程序的AWS帐户需要以下其他权限:
cloudfront:CreateCloudFrontOriginAccessIdentity
cloudfront:CreateDistribution
cloudfront:DeleteCloudFrontOriginAccessIdentity
cloudfront:DeleteDistribution
cloudfront:GetCloudFrontOriginAccessIdentity
cloudfront:GetCloudFrontOriginAccessIdentityConfig
cloudfront:GetDistribution
cloudfront:TagResource
cloudfront:UpdateDistribution
这些附加权限支持在使用 |
通过运行以下命令设置OpenShift Container Platform发行版镜像的变量:
$ RELEASE_IMAGE=$(./openshift-install version | awk '/release image/ {print $3}')
通过运行以下命令从OpenShift Container Platform发行版镜像中获取CCO容器镜像:
$ CCO_IMAGE=$(oc adm release info --image-for='cloud-credential-operator' $RELEASE_IMAGE -a ~/.pull-secret)
确保 |
通过运行以下命令从OpenShift Container Platform发行版镜像中的CCO容器镜像中提取ccoctl
二进制文件:
$ oc image extract $CCO_IMAGE \
--file="/usr/bin/ccoctl.<rhel_version>" \(1)
-a ~/.pull-secret
1 | 对于<rhel_version> ,请指定与主机使用的Red Hat Enterprise Linux (RHEL)版本相对应的值。如果未指定值,则默认使用ccoctl.rhel8 。有效值为:
|
更改权限以使ccoctl
可执行,请运行以下命令:
$ chmod 775 ccoctl.<rhel_version>
要验证ccoctl
是否已准备好使用,请显示帮助文件。运行命令时,请使用相对文件名,例如:
$ ./ccoctl.rhel9
OpenShift credentials provisioning tool
Usage:
ccoctl [command]
Available Commands:
aws Manage credentials objects for AWS cloud
azure Manage credentials objects for Azure
gcp Manage credentials objects for Google cloud
help Help about any command
ibmcloud Manage credentials objects for {ibm-cloud-title}
nutanix Manage credentials objects for Nutanix
Flags:
-h, --help help for ccoctl
Use "ccoctl [command] --help" for more information about a command.
创建AWS资源时,您可以选择以下选项:
您可以使用ccoctl aws create-all
命令自动创建AWS资源。这是创建资源最快的方法。请参阅使用单个命令创建AWS资源。
如果您需要在修改AWS资源之前查看ccoctl
工具创建的JSON文件,或者ccoctl
工具用于自动创建AWS资源的过程不符合您组织的要求,则可以单独创建AWS资源。请参阅单独创建AWS资源。
如果ccoctl
工具用于自动创建AWS资源的过程符合贵组织的要求,则可以使用ccoctl aws create-all
命令来自动创建AWS资源。
否则,您可以单独创建AWS资源。有关更多信息,请参见“单独创建AWS资源”。
默认情况下, |
您必须拥有:
已提取并准备好的ccoctl
二进制文件。
通过运行以下命令,使用安装文件中的发行版镜像设置$RELEASE_IMAGE
变量:
$ RELEASE_IMAGE=$(./openshift-install version | awk '/release image/ {print $3}')
通过运行以下命令,从OpenShift Container Platform发行版镜像中提取CredentialsRequest
对象的列表:
$ oc adm release extract \
--from=$RELEASE_IMAGE \
--credentials-requests \
--included \(1)
--install-config=<path_to_directory_with_installation_configuration>/install-config.yaml \(2)
--to=<path_to_directory_for_credentials_requests> (3)
1 | --included 参数仅包含特定集群配置所需的清单。 |
2 | 指定install-config.yaml 文件的位置。 |
3 | 指定要存储CredentialsRequest 对象的目录的路径。如果指定的目录不存在,此命令将创建它。 |
此命令可能需要几分钟才能运行。 |
使用ccoctl
工具处理所有CredentialsRequest
对象,方法是运行以下命令:
$ ccoctl aws create-all \
--name=<name> \(1)
--region=<aws_region> \(2)
--credentials-requests-dir=<path_to_credentials_requests_directory> \(3)
--output-dir=<path_to_ccoctl_output_dir> \(4)
--create-private-s3-bucket (5)
1 | 指定用于标记为跟踪而创建的任何云资源的名称。 |
2 | 指定将创建云资源的AWS区域。 |
3 | 指定包含组件CredentialsRequest 对象文件的目录。 |
4 | 可选:指定您希望ccoctl 实用程序创建对象的目录。默认情况下,该实用程序在运行命令的目录中创建对象。 |
5 | 可选:默认情况下,ccoctl 实用程序将OpenID Connect (OIDC)配置文件存储在公共S3存储桶中,并使用S3 URL作为公共OIDC端点。要将OIDC配置存储在私有S3存储桶中(该存储桶通过公共CloudFront分发URL由IAM身份提供程序访问),请使用--create-private-s3-bucket 参数。 |
如果您的集群使用由 |
要验证OpenShift Container Platform密钥是否已创建,请列出<path_to_ccoctl_output_dir>/manifests
目录中的文件。
$ ls <path_to_ccoctl_output_dir>/manifests
cluster-authentication-02-config.yaml
openshift-cloud-credential-operator-cloud-credential-operator-iam-ro-creds-credentials.yaml
openshift-cloud-network-config-controller-cloud-credentials-credentials.yaml
openshift-cluster-api-capa-manager-bootstrap-credentials-credentials.yaml
openshift-cluster-csi-drivers-ebs-cloud-credentials-credentials.yaml
openshift-image-registry-installer-cloud-credentials-credentials.yaml
openshift-ingress-operator-cloud-credentials-credentials.yaml
openshift-machine-api-aws-cloud-credentials-credentials.yaml
您可以通过查询AWS来验证IAM角色是否已创建。有关更多信息,请参阅AWS文档中关于列出IAM角色的部分。
您可以使用ccoctl
工具单独创建AWS资源。此选项可能对在不同用户或部门之间共享创建这些资源责任的组织很有用。
否则,您可以使用ccoctl aws create-all
命令自动创建AWS资源。有关更多信息,请参见“使用单个命令创建AWS资源”。
默认情况下, 某些 |
提取并准备ccoctl
二进制文件。
通过运行以下命令生成用于设置集群的OpenID Connect提供程序的公钥和私钥文件:
$ ccoctl aws create-key-pair
2021/04/13 11:01:02 Generating RSA keypair
2021/04/13 11:01:03 Writing private key to /<path_to_ccoctl_output_dir>/serviceaccount-signer.private
2021/04/13 11:01:03 Writing public key to /<path_to_ccoctl_output_dir>/serviceaccount-signer.public
2021/04/13 11:01:03 Copying signing key for use by installer
其中serviceaccount-signer.private
和serviceaccount-signer.public
是生成的密钥文件。
此命令还会在/<path_to_ccoctl_output_dir>/tls/bound-service-account-signing-key.key
中创建一个集群在安装过程中需要的私钥。
通过运行以下命令在AWS上创建一个OpenID Connect身份提供程序和S3存储桶:
$ ccoctl aws create-identity-provider \
--name=<name> \(1)
--region=<aws_region> \(2)
--public-key-file=<path_to_ccoctl_output_dir>/serviceaccount-signer.public (3)
1 | <name> 是用于标记为跟踪而创建的任何云资源的名称。 |
2 | <aws-region> 是将创建云资源的AWS区域。 |
3 | <path_to_ccoctl_output_dir> 是ccoctl aws create-key-pair 命令生成的公钥文件的路径。 |
2021/04/13 11:16:09 Bucket <name>-oidc created
2021/04/13 11:16:10 OpenID Connect discovery document in the S3 bucket <name>-oidc at .well-known/openid-configuration updated
2021/04/13 11:16:10 Reading public key
2021/04/13 11:16:10 JSON web key set (JWKS) in the S3 bucket <name>-oidc at keys.json updated
2021/04/13 11:16:18 Identity Provider created with ARN: arn:aws:iam::<aws_account_id>:oidc-provider/<name>-oidc.s3.<aws_region>.amazonaws.com
其中openid-configuration
是一个发现文档,keys.json
是一个JSON Web密钥集文件。
此命令还会在/<path_to_ccoctl_output_dir>/manifests/cluster-authentication-02-config.yaml
中创建一个YAML配置文件。此文件设置集群生成的Service Account令牌的发行者URL字段,以便AWS IAM身份提供程序信任这些令牌。
为集群中的每个组件创建IAM角色。
通过运行以下命令,使用安装文件中的发行版镜像设置$RELEASE_IMAGE
变量:
$ RELEASE_IMAGE=$(./openshift-install version | awk '/release image/ {print $3}')
从OpenShift Container Platform发行版镜像中提取CredentialsRequest
对象的列表。
$ oc adm release extract \
--from=$RELEASE_IMAGE \
--credentials-requests \
--included \(1)
--install-config=<path_to_directory_with_installation_configuration>/install-config.yaml \(2)
--to=<path_to_directory_for_credentials_requests> (3)
1 | --included 参数仅包含特定集群配置所需的清单。 |
2 | 指定install-config.yaml 文件的位置。 |
3 | 指定要存储CredentialsRequest 对象的目录的路径。如果指定的目录不存在,此命令将创建它。 |
使用ccoctl
工具处理所有CredentialsRequest
对象,方法是运行以下命令:
$ ccoctl aws create-iam-roles \
--name=<name> \
--region=<aws_region> \
--credentials-requests-dir=<path_to_credentials_requests_directory> \
--identity-provider-arn=arn:aws:iam::<aws_account_id>:oidc-provider/<name>-oidc.s3.<aws_region>.amazonaws.com
对于使用替代IAM API端点(例如GovCloud)的AWS环境,您还必须使用 如果您的集群使用由 |
对于每个CredentialsRequest
对象,ccoctl
都会创建一个IAM角色,该角色具有与指定的OIDC身份提供程序绑定的信任策略,以及OpenShift Container Platform发行版镜像中每个CredentialsRequest
对象中定义的权限策略。
要验证OpenShift Container Platform密钥是否已创建,请列出<path_to_ccoctl_output_dir>/manifests
目录中的文件。
$ ls <path_to_ccoctl_output_dir>/manifests
cluster-authentication-02-config.yaml
openshift-cloud-credential-operator-cloud-credential-operator-iam-ro-creds-credentials.yaml
openshift-cloud-network-config-controller-cloud-credentials-credentials.yaml
openshift-cluster-api-capa-manager-bootstrap-credentials-credentials.yaml
openshift-cluster-csi-drivers-ebs-cloud-credentials-credentials.yaml
openshift-image-registry-installer-cloud-credentials-credentials.yaml
openshift-ingress-operator-cloud-credentials-credentials.yaml
openshift-machine-api-aws-cloud-credentials-credentials.yaml
您可以通过查询AWS来验证IAM角色是否已创建。有关更多信息,请参阅AWS文档中关于列出IAM角色的部分。
要实现为各个组件管理在集群外部管理的短期安全凭据,必须将Cloud Credential Operator实用程序(ccoctl
)创建的清单文件移动到安装程序的正确目录。
您已配置了一个帐户,该帐户与托管集群的云平台相关联。
您已配置Cloud Credential Operator实用程序(ccoctl
)。
您已使用ccoctl
实用程序创建了集群所需的云提供商资源。
如果您未在install-config.yaml
配置文件中将credentialsMode
参数设置为Manual
,请修改该值,如下所示
apiVersion: v1
baseDomain: example.com
credentialsMode: Manual
# ...
如果您以前没有创建安装清单文件,请运行以下命令来创建:
$ openshift-install create manifests --dir <installation_directory>
其中<installation_directory>
是安装程序创建文件的目录。
通过运行以下命令,将ccoctl
实用程序生成的清单复制到安装程序创建的manifests
目录:
$ cp /<path_to_ccoctl_output_dir>/manifests/* ./manifests/
将包含私钥的tls
目录复制到安装目录:
$ cp -a /<path_to_ccoctl_output_dir>/tls .
您可以在兼容的云平台上安装OpenShift Container Platform。
您只能在初始安装期间运行安装程序的 |
您已配置了一个帐户,该帐户与托管集群的云平台相关联。
您拥有OpenShift Container Platform安装程序和集群的pull secret。
您已验证主机上的云提供商帐户是否具有部署集群的正确权限。权限不正确的帐户会导致安装过程失败,并显示一条错误消息,其中显示缺少的权限。
更改到包含安装程序的目录并初始化集群部署:
$ ./openshift-install create cluster --dir <installation_directory> \ (1)
--log-level=info (2)
1 | 对于<installation_directory> ,请指定自定义./install-config.yaml 文件的位置。 |
2 | 要查看不同的安装详细信息,请指定warn 、debug 或error 而不是info 。 |
可选:从用于安装集群的IAM帐户中删除或禁用AdministratorAccess
策略。
只有在安装期间才需要 |
当集群部署成功完成时:
终端将显示访问集群的说明,包括指向Web控制台的链接和kubeadmin
用户的凭据。
凭据信息也会输出到<安装目录>/.openshift_install.log
。
请勿删除安装程序或安装程序创建的文件。两者都用于删除集群。 |
...
INFO Install complete!
INFO To access the cluster as the system:admin user when using 'oc', run 'export KUBECONFIG=/home/myuser/install_dir/auth/kubeconfig'
INFO Access the OpenShift web-console here: https://console-openshift-console.apps.mycluster.example.com
INFO Login to the console with user: "kubeadmin", and password: "password"
INFO Time elapsed: 36m22s
|
您可以通过导出集群kubeconfig
文件以默认系统用户身份登录到您的集群。kubeconfig
文件包含集群信息,CLI 使用这些信息将客户端连接到正确的集群和 API 服务器。该文件特定于一个集群,并在 OpenShift Container Platform 安装期间创建。
您已部署 OpenShift Container Platform 集群。
您已安装oc
CLI。
导出kubeadmin
凭据
$ export KUBECONFIG=<installation_directory>/auth/kubeconfig (1)
1 | 对于<安装目录> ,请指定您存储安装文件的目录的路径。 |
验证您可以使用导出的配置成功运行oc
命令
$ oc whoami
system:admin
在 OpenShift Container Platform 安装期间,默认情况下会为 OperatorHub 配置从 Red Hat 和社区项目提供的源内容的 Operator 目录。在受限网络环境中,您必须以集群管理员身份禁用默认目录。
通过将disableAllDefaultSources: true
添加到OperatorHub
对象来禁用默认目录的源。
$ oc patch OperatorHub cluster --type json \
-p '[{"op": "add", "path": "/spec/disableAllDefaultSources", "value": true}]'
或者,您可以使用 Web 控制台管理目录源。在管理→集群设置→配置→OperatorHub页面中,点击源选项卡,您可以在此处创建、更新、删除、禁用和启用各个源。 |
验证安装.
配置镜像流 用于集群示例操作符和must-gather
工具。
如果您用于安装集群的镜像注册表具有受信任的 CA,请通过配置附加信任存储将其添加到集群。
如有必要,您可以选择退出远程运行状况报告。