VPC
在 OpenShift Container Platform 4.17 版本中,您可以将集群安装到 Amazon Web Services (AWS) 上现有的 Amazon Virtual Private Cloud (VPC) 中。安装程序会预配其余所需的架构,您可以进一步自定义这些架构。要自定义安装,请在安装集群之前修改install-config.yaml
文件中的参数。
您已查看有关OpenShift Container Platform 安装和更新流程的详细信息。
您已阅读有关选择集群安装方法并为用户准备集群的文档。
您已配置 AWS 账户来托管集群。
如果现有 VPC 由与集群不同的账户拥有,则您已在账户之间共享 VPC。
如果您在计算机上存储了 AWS 配置文件,则它不得使用您在使用多因素身份验证设备时生成的临时会话令牌。集群将继续使用您当前的 AWS 凭据来创建集群的整个生命周期内的 AWS 资源,因此您必须使用长期凭据。要生成合适的密钥,请参阅 AWS 文档中的管理 IAM 用户的访问密钥。您可以在运行安装程序时提供密钥。 |
如果您使用防火墙,则您已将其配置为允许集群需要访问的站点。
在 OpenShift Container Platform 4.17 中,您可以将集群部署到 Amazon Web Services (AWS) 中现有 Amazon Virtual Private Cloud (VPC) 中的现有子网中。通过将 OpenShift Container Platform 部署到现有的 AWS VPC,您也许能够避免新帐户中的限制约束,或者更容易遵守公司指南设定的操作约束。如果您无法获得创建 VPC 所需的基础架构创建权限,请使用此安装选项。
由于安装程序无法知道您的现有子网中还包含哪些其他组件,因此它无法代表您选择子网 CIDR 等。您必须自己为安装集群的子网配置网络。
安装程序不再创建以下组件:
互联网网关
NAT 网关
子网
路由表
VPC
VPC DHCP 选项
VPC 端点
安装程序要求您使用云提供的 DNS 服务器。不支持使用自定义 DNS 服务器,这会导致安装失败。 |
如果您使用自定义 VPC,则必须正确配置它及其子网,以便安装程序和集群可以使用。有关 AWS VPC 控制台向导配置以及创建和管理 AWS VPC 的更多信息,请参阅 AWS 文档中的创建 VPC。
安装程序无法:
细分集群使用的网络范围。
设置子网的路由表。
设置 DHCP 等 VPC 选项。
您的 VPC 必须满足以下特性:
为集群使用的每个可用区创建一个公共子网和私有子网。每个可用区最多可以包含一个公共子网和一个私有子网。有关此类型配置的示例,请参阅 AWS 文档中的具有公共和私有子网 (NAT) 的 VPC。
记录每个子网 ID。完成安装需要您在install-config.yaml
文件的platform
部分中输入这些值。请参阅 AWS 文档中的查找子网 ID。
VPC 的 CIDR 块必须包含Networking.MachineCIDR
范围,这是集群机器的 IP 地址池。子网 CIDR 块必须属于您指定的机器 CIDR。
VPC 必须连接到公共互联网网关。对于每个可用区:
公共子网需要到互联网网关的路由。
公共子网需要一个带有 EIP 地址的 NAT 网关。
私有子网需要到公共子网中 NAT 网关的路由。
VPC 不得使用kubernetes.io/cluster/.*: owned
、Name
和openshift.io/cluster
标签。
安装程序会修改您的子网以添加kubernetes.io/cluster/.*: shared
标签,因此您的子网必须至少有一个可用的空标签槽位。请参阅AWS文档中的标签限制,以确认安装程序可以向您指定的每个子网添加标签。您不能使用Name
标签,因为它与EC2的Name
字段冲突,会导致安装失败。
如果您想将OpenShift Container Platform集群扩展到AWS Outpost,并且拥有现有的Outpost子网,则现有子网必须使用kubernetes.io/cluster/unmanaged: true
标签。如果您不应用此标签,则安装可能会失败,因为Cloud Controller Manager会在Outpost子网中创建服务负载均衡器,这是一种不受支持的配置。
您必须在您的VPC中启用enableDnsSupport
和enableDnsHostnames
属性,以便集群可以使用附加到VPC的Route 53区域来解析集群的内部DNS记录。请参阅AWS文档中的VPC中的DNS支持。
如果您更倾向于使用您自己的Route 53托管私有区域,则必须在安装集群之前将现有的托管区域与您的VPC关联。您可以使用install-config.yaml
文件中的platform.aws.hostedZone
和platform.aws.hostedZoneRole
字段来定义您的托管区域。您可以通过与安装集群的帐户共享私有托管区域来自另一个帐户使用它。如果您使用的是来自另一个帐户的私有托管区域,则必须使用Passthrough
或Manual
凭据模式。
如果您在隔离环境中工作,则无法访问EC2、ELB和S3端点的公共IP地址。根据您希望在安装过程中限制互联网流量的程度,可以使用以下配置选项:
创建一个VPC端点并将其附加到集群正在使用的子网。将端点命名如下:
ec2.<aws_region>.amazonaws.com
elasticloadbalancing.<aws_region>.amazonaws.com
s3.<aws_region>.amazonaws.com
使用此选项,网络流量将保留在您的VPC和所需的AWS服务之间。
作为安装过程的一部分,您可以配置HTTP或HTTPS代理。使用此选项,互联网流量将通过代理才能访问所需的AWS服务。
作为安装过程的一部分,您可以使用VPC端点配置HTTP或HTTPS代理。创建一个VPC端点并将其附加到集群正在使用的子网。将端点命名如下:
ec2.<aws_region>.amazonaws.com
elasticloadbalancing.<aws_region>.amazonaws.com
s3.<aws_region>.amazonaws.com
在install-config.yaml
文件中配置代理时,请将这些端点添加到noProxy
字段。使用此选项,代理可以防止集群直接访问互联网。但是,网络流量将保留在您的VPC和所需的AWS服务之间。
您必须提供合适的VPC和子网,以允许与您的机器进行通信。
组件 | AWS类型 | 描述 | |
---|---|---|---|
VPC |
|
您必须为集群提供一个公共VPC。VPC使用引用每个子网路由表的端点,以改善与托管在S3中的注册表之间的通信。 |
|
公共子网 |
|
您的VPC必须具有1到3个可用区之间的公共子网,并将它们与相应的入站规则关联。 |
|
互联网网关 |
|
您必须拥有一个公共互联网网关,并将其与公共路由一起附加到VPC。在提供的模板中,每个公共子网都有一个带有EIP地址的NAT网关。这些NAT网关允许集群资源(如私有子网实例)访问互联网,并且在某些受限网络或代理场景中并非必需。 |
|
网络访问控制 |
|
您必须允许VPC访问以下端口: |
|
端口 |
原因 |
||
|
入站HTTP流量 |
||
|
入站HTTPS流量 |
||
|
入站SSH流量 |
||
|
入站临时流量 |
||
|
出站临时流量 |
||
私有子网 |
|
您的VPC可以具有私有子网。提供的CloudFormation模板可以为1到3个可用区创建私有子网。如果您使用私有子网,则必须为其提供相应的路由和表。 |
为了确保您提供的子网适合,安装程序会确认以下数据:
您指定的所有子网都存在。
您提供了私有子网。
子网CIDR属于您指定的机器CIDR。
您为每个可用区提供了子网。每个可用区最多包含一个公共子网和一个私有子网。如果您使用私有集群,则每个可用区只提供一个私有子网。否则,每个可用区正好提供一个公共子网和一个私有子网。
您为每个私有子网可用区提供了一个公共子网。不会在您未为其提供私有子网的可用区中配置机器。
如果您销毁使用现有VPC的集群,则不会删除VPC。当您从VPC中移除OpenShift Container Platform集群时,kubernetes.io/cluster/.*: shared
标签将从其使用的子网中移除。
从OpenShift Container Platform 4.3开始,您不需要安装程序配置的基础架构集群所需的所有权限来部署集群。此更改模仿您公司可能拥有的权限划分:某些个人可以在您的云中创建与其他人不同的资源。例如,您可以创建特定于应用程序的项目,如实例、存储桶和负载均衡器,但不能创建与网络相关的组件,例如VPC、子网或入口规则。
创建集群时使用的AWS凭据不需要创建VPC和VPC内的核心网络组件(例如子网、路由表、互联网网关、NAT和VPN)所需的网络权限。您仍然需要权限来创建集群中的机器所需的应用程序资源,例如ELB、安全组、S3存储桶和节点。
如果您将OpenShift Container Platform部署到现有网络,则集群服务的隔离将以以下方式降低:
您可以在同一个VPC中安装多个OpenShift Container Platform集群。
允许来自整个网络的ICMP入站流量。
允许来自整个网络的TCP 22入站流量(SSH)。
允许来自整个网络的控制平面TCP 6443入站流量(Kubernetes API)。
允许来自整个网络的控制平面TCP 22623入站流量(MCS)。
默认情况下,安装程序会创建安全组并将其附加到控制平面和计算机器。与默认安全组关联的规则无法修改。
但是,您可以应用与现有 VPC 关联的其他现有 AWS 安全组来控制控制平面和计算机器。在需要控制这些机器的入站或出站流量的情况下,应用自定义安全组可以帮助您满足组织的安全需求。
作为安装过程的一部分,您可以在部署集群之前修改install-config.yaml
文件来应用自定义安全组。
更多信息,请参见“将现有 AWS 安全组应用于集群”。
如果您使用共享 VPC 安装集群,则可以使用Passthrough
或Manual
凭据模式。您必须在拥有 VPC 的账户的信任策略中添加用于安装集群的 IAM 角色作为主体。
如果您使用Passthrough
模式,请将创建集群的账户的 Amazon 资源名称 (ARN)(例如arn:aws:iam::123456789012:user/clustercreator
)添加到信任策略中作为主体。
如果您使用Manual
模式,请将创建集群的账户的 ARN 以及集群所有者账户中入口操作员角色的 ARN(例如arn:aws:iam::123456789012:role/
)添加到信任策略中作为主体。
您必须将以下操作添加到策略中
route53:ChangeResourceRecordSets
route53:ListHostedZones
route53:ListHostedZonesByName
route53:ListResourceRecordSets
route53:ChangeTagsForResource
route53:GetAccountLimit
route53:GetChange
route53:GetHostedZone
route53:ListTagsForResource
route53:UpdateHostedZoneComment
tag:GetResources
tag:UntagResources
您可以自定义您在 Amazon Web Services (AWS) 上安装的 OpenShift Container Platform 集群。
您拥有 OpenShift Container Platform 安装程序和集群的拉取密钥。
创建install-config.yaml
文件。
更改到包含安装程序的目录并运行以下命令
$ ./openshift-install create install-config --dir <installation_directory> (1)
1 | 对于 ,请指定用于存储安装程序创建文件的目录名称。 |
指定目录时
验证该目录是否具有execute
权限。此权限是在安装目录下运行 Terraform 二进制文件所必需的。
使用空目录。一些安装资源(例如 bootstrap X.509 证书)的有效期很短,因此您不能重用安装目录。如果您想重用另一个集群安装中的单个文件,您可以将它们复制到您的目录中。但是,安装资源的文件名在不同版本之间可能会发生变化。从早期 OpenShift Container Platform 版本复制安装文件时,请谨慎操作。
在提示符下,提供云的配置详细信息。
可选:选择一个 SSH 密钥来访问您的集群机器。
对于要执行安装调试或灾难恢复的生产 OpenShift Container Platform 集群,请指定您的 |
选择AWS作为目标平台。
如果您的计算机上没有存储 Amazon Web Services (AWS) 配置文件,请输入您配置为运行安装程序的用户 的 AWS 访问密钥 ID 和秘密访问密钥。
选择要将集群部署到的 AWS 区域。
为为集群配置的 Route 53 服务选择基本域名。
输入集群的描述性名称。
修改install-config.yaml
文件。您可以在“安装配置参数”部分找到有关可用参数的更多信息。
备份install-config.yaml
文件,以便您可以使用它来安装多个集群。
|
每个集群机器必须满足以下最低要求
机器 | 操作系统 | vCPU [1] | 虚拟内存 | 存储 | 每秒输入/输出 (IOPS)[2] |
---|---|---|---|---|---|
引导程序 |
RHCOS |
4 |
16 GB |
100 GB |
300 |
控制平面 |
RHCOS |
4 |
16 GB |
100 GB |
300 |
计算 |
RHCOS、RHEL 8.6 及更高版本[3] |
2 |
8 GB |
100 GB |
300 |
当未启用同时多线程 (SMT) 或超线程时,一个 vCPU 等于一个物理核心。启用时,使用以下公式计算相应的比率:(每个核心的线程数 × 核心数)× 插槽数 = vCPU 数。
OpenShift Container Platform 和 Kubernetes 对磁盘性能很敏感,建议使用更快的存储,特别是对于控制平面节点上的 etcd,它需要 10 毫秒 p99 fsync 持续时间。请注意,在许多云平台上,存储大小和 IOPS 同时扩展,因此您可能需要过度分配存储卷以获得足够的性能。
与所有用户配置的安装一样,如果您选择在集群中使用 RHEL 计算机器,您将负责所有操作系统生命周期管理和维护,包括执行系统更新、应用补丁以及完成所有其他必需的任务。RHEL 7 计算机的使用已弃用,并在 OpenShift Container Platform 4.10 及更高版本中已被删除。
从 OpenShift Container Platform 4.13 版本开始,RHCOS 基于 RHEL 9.2 版本,这更新了微架构要求。以下列表包含每个架构所需的最低指令集体系结构 (ISA):
更多信息,请参见RHEL 架构。 |
如果平台的实例类型满足集群机器的最低要求,则支持在 OpenShift Container Platform 中使用它。
以下 Amazon Web Services (AWS) 实例类型已通过 OpenShift Container Platform 测试。
将以下图表中包含的机器类型用于您的 AWS 实例。如果您使用图表中未列出的实例类型,请确保您使用的实例大小与“集群安装的最低资源要求”部分中列出的最低资源要求相匹配。 |
c4.*
c5.*
c5a.*
i3.*
m4.*
m5.*
m5a.*
m6a.*
m6i.*
r4.*
r5.*
r5a.*
r6i.*
t3.*
t3a.*
以下Amazon Web Services (AWS) 64位ARM实例类型已通过OpenShift Container Platform测试。
对于您的AWS ARM实例,请使用以下图表中包含的机器类型。如果您使用的实例类型未在图表中列出,请确保您使用的实例大小与“集群安装的最低资源要求”中列出的最低资源要求相匹配。 |
c6g.*
c7g.*
m6g.*
m7g.*
r8g.*
您可以自定义安装配置文件(install-config.yaml
)以指定有关OpenShift Container Platform集群平台的更多详细信息,或修改所需参数的值。
此YAML文件示例仅供参考。您必须使用安装程序获取您的 |
apiVersion: v1
baseDomain: example.com (1)
credentialsMode: Mint (2)
controlPlane: (3) (4)
hyperthreading: Enabled (5)
name: master
platform:
aws:
zones:
- us-west-2a
- us-west-2b
rootVolume:
iops: 4000
size: 500
type: io1 (6)
metadataService:
authentication: Optional (7)
type: m6i.xlarge
replicas: 3
compute: (3)
- hyperthreading: Enabled (5)
name: worker
platform:
aws:
rootVolume:
iops: 2000
size: 500
type: io1 (6)
metadataService:
authentication: Optional (7)
type: c5.4xlarge
zones:
- us-west-2c
replicas: 3
metadata:
name: test-cluster (1)
networking:
clusterNetwork:
- cidr: 10.128.0.0/14
hostPrefix: 23
machineNetwork:
- cidr: 10.0.0.0/16
networkType: OVNKubernetes (8)
serviceNetwork:
- 172.30.0.0/16
platform:
aws:
region: us-west-2 (1)
propagateUserTags: true (3)
userTags:
adminContact: jdoe
costCenter: 7536
subnets: (9)
- subnet-1
- subnet-2
- subnet-3
amiID: ami-0c5d3e03c0ab9b19a (10)
serviceEndpoints: (11)
- name: ec2
url: https://vpce-id.ec2.us-west-2.vpce.amazonaws.com
hostedZone: Z3URY6TWQ91KVV (12)
fips: false (13)
sshKey: ssh-ed25519 AAAA... (14)
pullSecret: '{"auths": ...}' (1)
1 | 必填。安装程序会提示您输入此值。 | ||
2 | 可选:添加此参数以强制Cloud Credential Operator (CCO) 使用指定的模式。默认情况下,CCO 使用kube-system 命名空间中的根凭据来动态尝试确定凭据的功能。有关CCO模式的详细信息,请参阅《身份验证和授权》指南中的“关于Cloud Credential Operator”部分。 |
||
3 | 如果您未提供这些参数和值,安装程序将提供默认值。 | ||
4 | controlPlane 部分是一个单一映射,但compute 部分是一系列映射。为了满足不同数据结构的要求,compute 部分的第一行必须以连字符- 开头,而controlPlane 部分的第一行则不能。仅使用一个控制平面池。 |
||
5 | 是否启用或禁用同时多线程处理,或称超线程 。默认情况下,启用同时多线程处理以提高机器内核的性能。您可以将其参数值设置为Disabled 以禁用它。如果在某些集群机器中禁用了同时多线程处理,则必须在所有集群机器中禁用它。
|
||
6 | 为了为etcd配置更快的存储,尤其是在较大的集群中,请将存储类型设置为io1 并将iops 设置为2000 。 |
||
7 | 是否需要Amazon EC2 实例元数据服务 v2 (IMDSv2)。要需要IMDSv2,请将参数值设置为Required 。要允许同时使用IMDSv1和IMDSv2,请将参数值设置为Optional 。如果未指定值,则允许使用IMDSv1和IMDSv2。
|
||
8 | 要安装的集群网络插件。默认值OVNKubernetes 是唯一支持的值。 |
||
9 | 如果您提供自己的VPC,请为集群使用的每个可用区指定子网。 | ||
10 | 用于引导集群机器的AMI的ID。如果设置,AMI必须属于与集群相同的区域。 | ||
11 | AWS服务端点。安装到未知AWS区域时需要自定义端点。端点URL必须使用https 协议,并且主机必须信任证书。 |
||
12 | 您现有Route 53私有托管区的ID。提供现有托管区需要您提供自己的VPC,并且托管区在安装集群之前已与VPC关联。如果未定义,安装程序将创建一个新的托管区。 | ||
13 | 是否启用或禁用FIPS模式。默认情况下,FIPS模式未启用。如果启用FIPS模式,则OpenShift Container Platform运行的Red Hat Enterprise Linux CoreOS (RHCOS)机器将绕过默认的Kubernetes加密套件,并改用随RHCOS提供的加密模块。
|
||
14 | 您可以选择提供用于访问集群中机器的sshKey 值。
|
生产环境可以拒绝直接访问互联网,而是提供HTTP或HTTPS代理。您可以通过在install-config.yaml
文件中配置代理设置来配置新的OpenShift Container Platform集群以使用代理。
您有一个现有的install-config.yaml
文件。
您已查看集群需要访问的站点,并确定其中任何站点是否需要绕过代理。默认情况下,所有集群出站流量都将被代理,包括对托管云提供商API的调用。如有必要,您已将站点添加到Proxy
对象的spec.noProxy
字段以绕过代理。
对于Amazon Web Services (AWS)、Google Cloud Platform (GCP)、Microsoft Azure和Red Hat OpenStack Platform (RHOSP)上的安装, |
编辑您的install-config.yaml
文件并添加代理设置。例如
apiVersion: v1
baseDomain: my.domain.com
proxy:
httpProxy: http://<username>:<pswd>@<ip>:<port> (1)
httpsProxy: https://<username>:<pswd>@<ip>:<port> (2)
noProxy: ec2.<aws_region>.amazonaws.com,elasticloadbalancing.<aws_region>.amazonaws.com,s3.<aws_region>.amazonaws.com (3)
additionalTrustBundle: | (4)
-----BEGIN CERTIFICATE-----
<MY_TRUSTED_CA_CERT>
-----END CERTIFICATE-----
additionalTrustBundlePolicy: <policy_to_add_additionalTrustBundle> (5)
1 | 用于创建集群外部HTTP连接的代理URL。URL方案必须为http 。 |
2 | 用于创建集群外部HTTPS连接的代理URL。 |
3 | 要从代理中排除的目标域名、IP地址或其他网络CIDR的逗号分隔列表。以. 为前缀的域名仅匹配子域名。例如,.y.com 匹配x.y.com ,但不匹配y.com 。使用* 绕过所有目标的代理。如果您已将Amazon EC2 、Elastic Load Balancing 和S3 VPC端点添加到您的VPC,则必须将这些端点添加到noProxy 字段。 |
4 | 如果提供,安装程序会生成一个名为user-ca-bundle 的配置映射,该映射位于openshift-config 命名空间中,其中包含代理HTTPS连接所需的一个或多个附加CA证书。然后,集群网络操作符会创建一个trusted-ca-bundle 配置映射,将这些内容与Red Hat Enterprise Linux CoreOS (RHCOS)信任捆绑包合并,并且此配置映射在Proxy 对象的trustedCA 字段中被引用。除非代理的身份证书由RHCOS信任捆绑包中的授权机构签名,否则additionalTrustBundle 字段是必需的。 |
5 | 可选:确定Proxy 对象的配置以在trustedCA 字段中引用user-ca-bundle 配置映射的策略。允许的值为Proxyonly 和Always 。使用Proxyonly 仅在配置http/https 代理时引用user-ca-bundle 配置映射。使用Always 始终引用user-ca-bundle 配置映射。默认值为Proxyonly 。 |
安装程序不支持代理 |
如果安装程序超时,请重新启动,然后使用安装程序的
|
保存文件并在安装OpenShift Container Platform时引用它。
安装程序创建一个名为cluster
的集群范围代理,该代理使用提供的install-config.yaml
文件中的代理设置。如果未提供代理设置,则仍然会创建cluster
Proxy
对象,但它将具有nil spec
。
仅支持名为 |
将现有的AWS安全组应用于您的控制平面和计算机器可以帮助您满足组织的安全需求,在这种情况下,您需要控制这些机器的传入或传出流量。
您已在AWS中创建了安全组。有关更多信息,请参阅AWS关于使用安全组的文档。
安全组必须与您要向其部署集群的现有VPC关联。安全组不能与其他VPC关联。
您有一个现有的install-config.yaml
文件。
在install-config.yaml
文件中,编辑compute.platform.aws.additionalSecurityGroupIDs
参数以指定计算机器的一个或多个自定义安全组。
编辑controlPlane.platform.aws.additionalSecurityGroupIDs
参数以指定控制平面机器的一个或多个自定义安全组。
保存文件并在部署集群时引用它。
install-config.yaml
文件示例# ...
compute:
- hyperthreading: Enabled
name: worker
platform:
aws:
additionalSecurityGroupIDs:
- sg-1 (1)
- sg-2
replicas: 3
controlPlane:
hyperthreading: Enabled
name: master
platform:
aws:
additionalSecurityGroupIDs:
- sg-3
- sg-4
replicas: 3
platform:
aws:
region: us-east-1
subnets: (2)
- subnet-1
- subnet-2
- subnet-3
1 | 指定安全组的名称,如其在Amazon EC2控制台中显示的那样,包括sg 前缀。 |
2 | 为集群使用的每个可用区指定子网。 |
默认情况下,管理员密钥存储在kube-system
项目中。如果您在install-config.yaml
文件中将credentialsMode
参数配置为Manual
,则必须使用以下替代方法之一
要手动管理长期云凭据,请按照手动创建长期凭据中的步骤操作。
要实现由集群外部管理的针对各个组件的短期凭据,请按照配置AWS集群以使用短期凭据中的步骤操作。
在无法访问云身份和访问管理(IAM) API或管理员更倾向于不在集群kube-system
命名空间中存储管理员级凭据密钥的环境中,可以在安装前将云凭据操作符(CCO)置于手动模式。
如果您未在install-config.yaml
配置文件中将credentialsMode
参数设置为Manual
,请修改该值,如下所示
apiVersion: v1
baseDomain: example.com
credentialsMode: Manual
# ...
如果您以前没有创建安装清单文件,请运行以下命令来创建
$ openshift-install create manifests --dir <installation_directory>
其中<installation_directory>
是安装程序创建文件的目录。
通过运行以下命令,使用安装文件中的发行版镜像设置$RELEASE_IMAGE
变量
$ RELEASE_IMAGE=$(./openshift-install version | awk '/release image/ {print $3}')
通过运行以下命令,从OpenShift Container Platform发行版镜像中提取CredentialsRequest
自定义资源(CR)列表
$ oc adm release extract \
--from=$RELEASE_IMAGE \
--credentials-requests \
--included \(1)
--install-config=<path_to_directory_with_installation_configuration>/install-config.yaml \(2)
--to=<path_to_directory_for_credentials_requests> (3)
1 | --included 参数仅包含特定集群配置所需的清单。 |
2 | 指定install-config.yaml 文件的位置。 |
3 | 指定要存储CredentialsRequest 对象的目录的路径。如果指定的目录不存在,则此命令会创建它。 |
此命令为每个CredentialsRequest
对象创建一个YAML文件。
CredentialsRequest
对象示例apiVersion: cloudcredential.openshift.io/v1
kind: CredentialsRequest
metadata:
name: <component_credentials_request>
namespace: openshift-cloud-credential-operator
...
spec:
providerSpec:
apiVersion: cloudcredential.openshift.io/v1
kind: AWSProviderSpec
statementEntries:
- effect: Allow
action:
- iam:GetUser
- iam:GetUserPolicy
- iam:ListAccessKeys
resource: "*"
...
在您之前生成的openshift-install
清单目录中为密钥创建YAML文件。必须使用每个CredentialsRequest
对象中spec.secretRef
定义的命名空间和密钥名称来存储密钥。
CredentialsRequest
对象示例apiVersion: cloudcredential.openshift.io/v1
kind: CredentialsRequest
metadata:
name: <component_credentials_request>
namespace: openshift-cloud-credential-operator
...
spec:
providerSpec:
apiVersion: cloudcredential.openshift.io/v1
kind: AWSProviderSpec
statementEntries:
- effect: Allow
action:
- s3:CreateBucket
- s3:DeleteBucket
resource: "*"
...
secretRef:
name: <component_secret>
namespace: <component_namespace>
...
Secret
对象示例apiVersion: v1
kind: Secret
metadata:
name: <component_secret>
namespace: <component_namespace>
data:
aws_access_key_id: <base64_encoded_aws_access_key_id>
aws_secret_access_key: <base64_encoded_aws_secret_access_key>
在升级使用手动维护的凭据的集群之前,必须确保CCO处于可升级状态。 |
要安装配置为使用AWS安全令牌服务(STS)的集群,必须配置CCO实用程序并为集群创建所需的AWS资源。
当云凭据操作符(CCO)在手动模式下运行时,要从集群外部创建和管理云凭据,请提取并准备CCO实用程序(ccoctl
)二进制文件。
|
您可以访问具有集群管理员访问权限的OpenShift Container Platform帐户。
您已安装OpenShift CLI (oc
)。
您已为ccoctl
实用程序创建了一个AWS帐户,并具有以下权限:
所需的iam
权限
iam:CreateOpenIDConnectProvider
iam:CreateRole
iam:DeleteOpenIDConnectProvider
iam:DeleteRole
iam:DeleteRolePolicy
iam:GetOpenIDConnectProvider
iam:GetRole
iam:GetUser
iam:ListOpenIDConnectProviders
iam:ListRolePolicies
iam:ListRoles
iam:PutRolePolicy
iam:TagOpenIDConnectProvider
iam:TagRole
所需的s3
权限
s3:CreateBucket
s3:DeleteBucket
s3:DeleteObject
s3:GetBucketAcl
s3:GetBucketTagging
s3:GetObject
s3:GetObjectAcl
s3:GetObjectTagging
s3:ListBucket
s3:PutBucketAcl
s3:PutBucketPolicy
s3:PutBucketPublicAccessBlock
s3:PutBucketTagging
s3:PutObject
s3:PutObjectAcl
s3:PutObjectTagging
所需的cloudfront
权限
cloudfront:ListCloudFrontOriginAccessIdentities
cloudfront:ListDistributions
cloudfront:ListTagsForResource
如果您计划将OIDC配置存储在通过公共CloudFront分发URL由IAM身份提供商访问的私有S3存储桶中,则运行ccoctl
实用程序的AWS帐户需要以下其他权限:
cloudfront:CreateCloudFrontOriginAccessIdentity
cloudfront:CreateDistribution
cloudfront:DeleteCloudFrontOriginAccessIdentity
cloudfront:DeleteDistribution
cloudfront:GetCloudFrontOriginAccessIdentity
cloudfront:GetCloudFrontOriginAccessIdentityConfig
cloudfront:GetDistribution
cloudfront:TagResource
cloudfront:UpdateDistribution
这些额外的权限支持在使用 |
通过运行以下命令设置OpenShift Container Platform发行版镜像的变量
$ RELEASE_IMAGE=$(./openshift-install version | awk '/release image/ {print $3}')
通过运行以下命令从OpenShift Container Platform发行版镜像中获取CCO容器镜像
$ CCO_IMAGE=$(oc adm release info --image-for='cloud-credential-operator' $RELEASE_IMAGE -a ~/.pull-secret)
确保 |
通过运行以下命令从OpenShift Container Platform发行版镜像中的CCO容器镜像中提取ccoctl
二进制文件
$ oc image extract $CCO_IMAGE \
--file="/usr/bin/ccoctl.<rhel_version>" \(1)
-a ~/.pull-secret
1 | 对于<rhel_version> ,请指定与主机使用的Red Hat Enterprise Linux (RHEL)版本相对应的值。如果未指定值,则默认使用ccoctl.rhel8 。有效值为:
|
通过运行以下命令更改权限以使ccoctl
可执行
$ chmod 775 ccoctl.<rhel_version>
要验证ccoctl
是否可以使用,请显示帮助文件。运行命令时,请使用相对文件名,例如:
$ ./ccoctl.rhel9
OpenShift credentials provisioning tool
Usage:
ccoctl [command]
Available Commands:
aws Manage credentials objects for AWS cloud
azure Manage credentials objects for Azure
gcp Manage credentials objects for Google cloud
help Help about any command
ibmcloud Manage credentials objects for {ibm-cloud-title}
nutanix Manage credentials objects for Nutanix
Flags:
-h, --help help for ccoctl
Use "ccoctl [command] --help" for more information about a command.
创建AWS资源时,您有以下选项:
您可以使用ccoctl aws create-all
命令自动创建AWS资源。这是创建资源最快的方法。请参见使用单个命令创建AWS资源。
如果您需要在修改AWS资源之前查看ccoctl
工具创建的JSON文件,或者ccoctl
工具用于自动创建AWS资源的过程不符合您组织的要求,您可以单独创建AWS资源。请参见单独创建AWS资源。
如果ccoctl
工具用于自动创建AWS资源的过程符合您组织的要求,则可以使用ccoctl aws create-all
命令自动创建AWS资源。
否则,您可以单独创建AWS资源。有关更多信息,请参见“单独创建AWS资源”。
默认情况下, |
您必须:
提取并准备ccoctl
二进制文件。
通过运行以下命令,使用安装文件中的发行版镜像设置$RELEASE_IMAGE
变量
$ RELEASE_IMAGE=$(./openshift-install version | awk '/release image/ {print $3}')
通过运行以下命令从OpenShift Container Platform发行版镜像中提取CredentialsRequest
对象的列表
$ oc adm release extract \
--from=$RELEASE_IMAGE \
--credentials-requests \
--included \(1)
--install-config=<path_to_directory_with_installation_configuration>/install-config.yaml \(2)
--to=<path_to_directory_for_credentials_requests> (3)
1 | --included 参数仅包含特定集群配置所需的清单。 |
2 | 指定install-config.yaml 文件的位置。 |
3 | 指定要存储CredentialsRequest 对象的目录的路径。如果指定的目录不存在,则此命令会创建它。 |
此命令可能需要几分钟才能运行。 |
使用ccoctl
工具处理所有CredentialsRequest
对象,运行以下命令:
$ ccoctl aws create-all \
--name=<name> \(1)
--region=<aws_region> \(2)
--credentials-requests-dir=<path_to_credentials_requests_directory> \(3)
--output-dir=<path_to_ccoctl_output_dir> \(4)
--create-private-s3-bucket (5)
1 | 指定用于标记为跟踪而创建的任何云资源的名称。 |
2 | 指定将创建云资源的AWS区域。 |
3 | 指定包含组件CredentialsRequest 对象文件的目录。 |
4 | 可选:指定您希望ccoctl 实用程序创建对象的目录。默认情况下,该实用程序在运行命令的目录中创建对象。 |
5 | 可选:默认情况下,ccoctl 实用程序将OpenID Connect (OIDC)配置文件存储在公共S3存储桶中,并使用S3 URL作为公共OIDC端点。要改为将OIDC配置存储在私有S3存储桶中,并通过公共CloudFront分发URL由IAM身份提供程序访问,请使用--create-private-s3-bucket 参数。 |
如果您的集群使用由 |
要验证是否创建了OpenShift Container Platform密钥,请列出<path_to_ccoctl_output_dir>/manifests
目录中的文件
$ ls <path_to_ccoctl_output_dir>/manifests
cluster-authentication-02-config.yaml
openshift-cloud-credential-operator-cloud-credential-operator-iam-ro-creds-credentials.yaml
openshift-cloud-network-config-controller-cloud-credentials-credentials.yaml
openshift-cluster-api-capa-manager-bootstrap-credentials-credentials.yaml
openshift-cluster-csi-drivers-ebs-cloud-credentials-credentials.yaml
openshift-image-registry-installer-cloud-credentials-credentials.yaml
openshift-ingress-operator-cloud-credentials-credentials.yaml
openshift-machine-api-aws-cloud-credentials-credentials.yaml
您可以通过查询AWS来验证是否创建了IAM角色。有关更多信息,请参阅AWS文档中关于列出IAM角色的部分。
您可以使用ccoctl
工具单独创建AWS资源。对于在不同用户或部门之间共享创建这些资源责任的组织,此选项可能很有用。
否则,您可以使用ccoctl aws create-all
命令自动创建AWS资源。有关更多信息,请参见“使用单个命令创建AWS资源”。
默认情况下, 一些 |
提取并准备ccoctl
二进制文件。
生成用于设置集群的OpenID Connect提供程序的公钥和私钥文件,运行以下命令:
$ ccoctl aws create-key-pair
2021/04/13 11:01:02 Generating RSA keypair
2021/04/13 11:01:03 Writing private key to /<path_to_ccoctl_output_dir>/serviceaccount-signer.private
2021/04/13 11:01:03 Writing public key to /<path_to_ccoctl_output_dir>/serviceaccount-signer.public
2021/04/13 11:01:03 Copying signing key for use by installer
其中serviceaccount-signer.private
和serviceaccount-signer.public
是生成的密钥文件。
此命令还会在/<path_to_ccoctl_output_dir>/tls/bound-service-account-signing-key.key
中创建集群安装期间所需的私钥。
通过运行以下命令创建AWS上的OpenID Connect身份提供程序和S3存储桶:
$ ccoctl aws create-identity-provider \
--name=<name> \(1)
--region=<aws_region> \(2)
--public-key-file=<path_to_ccoctl_output_dir>/serviceaccount-signer.public (3)
1 | <name> 是用于标记为跟踪而创建的任何云资源的名称。 |
2 | <aws-region> 是将创建云资源的AWS区域。 |
3 | <path_to_ccoctl_output_dir> 是ccoctl aws create-key-pair 命令生成的公钥文件的路径。 |
2021/04/13 11:16:09 Bucket <name>-oidc created
2021/04/13 11:16:10 OpenID Connect discovery document in the S3 bucket <name>-oidc at .well-known/openid-configuration updated
2021/04/13 11:16:10 Reading public key
2021/04/13 11:16:10 JSON web key set (JWKS) in the S3 bucket <name>-oidc at keys.json updated
2021/04/13 11:16:18 Identity Provider created with ARN: arn:aws:iam::<aws_account_id>:oidc-provider/<name>-oidc.s3.<aws_region>.amazonaws.com
其中openid-configuration
是发现文档,keys.json
是JSON Web密钥集文件。
此命令还会在/<path_to_ccoctl_output_dir>/manifests/cluster-authentication-02-config.yaml
中创建一个YAML配置文件。此文件设置集群生成的Service Account令牌的发行者URL字段,以便AWS IAM身份提供程序信任这些令牌。
为集群中的每个组件创建IAM角色
通过运行以下命令,使用安装文件中的发行版镜像设置$RELEASE_IMAGE
变量
$ RELEASE_IMAGE=$(./openshift-install version | awk '/release image/ {print $3}')
从OpenShift Container Platform发行版镜像中提取CredentialsRequest
对象的列表
$ oc adm release extract \
--from=$RELEASE_IMAGE \
--credentials-requests \
--included \(1)
--install-config=<path_to_directory_with_installation_configuration>/install-config.yaml \(2)
--to=<path_to_directory_for_credentials_requests> (3)
1 | --included 参数仅包含特定集群配置所需的清单。 |
2 | 指定install-config.yaml 文件的位置。 |
3 | 指定要存储CredentialsRequest 对象的目录的路径。如果指定的目录不存在,则此命令会创建它。 |
使用ccoctl
工具处理所有CredentialsRequest
对象,运行以下命令:
$ ccoctl aws create-iam-roles \
--name=<name> \
--region=<aws_region> \
--credentials-requests-dir=<path_to_credentials_requests_directory> \
--identity-provider-arn=arn:aws:iam::<aws_account_id>:oidc-provider/<name>-oidc.s3.<aws_region>.amazonaws.com
对于使用替代IAM API端点(例如GovCloud)的AWS环境,您还必须使用 如果您的集群使用由 |
对于每个CredentialsRequest
对象,ccoctl
都会创建一个IAM角色,该角色具有与指定的OIDC身份提供程序绑定的信任策略,以及在OpenShift Container Platform发行版镜像中的每个CredentialsRequest
对象中定义的权限策略。
要验证是否创建了OpenShift Container Platform密钥,请列出<path_to_ccoctl_output_dir>/manifests
目录中的文件
$ ls <path_to_ccoctl_output_dir>/manifests
cluster-authentication-02-config.yaml
openshift-cloud-credential-operator-cloud-credential-operator-iam-ro-creds-credentials.yaml
openshift-cloud-network-config-controller-cloud-credentials-credentials.yaml
openshift-cluster-api-capa-manager-bootstrap-credentials-credentials.yaml
openshift-cluster-csi-drivers-ebs-cloud-credentials-credentials.yaml
openshift-image-registry-installer-cloud-credentials-credentials.yaml
openshift-ingress-operator-cloud-credentials-credentials.yaml
openshift-machine-api-aws-cloud-credentials-credentials.yaml
您可以通过查询AWS来验证是否创建了IAM角色。有关更多信息,请参阅AWS文档中关于列出IAM角色的部分。
要实现为各个组件管理集群外部的短期安全凭据,您必须将Cloud Credential Operator实用程序(ccoctl
)创建的清单文件移动到安装程序的正确目录。
您已配置一个帐户,该帐户具有托管您的集群的云平台。
您已配置Cloud Credential Operator实用程序(ccoctl
)。
您已使用ccoctl
实用程序创建了集群所需的云提供商资源。
如果您未在install-config.yaml
配置文件中将credentialsMode
参数设置为Manual
,请修改该值,如下所示
apiVersion: v1
baseDomain: example.com
credentialsMode: Manual
# ...
如果您以前没有创建安装清单文件,请运行以下命令来创建
$ openshift-install create manifests --dir <installation_directory>
其中<installation_directory>
是安装程序创建文件的目录。
将ccoctl
实用程序生成的清单复制到安装程序创建的manifests
目录中,方法是运行以下命令:
$ cp /<path_to_ccoctl_output_dir>/manifests/* ./manifests/
将包含私钥的tls
目录复制到安装目录。
$ cp -a /<path_to_ccoctl_output_dir>/tls .
您可以在兼容的云平台上安装OpenShift Container Platform。
您只能在初始安装期间运行安装程序的 |
您已配置一个帐户,该帐户具有托管您的集群的云平台。
您拥有 OpenShift Container Platform 安装程序和集群的拉取密钥。
您已验证主机上的云提供商帐户具有部署集群的正确权限。权限不正确的帐户会导致安装过程失败,并显示一条错误消息,其中显示缺少的权限。
切换到包含安装程序的目录,并初始化集群部署。
$ ./openshift-install create cluster --dir <installation_directory> \ (1)
--log-level=info (2)
1 | 对于<installation_directory> ,请指定您自定义的./install-config.yaml 文件的路径。 |
2 | 要查看不同的安装详细信息,请指定warn 、debug 或error 代替info 。 |
可选:从用于安装集群的IAM帐户中删除或禁用AdministratorAccess
策略。
只有在安装过程中才需要 |
集群部署成功完成时
终端将显示访问集群的说明,包括指向 Web 控制台的链接以及kubeadmin
用户的凭据。
凭据信息也会输出到<installation_directory>/.openshift_install.log
。
请勿删除安装程序或安装程序创建的文件。两者都是删除集群所必需的。 |
...
INFO Install complete!
INFO To access the cluster as the system:admin user when using 'oc', run 'export KUBECONFIG=/home/myuser/install_dir/auth/kubeconfig'
INFO Access the OpenShift web-console here: https://console-openshift-console.apps.mycluster.example.com
INFO Login to the console with user: "kubeadmin", and password: "password"
INFO Time elapsed: 36m22s
|
您可以通过导出集群kubeconfig
文件以默认系统用户身份登录到集群。kubeconfig
文件包含有关集群的信息,CLI 使用这些信息将客户端连接到正确的集群和 API 服务器。该文件特定于某个集群,并在 OpenShift Container Platform 安装期间创建。
您已部署了一个 OpenShift Container Platform 集群。
您已安装oc
CLI。
导出kubeadmin
凭据
$ export KUBECONFIG=<installation_directory>/auth/kubeconfig (1)
1 | 对于<installation_directory> ,请指定您存储安装文件的目录的路径。 |
验证您可以使用导出的配置成功运行oc
命令。
$ oc whoami
system:admin
在 OpenShift Container Platform 安装后,默认情况下存在kubeadmin
用户。您可以使用 OpenShift Container Platform Web 控制台以kubeadmin
用户身份登录到集群。
您可以访问安装主机。
您已完成集群安装,并且所有集群运算符都可用。
从安装主机上的kubeadmin-password
文件获取kubeadmin
用户的密码。
$ cat <installation_directory>/auth/kubeadmin-password
或者,您可以从安装主机上的 |
列出 OpenShift Container Platform Web 控制台路由。
$ oc get routes -n openshift-console | grep 'console-openshift'
或者,您可以从安装主机上的 |
console console-openshift-console.apps.<cluster_name>.<base_domain> console https reencrypt/Redirect None
在 Web 浏览器中导航到前面命令输出中详细说明的路由,并以kubeadmin
用户身份登录。
有关访问和了解 OpenShift Container Platform Web 控制台的更多详细信息,请参阅访问 Web 控制台。
验证安装.
如有必要,您可以选择退出远程健康报告。
如有必要,您可以删除云提供商凭据。
在将集群安装到 AWS 中的现有 VPC 后,您可以将 AWS VPC 集群扩展到 AWS Outpost。