The cluster is configured so that the Operators do not create public records for the cluster and all cluster machines are placed in the private subnets that you specify.
在 OpenShift Container Platform 4.17 版本中,您可以将私有集群安装到 Microsoft Azure 上现有的 Azure 虚拟网络 (VNet) 中。安装程序将配置其余所需的架构,您可以进一步对其进行自定义。要自定义安装,请在安装集群之前修改install-config.yaml
文件中的参数。
您可以部署不公开外部端点的私有 OpenShift Container Platform 集群。私有集群只能从内部网络访问,并且对互联网不可见。
默认情况下,OpenShift Container Platform 被配置为使用公共可访问的 DNS 和端点。部署集群时,私有集群会将 DNS、入口控制器和 API 服务器设置为私有。这意味着集群资源只能从内部网络访问,并且对互联网不可见。
如果集群有任何公共子网,管理员创建的负载均衡器服务可能对公众开放。为确保集群安全,请验证这些服务是否被明确注释为私有。 |
要部署私有集群,您必须
使用满足您要求的现有网络。您的集群资源可能在网络上的其他集群之间共享。
从具有访问权限的机器部署
您要配置到的云的 API 服务。
您要配置到的网络上的主机。
互联网以获取安装介质。
您可以使用任何符合这些访问要求并遵循公司准则的机器。例如,这台机器可以是云网络上的堡垒主机,或者可以通过 VPN 访问网络的机器。
要在 Microsoft Azure 上创建私有集群,您必须提供现有的私有 VNet 和子网来托管集群。安装程序还必须能够解析集群所需的 DNS 记录。安装程序仅为内部流量配置 Ingress Operator 和 API 服务器。
根据您的网络如何连接到私有 VNET,您可能需要使用 DNS 转发器来解析集群的私有 DNS 记录。集群的机器在内部使用168.63.129.16
进行 DNS 解析。有关更多信息,请参阅 Azure 文档中的什么是 Azure 私有 DNS?和什么是 IP 地址 168.63.129.16?。
集群仍然需要访问互联网才能访问 Azure API。
安装私有集群时不需要或不会创建以下项目
BaseDomainResourceGroup
,因为集群不会创建公共记录
公共 IP 地址
公共 DNS 记录
公共端点
The cluster is configured so that the Operators do not create public records for the cluster and all cluster machines are placed in the private subnets that you specify.
在 OpenShift Container Platform 中,您可以选择自己的出站路由来连接到互联网。这允许您跳过创建公共 IP 地址和公共负载均衡器。
您可以在安装集群之前修改install-config.yaml
文件中的参数来配置用户定义的路由。安装集群时需要预先存在的 VNet 来使用出站路由;安装程序不负责配置此项。
配置集群以使用用户定义的路由时,安装程序不会创建以下资源
访问互联网的出站规则。
公共负载均衡器的公共 IP。
将集群机器添加到公共负载均衡器以进行出站请求的 Kubernetes 服务对象。
设置用户定义的路由之前,必须确保以下项目可用
除非使用 OpenShift 镜像注册表,否则可以访问互联网以拉取容器镜像。
集群可以访问 Azure API。
配置了各种允许列表端点。您可以在“配置防火墙”部分中参考这些端点。
有几种预先存在的网络设置支持使用用户定义的路由访问互联网。
您可以使用Azure VNET 网络地址转换 (NAT) 为集群中的子网提供出站互联网访问。您可以参考 Azure 文档中的使用 Azure CLI 创建 NAT 网关 以获取配置说明。
当使用具有 Azure NAT 和用户定义路由配置的 VNet 设置时,您可以创建没有公共端点的私有集群。
您可以使用 Azure 防火墙为用于安装集群的 VNet 提供出站路由。您可以在 Azure 文档中了解有关使用 Azure 防火墙提供用户定义的路由的更多信息。
当使用具有 Azure 防火墙和用户定义路由配置的 VNet 设置时,您可以创建没有公共端点的私有集群。
您可以将代理与用户定义的路由一起使用以允许出站访问互联网。您必须确保集群操作员不使用代理访问 Azure API;操作员必须能够在代理之外访问 Azure API。
当使用子网的默认路由表时,Azure 自动填充0.0.0.0/0
,所有 Azure API 请求都通过 Azure 的内部网络路由,即使 IP 地址是公共的。只要网络安全组规则允许出站到 Azure API 端点,配置了用户定义路由的代理就可以让您创建没有公共端点的私有集群。
您可以安装一个私有网络,该网络限制对互联网的所有访问,Azure API 除外。这是通过在本地镜像发布镜像注册表来实现的。您的集群必须访问以下内容:
允许拉取容器镜像的 OpenShift 镜像注册表镜像
访问 Azure API
如果满足这些要求,您可以使用用户定义的路由来创建没有公共端点的私有集群。
在 OpenShift Container Platform 4.17 中,您可以将集群部署到 Microsoft Azure 中现有的 Azure 虚拟网络 (VNet)。如果您这样做,还必须使用 VNet 中现有的子网和路由规则。
通过将 OpenShift Container Platform 部署到现有的 Azure VNet,您也许能够避免新帐户中的服务限制约束,或者更容易遵守公司准则设定的操作约束。如果您无法获得创建 VNet 所需的基础架构创建权限,这是一个不错的选择。
当您使用现有 VNet 部署集群时,必须在安装集群之前执行额外的网络配置。在安装程序配置的基础架构集群中,安装程序通常会创建以下组件,但在您安装到现有 VNet 时不会创建它们
子网
路由表
VNet
网络安全组
安装程序要求您使用云提供的 DNS 服务器。不支持使用自定义 DNS 服务器,这会导致安装失败。 |
如果您使用自定义 VNet,则必须为安装程序和集群正确配置它及其子网。安装程序无法细分集群使用的网络范围,设置子网的路由表,或设置 DHCP 等 VNet 选项,因此您必须在安装集群之前这样做。
集群必须能够访问包含现有 VNet 和子网的资源组。虽然集群创建的所有资源都放置在其创建的单独资源组中,但某些网络资源是从单独的组中使用的。某些集群操作员必须能够访问两个资源组中的资源。例如,机器 API 控制器会将为其创建的虚拟机的 NIC 附加到网络资源组中的子网。
您的 VNet 必须满足以下特征
VNet 的 CIDR 块必须包含Networking.MachineCIDR
范围,这是集群机器的 IP 地址池。
VNet 及其子网必须属于同一个资源组,并且子网必须配置为使用 Azure 分配的 DHCP IP 地址,而不是静态 IP 地址。
您必须在 VNet 中提供两个子网,一个用于控制平面机器,一个用于计算机器。由于 Azure 将机器分布在您指定的区域内的不同可用性区域中,因此您的集群默认情况下将具有高可用性。
为了确保您提供的子网适合,安装程序会确认以下数据
所有指定的子网都存在。
有两个专用子网,一个用于控制平面机器,一个用于计算机器。
子网 CIDR 属于您指定的机器 CIDR。不会在您未为其提供专用子网的可用性区域中预配机器。
如果您销毁使用现有 VNet 的集群,则不会删除 VNet。 |
承载计算和控制平面机器的子网的网络安全组需要特定的访问权限,以确保集群通信正确。您必须创建规则以允许访问所需的集群通信端口。
网络安全组规则必须在安装集群之前到位。如果您尝试在没有所需访问权限的情况下安装集群,则安装程序无法访问 Azure API,并且安装失败。 |
端口 | 描述 | 控制平面 | 计算 |
---|---|---|---|
|
允许 HTTP 流量 |
x |
|
|
允许 HTTPS 流量 |
x |
|
|
允许与控制平面机器通信 |
x |
|
|
允许与机器配置服务器进行内部通信以预配机器 |
x |
如果您使用 Azure 防火墙来限制互联网访问,则可以配置 Azure 防火墙以允许 Azure API。不需要网络安全组规则。有关更多信息,请参阅“附加资源”中的“配置您的防火墙”。
目前,没有支持阻止或限制机器配置服务器端点的方法。必须将机器配置服务器公开到网络,以便新预配的机器(没有任何现有配置或状态)能够获取其配置。在此模型中,信任的根是证书签名请求 (CSR) 端点,kubelet 在此处发送其证书签名请求以批准加入集群。因此,不应使用机器配置来分发敏感信息,例如秘密和证书。 为了确保机器配置服务器端点(端口 22623 和 22624)在裸机场景中安全,客户必须配置正确的网络策略。 |
由于集群组件不会修改用户提供的网络安全组(Kubernetes 控制器会更新这些组),因此会为 Kubernetes 控制器创建一个伪网络安全组,以便在不影响其余环境的情况下进行修改。
协议 | 端口 | 描述 |
---|---|---|
ICMP |
N/A |
网络可达性测试 |
TCP |
|
指标 |
|
主机级服务,包括端口 |
|
|
Kubernetes 保留的默认端口 |
|
UDP |
|
VXLAN |
|
Geneve |
|
|
主机级服务,包括端口 |
|
|
IPsec IKE 数据包 |
|
|
IPsec NAT-T 数据包 |
|
|
UDP 端口 如果您配置外部 NTP 时间服务器,则必须打开 UDP 端口 |
|
TCP/UDP |
|
Kubernetes 节点端口 |
ESP |
N/A |
IPsec 封装安全有效负载 (ESP) |
协议 | 端口 | 描述 |
---|---|---|
TCP |
|
etcd 服务器和对等端口 |
从 OpenShift Container Platform 4.3 开始,您不需要安装程序预配的基础架构集群部署集群所需的所有权限。此更改模拟您公司可能拥有的权限划分:某些个人可以在您的云中创建不同于其他人的资源。例如,您可能能够创建特定于应用程序的项目,如实例、存储和负载均衡器,但不能创建与网络相关的组件,例如 VNet、子网或入口规则。
创建集群时使用的 Azure 凭据不需要创建 VNet 和 VNet 中的核心网络组件(如子网、路由表、互联网网关、NAT 和 VPN)所需的网络权限。您仍然需要权限来创建集群中的机器所需的应用程序资源,例如负载均衡器、安全组、存储帐户和节点。
安装集群需要您手动创建安装配置文件。
您在本地机器上有一个 SSH 公钥,需要提供给安装程序。该密钥将用于对集群节点进行 SSH 身份验证,用于调试和灾难恢复。
您已获得 OpenShift Container Platform 安装程序和集群的拉取密钥。
创建一个安装目录来存储所需的安装资产
$ mkdir <installation_directory>
您必须创建一个目录。某些安装资源(例如 bootstrap X.509 证书)的有效期较短,因此您不能重用安装目录。如果您想重用另一个集群安装中的单个文件,可以将它们复制到您的目录中。但是,安装资源的文件名在不同版本之间可能会发生变化。从较早的 OpenShift Container Platform 版本复制安装文件时,请谨慎操作。 |
自定义提供的示例 install-config.yaml
文件模板,并将其保存到 <installation_directory>
中。
此配置文件必须命名为 |
备份 install-config.yaml
文件,以便您可以使用它来安装多个集群。
|
每台集群机器都必须满足以下最低要求
机器 | 操作系统 | vCPU [1] | 虚拟 RAM | 存储 | 每秒输入/输出次数 (IOPS)[2] |
---|---|---|---|---|---|
引导程序 |
RHCOS |
4 |
16 GB |
100 GB |
300 |
控制平面 |
RHCOS |
4 |
16 GB |
100 GB |
300 |
计算 |
RHCOS、RHEL 8.6 及更高版本 [3] |
2 |
8 GB |
100 GB |
300 |
当未启用同时多线程 (SMT) 或超线程时,一个 vCPU 等于一个物理核心。启用时,请使用以下公式计算相应的比率:(每个核心的线程数 × 核心数)× 插槽数 = vCPU 数。
OpenShift Container Platform 和 Kubernetes 对磁盘性能很敏感,建议使用更快的存储,特别是对于控制平面节点上的 etcd,它需要 10 毫秒的 p99 fsync 持续时间。请注意,在许多云平台上,存储大小和 IOPS 成正比,因此您可能需要过度分配存储卷以获得足够的性能。
与所有用户配置的安装一样,如果您选择在集群中使用 RHEL 计算机器,则您负责所有操作系统的生命周期管理和维护,包括执行系统更新、应用补丁和完成所有其他必需的任务。RHEL 7 计算机器的使用已被弃用,并且在 OpenShift Container Platform 4.10 及更高版本中已被移除。
从 OpenShift Container Platform 4.13 版本开始,RHCOS 基于 RHEL 9.2 版本,这更新了微架构要求。以下列表包含每个架构所需的最低指令集架构 (ISA):
更多信息,请参见 RHEL 架构。 |
您必须使用将 |
如果平台的实例类型满足集群机器的最低要求,则支持在 OpenShift Container Platform 中使用它。
以下 Microsoft Azure 实例类型已通过 OpenShift Container Platform 测试。
standardBasv2Family
standardBSFamily
standardBsv2Family
standardDADSv5Family
standardDASv4Family
standardDASv5Family
standardDCACCV5Family
standardDCADCCV5Family
standardDCADSv5Family
standardDCASv5Family
standardDCSv3Family
standardDCSv2Family
standardDDCSv3Family
standardDDSv4Family
standardDDSv5Family
standardDLDSv5Family
standardDLSv5Family
standardDSFamily
standardDSv2Family
standardDSv2PromoFamily
standardDSv3Family
standardDSv4Family
standardDSv5Family
standardEADSv5Family
standardEASv4Family
standardEASv5Family
standardEBDSv5Family
standardEBSv5Family
standardECACCV5Family
standardECADCCV5Family
standardECADSv5Family
standardECASv5Family
standardEDSv4Family
standardEDSv5Family
standardEIADSv5Family
standardEIASv4Family
standardEIASv5Family
standardEIBDSv5Family
standardEIBSv5Family
standardEIDSv5Family
standardEISv3Family
standardEISv5Family
standardESv3Family
standardESv4Family
standardESv5Family
standardFXMDVSFamily
standardFSFamily
standardFSv2Family
standardGSFamily
standardHBrsv2Family
standardHBSFamily
standardHBv4Family
standardHCSFamily
standardHXFamily
standardLASv3Family
standardLSFamily
standardLSv2Family
standardLSv3Family
standardMDSHighMemoryv3Family
standardMDSMediumMemoryv2Family
standardMDSMediumMemoryv3Family
standardMIDSHighMemoryv3Family
standardMIDSMediumMemoryv2Family
standardMISHighMemoryv3Family
standardMISMediumMemoryv2Family
standardMSFamily
standardMSHighMemoryv3Family
standardMSMediumMemoryv2Family
standardMSMediumMemoryv3Family
StandardNCADSA100v4Family
Standard NCASv3_T4 Family
standardNCSv3Family
standardNDSv2Family
StandardNGADSV620v1Family
standardNPSFamily
StandardNVADSA10v5Family
standardNVSv3Family
standardXEISv4Family
以下 Microsoft Azure ARM64 实例类型已通过 OpenShift Container Platform 测试。
standardBpsv2Family
standardDPSv5Family
standardDPDSv5Family
standardDPLDSv5Family
standardDPLSv5Family
standardEPSv5Family
standardEPDSv5Family
有关支持可信启动功能的虚拟机大小的更多信息,请参见 虚拟机大小。
可信启动仅为技术预览功能。技术预览功能不受 Red Hat 生产服务级别协议 (SLA) 的支持,并且可能功能不完整。Red Hat 不建议在生产环境中使用它们。这些功能可让您提前访问即将推出的产品功能,使客户能够在开发过程中测试功能并提供反馈。 有关 Red Hat 技术预览功能的支持范围的更多信息,请参见 技术预览功能支持范围。 |
您已创建 install-config.yaml
文件。
在部署集群之前编辑 install-config.yaml
文件
仅通过添加以下部分来启用控制平面上的可信启动
controlPlane:
platform:
azure:
settings:
securityType: TrustedLaunch
trustedLaunch:
uefiSettings:
secureBoot: Enabled
virtualizedTrustedPlatformModule: Enabled
仅通过添加以下部分来启用计算节点上的可信启动
compute:
platform:
azure:
settings:
securityType: TrustedLaunch
trustedLaunch:
uefiSettings:
secureBoot: Enabled
virtualizedTrustedPlatformModule: Enabled
通过添加以下部分来启用所有节点上的可信启动
platform:
azure:
settings:
securityType: TrustedLaunch
trustedLaunch:
uefiSettings:
secureBoot: Enabled
virtualizedTrustedPlatformModule: Enabled
安装集群时,您可以启用机密 VM。您可以为计算节点、控制平面节点或所有节点启用机密 VM。
使用机密 VM 仅为技术预览功能。技术预览功能不受 Red Hat 生产服务级别协议 (SLA) 的支持,并且可能功能不完整。Red Hat 不建议在生产环境中使用它们。这些功能可让您提前访问即将推出的产品功能,使客户能够在开发过程中测试功能并提供反馈。 有关 Red Hat 技术预览功能的支持范围的更多信息,请参见 技术预览功能支持范围。 |
您可以将机密 VM 与以下 VM 大小一起使用:
DCasv5 系列
DCadsv5 系列
ECasv5 系列
ECadsv5 系列
目前 64 位 ARM 架构不支持机密 VM。 |
您已创建 install-config.yaml
文件。
在部署集群之前编辑 install-config.yaml
文件
仅通过添加以下部分来启用控制平面上的机密 VM
controlPlane:
platform:
azure:
settings:
securityType: ConfidentialVM
confidentialVM:
uefiSettings:
secureBoot: Enabled
virtualizedTrustedPlatformModule: Enabled
osDisk:
securityProfile:
securityEncryptionType: VMGuestStateOnly
通过添加以下片段,仅在计算节点上启用机密虚拟机
compute:
platform:
azure:
settings:
securityType: ConfidentialVM
confidentialVM:
uefiSettings:
secureBoot: Enabled
virtualizedTrustedPlatformModule: Enabled
osDisk:
securityProfile:
securityEncryptionType: VMGuestStateOnly
通过添加以下片段,在所有节点上启用机密虚拟机
platform:
azure:
settings:
securityType: ConfidentialVM
confidentialVM:
uefiSettings:
secureBoot: Enabled
virtualizedTrustedPlatformModule: Enabled
osDisk:
securityProfile:
securityEncryptionType: VMGuestStateOnly
您可以自定义install-config.yaml
文件以指定有关 OpenShift Container Platform 集群平台的更多详细信息,或修改所需参数的值。
此 YAML 文件示例仅供参考。您必须使用安装程序获取您的 |
apiVersion: v1
baseDomain: example.com (1)
controlPlane: (2)
hyperthreading: Enabled (3) (4)
name: master
platform:
azure:
encryptionAtHost: true
ultraSSDCapability: Enabled
osDisk:
diskSizeGB: 1024 (5)
diskType: Premium_LRS
diskEncryptionSet:
resourceGroup: disk_encryption_set_resource_group
name: disk_encryption_set_name
subscriptionId: secondary_subscription_id
osImage:
publisher: example_publisher_name
offer: example_image_offer
sku: example_offer_sku
version: example_image_version
type: Standard_D8s_v3
replicas: 3
compute: (2)
- hyperthreading: Enabled (3) (4)
name: worker
platform:
azure:
ultraSSDCapability: Enabled
type: Standard_D2s_v3
encryptionAtHost: true
osDisk:
diskSizeGB: 512 (5)
diskType: Standard_LRS
diskEncryptionSet:
resourceGroup: disk_encryption_set_resource_group
name: disk_encryption_set_name
subscriptionId: secondary_subscription_id
osImage:
publisher: example_publisher_name
offer: example_image_offer
sku: example_offer_sku
version: example_image_version
zones: (6)
- "1"
- "2"
- "3"
replicas: 5
metadata:
name: test-cluster (1)
networking:
clusterNetwork:
- cidr: 10.128.0.0/14
hostPrefix: 23
machineNetwork:
- cidr: 10.0.0.0/16
networkType: OVNKubernetes (7)
serviceNetwork:
- 172.30.0.0/16
platform:
azure:
defaultMachinePlatform:
osImage: (8)
publisher: example_publisher_name
offer: example_image_offer
sku: example_offer_sku
version: example_image_version
ultraSSDCapability: Enabled
baseDomainResourceGroupName: resource_group (9)
region: centralus (1)
resourceGroupName: existing_resource_group (10)
networkResourceGroupName: vnet_resource_group (11)
virtualNetwork: vnet (12)
controlPlaneSubnet: control_plane_subnet (13)
computeSubnet: compute_subnet (14)
outboundType: UserDefinedRouting (15)
cloudName: AzurePublicCloud
pullSecret: '{"auths": ...}' (1)
fips: false (16)
sshKey: ssh-ed25519 AAAA... (17)
publish: Internal (18)
1 | 必需。安装程序会提示您输入此值。 | ||
2 | 如果您不提供这些参数和值,安装程序将提供默认值。 | ||
3 | controlPlane 部分是一个单一映射,但compute 部分是一系列映射。为了满足不同数据结构的要求,compute 部分的第一行必须以连字符- 开头,而controlPlane 部分的第一行则不能。仅使用一个控制平面池。 |
||
4 | 是否启用或禁用多线程同时运行,即超线程。默认情况下,启用多线程同时运行以提高机器内核的性能。您可以将其设置为Disabled 来禁用它。如果您在某些集群机器中禁用了多线程同时运行,则必须在所有集群机器中禁用它。
|
||
5 | 您可以指定要使用的磁盘大小(以 GB 为单位)。控制平面节点的最低建议值为 1024 GB。 | ||
6 | 指定要将机器部署到的区域列表。为确保高可用性,请至少指定两个区域。 | ||
7 | 要安装的集群网络插件。默认值OVNKubernetes 是唯一受支持的值。 |
||
8 | 可选:应用于引导控制平面和计算机的自定义 Red Hat Enterprise Linux CoreOS (RHCOS) 镜像。platform.azure.defaultMachinePlatform.osImage 下的publisher 、offer 、sku 和version 参数同时适用于控制平面和计算机器。如果设置了controlPlane.platform.azure.osImage 或compute.platform.azure.osImage 下的参数,则它们将覆盖platform.azure.defaultMachinePlatform.osImage 参数。 |
||
9 | 指定包含您的基础域的 DNS 区域的资源组的名称。 | ||
10 | 指定要将集群安装到的已存在资源组的名称。如果未定义,则会为集群创建一个新的资源组。 | ||
11 | 如果您使用现有的 VNet,请指定包含它的资源组的名称。 | ||
12 | 如果您使用现有的 VNet,请指定它的名称。 | ||
13 | 如果您使用现有的 VNet,请指定托管控制平面机器的子网的名称。 | ||
14 | 如果您使用现有的 VNet,请指定托管计算机器的子网的名称。 | ||
15 | 您可以自定义您自己的出站路由。配置用户定义的路由可以防止在您的集群中公开外部端点。出站的用户定义路由需要将您的集群部署到现有的 VNet。 | ||
16 | 是否启用或禁用 FIPS 模式。默认情况下,FIPS 模式未启用。如果启用了 FIPS 模式,则运行 OpenShift Container Platform 的 Red Hat Enterprise Linux CoreOS (RHCOS) 机器将绕过默认的 Kubernetes 加密套件,并改为使用 RHCOS 提供的加密模块。
|
||
17 | 您可以选择提供sshKey 值,用于访问集群中的机器。
|
||
18 | 如何发布集群的用户端点。将publish 设置为Internal 以部署私有集群,该集群无法从互联网访问。默认值为External 。 |
生产环境可以拒绝直接访问互联网,而是提供 HTTP 或 HTTPS 代理。您可以通过在install-config.yaml
文件中配置代理设置来配置新的 OpenShift Container Platform 集群以使用代理。
您有一个现有的install-config.yaml
文件。
您已查看集群需要访问的站点,并确定其中任何站点是否需要绕过代理。默认情况下,所有集群出站流量都将被代理,包括对托管云提供商 API 的调用。如有必要,您可以将站点添加到Proxy
对象的spec.noProxy
字段以绕过代理。
对于在 Amazon Web Services (AWS)、Google Cloud Platform (GCP)、Microsoft Azure 和 Red Hat OpenStack Platform (RHOSP) 上的安装, |
编辑您的install-config.yaml
文件并添加代理设置。例如
apiVersion: v1
baseDomain: my.domain.com
proxy:
httpProxy: http://<username>:<pswd>@<ip>:<port> (1)
httpsProxy: https://<username>:<pswd>@<ip>:<port> (2)
noProxy: example.com (3)
additionalTrustBundle: | (4)
-----BEGIN CERTIFICATE-----
<MY_TRUSTED_CA_CERT>
-----END CERTIFICATE-----
additionalTrustBundlePolicy: <policy_to_add_additionalTrustBundle> (5)
1 | 用于在集群外部创建 HTTP 连接的代理 URL。URL 方案必须为http 。 |
2 | 用于在集群外部创建 HTTPS 连接的代理 URL。 |
3 | 要从代理中排除的目标域名、IP 地址或其他网络 CIDR 的逗号分隔列表。在域名前加. 仅匹配子域。例如,.y.com 匹配x.y.com ,但不匹配y.com 。使用* 绕过所有目标的代理。 |
4 | 如果提供,安装程序将生成一个名为user-ca-bundle 的 config map,它位于openshift-config 命名空间中,包含一个或多个代理 HTTPS 连接所需的附加 CA 证书。然后,集群网络操作员创建一个trusted-ca-bundle config map,将这些内容与 Red Hat Enterprise Linux CoreOS (RHCOS) 信任捆绑包合并,并且此 config map 在Proxy 对象的trustedCA 字段中引用。除非代理的身份证书由 RHCOS 信任捆绑包中的机构签署,否则需要additionalTrustBundle 字段。 |
5 | 可选:用于确定Proxy 对象的配置以引用trustedCA 字段中user-ca-bundle 配置映射的策略。允许的值为Proxyonly 和Always 。当配置了http/https 代理时,使用Proxyonly 仅引用user-ca-bundle 配置映射。使用Always 始终引用user-ca-bundle 配置映射。默认值为Proxyonly 。 |
安装程序不支持代理 |
如果安装程序超时,请重新启动,然后使用安装程序的
|
保存文件并在安装OpenShift Container Platform时引用它。
安装程序创建一个名为cluster
的集群范围代理,该代理使用提供的install-config.yaml
文件中的代理设置。如果未提供代理设置,则仍会创建cluster
Proxy
对象,但它将具有nil spec
。
仅支持名为 |
有关加速网络的更多详细信息,请参阅Microsoft Azure VM 的加速网络。
默认情况下,管理员密钥存储在kube-system
项目中。如果在install-config.yaml
文件中将credentialsMode
参数配置为Manual
,则必须使用以下替代方法之一
要手动管理长期云凭据,请按照手动创建长期凭据中的步骤操作。
要实现由集群外部管理的针对各个组件的短期凭据,请按照配置 Azure 集群以使用短期凭据中的步骤操作。
在无法访问云身份和访问管理 (IAM) API 或管理员不想在集群kube-system
命名空间中存储管理员级凭据密钥的环境中,可以在安装之前将云凭据操作员 (CCO) 置于手动模式。
如果未在install-config.yaml
配置文件中将credentialsMode
参数设置为Manual
,请修改该值,如下所示
apiVersion: v1
baseDomain: example.com
credentialsMode: Manual
# ...
如果您以前没有创建安装清单文件,请运行以下命令来创建:
$ openshift-install create manifests --dir <installation_directory>
其中<installation_directory>
是安装程序创建文件的目录。
通过运行以下命令,使用安装文件中的发行版映像设置$RELEASE_IMAGE
变量:
$ RELEASE_IMAGE=$(./openshift-install version | awk '/release image/ {print $3}')
通过运行以下命令,从OpenShift Container Platform发行版映像中提取CredentialsRequest
自定义资源 (CR) 列表:
$ oc adm release extract \
--from=$RELEASE_IMAGE \
--credentials-requests \
--included \(1)
--install-config=<path_to_directory_with_installation_configuration>/install-config.yaml \(2)
--to=<path_to_directory_for_credentials_requests> (3)
1 | --included 参数仅包含特定集群配置所需的清单。 |
2 | 指定install-config.yaml 文件的位置。 |
3 | 指定要存储CredentialsRequest 对象的目录的路径。如果指定的目录不存在,则此命令会创建它。 |
此命令为每个CredentialsRequest
对象创建一个YAML文件。
CredentialsRequest
对象apiVersion: cloudcredential.openshift.io/v1
kind: CredentialsRequest
metadata:
name: <component_credentials_request>
namespace: openshift-cloud-credential-operator
...
spec:
providerSpec:
apiVersion: cloudcredential.openshift.io/v1
kind: AzureProviderSpec
roleBindings:
- role: Contributor
...
在您之前生成的openshift-install
清单目录中为密钥创建YAML文件。必须使用每个CredentialsRequest
对象中spec.secretRef
定义的命名空间和密钥名称来存储密钥。
CredentialsRequest
对象apiVersion: cloudcredential.openshift.io/v1
kind: CredentialsRequest
metadata:
name: <component_credentials_request>
namespace: openshift-cloud-credential-operator
...
spec:
providerSpec:
apiVersion: cloudcredential.openshift.io/v1
kind: AzureProviderSpec
roleBindings:
- role: Contributor
...
secretRef:
name: <component_secret>
namespace: <component_namespace>
...
Secret
对象apiVersion: v1
kind: Secret
metadata:
name: <component_secret>
namespace: <component_namespace>
data:
azure_subscription_id: <base64_encoded_azure_subscription_id>
azure_client_id: <base64_encoded_azure_client_id>
azure_client_secret: <base64_encoded_azure_client_secret>
azure_tenant_id: <base64_encoded_azure_tenant_id>
azure_resource_prefix: <base64_encoded_azure_resource_prefix>
azure_resourcegroup: <base64_encoded_azure_resourcegroup>
azure_region: <base64_encoded_azure_region>
在升级使用手动维护凭据的集群之前,必须确保CCO处于可升级状态。 |
要安装使用Microsoft Entra 工作负载 ID的集群,必须配置云凭据操作员实用程序并为集群创建所需的 Azure 资源。
当云凭据操作员 (CCO) 处于手动模式时,要从集群外部创建和管理云凭据,请提取并准备CCO实用程序 (ccoctl
) 二进制文件。
|
您可以访问具有集群管理员访问权限的OpenShift Container Platform帐户。
您已安装OpenShift CLI (oc
)。
您已为ccoctl
实用程序创建了一个全局Microsoft Azure帐户,并具有以下权限:
Microsoft.Resources/subscriptions/resourceGroups/read
Microsoft.Resources/subscriptions/resourceGroups/write
Microsoft.Resources/subscriptions/resourceGroups/delete
Microsoft.Authorization/roleAssignments/read
Microsoft.Authorization/roleAssignments/delete
Microsoft.Authorization/roleAssignments/write
Microsoft.Authorization/roleDefinitions/read
Microsoft.Authorization/roleDefinitions/write
Microsoft.Authorization/roleDefinitions/delete
Microsoft.Storage/storageAccounts/listkeys/action
Microsoft.Storage/storageAccounts/delete
Microsoft.Storage/storageAccounts/read
Microsoft.Storage/storageAccounts/write
Microsoft.Storage/storageAccounts/blobServices/containers/write
Microsoft.Storage/storageAccounts/blobServices/containers/delete
Microsoft.Storage/storageAccounts/blobServices/containers/read
Microsoft.ManagedIdentity/userAssignedIdentities/delete
Microsoft.ManagedIdentity/userAssignedIdentities/read
Microsoft.ManagedIdentity/userAssignedIdentities/write
Microsoft.ManagedIdentity/userAssignedIdentities/federatedIdentityCredentials/read
Microsoft.ManagedIdentity/userAssignedIdentities/federatedIdentityCredentials/write
Microsoft.ManagedIdentity/userAssignedIdentities/federatedIdentityCredentials/delete
Microsoft.Storage/register/action
Microsoft.ManagedIdentity/register/action
通过运行以下命令设置OpenShift Container Platform发行版映像的变量:
$ RELEASE_IMAGE=$(./openshift-install version | awk '/release image/ {print $3}')
通过运行以下命令,从OpenShift Container Platform发行版映像中获取CCO容器映像:
$ CCO_IMAGE=$(oc adm release info --image-for='cloud-credential-operator' $RELEASE_IMAGE -a ~/.pull-secret)
确保 |
通过运行以下命令,从OpenShift Container Platform发行版映像中的CCO容器映像中提取ccoctl
二进制文件:
$ oc image extract $CCO_IMAGE \
--file="/usr/bin/ccoctl.<rhel_version>" \(1)
-a ~/.pull-secret
1 | 对于<rhel_version> ,请指定与主机使用的Red Hat Enterprise Linux (RHEL)版本相对应的值。如果未指定值,则默认使用ccoctl.rhel8 。有效值为:
|
更改权限以使ccoctl
可执行,请运行以下命令:
$ chmod 775 ccoctl.<rhel_version>
要验证ccoctl
是否已准备好使用,请显示帮助文件。运行命令时,请使用相对文件名,例如
$ ./ccoctl.rhel9
OpenShift credentials provisioning tool
Usage:
ccoctl [command]
Available Commands:
aws Manage credentials objects for AWS cloud
azure Manage credentials objects for Azure
gcp Manage credentials objects for Google cloud
help Help about any command
ibmcloud Manage credentials objects for {ibm-cloud-title}
nutanix Manage credentials objects for Nutanix
Flags:
-h, --help help for ccoctl
Use "ccoctl [command] --help" for more information about a command.
您可以使用ccoctl azure create-all
命令来自动创建Azure资源。
默认情况下, |
您必须:
已提取并准备ccoctl
二进制文件。
可以使用 Azure CLI 访问您的 Microsoft Azure 帐户。
通过运行以下命令,使用安装文件中的发行版映像设置$RELEASE_IMAGE
变量:
$ RELEASE_IMAGE=$(./openshift-install version | awk '/release image/ {print $3}')
通过运行以下命令,从 OpenShift Container Platform 发行版镜像中提取CredentialsRequest
对象的列表:
$ oc adm release extract \
--from=$RELEASE_IMAGE \
--credentials-requests \
--included \(1)
--install-config=<path_to_directory_with_installation_configuration>/install-config.yaml \(2)
--to=<path_to_directory_for_credentials_requests> (3)
1 | --included 参数仅包含特定集群配置所需的清单。 |
2 | 指定install-config.yaml 文件的位置。 |
3 | 指定要存储CredentialsRequest 对象的目录的路径。如果指定的目录不存在,则此命令会创建它。 |
此命令可能需要一些时间才能运行。 |
要使ccoctl
实用程序能够自动检测您的 Azure 凭据,请运行以下命令登录到 Azure CLI:
$ az login
使用ccoctl
工具处理所有CredentialsRequest
对象,请运行以下命令:
$ ccoctl azure create-all \
--name=<azure_infra_name> \(1)
--output-dir=<ccoctl_output_dir> \(2)
--region=<azure_region> \(3)
--subscription-id=<azure_subscription_id> \(4)
--credentials-requests-dir=<path_to_credentials_requests_directory> \(5)
--dnszone-resource-group-name=<azure_dns_zone_resource_group_name> \(6)
--tenant-id=<azure_tenant_id> (7)
1 | 指定所有用于跟踪的已创建 Azure 资源的用户定义名称。 |
2 | 可选:指定您希望ccoctl 实用程序创建对象的目录。默认情况下,该实用程序会在运行命令的目录中创建对象。 |
3 | 指定将创建云资源的 Azure 区域。 |
4 | 指定要使用的 Azure 订阅 ID。 |
5 | 指定包含组件CredentialsRequest 对象文件的目录。 |
6 | 指定包含集群基础域 Azure DNS 区域的资源组的名称。 |
7 | 指定要使用的 Azure 租户 ID。 |
如果您的集群使用由 要查看其他可选参数以及如何使用它们的说明,请运行 |
要验证 OpenShift Container Platform 机密是否已创建,请列出<path_to_ccoctl_output_dir>/manifests
目录中的文件。
$ ls <path_to_ccoctl_output_dir>/manifests
azure-ad-pod-identity-webhook-config.yaml
cluster-authentication-02-config.yaml
openshift-cloud-controller-manager-azure-cloud-credentials-credentials.yaml
openshift-cloud-network-config-controller-cloud-credentials-credentials.yaml
openshift-cluster-api-capz-manager-bootstrap-credentials-credentials.yaml
openshift-cluster-csi-drivers-azure-disk-credentials-credentials.yaml
openshift-cluster-csi-drivers-azure-file-credentials-credentials.yaml
openshift-image-registry-installer-cloud-credentials-credentials.yaml
openshift-ingress-operator-cloud-credentials-credentials.yaml
openshift-machine-api-azure-cloud-credentials-credentials.yaml
您可以通过查询 Azure 来验证 Microsoft Entra ID 服务帐户是否已创建。有关更多信息,请参阅 Azure 文档中关于列出 Entra ID 服务帐户的内容。
要实现为各个组件管理在集群外部管理的短期安全凭据,您必须将云凭据操作员实用程序 (ccoctl
) 创建的清单文件移动到安装程序的正确目录。
您已配置一个帐户,该帐户与托管集群的云平台相关联。
您已配置云凭据操作员实用程序 (ccoctl
)。
您已使用ccoctl
实用程序创建了集群所需的云提供商资源。
如果未在install-config.yaml
配置文件中将credentialsMode
参数设置为Manual
,请修改该值,如下所示
apiVersion: v1
baseDomain: example.com
credentialsMode: Manual
# ...
如果您使用ccoctl
实用程序创建新的 Azure 资源组而不是使用现有的资源组,请修改install-config.yaml
中的resourceGroupName
参数,如下所示:
apiVersion: v1
baseDomain: example.com
# ...
platform:
azure:
resourceGroupName: <azure_infra_name> (1)
# ...
1 | 此值必须与使用ccoctl azure create-all 命令的--name 参数指定的 Azure 资源的用户定义名称匹配。 |
如果您以前没有创建安装清单文件,请运行以下命令来创建:
$ openshift-install create manifests --dir <installation_directory>
其中<installation_directory>
是安装程序创建文件的目录。
将ccoctl
实用程序生成的清单复制到安装程序创建的manifests
目录,请运行以下命令:
$ cp /<path_to_ccoctl_output_dir>/manifests/* ./manifests/
将包含私钥的tls
目录复制到安装目录。
$ cp -a /<path_to_ccoctl_output_dir>/tls .
通过在私有 Microsoft Azure 集群上安装私有镜像注册表,您可以创建私有存储端点。私有存储端点会禁用指向注册表存储帐户的公共端点,从而为您的 OpenShift Container Platform 部署添加额外的安全层。
不要在 Microsoft Azure Red Hat OpenShift (ARO) 上安装私有镜像注册表,因为该端点可能使您的 Microsoft Azure Red Hat OpenShift 集群处于不可恢复的状态。 |
使用以下指南为使用私有镜像注册表的安装准备您的私有 Microsoft Azure 集群。
您可以访问具有集群管理员访问权限的OpenShift Container Platform帐户。
您已安装 OpenShift CLI (oc)。
您已准备一个install-config.yaml
,其中包含以下信息:
publish
字段设置为Internal
。
您已设置创建私有存储端点的权限。有关更多信息,请参阅“安装程序配置的基础架构所需的 Azure 权限”。
如果您以前没有创建安装清单文件,请运行以下命令来创建:
$ ./openshift-install create manifests --dir <installation_directory>
此命令将显示以下消息:
INFO Consuming Install Config from target directory
INFO Manifests created in: <installation_directory>/manifests and <installation_directory>/openshift
创建一个镜像注册表配置对象,并传入 Microsoft Azure 提供的networkResourceGroupName
、subnetName
和vnetName
。例如:
$ touch imageregistry-config.yaml
apiVersion: imageregistry.operator.openshift.io/v1
kind: Config
metadata:
name: cluster
spec:
managementState: "Managed"
replicas: 2
rolloutStrategy: RollingUpdate
storage:
azure:
networkAccess:
internal:
networkResourceGroupName: <vnet_resource_group> (1)
subnetName: <subnet_name> (2)
vnetName: <vnet_name> (3)
type: Internal
1 | 可选。如果您有现有的 VNet 和子网设置,请将<vnet_resource_group> 替换为包含现有虚拟网络 (VNet) 的资源组名称。 |
2 | 可选。如果您有现有的 VNet 和子网设置,请将<subnet_name> 替换为指定资源组中现有计算子网的名称。 |
3 | 可选。如果您有现有的 VNet 和子网设置,请将<vnet_name> 替换为指定资源组中现有虚拟网络 (VNet) 的名称。 |
|
通过运行以下命令,将imageregistry-config.yaml
文件移动到<installation_directory/manifests>
文件夹:
$ mv imageregistry-config.yaml <installation_directory/manifests/>
将imageregistry-config.yaml
文件移动到<installation_directory/manifests>
文件夹并设置所需的权限后,请继续执行“部署集群”。
有关创建私有存储端点所需的权限列表,请参阅安装程序配置的基础架构所需的 Azure 权限。
您可以在兼容的云平台上安装 OpenShift Container Platform。
您只能在初始安装期间运行安装程序的 |
您已配置一个帐户,该帐户与托管集群的云平台相关联。
您拥有 OpenShift Container Platform 安装程序和集群的拉取密钥。
您拥有 Azure 订阅 ID 和租户 ID。
如果您使用服务主体安装集群,则您拥有其应用程序 ID 和密码。
如果您使用系统分配的托管标识安装集群,则您已在其上启用了它将运行安装程序的虚拟机。
如果您使用用户分配的托管标识安装集群,则您已满足以下先决条件:
您拥有其客户端 ID。
您已将其分配给您将运行安装程序的虚拟机。
可选:如果您之前已在此计算机上运行安装程序,并且想要使用替代服务主体或托管标识,请转到~/.azure/
目录并删除osServicePrincipal.json
配置文件。
删除此文件可防止安装程序自动重用先前安装中的订阅和身份验证值。
切换到包含安装程序的目录并初始化集群部署。
$ ./openshift-install create cluster --dir <installation_directory> \ (1)
--log-level=info (2)
1 | 对于<installation_directory> ,请指定您自定义的./install-config.yaml 文件的位置。 |
2 | 要查看不同的安装细节,请指定warn 、debug 或error 代替info 。 |
如果安装程序无法从之前的安装中找到osServicePrincipal.json
配置文件,系统将提示您输入 Azure 订阅和身份验证值。
输入以下 Azure 参数值以用于您的订阅。
azure 订阅 ID:输入要用于集群的订阅 ID。
azure 租户 ID:输入租户 ID。
根据您用于部署集群的 Azure 身份,在系统提示您输入azure 服务主体客户端 ID时,执行以下操作之一:
如果您使用的是服务主体,请输入其应用程序 ID。
如果您使用的是系统分配的托管身份,请将此值留空。
如果您使用的是用户分配的托管身份,请指定其客户端 ID。
根据您用于部署集群的 Azure 身份,在系统提示您输入azure 服务主体客户端密钥时,执行以下操作之一:
如果您使用的是服务主体,请输入其密码。
如果您使用的是系统分配的托管身份,请将此值留空。
如果您使用的是用户分配的托管身份,请将此值留空。
如果先前未检测到,安装程序将创建一个osServicePrincipal.json
配置文件,并将此文件存储在您计算机上的~/.azure/
目录中。这可确保安装程序在目标平台上创建 OpenShift Container Platform 集群时可以加载配置文件。
集群部署成功完成后:
终端将显示访问集群的说明,包括指向 Web 控制台的链接以及kubeadmin
用户的凭据。
凭据信息也会输出到<installation_directory>/.openshift_install.log
。
请勿删除安装程序或安装程序创建的文件。两者都是删除集群所必需的。 |
...
INFO Install complete!
INFO To access the cluster as the system:admin user when using 'oc', run 'export KUBECONFIG=/home/myuser/install_dir/auth/kubeconfig'
INFO Access the OpenShift web-console here: https://console-openshift-console.apps.mycluster.example.com
INFO Login to the console with user: "kubeadmin", and password: "password"
INFO Time elapsed: 36m22s
|
您可以通过导出集群kubeconfig
文件以默认系统用户身份登录到您的集群。kubeconfig
文件包含有关集群的信息,CLI 使用这些信息将客户端连接到正确的集群和 API 服务器。该文件特定于某个集群,并在 OpenShift Container Platform 安装期间创建。
您已部署了一个 OpenShift Container Platform 集群。
您已安装了oc
CLI。
导出kubeadmin
凭据。
$ export KUBECONFIG=<installation_directory>/auth/kubeconfig (1)
1 | 对于<installation_directory> ,请指定您存储安装文件的目录的路径。 |
验证您可以使用导出的配置成功运行oc
命令。
$ oc whoami
system:admin
有关访问和了解 OpenShift Container Platform Web 控制台的更多详细信息,请参阅访问 Web 控制台。
如有必要,您可以选择退出远程运行状况报告。