在政府区域安装集群 - 在 Azure 上安装 | 安装 | OpenShift Container Platform 4.17

Azure政府区域
私有集群
- Azure中的私有集群
- 用户定义的出站路由
关于重复使用VNet用于OpenShift Container Platform集群
手动创建安装配置文件
部署集群
使用CLI登录集群
后续步骤

在OpenShift Container Platform 4.17版本中，您可以在Microsoft Azure的政府区域中安装集群。要配置政府区域，请在安装集群之前修改install-config.yaml文件中的参数。

Azure政府区域

OpenShift Container Platform支持将集群部署到Microsoft Azure Government (MAG)区域。MAG专为美国联邦、州和地方政府机构以及承包商、教育机构和其他必须在Azure上运行敏感工作负载的美国客户设计。MAG由仅限政府的数据中心区域组成，所有区域均获得Impact Level 5 Provisional Authorization。

安装到MAG区域需要在install-config.yaml文件中手动配置Azure Government专用云实例和区域。您还必须更新服务主体以引用相应的政府环境。

无法使用安装程序的引导终端提示选择Azure政府区域。您必须在install-config.yaml文件中手动定义区域。请记住，还要根据指定的区域设置专用云实例，例如AzureUSGovernmentCloud。

私有集群

您可以部署不公开外部端点的私有OpenShift Container Platform集群。私有集群只能从内部网络访问，并且对互联网不可见。

默认情况下，OpenShift Container Platform被配置为使用公共可访问的DNS和端点。当您部署集群时，私有集群会将DNS、Ingress控制器和API服务器设置为私有。这意味着集群资源只能从您的内部网络访问，并且对互联网不可见。

如果集群有任何公共子网，则管理员创建的负载均衡器服务可能对公众开放。为了确保集群安全，请验证这些服务是否被明确注释为私有。

要部署私有集群，您必须

使用满足您要求的现有网络。您的集群资源可能在网络上的其他集群之间共享。
从具有访问权限的机器部署
- 您要配置的云的API服务。
- 您要配置的网络上的主机。
- 互联网以获取安装介质。

您可以使用任何满足这些访问要求并遵循您公司指南的机器。例如，这台机器可以是您云网络上的堡垒主机，或者可以通过VPN访问网络的机器。

Azure中的私有集群

要在Microsoft Azure上创建私有集群，您必须提供现有的私有VNet和子网来托管集群。安装程序还必须能够解析集群所需的DNS记录。安装程序仅为内部流量配置Ingress Operator和API服务器。

根据您的网络如何连接到私有VNET，您可能需要使用DNS转发器来解析集群的私有DNS记录。集群的机器在内部使用168.63.129.16进行DNS解析。有关更多信息，请参阅Azure文档中的什么是Azure私有DNS？和什么是IP地址168.63.129.16？。

集群仍然需要访问互联网才能访问Azure API。

安装私有集群时不需要或不会创建以下项目

BaseDomainResourceGroup，因为集群不会创建公共记录
公共IP地址
公共DNS记录

公共端点

The cluster is configured so that the Operators do not create public records for the cluster and all cluster machines are placed in the private subnets that you specify.

限制

Azure 上的私有集群仅受与使用现有 VNet 相关的限制。

用户定义的出站路由

在 OpenShift Container Platform 中，您可以选择您自己的集群出站路由以连接到互联网。这允许您跳过创建公共 IP 地址和公共负载均衡器。

您可以在安装集群之前修改install-config.yaml文件中的参数来配置用户定义的路由。安装集群时使用出站路由需要预先存在的 VNet；安装程序不负责配置此项。

当将集群配置为使用用户定义的路由时，安装程序不会创建以下资源：

用于访问互联网的出站规则。
公共负载均衡器的公共 IP。
Kubernetes 服务对象，用于将集群机器添加到公共负载均衡器以进行出站请求。

设置用户定义路由之前，您必须确保以下项目可用：

除非使用 OpenShift 镜像注册表镜像，否则可以访问互联网以拉取容器镜像。
集群可以访问 Azure API。
已配置各种允许列表端点。您可以在“配置防火墙”部分中参考这些端点。

使用用户定义路由访问互联网，支持多种预先存在的网络设置。

关于重用 VNet 用于您的 OpenShift Container Platform 集群

在 OpenShift Container Platform 4.17 中，您可以将集群部署到 Microsoft Azure 中的现有 Azure 虚拟网络 (VNet)。如果您这样做，还必须使用 VNet 中的现有子网和路由规则。

通过将 OpenShift Container Platform 部署到现有的 Azure VNet，您也许能够避免新帐户中的服务限制约束，或者更容易遵守公司指南设置的操作约束。如果您无法获得创建 VNet 所需的基础设施创建权限，这是一个不错的选择。

使用您的 VNet 的要求

当您使用现有 VNet 部署集群时，您必须在安装集群之前执行其他网络配置。在安装程序预配的基础设施集群中，安装程序通常会创建以下组件，但在您安装到现有 VNet 时不会创建它们：

子网
路由表
VNet
网络安全组

安装程序要求您使用云提供的 DNS 服务器。不支持使用自定义 DNS 服务器，这会导致安装失败。

如果您使用自定义 VNet，则必须正确配置它及其子网，以便安装程序和集群可以使用。安装程序无法细分集群使用的网络范围、为子网设置路由表或设置 VNet 选项（如 DHCP），因此您必须在安装集群之前这样做。

集群必须能够访问包含现有 VNet 和子网的资源组。虽然集群创建的所有资源都放置在其创建的单独资源组中，但一些网络资源是从单独的组中使用的。某些集群操作符必须能够访问这两个资源组中的资源。例如，Machine API 控制器会将其创建的虚拟机的 NIC 附加到网络资源组中的子网。

您的 VNet 必须满足以下特征：

VNet 的 CIDR 块必须包含Networking.MachineCIDR范围，这是集群机器的 IP 地址池。
VNet 及其子网必须属于同一个资源组，并且必须将子网配置为使用 Azure 分配的 DHCP IP 地址而不是静态 IP 地址。

您必须在 VNet 中提供两个子网，一个用于控制平面机器，一个用于计算机器。由于 Azure 将机器分布在您指定的区域内的不同可用性区域中，因此您的集群默认情况下将具有高可用性。

默认情况下，如果您在install-config.yaml文件中指定可用性区域，安装程序会将控制平面机器和计算机器分布在这些可用性区域内某个区域。为确保集群的高可用性，请选择至少具有三个可用性区域的区域。如果您的区域包含少于三个可用性区域，安装程序会在可用区域中放置多个控制平面机器。

为了确保您提供的子网合适，安装程序会确认以下数据：

所有指定的子网都存在。
有两个私有子网，一个用于控制平面机器，一个用于计算机器。
子网 CIDR 属于您指定的机器 CIDR。不会在您未为其提供私有子网的可用性区域中预配机器。如果需要，安装程序会创建管理控制平面和工作节点的公共负载均衡器，并且 Azure 会为其分配公共 IP 地址。

如果您销毁使用现有 VNet 的集群，则不会删除 VNet。

网络安全组要求

托管计算和控制平面机器的子网的网络安全组需要特定访问权限才能确保集群通信正确。您必须创建规则以允许访问所需的集群通信端口。

在安装集群之前，必须启用网络安全组规则。如果您尝试在没有所需访问权限的情况下安装集群，安装程序将无法访问 Azure API，安装将失败。

表 1. 必需端口
端口	描述	控制平面	计算
`80`	允许 HTTP 流量		x
`443`	允许 HTTPS 流量		x
`6443`	允许与控制平面机器通信	x
`22623`	允许与机器配置服务器进行内部通信以预配机器	x

如果您使用 Azure 防火墙来限制互联网访问，则可以将 Azure 防火墙配置为允许 Azure API。不需要网络安全组规则。有关更多信息，请参阅“其他资源”中的“配置防火墙”。

目前，没有支持的方法可以阻止或限制机器配置服务器端点。必须将机器配置服务器公开到网络，以便新预配的机器（没有现有配置或状态）能够获取其配置。在此模型中，信任的根是证书签名请求 (CSR) 端点，kubelet 在此处发送其证书签名请求以批准加入集群。因此，不应使用机器配置来分发敏感信息，例如密钥和证书。

为确保在裸机场景下机器配置服务器端点（端口 22623 和 22624）的安全，客户必须配置正确的网络策略。

由于集群组件不会修改用户提供的网络安全组（Kubernetes 控制器会更新这些安全组），因此会为 Kubernetes 控制器创建一个伪网络安全组，以便在不影响其余环境的情况下进行修改。

表 2. 所有机器之间通信使用的端口
协议	端口	描述
ICMP	N/A	网络连通性测试
TCP	`1936`	指标
	`9000`-`9999`	主机级服务，包括端口`9100`-`9101`上的节点导出器和端口`9099`上的集群版本操作器。
	`10250`-`10259`	Kubernetes 保留的默认端口
UDP	`4789`	VXLAN
	`6081`	Geneve
	`9000`-`9999`	主机级服务，包括端口`9100`-`9101`上的节点导出器。
	`500`	IPsec IKE 数据包
	`4500`	IPsec NAT-T 数据包
	`123`	UDP 端口`123`上的网络时间协议 (NTP) 如果配置外部 NTP 时间服务器，则必须打开 UDP 端口`123`。
TCP/UDP	`30000`-`32767`	Kubernetes 节点端口
ESP	N/A	IPsec 封装安全有效负载 (ESP)

表 3. 控制平面机器之间通信使用的端口
协议	端口	描述
TCP	`2379`-`2380`	etcd 服务器和对等端口

权限划分

从 OpenShift Container Platform 4.3 开始，您不需要安装程序预配的基础设施集群部署集群所需的所有权限。此更改模拟您公司可能拥有的权限划分：某些个人可以在您的云中创建不同于其他人的资源。例如，您可以创建特定于应用程序的项目，例如实例、存储和负载均衡器，但不能创建与网络相关的组件，例如 VNet、子网或入口规则。

创建集群时使用的 Azure 凭据不需要创建 VNet 和 VNet 内的核心网络组件（例如子网、路由表、互联网网关、NAT 和 VPN）所需的网络权限。您仍然需要权限来创建集群内机器所需的应用程序资源，例如负载均衡器、安全组、存储帐户和节点。

集群之间的隔离

由于集群无法修改现有子网中的网络安全组，因此无法隔离 VNet 上彼此的集群。

其他资源

手动创建安装配置文件

安装集群需要手动创建安装配置文件。

先决条件

您在本地机器上有一个 SSH 公钥，需要将其提供给安装程序。此密钥将用于 SSH 身份验证到集群节点上，用于调试和灾难恢复。
您已获得 OpenShift Container Platform 安装程序和集群的拉取密钥。

步骤

创建一个安装目录来存储所需的安装资源

$ mkdir <installation_directory>

您必须创建一个目录。某些安装资源（如引导 X.509 证书）的有效期很短，因此您不能重复使用安装目录。如果您想重复使用来自另一个集群安装的单个文件，您可以将它们复制到您的目录中。但是，安装资源的文件名在不同版本之间可能会发生变化。从早期 OpenShift Container Platform 版本复制安装文件时，请谨慎操作。

自定义提供的样本install-config.yaml 文件模板，并将其保存在<installation_directory> 中。

您必须将此配置文件命名为install-config.yaml。
备份install-config.yaml 文件，以便您可以使用它来安装多个集群。

install-config.yaml 文件在安装过程的下一步中使用。您现在必须备份它。

其他资源

Azure 的安装配置参数

集群安装的最低资源要求

每台集群机器必须满足以下最低要求

表 4. 最低资源要求
机器	操作系统	vCPU ^[1]	虚拟内存	存储	每秒输入/输出 (IOPS)^[2]
引导程序	RHCOS	4	16 GB	100 GB	300
控制平面	RHCOS	4	16 GB	100 GB	300
计算	RHCOS、RHEL 8.6 及更高版本 ^[3]	2	8 GB	100 GB	300

当未启用同时多线程 (SMT) 或超线程时，一个 vCPU 等于一个物理核心。启用时，请使用以下公式计算相应的比率：（每个核心的线程数 × 核心数）× 插槽数 = vCPU 数。
OpenShift Container Platform 和 Kubernetes 对磁盘性能敏感，建议使用更快的存储，特别是对于控制平面节点上的 etcd，它需要 10 毫秒 p99 fsync 持续时间。请注意，在许多云平台上，存储大小和 IOPS 是一起扩展的，因此您可能需要过度分配存储卷才能获得足够的性能。
与所有用户预配的安装一样，如果您选择在集群中使用 RHEL 计算机器，则您需要负责所有操作系统生命周期管理和维护，包括执行系统更新、应用补丁和完成所有其他必需的任务。RHEL 7 计算机的使用已被弃用，并在 OpenShift Container Platform 4.10 及更高版本中删除。

从 OpenShift Container Platform 4.13 版本开始，RHCOS 基于 RHEL 9.2 版本，这更新了微架构要求。以下列表包含每个架构所需的最低指令集架构 (ISA)：

x86-64 架构需要 x86-64-v2 ISA
ARM64 架构需要 ARMv8.0-A ISA
IBM Power 架构需要 Power 9 ISA
s390x 架构需要 z14 ISA

更多信息，请参见 RHEL 架构。

您必须使用将premiumIO 参数设置为true 的 Azure 虚拟机。

如果平台的实例类型满足集群机器的最低要求，则支持在 OpenShift Container Platform 中使用它。

其他资源

优化存储

Azure 的测试实例类型

以下 Microsoft Azure 实例类型已通过 OpenShift Container Platform 测试。

基于 64 位 x86 架构的机器类型

standardBasv2Family
standardBSFamily
standardBsv2Family
standardDADSv5Family
standardDASv4Family
standardDASv5Family
standardDCACCV5Family
standardDCADCCV5Family
standardDCADSv5Family
standardDCASv5Family
standardDCSv3Family
standardDCSv2Family
standardDDCSv3Family
standardDDSv4Family
standardDDSv5Family
standardDLDSv5Family
standardDLSv5Family
standardDSFamily
standardDSv2Family
standardDSv2PromoFamily
standardDSv3Family
standardDSv4Family
standardDSv5Family
standardEADSv5Family
standardEASv4Family
standardEASv5Family
standardEBDSv5Family
standardEBSv5系列
standardECACCV5系列
standardECADCCV5系列
standardECADSv5系列
standardECASv5系列
standardEDSv4系列
standardEDSv5系列
standardEIADSv5系列
standardEIASv4系列
standardEIASv5系列
standardEIBDSv5系列
standardEIBSv5系列
standardEIDSv5系列
standardEISv3系列
standardEISv5系列
standardESv3系列
standardESv4系列
standardESv5系列
standardFXMDVSFamily系列
standardFS系列
standardFSv2系列
standardGS系列
standardHBrsv2系列
standardHBS系列
standardHBv4系列
standardHCS系列
standardHX系列
standardLASv3系列
standardLS系列
standardLSv2系列
standardLSv3系列
standardMDSHighMemoryv3系列
standardMDSMediumMemoryv2系列
standardMDSMediumMemoryv3系列
standardMIDSHighMemoryv3系列
standardMIDSMediumMemoryv2系列
standardMISHighMemoryv3系列
standardMISMediumMemoryv2系列
standardMS系列
standardMSHighMemoryv3系列
standardMSMediumMemoryv2系列
standardMSMediumMemoryv3系列
StandardNCADSA100v4系列
Standard NCASv3_T4 系列
standardNCSv3系列
standardNDSv2系列
StandardNGADSV620v1系列
standardNPS系列
StandardNVADSA10v5系列
standardNVSv3系列
standardXEISv4系列

启用 Azure VM 的可信启动

在 Azure 上安装集群时，您可以启用两种可信启动功能：安全启动和虚拟化可信平台模块。

有关支持可信启动功能的虚拟机大小的更多信息，请参阅虚拟机大小。

可信启动仅为技术预览功能。技术预览功能不受 Red Hat 生产服务级别协议 (SLA) 的支持，并且可能功能不完整。Red Hat 不建议在生产环境中使用它们。这些功能提供对即将推出的产品功能的早期访问，使客户能够在开发过程中测试功能并提供反馈。

有关 Red Hat 技术预览功能的支持范围的更多信息，请参阅技术预览功能支持范围。

先决条件

您已创建 install-config.yaml 文件。

步骤

在部署集群之前，请编辑 install-config.yaml 文件

仅在控制平面启用可信启动，请添加以下部分

controlPlane:
  platform:
    azure:
      settings:
        securityType: TrustedLaunch
        trustedLaunch:
          uefiSettings:
            secureBoot: Enabled
            virtualizedTrustedPlatformModule: Enabled

仅在计算节点启用可信启动，请添加以下部分

compute:
  platform:
    azure:
      settings:
        securityType: TrustedLaunch
        trustedLaunch:
          uefiSettings:
            secureBoot: Enabled
            virtualizedTrustedPlatformModule: Enabled

在所有节点上启用可信启动，请添加以下部分

platform:
  azure:
    settings:
      securityType: TrustedLaunch
      trustedLaunch:
        uefiSettings:
          secureBoot: Enabled
          virtualizedTrustedPlatformModule: Enabled

启用机密 VM

安装集群时，您可以启用机密 VM。您可以为计算节点、控制平面节点或所有节点启用机密 VM。

使用机密 VM 仅为技术预览功能。技术预览功能不受 Red Hat 生产服务级别协议 (SLA) 的支持，并且可能功能不完整。Red Hat 不建议在生产环境中使用它们。这些功能提供对即将推出的产品功能的早期访问，使客户能够在开发过程中测试功能并提供反馈。

有关 Red Hat 技术预览功能的支持范围的更多信息，请参阅技术预览功能支持范围。

您可以将机密 VM 与以下 VM 大小一起使用

DCasv5 系列
DCadsv5 系列
ECasv5 系列
ECadsv5 系列

目前不支持 64 位 ARM 架构上的机密 VM。

先决条件

您已创建 install-config.yaml 文件。

步骤

在部署集群之前，请编辑 install-config.yaml 文件

仅在控制平面启用机密 VM，请添加以下部分

controlPlane:
  platform:
    azure:
      settings:
        securityType: ConfidentialVM
        confidentialVM:
          uefiSettings:
            secureBoot: Enabled
            virtualizedTrustedPlatformModule: Enabled
      osDisk:
        securityProfile:
          securityEncryptionType: VMGuestStateOnly

仅在计算节点启用机密 VM，请添加以下部分

compute:
  platform:
    azure:
      settings:
        securityType: ConfidentialVM
        confidentialVM:
          uefiSettings:
            secureBoot: Enabled
            virtualizedTrustedPlatformModule: Enabled
      osDisk:
        securityProfile:
          securityEncryptionType: VMGuestStateOnly

在所有节点上启用机密 VM，请添加以下部分

platform:
  azure:
    settings:
      securityType: ConfidentialVM
      confidentialVM:
        uefiSettings:
          secureBoot: Enabled
          virtualizedTrustedPlatformModule: Enabled
    osDisk:
      securityProfile:
        securityEncryptionType: VMGuestStateOnly

Azure 的自定义 install-config.yaml 文件示例

您可以自定义 install-config.yaml 文件以指定有关 OpenShift Container Platform 集群平台的更多详细信息或修改所需参数的值。

此 YAML 文件示例仅供参考。您必须使用安装程序获取您的 install-config.yaml 文件并对其进行修改。

apiVersion: v1
baseDomain: example.com (1)
controlPlane: (2)
  hyperthreading: Enabled  (3) (4)
  name: master
  platform:
    azure:
      encryptionAtHost: true
      ultraSSDCapability: Enabled
      osDisk:
        diskSizeGB: 1024 (5)
        diskType: Premium_LRS
        diskEncryptionSet:
          resourceGroup: disk_encryption_set_resource_group
          name: disk_encryption_set_name
          subscriptionId: secondary_subscription_id
      osImage:
        publisher: example_publisher_name
        offer: example_image_offer
        sku: example_offer_sku
        version: example_image_version
      type: Standard_D8s_v3
  replicas: 3
compute: (2)
- hyperthreading: Enabled  (3) (4)
  name: worker
  platform:
    azure:
      ultraSSDCapability: Enabled
      type: Standard_D2s_v3
      encryptionAtHost: true
      osDisk:
        diskSizeGB: 512 (5)
        diskType: Standard_LRS
        diskEncryptionSet:
          resourceGroup: disk_encryption_set_resource_group
          name: disk_encryption_set_name
          subscriptionId: secondary_subscription_id
      osImage:
        publisher: example_publisher_name
        offer: example_image_offer
        sku: example_offer_sku
        version: example_image_version
      zones: (6)
      - "1"
      - "2"
      - "3"
  replicas: 5
metadata:
  name: test-cluster (1)
networking:
  clusterNetwork:
  - cidr: 10.128.0.0/14
    hostPrefix: 23
  machineNetwork:
  - cidr: 10.0.0.0/16
  networkType: OVNKubernetes (7)
  serviceNetwork:
  - 172.30.0.0/16
platform:
  azure:
    defaultMachinePlatform:
      osImage: (8)
        publisher: example_publisher_name
        offer: example_image_offer
        sku: example_offer_sku
        version: example_image_version
      ultraSSDCapability: Enabled
    baseDomainResourceGroupName: resource_group (9)
    region: usgovvirginia
    resourceGroupName: existing_resource_group (10)
    networkResourceGroupName: vnet_resource_group (11)
    virtualNetwork: vnet (12)
    controlPlaneSubnet: control_plane_subnet (13)
    computeSubnet: compute_subnet (14)
    outboundType: UserDefinedRouting (15)
    cloudName: AzureUSGovernmentCloud (16)
pullSecret: '{"auths": ...}' (1)
fips: false (17)
sshKey: ssh-ed25519 AAAA... (18)
publish: Internal (19)

1 必需。

2 如果您未提供这些参数和值，安装程序将提供默认值。

3 controlPlane 部分是单个映射，但 compute 部分是映射序列。为了满足不同数据结构的要求，compute 部分的第一行必须以连字符 - 开头，而 controlPlane 部分的第一行则不能。仅使用一个控制平面池。

是否启用或禁用同时多线程处理或超线程。默认情况下，启用同时多线程处理以提高机器内核的性能。您可以通过将参数值设置为 Disabled 来禁用它。如果在某些集群机器中禁用同时多线程处理，则必须在所有集群机器中禁用它。

如果禁用同时多线程处理，请确保您的容量规划考虑了机器性能的大幅下降。如果禁用同时多线程处理，请为您的机器使用更大的虚拟机类型，例如 Standard_D8s_v3。

5 您可以指定要使用的磁盘大小（以 GB 为单位）。控制平面节点的最低建议值为 1024 GB。

6 指定要将机器部署到的区域列表。为了获得高可用性，请至少指定两个区域。

7 要安装的集群网络插件。默认值 OVNKubernetes 是唯一支持的值。

8 可选：应用于引导控制平面和计算机的自定义 Red Hat Enterprise Linux CoreOS (RHCOS) 映像。platform.azure.defaultMachinePlatform.osImage 下的 publisher、offer、sku 和 version 参数同时适用于控制平面和计算机构。如果设置了 controlPlane.platform.azure.osImage 或 compute.platform.azure.osImage 下的参数，则它们将覆盖 platform.azure.defaultMachinePlatform.osImage 参数。

9 指定包含您的基础域的 DNS 区域的资源组的名称。

10 指定要将集群安装到的已存在资源组的名称。如果未定义，则会为集群创建一个新的资源组。

11 如果您使用的是现有 VNet，请指定包含它的资源组的名称。

12 如果您使用的是现有 VNet，请指定它的名称。

13 如果您使用的是现有 VNet，请指定托管控制平面机器的子网的名称。

14 如果您使用的是现有 VNet，请指定托管计算机器的子网的名称。

15 您可以自定义自己的出站路由。配置用户定义的路由可以防止在集群中公开外部端点。出站的用户定义路由需要将集群部署到现有的 VNet。

16 指定要将集群部署到的 Azure 云环境的名称。将 AzureUSGovernmentCloud 设置为部署到 Microsoft Azure Government (MAG) 区域。默认值为 AzurePublicCloud。

是否启用或禁用 FIPS 模式。默认情况下，FIPS 模式未启用。如果启用 FIPS 模式，则运行 OpenShift Container Platform 的 Red Hat Enterprise Linux CoreOS (RHCOS) 机器将绕过默认的 Kubernetes 加密套件，并改用 RHCOS 提供的加密模块。

要为您的集群启用 FIPS 模式，必须从配置为在 FIPS 模式下运行的 Red Hat Enterprise Linux (RHEL) 计算机运行安装程序。有关在 RHEL 上配置 FIPS 模式的更多信息，请参见将 RHEL 切换到 FIPS 模式。

在 FIPS 模式下启动的 Red Hat Enterprise Linux (RHEL) 或 Red Hat Enterprise Linux CoreOS (RHCOS) 运行时，OpenShift Container Platform 核心组件仅在 x86_64、ppc64le 和 s390x 架构上使用已提交给 NIST 进行 FIPS 140-2/140-3 验证的 RHEL 加密库。

您可以选择提供用于访问集群中机器的 sshKey 值。

对于要执行安装调试或灾难恢复的生产 OpenShift Container Platform 集群，请指定您的 ssh-agent 进程使用的 SSH 密钥。

19 如何发布集群面向用户的端点。将 publish 设置为 Internal 可部署私有集群，该集群无法从互联网访问。默认值为 External。

在安装过程中配置集群范围的代理

生产环境可以拒绝直接访问互联网，而是使用可用的 HTTP 或 HTTPS 代理。您可以通过在 install-config.yaml 文件中配置代理设置来配置新的 OpenShift Container Platform 集群以使用代理。

先决条件

您已拥有现有的 install-config.yaml 文件。

您已查看集群需要访问的站点，并确定其中任何站点是否需要绕过代理。默认情况下，所有集群出站流量都将被代理，包括对托管云提供商 API 的调用。如有必要，您可以将站点添加到 Proxy 对象的 spec.noProxy 字段以绕过代理。

Proxy 对象的 status.noProxy 字段将填充来自安装配置的 networking.machineNetwork[].cidr、networking.clusterNetwork[].cidr 和 networking.serviceNetwork[] 字段的值。

对于在 Amazon Web Services (AWS)、Google Cloud Platform (GCP)、Microsoft Azure 和 Red Hat OpenStack Platform (RHOSP) 上的安装，Proxy 对象的 status.noProxy 字段还将填充实例元数据端点 (169.254.169.254)。

步骤

编辑您的 install-config.yaml 文件并添加代理设置。例如

apiVersion: v1
baseDomain: my.domain.com
proxy:
  httpProxy: http://<username>:<pswd>@<ip>:<port> (1)
  httpsProxy: https://<username>:<pswd>@<ip>:<port> (2)
  noProxy: example.com (3)
additionalTrustBundle: | (4)
    -----BEGIN CERTIFICATE-----
    <MY_TRUSTED_CA_CERT>
    -----END CERTIFICATE-----
additionalTrustBundlePolicy: <policy_to_add_additionalTrustBundle> (5)

1	用于创建集群外部 HTTP 连接的代理 URL。URL 方案必须为 `http`。
2	用于创建集群外部 HTTPS 连接的代理 URL。
3	要从代理中排除的目标域名、IP 地址或其他网络 CIDR 的逗号分隔列表。在域名前加 `.` 仅匹配子域。例如，`.y.com` 匹配 `x.y.com`，但不匹配 `y.com`。使用 `*` 可绕过所有目标的代理。
4	如果提供，安装程序将生成一个名为 `user-ca-bundle` 的 config map，位于 `openshift-config` 命名空间中，其中包含代理 HTTPS 连接所需的一个或多个其他 CA 证书。然后，集群网络操作员创建一个 `trusted-ca-bundle` config map，将这些内容与 Red Hat Enterprise Linux CoreOS (RHCOS) 信任捆绑包合并，并且此 config map 在 `Proxy` 对象的 `trustedCA` 字段中被引用。除非代理的身份证书由 RHCOS 信任捆绑包中的授权机构签名，否则需要 `additionalTrustBundle` 字段。
5	可选：确定 `Proxy` 对象的配置以在 `trustedCA` 字段中引用 `user-ca-bundle` config map 的策略。允许的值为 `Proxyonly` 和 `Always`。使用 `Proxyonly` 仅在配置 `http/https` 代理时引用 `user-ca-bundle` config map。使用 `Always` 始终引用 `user-ca-bundle` config map。默认值为 `Proxyonly`。

安装程序不支持代理 readinessEndpoints 字段。

如果安装程序超时，请重新启动，然后使用安装程序的 wait-for 命令完成部署。例如

$ ./openshift-install wait-for install-complete --log-level debug

保存文件并在安装 OpenShift Container Platform 时引用它。

安装程序创建一个名为 cluster 的集群范围代理，该代理使用提供的 install-config.yaml 文件中的代理设置。如果未提供代理设置，则仍会创建 cluster Proxy 对象，但它将具有 nil spec。

仅支持名为 cluster 的 Proxy 对象，并且无法创建其他代理。

其他资源

有关加速网络的更多详细信息，请参见 Microsoft Azure VM 的加速网络。

部署集群

您可以在兼容的云平台上安装 OpenShift Container Platform。

您只能在初始安装期间运行安装程序的 create cluster 命令一次。

先决条件

您已配置具有托管集群的云平台的帐户。
您拥有 OpenShift Container Platform 安装程序和集群的拉取密钥。
您拥有 Azure 订阅 ID 和租户 ID。
如果您使用服务主体安装集群，则拥有其应用程序 ID 和密码。
如果您使用系统分配的托管标识安装集群，则已在其上启用它您将运行安装程序的虚拟机。
如果您使用用户分配的托管标识安装集群，则已满足以下先决条件
- 您拥有其客户端 ID。
- 您已将其分配给您将运行安装程序的虚拟机。

步骤

可选：如果您之前在此计算机上运行过安装程序，并且想要使用替代的服务主体或托管标识，请转到 ~/.azure/ 目录并删除 osServicePrincipal.json 配置文件。

删除此文件可防止安装程序自动重用先前安装中的订阅和身份验证值。
更改到包含安装程序的目录并初始化集群部署
```
$ ./openshift-install create cluster --dir <installation_directory> \ (1)
    --log-level=info (2)
```
1 对于 <installation_directory>，请指定自定义 ./install-config.yaml 文件的位置。

2 要查看不同的安装详细信息，请指定 warn、debug 或 error 代替 info。

如果安装程序无法从之前的安装中找到 osServicePrincipal.json 配置文件，则会提示您输入 Azure 订阅和身份验证值。
输入以下 Azure 参数值以用于您的订阅
- azure subscription id：输入要用于集群的订阅 ID。
- Azure 租户 ID：输入租户 ID。
根据您用于部署集群的 Azure 身份，在提示输入Azure 服务主体客户端 ID时执行以下操作之一：
- 如果您使用的是服务主体，请输入其应用程序 ID。
- 如果您使用的是系统分配的托管身份，请将此值留空。
- 如果您使用的是用户分配的托管身份，请指定其客户端 ID。
根据您用于部署集群的 Azure 身份，在提示输入Azure 服务主体客户端密钥时执行以下操作之一：
- 如果您使用的是服务主体，请输入其密码。
- 如果您使用的是系统分配的托管身份，请将此值留空。
- 如果您使用的是用户分配的托管身份，请将此值留空。

如果先前未检测到，安装程序将创建一个osServicePrincipal.json配置文件，并将其存储在您计算机上的~/.azure/目录中。这确保安装程序在目标平台上创建 OpenShift Container Platform 集群时可以加载配置文件。

验证

集群部署成功完成后

终端将显示访问集群的说明，包括指向 Web 控制台的链接和kubeadmin用户的凭据。
凭据信息也会输出到<安装目录>/.openshift_install.log。

请勿删除安装程序或安装程序创建的文件。两者都是删除集群所必需的。

示例输出

...
INFO Install complete!
INFO To access the cluster as the system:admin user when using 'oc', run 'export KUBECONFIG=/home/myuser/install_dir/auth/kubeconfig'
INFO Access the OpenShift web-console here: https://console-openshift-console.apps.mycluster.example.com
INFO Login to the console with user: "kubeadmin", and password: "password"
INFO Time elapsed: 36m22s

安装程序生成的 Ignition 配置文件包含在 24 小时后过期的证书，届时将更新这些证书。如果在更新证书之前关闭集群，并且在 24 小时后重新启动集群，则集群会自动恢复已过期的证书。例外情况是，您必须手动批准挂起的node-bootstrapper证书签名请求 (CSR) 以恢复 kubelet 证书。有关更多信息，请参阅从过期的控制平面证书中恢复的文档。
建议您在生成 Ignition 配置文件后 12 小时内使用它们，因为 24 小时证书会在集群安装后 16 到 22 小时之间轮换。通过在 12 小时内使用 Ignition 配置文件，如果证书更新在安装期间运行，您可以避免安装失败。

使用 CLI 登录集群

您可以通过导出集群kubeconfig文件以默认系统用户身份登录到您的集群。kubeconfig文件包含有关集群的信息，CLI 使用这些信息将客户端连接到正确的集群和 API 服务器。该文件特定于一个集群，并在 OpenShift Container Platform 安装期间创建。

先决条件

您已部署 OpenShift Container Platform 集群。
您已安装oc CLI。

步骤

导出kubeadmin凭据
```
$ export KUBECONFIG=<installation_directory>/auth/kubeconfig (1)
```
1 对于<安装目录>，请指定您存储安装文件的目录的路径。
验证您可以使用导出的配置成功运行oc命令
```
$ oc whoami
```
示例输出
```
system:admin
```

其他资源

有关访问和了解 OpenShift Container Platform Web 控制台的更多详细信息，请参阅访问 Web 控制台。

后续步骤

自定义您的集群.
如有必要，您可以选择退出远程健康报告。

1	对于 `<installation_directory>`，请指定自定义 `./install-config.yaml` 文件的位置。
2	要查看不同的安装详细信息，请指定 `warn`、`debug` 或 `error` 代替 `info`。

在Azure政府区域中安装集群

Azure政府区域

私有集群

Azure中的私有集群

限制

用户定义的出站路由

关于重用 VNet 用于您的 OpenShift Container Platform 集群

使用您的 VNet 的要求

网络安全组要求

权限划分

集群之间的隔离

手动创建安装配置文件

集群安装的最低资源要求

Azure 的测试实例类型

启用 Azure VM 的可信启动

启用机密 VM

Azure 的自定义 install-config.yaml 文件示例

在安装过程中配置集群范围的代理

部署集群

使用 CLI 登录集群

后续步骤