$ podman login registry.redhat.io
您可以在 OpenShift Container Platform 3 和 4 上安装容器迁移工具包 (MTC)。
使用 Operator Lifecycle Manager 在 OpenShift Container Platform 4.17 上安装容器迁移工具包 Operator 后,您需要手动在 OpenShift Container Platform 3 上安装旧版容器迁移工具包 Operator。
默认情况下,MTC Web 控制台和 `Migration Controller` Pod 运行在目标集群上。您可以配置 `Migration Controller` 自定义资源清单,以便在 源集群或远程集群 上运行 MTC Web 控制台和 `Migration Controller` Pod。
安装 MTC 后,必须配置一个用作复制存储库的对象存储。
要卸载 MTC,请参见 卸载 MTC 并删除资源。
必须安装与 OpenShift Container Platform 版本兼容的容器迁移工具包 (MTC) Operator。
运行 MTC 控制器和 GUI 的集群。
运行 Velero 的迁移的源集群或目标集群。控制集群使用 Velero API 与远程集群通信来驱动迁移。
必须使用兼容的 MTC 版本来迁移 OpenShift Container Platform 集群。为了使迁移成功,源集群和目标集群必须使用相同版本的 MTC。
MTC 1.7 支持从 OpenShift Container Platform 3.11 迁移到 4.17。
MTC 1.8 只支持从 OpenShift Container Platform 4.14 及更高版本迁移。
详情 | OpenShift Container Platform 3.11 | OpenShift Container Platform 4.14 或更高版本 |
---|---|---|
稳定版 MTC 版本 |
MTC v.1.7.z |
MTC v.1.8.z |
安装 |
如本指南所述 |
使用 OLM 安装,发布渠道 `release-v1.8` |
存在一些极端情况,网络限制会阻止 OpenShift Container Platform 4 集群连接到参与迁移的其他集群。例如,当从本地部署的 OpenShift Container Platform 3.11 集群迁移到云中的 OpenShift Container Platform 4 集群时,OpenShift Container Platform 4 集群可能难以连接到 OpenShift Container Platform 3.11 集群。在这种情况下,可以将 OpenShift Container Platform 3.11 集群指定为控制集群,并将工作负载推送到远程 OpenShift Container Platform 4 集群。
您可以在 OpenShift Container Platform 3 上手动安装旧版容器迁移工具包 Operator。
必须以所有集群上的 `cluster-admin` 权限的用户身份登录。
必须可以访问 `registry.redhat.io`。
必须安装 `podman`。
必须创建一个 镜像流密钥 并将其复制到集群中的每个节点。
使用您的 Red Hat 客户门户凭据登录 `registry.redhat.io`
$ podman login registry.redhat.io
通过输入以下命令下载 `operator.yml` 文件
podman cp $(podman create registry.redhat.io/rhmtc/openshift-migration-legacy-rhel8-operator:v1.7):/operator.yml ./
通过输入以下命令下载 `controller.yml` 文件
podman cp $(podman create registry.redhat.io/rhmtc/openshift-migration-legacy-rhel8-operator:v1.7):/controller.yml ./
登录到您的 OpenShift Container Platform 源集群。
验证集群是否可以与 `registry.redhat.io` 进行身份验证
$ oc run test --image registry.redhat.io/ubi9 --command sleep infinity
创建容器迁移工具包 Operator 对象
$ oc create -f operator.yml
namespace/openshift-migration created
rolebinding.rbac.authorization.k8s.io/system:deployers created
serviceaccount/migration-operator created
customresourcedefinition.apiextensions.k8s.io/migrationcontrollers.migration.openshift.io created
role.rbac.authorization.k8s.io/migration-operator created
rolebinding.rbac.authorization.k8s.io/migration-operator created
clusterrolebinding.rbac.authorization.k8s.io/migration-operator created
deployment.apps/migration-operator created
Error from server (AlreadyExists): error when creating "./operator.yml":
rolebindings.rbac.authorization.k8s.io "system:image-builders" already exists (1)
Error from server (AlreadyExists): error when creating "./operator.yml":
rolebindings.rbac.authorization.k8s.io "system:image-pullers" already exists
1 | 您可以忽略 `Error from server (AlreadyExists)` 消息。它们是由容器迁移工具包 Operator 为早期版本的 OpenShift Container Platform 4 创建的资源造成的,这些资源在后面的版本中提供。 |
创建 `MigrationController` 对象
$ oc create -f controller.yml
验证 MTC Pod 是否正在运行
$ oc get pods -n openshift-migration
您可以使用 Operator Lifecycle Manager 在 OpenShift Container Platform 4.17 上安装容器迁移工具包 Operator。
必须以所有集群上的 `cluster-admin` 权限的用户身份登录。
在 OpenShift Container Platform Web 控制台中,单击**Operators** → **OperatorHub**。
使用**按关键字筛选**字段查找**容器迁移工具包 Operator**。
选择**容器迁移工具包 Operator** 并单击**安装**。
单击**安装**。
在**已安装的 Operators** 页面上,**容器迁移工具包 Operator** 将出现在**openshift-migration** 项目中,状态为**成功**。
单击**容器迁移工具包 Operator**。
在**提供的 API** 下,找到**迁移控制器**图块,然后单击**创建实例**。
单击**创建**。
单击**工作负载** → **Pod** 以验证 MTC Pod 是否正在运行。
对于 OpenShift Container Platform 4.1 和更早版本,您必须在安装容器迁移工具包 Operator 后在 `MigrationController` 自定义资源 (CR) 清单中配置代理,因为这些版本不支持集群范围的 `proxy` 对象。
对于 OpenShift Container Platform 4.2 到 4.17,MTC 继承集群范围的代理设置。如果要覆盖集群范围的代理设置,可以更改代理参数。
直接卷迁移 (DVM) 在 MTC 1.4.2 中引入。DVM 只支持一个代理。如果目标集群也位于代理后面,则源集群无法访问目标集群的路由。
如果要从位于代理后面的源集群执行 DVM,则必须配置一个在传输层工作的 TCP 代理,并以透明的方式转发 SSL 连接,而无需使用其自己的 SSL 证书对其进行解密和重新加密。Stunnel 代理就是一个这样的代理示例。
您可以通过TCP代理在源集群和目标集群之间建立直接连接,并在MigrationController
CR中配置stunnel_tcp_proxy
变量以使用该代理。
apiVersion: migration.openshift.io/v1alpha1
kind: MigrationController
metadata:
name: migration-controller
namespace: openshift-migration
spec:
[...]
stunnel_tcp_proxy: http://username:password@ip:port
直接卷迁移 (DVM) 只支持代理的基本身份验证。此外,DVM 只能在能够透明地隧道 TCP 连接的代理后面工作。中间人模式下的 HTTP/HTTPS 代理无效。现有的集群范围代理可能不支持此行为。因此,DVM 的代理设置有意与 MTC 中通常的代理配置不同。
您可以通过在 OpenShift 路由上运行源集群和目标集群之间的 Rsync 来启用 DVM。流量使用 Stunnel(一个 TCP 代理)进行加密。运行在源集群上的 Stunnel 与目标 Stunnel 建立 TLS 连接,并通过加密通道传输数据。
OpenShift 中的集群范围 HTTP/HTTPS 代理通常在中间人模式下配置,在该模式下它们与外部服务器协商自己的 TLS 会话。但是,这与 Stunnel 不兼容。Stunnel 要求其 TLS 会话不受代理影响,本质上使代理成为一个透明的隧道,它只是按原样转发 TCP 连接。因此,必须使用 TCP 代理。
Upgrade request required
迁移控制器使用 SPDY 协议在远程 Pod 中执行命令。如果远程集群位于不支持 SPDY 协议的代理或防火墙之后,迁移控制器将无法执行远程命令。迁移将失败并显示错误消息Upgrade request required
。解决方法:使用支持 SPDY 协议的代理。
除了支持 SPDY 协议外,代理或防火墙还必须将Upgrade
HTTP 头传递给 API 服务器。客户端使用此头与 API 服务器打开 websocket 连接。如果Upgrade
头被代理或防火墙阻止,迁移将失败并显示错误消息Upgrade request required
。解决方法:确保代理转发Upgrade
头。
OpenShift 支持使用基于集群使用的网络插件的NetworkPolicy 或EgressFirewalls 来限制进出 Pod 的流量。如果参与迁移的任何源命名空间使用此类机制来限制对 Pod 的网络流量,则这些限制可能会无意中阻止迁移期间对 Rsync Pod 的流量。
运行在源集群和目标集群上的 Rsync Pod 必须通过 OpenShift 路由相互连接。可以配置现有的NetworkPolicy 或EgressNetworkPolicy 对象来自动将 Rsync Pod 从这些流量限制中豁免。
如果源或目标命名空间中的NetworkPolicy
配置阻止此类流量,您可以使用 Rsync Pod 的唯一标签来允许出站流量通过。以下策略允许命名空间中 Rsync Pod 的所有出站流量。
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: allow-all-egress-from-rsync-pods
spec:
podSelector:
matchLabels:
owner: directvolumemigration
app: directvolumemigration-rsync-transfer
egress:
- {}
policyTypes:
- Egress
EgressNetworkPolicy
对象或Egress Firewalls 是 OpenShift 用于阻止离开集群的出站流量的构造。
与NetworkPolicy
对象不同,Egress Firewall 在项目级别工作,因为它应用于命名空间中的所有 Pod。因此,Rsync Pod 的唯一标签不会仅将 Rsync Pod 从限制中豁免。但是,您可以将源或目标集群的 CIDR 范围添加到策略的允许规则中,以便在两个集群之间建立直接连接。
根据存在 Egress Firewall 的集群,您可以添加另一个集群的 CIDR 范围以允许两个集群之间的出站流量。
apiVersion: network.openshift.io/v1
kind: EgressNetworkPolicy
metadata:
name: test-egress-policy
namespace: <namespace>
spec:
egress:
- to:
cidrSelector: <cidr_of_source_or_target_cluster>
type: Deny
默认情况下,DVM 使用 OpenShift Container Platform 路由作为端点将 PV 数据传输到目标集群。如果集群拓扑允许,您可以选择另一种类型的受支持端点。
对于每个集群,您可以通过在MigrationController
CR 中适当的目标集群上设置rsync_endpoint_type
变量来配置端点。
apiVersion: migration.openshift.io/v1alpha1
kind: MigrationController
metadata:
name: migration-controller
namespace: openshift-migration
spec:
[...]
rsync_endpoint_type: [NodePort|ClusterIP|Route]
当您的 PVC 使用共享存储时,您可以通过向 Rsync Pod 定义中添加补充组来配置对该存储的访问,以便 Pod 允许访问。
变量 | 类型 | 默认值 | 描述 |
---|---|---|---|
|
字符串 |
未设置 |
源 Rsync Pod 的补充组的逗号分隔列表 |
|
字符串 |
未设置 |
目标 Rsync Pod 的补充组的逗号分隔列表 |
可以更新MigrationController
CR 以设置这些补充组的值。
spec:
src_supplemental_groups: "1000,2000"
target_supplemental_groups: "2000,3000"
必须以所有集群上的 `cluster-admin` 权限的用户身份登录。
获取MigrationController
CR 清单
$ oc get migrationcontroller <migration_controller> -n openshift-migration
更新代理参数
apiVersion: migration.openshift.io/v1alpha1
kind: MigrationController
metadata:
name: <migration_controller>
namespace: openshift-migration
...
spec:
stunnel_tcp_proxy: http://<username>:<password>@<ip>:<port> (1)
noProxy: example.com (2)
1 | 直接卷迁移的 Stunnel 代理 URL。 |
2 | 要排除代理的目的地域名、域名、IP 地址或其他网络 CIDR 的逗号分隔列表。 |
以.
为前缀的域名仅匹配子域名。例如,.y.com
匹配 x.y.com
,但不匹配 y.com
。使用*
绕过所有目的地的代理。如果您扩展了安装配置中未包含在networking.machineNetwork[].cidr
字段定义的网络中的工作节点,则必须将它们添加到此列表中以防止连接问题。
如果未设置httpProxy
或httpsProxy
字段,则忽略此字段。
将清单保存为migration-controller.yaml
。
应用更新后的清单
$ oc replace -f migration-controller.yaml -n openshift-migration
有关更多信息,请参见配置集群范围代理。
您必须配置一个用作复制存储库的对象存储。容器迁移工具包 (MTC) 将数据从源集群复制到复制存储库,然后从复制存储库复制到目标集群。
MTC 支持文件系统和快照数据复制方法用于将数据从源集群迁移到目标集群。您可以选择适合您的环境并受您的存储提供商支持的方法。
支持以下存储提供商:
通用 S3 对象存储,例如 Minio 或 Ceph S3
您必须检索多云对象网关 (MCG) 凭据和 S3 端点,您需要将 MCG 配置为容器迁移工具包 (MTC) 的复制存储库。
您必须检索多云对象网关 (MCG) 凭据,您需要为 MTC 创建Secret
自定义资源 (CR)。
尽管 MCG 算子已弃用,但 MCG 插件仍可用于 OpenShift Data Foundation。要下载插件,请浏览至下载 Red Hat OpenShift Data Foundation并下载适合您操作系统的 MCG 插件。 |
您必须使用相应的Red Hat OpenShift Data Foundation 部署指南部署 OpenShift Data Foundation。
通过在NooBaa
自定义资源上运行describe
命令,获取 S3 端点、AWS_ACCESS_KEY_ID
和AWS_SECRET_ACCESS_KEY
。
您可以使用这些凭据将 MCG 添加为复制存储库。
您可以将 Amazon Web Services (AWS) S3 对象存储配置为容器迁移工具包 (MTC) 的复制存储库。
您必须安装AWS CLI。
AWS S3 存储桶必须可供源集群和目标集群访问。
如果您使用快照复制方法
您必须能够访问 EC2 Elastic Block Storage (EBS)。
源集群和目标集群必须位于同一区域。
源集群和目标集群必须具有相同的存储类。
存储类必须与快照兼容。
设置BUCKET
变量
$ BUCKET=<your_bucket>
设置REGION
变量
$ REGION=<your_region>
创建一个 AWS S3 存储桶
$ aws s3api create-bucket \
--bucket $BUCKET \
--region $REGION \
--create-bucket-configuration LocationConstraint=$REGION (1)
1 | us-east-1 不支持LocationConstraint 。如果您的区域是us-east-1 ,请省略--create-bucket-configuration LocationConstraint=$REGION 。 |
创建一个 IAM 用户
$ aws iam create-user --user-name velero (1)
1 | 如果您想使用 Velero 备份多个集群和多个 S3 存储桶,请为每个集群创建一个唯一的用户名。 |
创建一个velero-policy.json
文件
$ cat > velero-policy.json <<EOF
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"ec2:DescribeVolumes",
"ec2:DescribeSnapshots",
"ec2:CreateTags",
"ec2:CreateVolume",
"ec2:CreateSnapshot",
"ec2:DeleteSnapshot"
],
"Resource": "*"
},
{
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:DeleteObject",
"s3:PutObject",
"s3:AbortMultipartUpload",
"s3:ListMultipartUploadParts"
],
"Resource": [
"arn:aws:s3:::${BUCKET}/*"
]
},
{
"Effect": "Allow",
"Action": [
"s3:ListBucket",
"s3:GetBucketLocation",
"s3:ListBucketMultipartUploads"
],
"Resource": [
"arn:aws:s3:::${BUCKET}"
]
}
]
}
EOF
附加策略以赋予velero
用户必要的最小权限
$ aws iam put-user-policy \
--user-name velero \
--policy-name velero \
--policy-document file://velero-policy.json
为velero
用户创建一个访问密钥
$ aws iam create-access-key --user-name velero
{
"AccessKey": {
"UserName": "velero",
"Status": "Active",
"CreateDate": "2017-07-31T22:24:41.576Z",
"SecretAccessKey": <AWS_SECRET_ACCESS_KEY>,
"AccessKeyId": <AWS_ACCESS_KEY_ID>
}
}
记录AWS_SECRET_ACCESS_KEY
和AWS_ACCESS_KEY_ID
。您可以使用这些凭据将 AWS 添加为复制存储库。
您可以将 Google Cloud Platform (GCP) 存储桶配置为容器迁移工具包 (MTC) 的复制存储库。
您必须安装gcloud
和gsutil
CLI 工具。有关详细信息,请参阅Google Cloud 文档。
GCP 存储桶必须可供源集群和目标集群访问。
如果您使用快照复制方法
源集群和目标集群必须位于同一区域。
源集群和目标集群必须具有相同的存储类。
存储类必须与快照兼容。
登录 GCP
$ gcloud auth login
设置BUCKET
变量
$ BUCKET=<bucket> (1)
1 | 指定您的存储桶名称。 |
创建存储桶
$ gsutil mb gs://$BUCKET/
将PROJECT_ID
变量设置为您的活动项目
$ PROJECT_ID=$(gcloud config get-value project)
创建一个服务帐号
$ gcloud iam service-accounts create velero \
--display-name "Velero service account"
列出您的服务帐号
$ gcloud iam service-accounts list
将SERVICE_ACCOUNT_EMAIL
变量设置为与其email
值匹配的值
$ SERVICE_ACCOUNT_EMAIL=$(gcloud iam service-accounts list \
--filter="displayName:Velero service account" \
--format 'value(email)')
附加策略以赋予velero
用户必要的最小权限
$ ROLE_PERMISSIONS=(
compute.disks.get
compute.disks.create
compute.disks.createSnapshot
compute.snapshots.get
compute.snapshots.create
compute.snapshots.useReadOnly
compute.snapshots.delete
compute.zones.get
storage.objects.create
storage.objects.delete
storage.objects.get
storage.objects.list
iam.serviceAccounts.signBlob
)
创建velero.server
自定义角色
$ gcloud iam roles create velero.server \
--project $PROJECT_ID \
--title "Velero Server" \
--permissions "$(IFS=","; echo "${ROLE_PERMISSIONS[*]}")"
向项目添加 IAM 策略绑定
$ gcloud projects add-iam-policy-binding $PROJECT_ID \
--member serviceAccount:$SERVICE_ACCOUNT_EMAIL \
--role projects/$PROJECT_ID/roles/velero.server
更新 IAM 服务帐号
$ gsutil iam ch serviceAccount:$SERVICE_ACCOUNT_EMAIL:objectAdmin gs://${BUCKET}
将 IAM 服务帐号密钥保存到当前目录中的credentials-velero
文件
$ gcloud iam service-accounts keys create credentials-velero \
--iam-account $SERVICE_ACCOUNT_EMAIL
您可以使用credentials-velero
文件将 GCP 添加为复制存储库。
您可以将 Microsoft Azure Blob 存储容器配置为容器迁移工具包 (MTC) 的复制存储库。
您必须安装Azure CLI。
Azure Blob 存储容器必须可供源集群和目标集群访问。
如果您使用快照复制方法
源集群和目标集群必须位于同一区域。
源集群和目标集群必须具有相同的存储类。
存储类必须与快照兼容。
登录 Azure
$ az login
设置AZURE_RESOURCE_GROUP
变量
$ AZURE_RESOURCE_GROUP=Velero_Backups
创建一个 Azure 资源组
$ az group create -n $AZURE_RESOURCE_GROUP --location CentralUS (1)
1 | 指定您的位置。 |
设置AZURE_STORAGE_ACCOUNT_ID
变量
$ AZURE_STORAGE_ACCOUNT_ID="velero$(uuidgen | cut -d '-' -f5 | tr '[A-Z]' '[a-z]')"
创建一个 Azure 存储帐户
$ az storage account create \
--name $AZURE_STORAGE_ACCOUNT_ID \
--resource-group $AZURE_RESOURCE_GROUP \
--sku Standard_GRS \
--encryption-services blob \
--https-only true \
--kind BlobStorage \
--access-tier Hot
设置BLOB_CONTAINER
变量
$ BLOB_CONTAINER=velero
创建一个 Azure Blob 存储容器
$ az storage container create \
-n $BLOB_CONTAINER \
--public-access off \
--account-name $AZURE_STORAGE_ACCOUNT_ID
为velero
创建服务主体和凭据
$ AZURE_SUBSCRIPTION_ID=`az account list --query '[?isDefault].id' -o tsv`
AZURE_TENANT_ID=`az account list --query '[?isDefault].tenantId' -o tsv`
使用Contributor
角色创建一个服务主体,并分配特定的--role
和--scopes
$ AZURE_CLIENT_SECRET=`az ad sp create-for-rbac --name "velero" \
--role "Contributor" \
--query 'password' -o tsv \
--scopes /subscriptions/$AZURE_SUBSCRIPTION_ID/resourceGroups/$AZURE_RESOURCE_GROUP`
CLI 将为您生成一个密码。请确保捕获密码。
创建服务主体后,获取客户端 ID。
$ AZURE_CLIENT_ID=`az ad app credential list --id <your_app_id>`
要成功执行此操作,您必须知道您的 Azure 应用程序 ID。 |
将服务主体凭据保存到credentials-velero
文件
$ cat << EOF > ./credentials-velero
AZURE_SUBSCRIPTION_ID=${AZURE_SUBSCRIPTION_ID}
AZURE_TENANT_ID=${AZURE_TENANT_ID}
AZURE_CLIENT_ID=${AZURE_CLIENT_ID}
AZURE_CLIENT_SECRET=${AZURE_CLIENT_SECRET}
AZURE_RESOURCE_GROUP=${AZURE_RESOURCE_GROUP}
AZURE_CLOUD_NAME=AzurePublicCloud
EOF
您可以使用credentials-velero
文件将 Azure 添加为复制存储库。
您可以卸载容器迁移工具包 (MTC) 并删除其资源以清理集群。
删除 |
您必须以具有cluster-admin
权限的用户身份登录。
删除所有集群上的MigrationController
自定义资源 (CR)
$ oc delete migrationcontroller <migration_controller>
使用 Operator Lifecycle Manager 在 OpenShift Container Platform 4 上卸载容器迁移工具包算子。
通过运行以下命令删除所有集群上的集群范围资源
migration
自定义资源定义 (CRD)
$ oc delete $(oc get crds -o name | grep 'migration.openshift.io')
velero
CRD
$ oc delete $(oc get crds -o name | grep 'velero')
migration
集群角色
$ oc delete $(oc get clusterroles -o name | grep 'migration.openshift.io')
migration-operator
集群角色
$ oc delete clusterrole migration-operator
velero
集群角色
$ oc delete $(oc get clusterroles -o name | grep 'velero')
migration
集群角色绑定
$ oc delete $(oc get clusterrolebindings -o name | grep 'migration.openshift.io')
migration-operator
集群角色绑定
$ oc delete clusterrolebindings migration-operator
velero
集群角色绑定
$ oc delete $(oc get clusterrolebindings -o name | grep 'velero')