kubernetes环境从docker迁移到containerd

03189

1.实验环境

本实验共两台节点，k8s-master01是master，k8s-master01是worker
kubernetes版本是v1.23.2
系统版本是 centos7.4

[root@k8s-master01 ~]# kubectl get nodes
NAME            STATUS   ROLES                  AGE    VERSION
k8s-master01   Ready    control-plane,master   234d   v1.23.2
k8s-node1   Ready    <none>                 234d   v1.23.2
[root@k8s-master01 ~]#

[root@k8s-master01 ~]# kubectl get nodes -o wide
NAME            STATUS   ROLES                  AGE    VERSION   INTERNAL-IP     EXTERNAL-IP   OS-IMAGE                KERNEL-VERSION          CONTAINER-RUNTIME
k8s-master01   Ready    control-plane,master   234d   v1.23.2   192.168.26.61   <none>        CentOS Linux 7 (Core)   3.10.0-693.el7.x86_64   docker://20.10.9
k8s-node1   Ready    <none>                 234d   v1.23.2   192.168.26.62   <none>        CentOS Linux 7 (Core)   3.10.0-693.el7.x86_64   docker://20.10.9

上面运行了一个测试用的deploy，有两个副本。

[root@k8s-master01 ~]# kubectl get pods
NAME                    READY   STATUS    RESTARTS   AGE
web1-665f6b46cb-cqj4x   1/1     Running   0          2m59s
web1-665f6b46cb-nr9hc   1/1     Running   0          2m59s
[root@k8s-master01 ~]#

2.迁移master

1.先对master（k8s-master01）执行drain操作。

该操作 在k8s-master01 节点上操作

[root@k8s-master01 ~]# kubectl drain k8s-master01 --ignore-daemonsets 
node/k8s-master01 cordoned
WARNING: ignoring DaemonSet-managed Pods: kube-system/calico-node-lf6t2, kube-system/kube-proxy-mhr5g
evicting pod kube-system/coredns-6d8c4cb4d-vcbjl
evicting pod kube-system/calico-kube-controllers-78d6f96c7b-cfxvw
evicting pod kube-system/coredns-6d8c4cb4d-5wblx
pod/calico-kube-controllers-78d6f96c7b-cfxvw evicted
pod/coredns-6d8c4cb4d-5wblx evicted
pod/coredns-6d8c4cb4d-vcbjl evicted
node/k8s-master01 drained
[root@k8s-master01 ~]#

2.关闭并卸载docker

该操作 在k8s-master01 节点上操作

[root@k8s-master01 ~]# systemctl disable docker --now
Removed symlink /etc/systemd/system/multi-user.target.wants/docker.service.
Warning: Stopping docker.service, but it can still be activated by:
  docker.socket
[root@k8s-master01 ~]# systemctl disable docker.socket --now
[root@k8s-master01 ~]#

卸载docker

[root@k8s-master01 ~]# yum remove docker-ce docker-ce-cli -y
已加载插件：fastestmirror
    ...输出...
[root@k8s-master01 ~]#

3.安装并配置containerd

该操作 在k8s-master01 节点上操作

在k8s-master01上安装containerd

[root@k8s-master01 ~]#  yum install  containerd.io cri-tools  -y

[root@k8s-master01~]#  crictl config runtime-endpoint unix:///var/run/containerd/containerd.sock

步骤1：先生成配置文件/etc/containerd/config.toml。

[root@k8s-master01 ~]# containerd config default > /etc/containerd/config.toml

步骤2：使用vim编辑器打开/etc/containerd/config.toml。

第一：搜索mirrors，把

     [plugins."io.containerd.grpc.v1.cri".registry.mirrors]
该成
      [plugins."io.containerd.grpc.v1.cri".registry.mirrors]
        [plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"]
          endpoint = ["https://frz7i079.mirror.aliyuncs.com"]

第二：搜索sandbox，把

sandbox_image = "k8s.gcr.io/pause:3.6"
该为
sandbox_image = "registry.aliyuncs.com/google_containers/pause:3.7"

第三：搜索SystemdCgroup，把

          [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options]
            BinaryName = ""
            CriuImagePath = ""
            CriuPath = ""
            CriuWorkPath = ""
            IoGid = 0
            IoUid = 0
            NoNewKeyring = false
            NoPivotRoot = false
            Root = ""
            ShimCgroup = ""
            SystemdCgroup = false
该成（注意这中间的行是被删除了并非忽略不写的意思）
          [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options]
            SystemdCgroup = true

保存退出。

4.加载模块及修该参数

该操作 在k8s-master01 节点上操作

在k8s-master01上加载模块

[root@k8s-master01 ~]# modprobe overlay ; modprobe br_netfilter

在所有机器上执行下面的命令，目的是系统重启时模块能自动加载。

cat > /etc/modules-load.d/containerd.conf <<EOF
overlay
br_netfilter
EOF

在k8s-master01上执行下面的命令，目的是实现重启系统后，参数也能继续生效。

cat <<EOF > /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF

让上述参数立即生效。

[root@k8s-master01 ~]# sysctl -p /etc/sysctl.d/k8s.conf
[root@k8s-master01 ~]#

重启containerd服务，并设置开机自动启动。

[root@k8s-master01 ~]# systemctl enable containerd  ; systemctl restart containerd

5.配置并启动kubelet

该操作 在k8s-master01 节点上操作

设置kubelet启动参数

[root@k8s-master01 ~]# cat /etc/sysconfig/kubelet
KUBELET_EXTRA_ARGS="--container-runtime=remote --runtime-request-timeout=15m --container-runtime-endpoint=unix:///run/containerd/containerd.sock"
[root@k8s-master01 ~]#

重启kubelet服务。

[root@k8s-master01 ~]# systemctl restart kubelet

6.对master执行uncordon操作

该操作 在k8s-master01 节点上操作

[root@k8s-master01 ~]# kubectl uncordon k8s-master01 
node/k8s-master01 uncordoned
[root@k8s-master01 ~]#

7.验证

[root@k8s-master01 ~]# kubectl get nodes -o wide
NAME            STATUS   ROLES                  AGE    VERSION   INTERNAL-IP     EXTERNAL-IP   OS-IMAGE                KERNEL-VERSION          CONTAINER-RUNTIME
k8s-master01   Ready    control-plane,master   234d   v1.23.2   192.168.26.61   <none>        CentOS Linux 7 (Core)   3.10.0-693.el7.x86_64   containerd://1.6.6
k8s-master01   Ready    <none>                 234d   v1.23.2   192.168.26.62   <none>        CentOS Linux 7 (Core)   3.10.0-693.el7.x86_64   docker://20.10.9
[root@k8s-master01 ~]# 
[root@k8s-master01 ~]#

3.迁移worker

1.先对worker（k8s-node1）执行drain操作。

该操作 在k8s-node1 节点上操作

[root@k8s-node1 ~]#  systemctl disable docker --now
Removed symlink /etc/systemd/system/multi-user.target.wants/docker.service.
Warning: Stopping docker.service, but it can still be activated by:
  docker.socket
[root@k8s-node1 ~]#  systemctl disable docker.socket --now
[root@k8s-node1 ~]#

该操作 在k8s-master01 节点上操作

[root@k8s-master01 ~]# kubectl drain k8s-node1 --ignore-daemonsets 
node/k8s-node1 cordoned
WARNING: ignoring DaemonSet-managed Pods: kube-system/calico-node-hth7g, kube-system/kube-proxy-24z5b
evicting pod kube-system/coredns-6d8c4cb4d-dxqld
evicting pod default/web1-665f6b46cb-cqj4x
evicting pod default/web1-665f6b46cb-nr9hc
evicting pod kube-system/calico-kube-controllers-78d6f96c7b-bckd8
evicting pod kube-system/coredns-6d8c4cb4d-bfshv
pod/web1-665f6b46cb-cqj4x evicted
pod/web1-665f6b46cb-nr9hc evicted
pod/calico-kube-controllers-78d6f96c7b-bckd8 evicted
pod/coredns-6d8c4cb4d-dxqld evicted
pod/coredns-6d8c4cb4d-bfshv evicted
node/k8s-node1 drained

[root@k8s-master01~]#

2.关闭并卸载docker

该操作 在k8s-node1 节点上操作

[root@k8s-node1 ~]#  systemctl disable docker --now
Removed symlink /etc/systemd/system/multi-user.target.wants/docker.service.
Warning: Stopping docker.service, but it can still be activated by:
  docker.socket
[root@k8s-node1 ~]#  systemctl disable docker.socket --now
[root@k8s-node1 ~]#

卸载docker

[root@k8s-node1 ~]# yum remove docker-ce docker-ce-cli -y
已加载插件：fastestmirror
    ...输出...
[root@k8s-node1 ~]#

3.安装containerd

该操作 在k8s-node1 节点上操作

在k8s-node1上安装containerd

[root@k8s-node1 ~]#  yum install  containerd.io cri-tools  -y

[root@k8s-node1~]#  crictl config runtime-endpoint unix:///var/run/containerd/containerd.sock

4.把k8s-master01上的文件同步到k8s-node1

该操作 在k8s-node1 节点上操作

[root@k8s-master01 ~]# scp /etc/containerd/config.toml k8s-node1:/etc/containerd/
root@k8s-node1's password: 
config.toml          100% 6880     3.8MB/s   00:00    
[root@k8s-master01 ~]# scp /etc/modules-load.d/containerd.conf  k8s-node1:/etc/modules-load.d/
root@k8s-node1's password: 
containerd.conf        100%   21    16.4KB/s   00:00    
[root@k8s-master01 ~]# scp  /etc/sysctl.d/k8s.conf k8s-node1:/etc/sysctl.d/
root@k8s-node1's password: 
k8s.conf            100%  103   219.4KB/s   00:00    
[root@k8s-master01 ~]# scp /etc/sysconfig/kubelet k8s-node1:/etc/sysconfig/
root@k8s-node1's password: 
kubelet             100%  146    76.4KB/s   00:00    
[root@k8s-master01 ~]#

5.加载模块并修该参数，并启动kubelet和containerd

该操作 在k8s-node1 节点上操作

[root@k8s-node1 ~]#  modprobe overlay ; modprobe br_netfilter
[root@k8s-node1 ~]# sysctl -p /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
[root@k8s-node1 ~]#

[root@k8s-node1 ~]# systemctl enable containerd  ; systemctl restart containerd
Created symlink from /etc/systemd/system/multi-user.target.wants/containerd.service to /usr/lib/systemd/system/containerd.service.
[root@k8s-node1 ~]#

重启kubelet服务，并设置开机自动启动。

该操作 在k8s-node1 节点上操作

[root@k8s-node1 ~]#  systemctl restart kubelet

6.对worker执行uncordon操作

该操作 在k8s-master01 节点上操作

[root@k8s-master01 ~]# kubectl uncordon k8s-node1 
node/k8s-node1 uncordoned
[root@k8s-master01 ~]# kubectl get nodes
NAME            STATUS   ROLES                  AGE    VERSION
k8s-master01   Ready    control-plane,master   234d   v1.23.2
k8s-node1   Ready    <none>                 234d   v1.23.2
[root@k8s-node1 ~]#

7.验证

[root@k8s-master01 ~]# kubectl get nodes -owide
NAME            STATUS   ROLES                  AGE    VERSION   INTERNAL-IP     EXTERNAL-IP   OS-IMAGE                KERNEL-VERSION          CONTAINER-RUNTIME
k8s-master01   Ready    control-plane,master   234d   v1.23.2   192.168.26.61   <none>        CentOS Linux 7 (Core)   3.10.0-693.el7.x86_64   containerd://1.6.6
k8s-node1   Ready    <none>                 234d   v1.23.2   192.168.26.62   <none>        CentOS Linux 7 (Core)   3.10.0-693.el7.x86_64   containerd://1.6.6
[root@k8s-master01 ~]#

现在可以看到所有节点的运行时都是contianerd了

[root@k8s-master01 ~]# kubectl get pods
NAME                    READY   STATUS    RESTARTS   AGE
web1-665f6b46cb-fl9b4   1/1     Running   0          13m
web1-665f6b46cb-jgzp8   1/1     Running   0          13m

8.参考

© 版权声明
文章版权归作者所有，未经允许请勿转载。
THE END
dockerkubernetes
# docker# kubernetes# containerd
喜欢就支持一下吧
点赞9 分享
飞翔沫沫情的头像-飞翔沫沫情钻石会员
kubernetes 常见报错(持续更新)-飞翔沫沫情
kubernetes 常见报错(持续更新)
kubernetes 常见报错(持续更新)
2年前 3413
Armbian 更换国内源-飞翔沫沫情
Armbian 更换国内源
Armbian 更换国内源
3年前 3330
Jenkins常见报错(持续更新)-飞翔沫沫情
Jenkins常见报错(持续更新)
Jenkins常见报错(持续更新)
3年前 3119
K8S 中强制删除namespace 命名空间后 显示 Terminating 状态-飞翔沫沫情
K8S 中强制删除namespace 命名空间后 显示 Terminating 状态
K8S 中强制删除namespace 命名空间后 显示 Terminating 状态
2年前 2103
Prometheus+Grafana监控kubernetes-飞翔沫沫情
Prometheus+Grafana监控kubernetes
Prometheus+Grafana监控kubernetes
2年前 2035
Prometheus 监控之alertmanager 自定义告警模板中.StartsAt.Format时间参数问题-飞翔沫沫情
Prometheus 监控之alertmanager 自定义告警模板中.StartsAt.Format时间参数问题
Prometheus 监控之alertmanager 自定义告警模板中.StartsAt.Format时...
3年前 1998
相关推荐
kubernetes 常见报错(持续更新)-飞翔沫沫情
kubernetes 常见报错(持续更新)
kubernetes 常见报错(持续更新)
2年前 3413
Prometheus+Grafana监控kubernetes-飞翔沫沫情
Prometheus+Grafana监控kubernetes
Prometheus+Grafana监控kubernetes
2年前 2035
kubeadm 部署Kubernetes1.24[cri-docker]版本-飞翔沫沫情
kubeadm 部署Kubernetes1.24[cri-docker]版本
kubeadm 部署Kubernetes1.24[cri-docker]版本
9个月前 1537
kubernetes 集群中 Etcd 备份与恢复 + 备份脚本-飞翔沫沫情
kubernetes 集群中 Etcd 备份与恢复 + 备份脚本
kubernetes 集群中 Etcd 备份与恢复 + 备份脚本
2年前 1297
基于K8S的StatefulSet部署MySQL集群-飞翔沫沫情
基于K8S的StatefulSet部署MySQL集群
基于K8S的StatefulSet部署MySQL集群
2年前 1077
K8S 部署redis单节点&rdb数据持久化&故障演练恢复-飞翔沫沫情
K8S 部署redis单节点&rdb数据持久化&故障演练恢复
K8S 部署redis单节点&rdb数据持久化&故障演练恢复
2年前 859
评论 抢沙发

请登录后发表评论

    暂无评论内容