Kubernetes数据卷与持久卷

Kubernetes数据卷与持久卷

一、数据卷概述:

• Kubernetes中的Volume提供了在容器中挂载外部存储的能力

• Pod需要设置卷来源(spec.volume)和挂载点(spec.containers.volumeMounts)两个信息后才可以使用相应的Volume

二、K8S数据卷类型大致分类:

  1. •本地(hostPath,emptyDir等)
  2. • 网络(NFS,Ceph,GlusterFS等)
  3. • 公有云(AWS EBS oss等)
  4. • K8S资源(configmap,secret等)

Kubernetes数据卷与持久卷

k8s的存储常用的就是上面几种模式,分为临时存储,半持久化存储,与持久化存储这三类,

本章我们着重讲解emptydir与hostpath与pvc跟pv等

三、emptydir

emptydir是什么:

当pod的存储方案设定为emptydir的时候,pod启动时,就会在pod所在节点的磁盘空间开辟出一块空卷,最开始里面是什么都没有的,pod启动后容器产生的数据会存放到那个空卷中。空卷变成了一个临时卷

供pod内的容器读取和写入数据,一旦pod容器消失,节点上开辟出的这个临时卷就会随着pod的销毁而销毁

emptydir的用途:

Pod中容器之间数据共享(POD 中双容器,容器共享volume)

emptydir例子:

案例: 在一个pod 中 有两个容器: tomcat 和 busybox 挂载到宿主机的emptyDir 下(临时存储)

#在pod 级别设置 volume “app-logs”,用于tomcat 向其中写入日志文件,busybox 读日志文件; 把tomcat 容器的/usr/loca/tomcat/logs 目录 和 busybox 容器的 /logs 都挂载到本地的emptyDir(临时存储,伴随着POD的生命周期)

[root@master-1 ~]# cat pod-volume.yaml

apiVersion: v1

kind: Pod

metadata:

name: volume-pod

spec:

containers:

- image: tomcat

name: tomcat

ports:

- containerPort: 8080

volumeMounts:

- name: app-logs

mountPath: /usr/local/tomcat/logs

- image: busybox

name: busybox

command: ["sh", "-c", "tail -f /logs/catalina*.log"] #容器启动执行时的命令,仅可以有一条CMD

volumeMounts:

- name: app-logs

mountPath: /logs

volumes:

- name: app-logs #引用上面的volumeMounts的挂载名称

emptyDir: {}

#READY 等于2 说明,pod中含有两个容器

[root@master-1 ~]# kubectl get pods

NAME 				READY 	STATUS 		RESTARTS 	AGE

volume-pod  2/2 		Running 	0 				12m

#查看 volume-pod 中的 busybox 容器的日志:

#-c 指定容器名称

#可以看到有tomcat日志产生

[root@master-1 ~]# kubectl logs volume-pod -c busybox

18-Jan-2021 01:41:02.441 INFO [main] org.apache.catalina.startup.VersionLoggerListener.log Command line argument: -Djava.protocol.handler.pkgs=org.apache.catalina.webresources

18-Jan-2021 01:41:02.441 INFO [main] org.apache.catalina.startup.VersionLoggerListener.log Command line argument: -Dorg.apache.catalina.security.SecurityListener.UMASK=0027

18-Jan-2021 01:41:02.441 INFO [main] org.apache.catalina.startup.VersionLoggerListener.log Command line argument: -Dignore.endorsed.dirs=

18-Jan-2021 01:41:02.441 INFO [main] org.apache.catalina.startup.VersionLoggerListener.log Command line argument: -Dcatalina.base=/usr/local/tomcat

18-Jan-2021 01:41:02.441 INFO [main] org.apache.catalina.startup.VersionLoggerListener.log Command line argument: -Dcatalina.home=/usr/local/tomcat

18-Jan-2021 01:41:02.441 INFO [main] org.apache.catalina.startup.VersionLoggerListener.log Command line argument: -Djava.io.tmpdir=/usr/local/tomcat/temp

18-Jan-2021 01:41:02.464 INFO [main] org.apache.catalina.core.AprLifecycleListener.lifecycleEvent Loaded Apache Tomcat Native library [1.2.25] using APR version [1.6.5].

18-Jan-2021 01:41:02.465 INFO [main] org.apache.catalina.core.AprLifecycleListener.lifecycleEvent APR capabilities: IPv6 [true], sendfile [true], accept filters [false], random [true].

18-Jan-2021 01:41:02.465 INFO [main] org.apache.catalina.core.AprLifecycleListener.lifecycleEvent APR/OpenSSL configuration: useAprConnector [false], useOpenSSL [true]

18-Jan-2021 01:41:02.479 INFO [main] org.apache.catalina.core.AprLifecycleListener.initializeSSL OpenSSL successfully initialized [OpenSSL 1.1.1d 10 Sep 2019]

18-Jan-2021 01:41:04.085 INFO [main] org.apache.coyote.AbstractProtocol.init Initializing ProtocolHandler ["http-nio-8080"]

18-Jan-2021 01:41:04.284 INFO [main] org.apache.catalina.startup.Catalina.load Server initialization in [2522] milliseconds

18-Jan-2021 01:41:04.554 INFO [main] org.apache.catalina.core.StandardService.startInternal Starting service [Catalina]

18-Jan-2021 01:41:04.555 INFO [main] org.apache.catalina.core.StandardEngine.startInternal Starting Servlet engine: [Apache Tomcat/9.0.41]

18-Jan-2021 01:41:04.595 INFO [main] org.apache.coyote.AbstractProtocol.start Starting ProtocolHandler ["http-nio-8080"]

18-Jan-2021 01:41:04.693 INFO [main] org.apache.catalina.startup.Catalina.start Server startup in [408] milliseconds

18-Jan-2021 01:43:14.686 INFO [Catalina-utility-2] org.apache.catalina.startup.HostConfig.deployDirectory Deploying web application directory [/usr/local/tomcat/webapps/test]

18-Jan-2021 01:43:15.342 INFO [Catalina-utility-2] org.apache.catalina.startup.HostConfig.deployDirectory Deployment of web application directory [/usr/local/tomcat/webapps/test] has finished in [656] ms

四 、hostpath

hostpath是什么:

hostPath类型则是映射node文件系统中的文件或者目录到pod里。在使用hostPath类型的存储卷时,也可以设置type字段,支持的类型有文件、目录、File、Socket、CharDevice和BlockDevice。

其实这个功能就相当于docker中的-v 目录映射,只不过在k8s中的时候,pod会漂移,当pod漂移到其他node节点的时候,pod不会跨节点的去读取目录。所以说hostpath只能算一种半持久化的存储方式

hostpath的用途:

Pod中容器需要访问宿主机文件

hostpath例子: 将宿主机/data 目录挂载到容器 /test-pd目录

apiVersion: v1

kind: Pod

metadata:

name: test-pd

spec:

containers:

- image: k8s.gcr.io/test-webserver

name: test-container

volumeMounts:

- mountPath: /test-pd

name: test-volume

volumes:

- name: test-volume

hostPath:

# directory location on host

path: /data #node节点上的路径

# this field is optional

type: Directory #path的属性,下面会介绍可选属性的值

####path的属性

Kubernetes数据卷与持久卷

五、持久化存储-pvc pv nfs

上面介绍了两种临时存储于半持久化存储的方案。在k8s实际生产环境中,一般会选用私有云持久化存储方案还有公有云持久化存储方案,私有云存储方案包括nfs,ceph,glusterfs等方案。公有云存储会用到AWS等方案

存储方案各有各的优缺点,可参考https://www.cnblogs.com/yswenli/p/7234579.html 这篇文章。今天我们主要讲解pvc,pv,nfs之间的关系。

简单来说,要使用持久化存储,就需要使用pvc去跟pv去申请,然后pv查看自己有没有合适的存储空间卷,有合适的就与pvc进行绑定。pv与pvc是一一对应绑定的。现在我们用一幅图来说明pvc,pv,nfs的关系

Kubernetes数据卷与持久卷

Kubernetes数据卷与持久卷

先搭建NFS 服务器

服务器构建nfs共享:

5.1、安装nfs-utils

yum install nfs-utils

注:每个Node上都要安装nfs-utils包

5.2、启动服务

systemctl enable nfs-server (自启动)

systemctl restart nfs-server

5.3、创建共享目录完成共享配置

mkdir /home/test #创建共享目录

vim /etc/exports #编辑共享配置

语法格式:

共享文件路径 客户机地址(权限) #这里的客户机地址可以是IP,网段,域名,也可以是任意*

/home/test *(rw,async,no_root_squash)

#####

rw:可读写的权限;

ro:只读的权限;

no_root_squash:登入到NFS主机的用户如果是root,该用户即拥有root权限;(不添加此选项ROOT只有RO权限)

root_squash:登入NFS主机的用户如果是root,该用户权限将被限定为匿名使用者nobody;

all_squash:不管登陆NFS主机的用户是何权限都会被重新设定为匿名使用者nobody。

anonuid:将登入NFS主机的用户都设定成指定的user id,此ID必须存在于/etc/passwd中。

anongid:同anonuid,但是变成group ID就是了!

sync:资料同步写入存储器中。

async:资料会先暂时存放在内存中,不会直接写入硬盘。

insecure:允许从这台机器过来的非授权访问。

服务自检命令 exportfs -arv

5.4、重启服务

systemctl restart nfs-server

5.5、本机查看nfs 共享目录

showmount -e 服务器IP地址 (如果提示命令不存在,则需要yum install showmount)

[root@prometheus ~]# showmount -e 127.0.0.1

Export list for 127.0.0.1:

/home/test *

5.6 、#客户端模拟挂载

[root@master-1 ~]# yum install nfs-utils

[root@master-1 ~]# mkdir /test

[root@master-1 ~]# mount -t nfs 192.168.31.250:/home/test /test

[root@master-1 ~]# umount /test #取消挂载

5.7、 创建pv,pvc, pod请求文件

# 创建pv(持久的存储卷):

[root@master-1 ~]# vim pv.yaml

apiVersion: v1

kind: PersistentVolume

metadata:

name: nfs

spec:

capacity:

storage: 1Gi #指定请求存储空间的大小

accessModes:

- ReadWriteMany #一共有三种模式

persistentVolumeReclaimPolicy: Recycle #设置回收策略

nfs:

server: 192.168.31.250 #指定nfs服务器地址

path: "/home/test" #指定nfs 服务器的共享目录

======================================================

#accessModes 三种模式:

ReadWriteOnce – PV以 read-write 挂载到一个节点

ReadOnlyMany – PV以read-only方式挂载到多个节点

ReadWriteMany – PV以read-write方式挂载到多个节点

#persistentVolumeReclaimPolicy,回收策略

主要用于绑定的PVC删除后,资源释放后如何处理该PVC在存储设备上写入的数据。

Retain:保留,删除PVC后,PV保留数据;

Recycle:回收空间,删除PVC后,简单的清除文件;(NFS和HostPath存储支持)

Delete:删除,删除PVC后,与PV相连接的后端存储会删除数据;(AWS EBS、Azure Disk、Cinder volumes、GCE PD支持)

[root@master-1 ~]# kubectl apply -f pv.yaml

#查看创建的PV

[root@master-1 ~]# kubectl get pv
NAME   CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM         STORAGECLASS   REASON   AGE
nfs    1Gi        RWX            Recycle          Bound    default/nfs                           19m

[root@master-1 ~]# vim pvc.yaml

apiVersion: v1

kind: PersistentVolumeClaim

metadata:

name: nfs

spec:

accessModes:

- ReadWriteMany

resources:

requests:

storage: 1Gi #指定请求存储空间的大小

[root@master-1 ~]# kubectl apply -f pvc.yaml

#查看创建的PVC

[root@master-1 ~]# kubectl get pvc
NAME   STATUS   VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE
nfs    Bound    nfs      1Gi        RWX                           25m

#PVC生命周期阶段:

一个 PV 的生命周期中,可能会处于4种不同的阶段:

• Available(可用):表示可用状态,还未被任何 PVC 绑定

• Bound(已绑定):表示 PV 已经被 PVC 绑定

• Released(已释放):PVC 被删除,但是资源还未被集群重新声明

• Failed(失败): 表示该 PV 的自动回收失败

备注: PVC的常用命令

创建(yaml的方式)

$ kubectl create -f pvc.yaml

删除

$ kubectl delete pvc pvc_name

查看所有PVC

$ kubectl get pvc

查看某个PVC

$ kubectl get pvc pvc_name

查看详情

$ kubectl describe pvc pvc_name

注意: 若在某个命名空间下,以上命令可以加上-n ns_name

# 创建pod的yaml中先指明存储选择pvc

注意: 所有node节点需要先按照 yum install nfs-utils 才行,否则pod无法挂载pvc

[root@master-1 ~]# vim pvpod.yaml

apiVersion: v1

kind: Pod

metadata:

name: httpd-pvpod

spec:

containers:

- image: httpd

name: httpd-withpvc-pod

imagePullPolicy: Always

volumeMounts:

- mountPath: "/usr/local/apache2/htdocs/"      #POD内需要挂载的路径

name: httpd-volume

volumes:

- name: httpd-volume

persistentVolumeClaim:

claimName: nfs                                 #指定pvc 名称

#创建POD

[root@master-1 ~]# kubectl create -f pvpod.yaml

[root@master-1 ~]# kubectl get pods
NAME                            READY   STATUS             RESTARTS   AGE
httpd-pvpod                     1/1     Running            0          9m41s

#如果遇到下面的报错,就是 node节点的nfs-utils 没有安装, yum install nfs-utils 即可

Warning FailedMount 9m2s kubelet, node-3 MountVolume.SetUp failed for volume "nfs" : mount failed: exit status 32

Mounting command: systemd-run

Mounting arguments: --description=Kubernetes transient mount for /var/lib/kubelet/pods/5308f07f-0a10-4321-8e89-24a765005f17/volumes/kubernetes.io~nfs/nfs --scope -- mount -t nfs 192.168.31.250:/home/test /var/lib/kubelet/pods/5308f07f-0a10-4321-8e89-24a765005f17/volumes/kubernetes.io~nfs/nfs

Output: Running scope as unit run-125109.scope.

mount: wrong fs type, bad option, bad superblock on 192.168.31.250:/home/test,

missing codepage or helper program, or other error

(for several filesystems (e.g. nfs, cifs) you might

need a /sbin/mount.<type> helper program)

In some cases useful info is found in syslog - try

dmesg | tail or so.

Warning FailedMount 8m3s kubelet, node-3 Unable to attach or mount volumes: unmounted volumes=[httpd-volume], unattached volumes=[httpd-volume default-token-8l8gb]: timed out waiting for the condition

Warning FailedMount 7m58s kubelet, node-3 (combined from similar events): MountVolume.SetUp failed for volume "nfs" : mount failed: exit status 32

Mounting command: systemd-run

Mounting arguments: --description=Kubernetes transient mount for /var/lib/kubelet/pods/5308f07f-0a10-4321-8e89-24a765005f17/volumes/kubernetes.io~nfs/nfs --scope -- mount -t nfs 192.168.31.250:/home/test /var/lib/kubelet/pods/5308f07f-0a10-4321-8e89-24a765005f17/volumes/kubernetes.io~nfs/nfs

Output: Running scope as unit run-125647.scope.

mount: wrong fs type, bad option, bad superblock on 192.168.31.250:/home/test,

missing codepage or helper program, or other error

(for several filesystems (e.g. nfs, cifs) you might

need a /sbin/mount.<type> helper program)

In some cases useful info is found in syslog - try

dmesg | tail or so.

5.8、 验证

1)到NFS的共享目录下创建一个文件

[root@prometheus ~]# cd /home/test/

[root@prometheus test]# echo “hello_k8s” > index.html

2)进入到httpd-pod 容器里

[root@master-1 ~]# kubectl exec -it httpd-pvpod bash

root@httpd-pvpod:/usr/local/apache2# cat /usr/local/apache2/htdocs/index.html

hello_k8s

[root@master-1 ~]# kubectl get pods -o wide # 查看其对应的IP

NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES

httpd-pvpod 1/1 Running 0 90s 10.244.2.111 node-3 <none> <none>

#在任意node节点上,使用curl 访问httpd-pod 这个容器

[root@node-1 ~]# curl 10.244.2.111/index.html

hello_k8s

3)删除httpd-pvpod pod,验证数据还在不在了

[root@master-1 ~]# kubectl delete pod httpd-pvpod

pod “httpd-pvpod” deleted

[root@prometheus ~]# cd /home/test/

[root@prometheus ~]# cat index.html

hello_k8s

发现即使POD删除后,PVC里的数据还是存在的

4)重建httpd-pod

[root@prometheus ~]# kubectl create -f pvpod.yaml

pod/httpd-pvpod created

5)依然使用curl访问

[root@master-1 ~]# kubectl get pods -o wide # 查看其对应的IP

NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES

httpd-pvpod 1/1 Running 0 90s 10.244.2.112 node-3 <none> <none>

#在任意node节点上,使用curl 访问httpd-pod 这个容器

[root@node-1 ~]# curl 10.244.2.112/index.html

hello_k8s

六、 PV 动态供给(StorageClass)

Kubernetes数据卷与持久卷

上面创建的PV为静态供给的方式,很明显的缺点是维护成本太高了,因此,K8s开始支持PV动态供给,使用StorageClass对象实现。

Kubernetes数据卷与持久卷

下面介绍下基于NFS 实现PV动态供给

Kubernetes数据卷与持久卷

支持动态供给的存储插件:https://kubernetes.io/docs/concepts/storage/storage-classes/

打✓ 的表示K8S 默认支持的动态供给的存储

– 没打 ✓ 的表示K8S 不支持的动态供给的存储,比如 NFS , 需要借助外部的插件去实现动态供给

Kubernetes数据卷与持久卷

https://github.com/kubernetes-retired/external-storage 上面有nfs 支持的插件

Kubernetes数据卷与持久卷

部署NFS实现自动创建PV插件:

[root@master-1 ~]#git clone https://github.com/kubernetes-incubator/external-storage

[root@master-1 ~]# cd nfs-client/deploy

[root@master-1 deploy]# kubectl apply -f rbac.yaml # 授权访问apiserver

#默认的镜像地址国内无法下载,可以使用 image: feixiangkeji974907/nfs-client-provisioner:latest

#需要修改 nfs服务器的IP 地址,以及共享名称路径

[root@master-1 deploy]#kubectl apply -f deployment.yaml # 部署插件,需修改里面NFS服务器地址与共享目录

#StorageClass名称为managed-nfs-storage

# archiveOnDelete: “true” 表示当PVC 删除后,后端数据不直接删除,而是归档

[root@master-1 deploy]#kubectl apply -f class.yaml # 创建存储类

# 查看存储类

[root@master-1 nfs-client]# kubectl get sc
NAME                 	 PROVISIONER      RECLAIMPOLICY   VOLUMEBINDINGMODE   ALLOWVOLUMEEXPANSION   AGE
managed-nfs-storage   	 fuseim.pri/ifs        Delete                 Immediate                    false                                   3m2s

创建PVC.yaml

[root@master-1 pvc]# cat pvc.yaml

apiVersion: v1

kind: PersistentVolumeClaim

metadata:

name: test-claim

spec:

storageClassName: "managed-nfs-storage"         #指定storageClassName名称

accessModes:

- ReadWriteMany                                #访问模式可以读写在多个节点

resources:

requests:

storage: 1Gi                                   #需要1G大小空间

#可以看到以及成功绑定到动态的PV 上

[root@master-1 pvc]# kubectl get pvc
NAME         STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS          AGE
test-claim   Bound    pvc-fba52ac7-986d-40a8-a2a2-5535bef29538    1Gi        RWX            managed-nfs-storage   2s

创建pod.yaml

[root@master-1 pvc]# cat pod.yaml

apiVersion: v1

kind: Pod

metadata:

name: httpd-pvpod

spec:

containers:

- image: httpd

name: httpd-withpvc-pod

imagePullPolicy: Always

volumeMounts:

- mountPath: "/usr/local/apache2/htdocs/"          #指定容器挂载目录

name: httpd-volume

volumes:

- name: httpd-volume

persistentVolumeClaim:

claimName: test-claim                              #指定PVC名称

1)到NFS的共享目录下创建一个文件

#注意default-test-claim-pvc-fba52ac7-986d-40a8-a2a2-5535bef29538 和 就是pvc的VOLUME

[root@prometheus ~]# cd /home/test/default-test-claim-pvc-fba52ac7-986d-40a8-a2a2-5535bef29538

[root@ansible default-test-claim-pvc-fba52ac7-986d-40a8-a2a2-5535bef29538]# echo "hello_k8s" > index.html

2)进入到httpd-pod 容器里

[root@master-1 ~]# kubectl exec -it httpd-pvpod bash

root@httpd-pvpod:/usr/local/apache2# cat /usr/local/apache2/htdocs/index.html

hello_k8s

[root@master-1 ~]# kubectl get pods -o wide # 查看其对应的IP

NAME                            READY   STATUS             RESTARTS   AGE    IP             NODE     NOMINATED NODE   READINESS GATES
httpd-pvpod                     1/1     Running            0          90s    10.244.2.111   node-3   <none>           <none>

#在任意node节点上,使用curl 访问httpd-pod 这个容器

[root@node-1 ~]# curl 10.244.2.111/index.html

hello_k8s

3)测试删除POD 以及pvc,观察后端数据是否还在

[root@master-1 pvc]# kubectl delete -f .

pod “httpd-pvpod” deleted

persistentvolumeclaim “test-claim” deleted

#可以看到后端数据不直接删除,而是选择采用了归档的方式(因为StorageClass 的 class.yaml 中 archiveOnDelete: “true” )

[root@ansible test]# ls -l

drwxrwxrwx 2 root root 24 Jan 20 23:49 archived-default-test-claim-pvc-fba52ac7-986d-40a8-a2a2-5535bef29538

本文版权归 飞翔沫沫情 作者所有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出 原文链接 如有问题, 可发送邮件咨询,转贴请注明出处:https://www.fxkjnj.com/2579/

发表评论

登录后才能评论