kubernetes(十五)kubernetes运维

• 机器选型： 虚拟机偶然宿主机


• 操作系统版本


• 内核版本


• 节点管理
  
  
  
  • 节点亲和性
  
  
  • 污点容忍
  
  
  • GPU资源node管理(标签或者备注)
  
  


• 存储方案： ceph，GlusterFS，NFS


• 网络方案：calico，flannel


• 镜像仓库方案： harbor


• 监控方案： prometheus+grafana+alertmanager


• 日志方案： ELK


• cicd方案：gitlab，build, harbor, jenkins-master-slave,helm发布到k8s集群

其他注意事项

• 使用namespace隔离资源
  
  
  
  • 权限隔离
  
  
  • 资源隔离
  
  

Ansible自动化部署k8s集群

二进制部署k8s步骤

1、服务器初始化
2、部署etcd集群，包括生成证书
3、部署master（kube-apiserver、scheduler、controller-manager）
4、部署node（kubelet、proxy、docker）
5、部署网络组件、dashboard、ingress controller、配置pv自动供给、CoreDNS等

k8s集群软件下载地址

• k8s-master&node: https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.18.md#v1186


• etcd: https://github.com/etcd-io/etcd/releases


• cni 网络插件： https://github.com/containernetworking/plugins/releases


• docker: https://download.docker.com/linux/static/stable/x86_64/docker-19.03.9.tgz

ansible 部署k8s的playbook

• 集群规划

• 脚本执行

$ yum -y install git epel-release ansible
$ git clone https://github.com/lizhenliang/ansible-install-k8s.git
$ mkdir ~/binary_pkg && cd binary_pkg #提供所需的软件包
$ cd ansible-install-k8s #修改，group_vars下的all.yml 指定对应路径和集群ip，修改文件下的hosts
$ ansible-playbook -i hosts single-master-deploy.yml #部署单master集群

• 测试集群功能

$ kubectl create deploy web --image=lizhenliang/java-demo
$ kubectl expose deploy web --port=80 --target-port=8080 --type=NodePort

k8s高可用方案

• etcd高可用


• kube-apiserver高可用： 集群的统一入口；其他组件协作


• kube-controller-manager高可用


• kube-scheduler高可用


• coreDNS高可用

Etcd数据库的备份与恢复

kubeadm集群的数据备份

ETCDCTL_API=3 etcdctl snapshot save snap.db --endpoints=https://192.168.56.11:2379 --cacert=/etc/kubernetes/pki/etcd/ca.crt --cert=/etc/kubernetes/pki/etcd/peer.crt --key=/etc/kubernetes/pki/etcd/peer.key

二进制部署的k8s集群数据备份

$ cd /data/etcd/bin
$ ETCDCTL_API=3 ./etcdctl snapshot save snap.db --endpoints=https://192.168.56.11:2379 --cacert=/data/etcd/ssl/ca.pem --cert=/data/etcd/ssl/server.pem --key=/data/etcd/ssl/server-key.pem

kubeadm集群etcd数据恢复

操作步骤如下:

• 暂停kube-apiserver和etcd容器


• 备份当前数据

mv /etc/kubernetes/manifests /etc/kubernetes/manifests.bak
mv /var/lib/etcd /var/lib/etcd.bak

• 恢复数据

$ ETCDCTL_API=3 etcdctl snapshort restore snap.db --data-dir=/var/lib/etcd

• 启动kube-apiserver和etcd容器


• 恢复manifest

mv /etc/kubernetes/manifests.bak /etc/kubernetes/manifests

二进制部署k8s数据恢复

操作步骤如下：

• 停止etcd和kube-apiserver

$ systemctl stop kube-apiserver
$ ansible etcd -m service -a "name=etcd state=stopped"
$ ansible etcd -m shell -a "mv /var/lib/etcd/default.etcd /var/lib/etcd/default.etcd.bak"

• 数据恢复 (需要拷贝当前的备份数据到其余的节点，执行恢复命令即可)

$ cd /data/etcd/bin/ #恢复的数据备份至此
$ ansible etcd -m copy -a "src=/data/etcd/bin/snap.db dest=/data/etcd/bin/"
# etcd 节点1 执行如下命令
$ ETCDCTL_API=3 ./etcdctl snapshot restore snap.db --name etcd-1 --initial-cluster="etcd-1=https://192.168.56.11:2380,etcd-2=https://192.168.56.12:2380,etcd-3=https://192.168.56.13:2380" --initial-cluster-token=etcd-cluster --initial-advertise-peer-urls=https://192.168.56.11:2380 --data-dir=/var/lib/etcd/default.etcd
# etcd 节点2 执行如下命令
$ETCDCTL_API=3 ./etcdctl snapshot restore snap.db --name etcd-2 --initial-cluster="etcd-1=https://192.168.56.11:2380,etcd-2=https://192.168.56.12:2380,etcd-3=https://192.168.56.13:2380" --initial-cluster-token=etcd-cluster --initial-advertise-peer-urls=https://192.168.56.12:2380 --data-dir=/var/lib/etcd/default.etcd
# etcd 节点3 执行如下命令
$ETCDCTL_API=3 ./etcdctl snapshot restore snap.db --name etcd-3 --initial-cluster="etcd-1=https://192.168.56.11:2380,etcd-2=https://192.168.56.12:2380,etcd-3=https://192.168.56.13:2380" --initial-cluster-token=etcd-cluster --initial-advertise-peer-urls=https://192.168.56.13:2380 --data-dir=/var/lib/etcd/default.etcd

• 启动etcd和kube-apiserver

$ systemctl start kube-apiserver
$ ansible etcd -m service -a "name=etcd state=started"
$ ansible

kubelet证书自动续签

二进制部署过程中，apiserver和etcd由cfssl或者openssl工具自签证书并可以定义过期时间，而kubelet连接apiserver所需的客户端证书是由controller-manager组件自动颁发，默认是一年，如果到期，kubelet将无法使用过期的证书连接apiserver，从而导致无法正常工作，日志会给出证书过期错误（x509: certificate has expired or is not yet valid）

解决该问题可启用kubelet证书轮转。

kubeadm部署方式

1、配置kube-controller-manager组件

vi /etc/kubernetes/manifests/kube-controller-manager.yaml
spec:
containers:
- command:
- kube-controller-manager
- --experimental-cluster-signing-duration=87600h0m0s
- --feature-gates=RotateKubeletServerCertificate=true
…

添加上述两个参数：

• experimental-cluster-signing-duration=87600h0m0s 为kubelet客户端证书颁发有效期10年

  
  



• feature-gates=RotateKubeletServerCertificate=true 启用server证书颁发

  配置完成后，重建pod使之生效：

  
  

kubectl delete pod kube-controller-manager-k8s-master -n kube-system

2、配置kubelet组件

默认kubelet证书轮转已启用。

# vi /var/lib/kubelet/config.yaml
...
rotateCertificates: true

3、测试

找一台节点测试，先查看现有客户端证书有效期：

# cd /var/lib/kubelet/pki
# openssl x509 -in kubelet-client-current.pem -noout -dates
notBefore=May 25 09:01:24 2020 GMT
notAfter=May 25 09:01:24 2021 GMT

修改服务器时间，模拟证书即将到期：

# date -s "2021-5-20"
# systemctl restart kubelet

再查看证书有效期，可以看到已经是十年：

# openssl x509 -in kubelet-client-current.pem -noout -dates
notBefore=Aug 8 15:44:55 2020 GMT
notAfter=May 23 09:05:30 2030 GMT

二进制部署方式

如果你采用老师的二进制方式部署，已经配置了默认是5年，所以在5年之前不会出现证书过期问题的。

找一台节点查看：

# cd /data/kubernetes/ssl
# openssl x509 -in kubelet-client-current.pem -noout -dates
notBefore=Aug 8 15:54:54 2020 GMT
notAfter=Aug 7 07:38:00 2025 GMT

为确保5年后证书能自动续签，还需要启用证书轮转和自动签发。

1、启用证书轮转

```bash]

...
rotateCertificates: true


**2、 配置kubelet证书申请自动签发**
```bash
#自动批准首次申请证书的 CSR 请求
kubectl create clusterrolebinding node-client-auto-approve-csr --clusterrole=system:certificates.k8s.io:certificatesigningrequests:nodeclient --user=kubelet-bootstrap
# 自动批准kubelet客户端证书续签
kubectl create clusterrolebinding node-client-auto-renew-crt --clusterrole=system:certificates.k8s.io:certificatesigningrequests:selfnodeclient --group=system:nodes
# 自动批准kubelet服务端证书续签
kubectl create clusterrolebinding node-server-auto-renew-crt --clusterrole=system:certificates.k8s.io:certificatesigningrequests:selfnodeserver --group=system:nodes二进制部署过程中，apiserver和etcd由cfssl或者openssl工具自签证书并可以定义过期时间，而kubelet连接apiserver所需的客户端证书是由controller-manager组件自动颁发，默认是一年，如果到期，kubelet将无法使用过期的证书连接apiserver，从而导致无法正常工作，日志会给出证书过期错误（x509: certificate has expired or is not yet valid）

解决该问题可启用kubelet证书轮转。

kubeadm部署方式

1、配置kube-controller-manager组件

vi /etc/kubernetes/manifests/kube-controller-manager.yaml
spec:
containers:
- command:
- kube-controller-manager
- --experimental-cluster-signing-duration=87600h0m0s
- --feature-gates=RotateKubeletServerCertificate=true
…
添加上述两个参数：
- experimental-cluster-signing-duration=87600h0m0s 为kubelet客户端证书颁发有效期10年
- feature-gates=RotateKubeletServerCertificate=true 启用server证书颁发
配置完成后，重建pod使之生效：
kubectl delete pod kube-controller-manager-k8s-master -n kube-system

2、配置kubelet组件

默认kubelet证书轮转已启用。

# vi /var/lib/kubelet/config.yaml
...
rotateCertificates: true

3、测试

找一台节点测试，先查看现有客户端证书有效期：

# cd /var/lib/kubelet/pki
# openssl x509 -in kubelet-client-current.pem -noout -dates
notBefore=May 25 09:01:24 2020 GMT
notAfter=May 25 09:01:24 2021 GMT
修改服务器时间，模拟证书即将到期：
# date -s "2021-5-20"
# systemctl restart kubelet
再查看证书有效期，可以看到已经是十年：
# openssl x509 -in kubelet-client-current.pem -noout -dates
notBefore=Aug 8 15:44:55 2020 GMT
notAfter=May 23 09:05:30 2030 GMT

二进制部署方式

如果你采用老师的二进制方式部署，已经配置了默认是5年，所以在5年之前不会出现证书过期问题的。

找一台节点查看：

# cd /opt/kubernetes/ssl
# openssl x509 -in kubelet-client-current.pem -noout -dates
notBefore=Aug 8 15:54:54 2020 GMT
notAfter=Aug 7 07:38:00 2025 GMT

为确保5年后证书能自动续签，还需要启用证书轮转和自动签发。

1、启用证书轮转

# vi /opt/kubernetes/cfg/kubelet-config.yml
...
rotateCertificates: true
# systemctl restart kubelet

2、 配置kubelet证书申请自动签发

#自动批准首次申请证书的 CSR 请求
kubectl create clusterrolebinding node-client-auto-approve-csr --clusterrole=system:certificates.k8s.io:certificatesigningrequests:nodeclient --user=kubelet-bootstrap
# 自动批准kubelet客户端证书续签
kubectl create clusterrolebinding node-client-auto-renew-crt --clusterrole=system:certificates.k8s.io:certificatesigningrequests:selfnodeclient --group=system:nodes
# 自动批准kubelet服务端证书续签
kubectl create clusterrolebinding node-server-auto-renew-crt --clusterrole=system:certificates.k8s.io:certificatesigningrequests:selfnodeserver --group=system:nodes

kubernetes集群故障排查思路

集群部署问题

kubeadm

• 网络通信： 节点之间的通信（网络插件问题，镜像加速）


• 证书错误： 时间同步问题，证书hosts缺ip，证书过期未续签

二进制部署

• 服务启动异常： 配置文件检查，环境初始化检查

应用部署问题

• 镜像拉取失败： 认证问题，secret配置需要根据namespace和业务的namespace对应

  
  



• 调度类问题： 无法调度，一直Pending，需要查节点污点，调度策略，污点容忍，调度节点node问题

  
  



• svc和deploy无法通信： namespace问题，多看看describe事件或者查看标签问题

  
  
  
  
  • ClusterIP数据包流程：
    用户->ClusterIP->iptables/ipvs->pod
  
  

  1、iptables模式

  iptables-save |grep web

  -A KUBE-SEP-D4VB4DJ76HXQK5R7 -p tcp -m comment --comment "default/web:" -m tcp -j DNAT --to-destination 10.244.1.4:8080
  -A KUBE-SERVICES ! -s 10.244.0.0/16 -d 10.0.0.149/32 -p tcp -m comment --comment "default/web: cluster IP" -m tcp --dport 80 -j KUBE-MARK-MASQ
  -A KUBE-SERVICES -d 10.0.0.149/32 -p tcp -m comment --comment "default/web: cluster IP" -m tcp --dport 80 -j KUBE-SVC-BIJGBSD4RZCCZX5R
  -A KUBE-SVC-BIJGBSD4RZCCZX5R -m comment --comment "default/web:" -j KUBE-SEP-D4VB4DJ76HXQK5R7

  10.0.0.80:80 -> 10.244.2.4:8080

  2、ipvs模式

  查看ipvs规则：ipvsadm -L -n

  ipvs0绑定clusterip，捕获数据包，根据ipvs规则转发后端。

  nodeport数据包流程：
  用户->nodeport->iptables/ipvs->pod

  
  


• ingress冲突问题： 是否存在相同的ingress在不同namespace的情况

通用技巧

kubectl get svc,deploy,pod -n xxx
kubectl describe pod xxxx
kubectl exec -it podxxxx -c xxxx -n xxxx -- bash #进入指定容器

kubernetes(十五) kubernetes 运维