K8S调度器亲和性与反亲和性

简介

Scheduler 是 kubernetes 的调度器，主要的任务是把定义的 pod 分配到集群的节点上。听起来非常简单，但有很多要考虑的问题：

- 公平：如何保证每个节点都能被分配资源
- 资源高效利用：集群所有资源最大化被使用
- 效率：调度的性能要好，能够尽快地对大批量的 pod 完成调度工作
- 灵活：允许用户根据自己的需求控制调度的逻辑

Sheduler 是作为单独的程序运行的，启动之后会一直监听 API Server，获取 `PodSpec.NodeName` 为空的 pod，对每个 pod 都会创建一个 binding，表明该 pod 应该放到哪个节点上

调度过程

调度分为几个部分：首先是过滤掉不满足条件的节点，这个过程称为 `预选`；然后对通过的节点按照优先级排序，这个是 `优选`；最后从中选择优先级最高的节点。如果中间任何一步骤有错误，就直接返回错误

预选

有一系列的算法可以使用：

- `PodFitsResources`：节点上剩余的资源是否大于 pod 请求的资源
- `PodFitsHost`：如果 pod 指定了 NodeName，检查节点名称是否和 NodeName 匹配
- `PodFitsHostPorts`：节点上已经使用的 port 是否和 pod 申请的 port 冲突
- `PodSelectorMatches`：过滤掉和 pod 指定的 label 不匹配的节点
- `NoDiskConflict`：已经 mount 的 volume 和 pod 指定的 volume 不冲突，除非它们都是只读

如果在 `预选` 过程中没有合适的节点，pod 会一直在 `pending` 状态，不断重试调度，直到有节点满足条件。经过这个步骤，如果有多个节点满足条件，就继续 `优选` 过程： 按照优先级大小对节点排序

优选

优先级由一系列键值对组成，键是该优先级项的名称，值是它的权重（该项的重要性）。这些优先级选项包括：

- `LeastRequestedPriority`：通过计算 CPU 和 Memory 的使用率来决定权重，使用率越低权重越高。换句话说，这个优先级指标倾向于资源使用比例更低的节点
- `BalancedResourceAllocation`：节点上 CPU 和 Memory 使用率越接近，权重越高。这个应该和上面的一起使用，不应该单独使用
- `ImageLocalityPriority`：倾向于已经有要使用镜像的节点，镜像总大小值越大，权重越高

通过算法对所有的优先级项目和权重进行计算，得出最终的结果

自定义调度器

除了 kubernetes 自带的调度器，你也可以编写自己的调度器。通过 `spec:schedulername` 参数指定调度器的名字，可以为 pod 选择某个调度器进行调度。比如下面的 pod 选择 `my-scheduler` 进行调度，而不是默认的 `default-scheduler`：

apiVersion: v1
kind: Pod
metadata:
name: test-scheduler
labels:
name: test-scheduler
spec:
schedulername: test-scheduler
containers:
- name: pod-with-second-annotation-container
image: wangyanglinux/myapp:v2

亲和性

亲和性/反亲和性调度策略比较如下：

| 调度策略         | 匹配标签 |          操作符                                              | 拓扑域支持 |   调度目标 

| nodeAffinity       | 主机      | In, NotIn, Exists, DoesNotExist, Gt, Lt      | 否 |                  指定主机 |
| podAffinity         | POD     | In, NotIn, Exists, DoesNotExist                 | 是 |                  POD与指定POD同一拓扑域 |
| podAnitAffinity   | POD     | In, NotIn, Exists, DoesNotExist                 | 是 |                  POD与指定POD不在同一拓扑域 |

键值运算关系

- In：      label 的值在某个列表中
- NotIn：label 的值不在某个列表中
- Gt：     label 的值大于某个值
- Lt：      label 的值小于某个值
- Exists：某个 label 存在
- DoesNotExist：某个 label 不存在

节点亲和性

- preferredDuringSchedulingIgnoredDuringExecution：软策略
- requiredDuringSchedulingIgnoredDuringExecution：硬策略

requiredDuringSchedulingIgnoredDuringExecution 资源清单

apiVersion: v1
kind: Pod
metadata:
name: affinity
labels:
app: node-affinity-pod
spec:
containers:
- name: with-node-affinity
image: wangyanglinux/myapp:v1
affinity: //亲和性
nodeAffinity: //节点亲和
requiredDuringSchedulingIgnoredDuringExecution: //硬限制
nodeSelectorTerms:
- matchExpressions:
- key: kubernetes.io/hostname //节点的label
operator: NotIn //取反
values:
- k8s-node02 //节点lable的value，pod将不会运行在node02上

preferredDuringSchedulingIgnoredDuringExecution 资源清单

apiVersion: v1
kind: Pod
metadata:
name: affinity
labels:
app: node-affinity-pod
spec:
containers:
- name: with-node-affinity
image: wangyanglinux/myapp:v1
affinity:
nodeAffinity:
preferredDuringSchedulingIgnoredDuringExecution: //软限制，尽可能优先匹配，如果未匹配到，也会调度到其他节点
- weight: 1 //权重，尽可能匹配以下标签
preference:
matchExpressions:
- key: source
operator: In //运算符
values:
- qikqiak

软限制与硬限制合起来

apiVersion: v1
kind: Pod
metadata:
name: affinity
labels:
app: node-affinity-pod
spec:
containers:
- name: with-node-affinity
image: wangyanglinux/myapp:v1
affinity:
nodeAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
nodeSelectorTerms:
- matchExpressions:
- key: disktypeoperator: NotIn
values:
- hdd
preferredDuringSchedulingIgnoredDuringExecution:
- weight: 1
preference:
matchExpressions:
- key: kubernetes.io/hostname
operator: In
values:
- k8s-node01

Pod 亲和性

pod.spec.affinity.podAffinity/podAntiAffinity

- preferredDuringSchedulingIgnoredDuringExecution：软策略
- requiredDuringSchedulingIgnoredDuringExecution：硬策略

apiVersion: v1
kind: Pod
metadata:
name: pod-3
labels:
app: pod-3
spec:
containers:
- name: pod-3
image: wangyanglinux/myapp:v1
affinity: //亲和性
podAffinity: //pod亲和性，pod与指定pod在同一拓扑域
requiredDuringSchedulingIgnoredDuringExecution:
- labelSelector:
matchExpressions:
- key: app //pod label 标签的key
operator: In
values:
- pod-1 //pod标签指定value，pod-3将会调度到同一个拓扑域的与指定标签相同的node
topologyKey: kubernetes.io/hostname //拓扑域
podAntiAffinity: //反亲和，pod与指定pod不在同一个拓扑域
preferredDuringSchedulingIgnoredDuringExecution:
- weight: 1
podAffinityTerm:
labelSelector:
matchExpressions:
- key: app
operator: In
values:
- pod-2
topologyKey: kubernetes.io/hostname //查看拓扑域的key的value后，调度到非value的节点，取反

越学越感到自己的无知