入门篇：从etcd名字的由来，到安装部署和使用姿势

etcd 简介

etcd 是一个可靠的分布式 key-value 存储系统&＃xff0c;主要用于配置共享和服务注册和发现&＃xff0c;具有以下特性&＃xff1a;

• 简单&＃xff1a;基于 gRPC 定义了清晰、面向用户的 API。
• 安全&＃xff1a;支持可选的客户端 TLS 证书自动认证特性。
• 快速&＃xff1a;支持每秒 10000 次的写入。
• 可靠&＃xff1a;基于 Raft 算法协议保证一致性。

etcd 使用 Go 语言开发&＃xff0c;底层基于 Raft 共识算法管理高可用的复制日志。当前已经被许多公司用于关键生产项目&＃xff0c;比如&＃xff1a;Kubernetes、locksmith、vulcand、Doorman 等。

当然&＃xff0c;也有其他组件可以提供配置共享和服务注册和发现的功能&＃xff0c;比如最为广泛和大家最为熟知的 Zookeeper&＃xff0c;也被很多 Java 系的知名开源项目认可和使用&＃xff0c;比如&＃xff1a;Hadoop、HBase、Kafka 等。

但 etcd 是唯一一个可以媲美甚至超越 Zookeeper 的组件。

相较之下&＃xff0c;Zookeeper 有如下缺点[3]&＃xff1a;

• 复杂&＃xff1a;Zookeeper 基于 ZAB 协议&＃xff0c;属于类 Paxos 协议&＃xff0c;而 Paxos 算法素以复杂难懂闻名&＃xff1b;Zookeeper 的使用也比较复杂&＃xff0c;需要安装客户端&＃xff0c;而官方目前只提供了 Java 和 C 两种语言接口。
• 发展慢&＃xff1a;由于基金会庞大的结构以及松散的管理&＃xff0c;导致项目发展缓慢。

而 etcd 作为后起之秀&＃xff0c;其优点也很明显&＃xff1a;

• 简单&＃xff1a;使用 Go 语言编写部署简单&＃xff1b;使用 gRPC 定义接口&＃xff0c;支持跨语言、跨平台特性&＃xff1b;使用了易于用户理解的 Raft 算法保证一致性&＃xff0c;优于 Paxos 算法。
• 发展快&＃xff1a;etcd 正处于高速迭代开发中。
• 性能优越&＃xff1a;官方提供的基准测试数据中&＃xff0c;etcd 集群可以支持每秒 10000&＃43; 次的写入&＃xff0c;性能优于 Zookeeper。
• 安全性&＃xff1a;etcd 支持 TLS 访问&＃xff0c;而 ZooKeeper 在权限控制方面做得略显粗糙。

环境搭建

一、本地安装包部署

「下载」&＃xff1a;下载最新的安装包&＃xff08;当前最新&＃xff1a;v3.5.4&＃xff09;&＃xff0c;下载地址&＃xff1a;https://github.com/etcd-io/etcd/releases/

「安装」&＃xff1a;在解压后的文件目录下etcd、etcdctl分别为安装包和客户端的编译后的执行文件&＃xff0c;可使用三种方法进行运行配置。

• 方法一&＃xff1a;解压目录下直接运行
• 方法二&＃xff1a;把etcd、etcdctl文件复制到GOBIN目录下。
• 方法三&＃xff1a;在环境变量里添加etcd、etcdctl文件所在的目录。

注&＃xff1a;运行过程中&＃xff0c;可能会涉及权限问题&＃xff0c;授权即可。

「验证」&＃xff1a;

# 验证 etcd 版本
$ etcd --versionetcd Version: 3.5.4
Git SHA: 08407ff76
Go Version: go1.16.15
Go OS/Arch: darwin/amd64# 验证 etcdctl 版本
$ etcdctl versionetcdctl version: 3.5.4
API version: 3.5


二、本地编译部署

「下载」&＃xff1a;使用以下命令克隆代码

# 下载最新版
$ git clone https://github.com/etcd-io/etcd.git
# 指定版本下载
$ git clone -b v3.5.4 https://github.com/etcd-io/etcd.git


「编译安装」&＃xff1a;

# 编译
$ cd etcd
$ make build# 安装
$ export PATH&＃61;"$PATH:&＃96;pwd&＃96;/bin"


「验证」&＃xff1a;

# 验证 etcd 版本
$ etcd --version# 验证 etcdctl 版本
$ etcdctl version# 验证 etcdutl 版本
$ etcdutl version


三、本地集群部署

首先需要安装goreman组件&＃xff0c;它基于 Procfile 配置文件管理 etcd 应用进程。

$ go install github.com/mattn/goreman&＃64;latest


「启动集群」&＃xff1a;源码目录下Procfile脚本已经构建好了本地演示集群&＃xff0c;直接运行启动即可

$ goreman start


「验证」

$ etcdctl member list8211f1d0f64f3269, started, infra1, http://127.0.0.1:12380, http://127.0.0.1:2379, false
91bc3c398fb3c146, started, infra2, http://127.0.0.1:22380, http://127.0.0.1:22379, false
fd422379fda50e48, started, infra3, http://127.0.0.1:32380, http://127.0.0.1:32379, false


该脚本创建包含 3 个 etcd 成员节点的集群&＃xff0c;每个集群成员都接收键值的读取和写入。也可以按照Procfile.learner脚本指导&＃xff0c;学习集群新增节点的操作。

四、Docker 单机部署

此处通过docker-compose进行实验配置。

「镜像拉取」

$ docker pull bitnami/etcd:3.5.2


「编辑docker-compose.yml」

version: &＃39;3.5&＃39;services:etcd:container_name: builder-etcdimage: bitnami/etcd:3.5.2ports:- 2379:2379environment:- ALLOW_NONE_AUTHENTICATION&＃61;yes- ETCD_AUTO_COMPACTION_MODE&＃61;revision- ETCD_AUTO_COMPACTION_RETENTION&＃61;1002- ETCD_QUOTA_BACKEND_BYTES&＃61;4294967296volumes:- ${DOCKER_ROOT_DIR:-.}/volumes/etcd/data:/bitnami/etcdnetworks:default:name: builder_dev


「启动服务」

$ docker-compose -f docker-compose.yml up


「验证」&＃xff1a;验证集群节点的版本

$ docker exec -it builder-etcd /bin/bash -c "etcd --version"etcd Version: 3.5.2
Git SHA: 99018a77b
Go Version: go1.16.3
Go OS/Arch: linux/amd64


五、Docker 集群部署

「编辑docker-compose.yml」

version: &＃39;3.5&＃39;services:etcd1:container_name: builder-etcd1image: bitnami/etcd:3.5.2ports:- 12379:2379environment:- ALLOW_NONE_AUTHENTICATION&＃61;yes- ETCD_AUTO_COMPACTION_MODE&＃61;revision- ETCD_AUTO_COMPACTION_RETENTION&＃61;1002- ETCD_QUOTA_BACKEND_BYTES&＃61;4294967296- ETCD_NAME&＃61;etcd1- ETCD_INITIAL_ADVERTISE_PEER_URLS&＃61;http://etcd1:2380- ETCD_LISTEN_PEER_URLS&＃61;http://0.0.0.0:2380- ETCD_LISTEN_CLIENT_URLS&＃61;http://0.0.0.0:2379- ETCD_ADVERTISE_CLIENT_URLS&＃61;http://etcd1:2379- ETCD_INITIAL_CLUSTER_TOKEN&＃61;etcd-cluster- ETCD_INITIAL_CLUSTER&＃61;etcd1&＃61;http://etcd1:2380,etcd2&＃61;http://etcd2:2380,etcd3&＃61;http://etcd3:2380- ETCD_INITIAL_CLUSTER_STATE&＃61;newvolumes:- ${DOCKER_ROOT_DIR:-.}/volumes/etcd/data1:/bitnami/etcdetcd2:container_name: builder-etcd2image: bitnami/etcd:3.5.2ports:- 22379:2379environment:- ALLOW_NONE_AUTHENTICATION&＃61;yes- ETCD_AUTO_COMPACTION_MODE&＃61;revision- ETCD_AUTO_COMPACTION_RETENTION&＃61;1002- ETCD_QUOTA_BACKEND_BYTES&＃61;4294967296- ETCD_NAME&＃61;etcd2- ETCD_INITIAL_ADVERTISE_PEER_URLS&＃61;http://etcd2:2380- ETCD_LISTEN_PEER_URLS&＃61;http://0.0.0.0:2380- ETCD_LISTEN_CLIENT_URLS&＃61;http://0.0.0.0:2379- ETCD_ADVERTISE_CLIENT_URLS&＃61;http://etcd2:2379- ETCD_INITIAL_CLUSTER_TOKEN&＃61;etcd-cluster- ETCD_INITIAL_CLUSTER&＃61;etcd1&＃61;http://etcd1:2380,etcd2&＃61;http://etcd2:2380,etcd3&＃61;http://etcd3:2380- ETCD_INITIAL_CLUSTER_STATE&＃61;newvolumes:- ${DOCKER_ROOT_DIR:-.}/volumes/etcd/data2:/bitnami/etcdetcd3:container_name: builder-etcd3image: bitnami/etcd:3.5.2ports:- 32379:2379environment:- ALLOW_NONE_AUTHENTICATION&＃61;yes- ETCD_AUTO_COMPACTION_MODE&＃61;revision- ETCD_AUTO_COMPACTION_RETENTION&＃61;1002- ETCD_QUOTA_BACKEND_BYTES&＃61;4294967296- ETCD_NAME&＃61;etcd3- ETCD_INITIAL_ADVERTISE_PEER_URLS&＃61;http://etcd3:2380- ETCD_LISTEN_PEER_URLS&＃61;http://0.0.0.0:2380- ETCD_LISTEN_CLIENT_URLS&＃61;http://0.0.0.0:2379- ETCD_ADVERTISE_CLIENT_URLS&＃61;http://etcd3:2379- ETCD_INITIAL_CLUSTER_TOKEN&＃61;etcd-cluster- ETCD_INITIAL_CLUSTER&＃61;etcd1&＃61;http://etcd1:2380,etcd2&＃61;http://etcd2:2380,etcd3&＃61;http://etcd3:2380- ETCD_INITIAL_CLUSTER_STATE&＃61;newvolumes:- ${DOCKER_ROOT_DIR:-.}/volumes/etcd/data3:/bitnami/etcdnetworks:default:name: builder_dev


部署配置文件 docker-compose.yml 细节&＃xff0c;详见etcd docker-compose yml[4]

「启动服务」

$ docker-compose -f docker-compose.yml up


「验证」&＃xff1a;验证集群节点的版本

$ docker exec -it builder-etcd1 /bin/bash -c "etcd --version"
$ docker exec -it builder-etcd2 /bin/bash -c "etcd --version"
$ docker exec -it builder-etcd3 /bin/bash -c "etcd --version"# 输出
etcd Version: 3.5.2
Git SHA: 99018a77b
Go Version: go1.16.3
Go OS/Arch: linux/amd64


API 学习

此处&＃xff0c;通过使用etcdctl[5]进行 API 学习验证&＃xff0c;etcdctl 是一个用于与 etcd 服务器交互的命令行工具。

一、查看版本

$ etcdctl versionetcdctl version: 3.6.0-alpha.0
API version: 3.6


二、写入 key

$ etcdctl put foo bar
OK


三、读取 key

$ etcdctl get foo
foo
bar
# 只是获取值
$ etcdctl get foo --print-value-only
bar


四、批量取值

$ etcdctl put foo1 bar1
$ etcdctl put foo3 bar2
$ etcdctl put foo3 bar3# 获取从 foo 到 foo3 的值&＃xff0c;不包括 foo3
$ etcdctl get foo foo3 --print-value-only
bar
bar1
bar2# 获取前缀为 foo 的值
$ etcdctl get --prefix foo --print-value-only
bar
bar1
bar2
bar3# 获取符合前缀的前两个值
$ etcdctl get --prefix --limit&＃61;2 foo --print-value-only
bar
bar1


五、删除 key

# 删除 foo 的值
$ etcdctl del foo
1# 删除 foo 到 foo2 且不包括 foo2 的值
$ etcdctl del foo foo2
1
# 删除前缀为 foo 的所有值
$ etcdctl del --prefix foo
2


六、监听

# 监听 foo 单个 key
$ etcdctl watch foo
# 另一个控制台执行&＃xff1a; etcdctl put foo bar
PUT
foo
bar# 同时监视多个值
$ etcdctl watch -i
$ watch foo
$ watch zoo
# 另一个控制台执行: etcdctl put foo bar
PUT
foo
bar# 另一个控制台执行: etcdctl put zoo val
PUT
zoo
val# 监视 foo 前缀命中的 key
$ etcdctl watch --prefix foo
# 另一个控制台执行&＃xff1a; etcdctl put foo1 bar1
PUT
foo1
bar1
# 另一个控制台执行&＃xff1a; etcdctl put fooz1 barz1
PUT
fooz1
barz1


七、设置租约

当一个 key 被绑定到一个租约上时&＃xff0c;它的生命周期与租约的生命周期即绑定。

# 设置10秒后过期时间
$ etcdctl lease grant 10
lease 32698142c52a170a granted with TTL(10s)# 把 foo 和租约绑定&＃xff0c;设置成 10 秒后过期
$ etcdctl put --lease&＃61;32698142c52a170a foo bar
OK
$ etcdctl get foo
foo
bar# 10 秒后&＃xff0c;获取不到 foo
$ etcdctl get foo
# 返回空


八、撤销租约

通过租约 ID 撤销租约&＃xff0c;撤销租约将删除其所有绑定的 key。

$ etcdctl lease grant 10
lease 32698142c52a170c granted with TTL(10s)
$ etcdctl put --lease&＃61;32698142c52a170c foo bar
OK# 撤销租约
$ etcdctl lease revoke 32698142c52a170c
lease 32698142c52a170c revoked$ etcdctl get foo
# 返回空


九、续约

通过刷新 TTL 值来保持租约的有效&＃xff0c;使其不会过期。

# 设置 10 秒后过期租约
$ etcdctl lease grant 10
lease 32698142c52a170f granted with TTL(10s)# 把 foo 和租约绑定&＃xff0c;设置成 10 秒后过期
$ etcdctl put foo bar --lease&＃61;32698142c52a170f# 自动定时执行续约&＃xff0c;续约成功后每次租约为 10 秒
$ etcdctl lease keep-alive 32698142c52a170f
lease 32695410dcc0ca06 keepalived with TTL(10)
lease 32695410dcc0ca06 keepalived with TTL(10)
lease 32695410dcc0ca06 keepalived with TTL(10)
...


十、查看租约

查看租约信息&＃xff0c;以便续租或查看租约是否仍然存在或已过期

# 设置 50 秒 TTL
$ etcdctl lease grant 50
lease 32698142c52a1711 granted with TTL(50s)# zoo1 绑定 32698142c52a1711 租约
$ etcdctl put --lease&＃61;32698142c52a1711 zoo1 val1
OK# 查看租约&＃xff0c;remaining(32s) 剩余有效时间32秒&＃xff1b;--keys 获取租约绑定的 key
$ etcdctl lease timetolive --keys 32698142c52a1711
lease 32698142c52a1711 granted with TTL(50s), remaining(32s), attached keys([zoo1])


注&＃xff1a;一个租约支持绑定多个 key

$ etcdctl lease grant 50
lease 32698142c52a1713 granted with TTL(50s)$ etcdctl put --lease&＃61;32698142c52a1713 zoo1 val1
OK$ etcdctl put --lease&＃61;32698142c52a1713 zoo2 val2
OK$ etcdctl put --lease&＃61;32698142c52a1713 zoo3 val3
OK


租约过期后&＃xff0c;所有 key 值都会被删除&＃xff0c;因此&＃xff1a;

• 当租约只绑定了一个 key 时&＃xff0c;想删除这个 key&＃xff0c;最好的办法是撤销它的租约&＃xff0c;而不是直接删除这个 key。
• 当租约没有绑定key时&＃xff0c;应主动把它撤销掉&＃xff0c;单纯删除 key 后&＃xff0c;续约操作持续进行&＃xff0c;会造成内存泄露。

# 方法一&＃xff1a;直接删除&＃96;key&＃96;
# 设置租约并绑定 zoo1
$ etcdctl lease grant 50
lease 32698142c52a1715 granted with TTL(50s)
$ etcdctl --lease&＃61;32698142c52a1715 put zoo1 val1
OK# 续约
$ etcdctl lease keep-alive 32698142c52a1715
lease 32698142c52a1715 keepalived with TTL(50)# 另一个控制台执行&＃xff1a;etcdctl del zoo1
# 单纯删除 key 后&＃xff0c;续约操作持续进行&＃xff0c;会造成内存泄露
lease 32698142c52a1715 keepalived with TTL(50)
lease 32698142c52a1715 keepalived with TTL(50)
lease 32698142c52a1715 keepalived with TTL(50)
...# 方法二&＃xff1a;撤销&＃96;key&＃96;的租约
# 设置租约并绑定 zoo1
$ etcdctl lease grant 50
lease 32698142c52a1717 granted with TTL(50s)
$ etcdctl --lease&＃61;32698142c52a1717 put zoo1 val1
OK# 续约
$ etcdctl lease keep-alive 32698142c52a1717
lease 32698142c52a1717 keepalived with TTL(50)
lease 32698142c52a1717 keepalived with TTL(50)# 另一个控制台执行&＃xff1a;etcdctl lease revoke 32698142c52a1717# 续约撤销并退出
lease 32698142c52a1717 expired or revoked.
$ etcdctl get zoo1
# 返回空


以上&＃xff0c;就是今天的全部内容&＃xff0c;几乎包含了 etcd 安装和使用的各种姿势&＃xff0c;欢迎各位号友敬请尝试。

References

• [0] 三十一: http://www.lee31.cn/assets/image/ThirtyOneLee.jpeg
• [1] etcd: https://github.com/etcd-io/etcd
• [2] etcd 名字的由来: https://etcd.io/docs/v3.5/faq/
• [3] https://www.infoq.cn/article/etcd-interpretation-application-scenario-implement-principle/
• [4] etcd docker-compose yml: https://github.com/liyaodev/docker-compose
• [5] etcdctl: https://etcd.io/docs/v3.5/dev-g