twemproxy的安装及集群搭建

twemproxy&＃xff08;nutcracker&＃xff09;是一个快且轻量级的缓存代理&＃xff0c;同时支持 memcached和 redis的协议【配置文件中有配置项redis,不配置的话默认false&＃xff0c;代理memcached】&＃xff0c;这种代理在简化客户端使用的同时&＃xff0c;最主要是减少redis连接数&＃xff0c;降低redis连接成本&＃xff0c;服务器压力不至于过大&＃xff0c;该代理同时支持集群分片&＃xff08;sharding&＃xff09;&＃xff0c;即允许水平扩展&＃xff0c;对于分布式缓存架构是一个不错的选择。

twemproxy是通过一致性哈希或者其他类似的算法将数据分配到不同的redis服务机&＃xff0c;许多redis都支持一致性哈希。

redis官方推荐代理就是&＃xff1a;twemproxy&＃xff0c;可参看&＃xff1a;https://redis.io/topics/twitter-clone

以及 https://redis.io/topics/partitioning

小伙伴们&＃xff0c;知道这意味着啥么&＃xff1f;

&＃xff1b;&＃xff09;&＃xff0c;意味着这个代理应该是目前使用较多的redis代理了&＃xff0c;实际上&＃xff0c;对于redis还有很多其他代理&＃xff0c;比如&＃xff1a;

predixy&＃xff0c; codis&＃xff0c; redis-cerberus&＃xff0c;squirrel &＃xff0c;cellar act.

其中predixy是一款性能很高的redis代理&＃xff0c;有一篇关于predixy性能测试的文章&＃xff0c;可以让我们对他刮目相看&＃xff1a;一款吊打众对手的redis代理

twemproxy是推特开发的redis以及memcached 代理&＃xff0c;c开发的开源软件&＃xff0c;根据apache2.0许可条款发布的&＃xff0c;支持多个redis实例的自动分区&＃xff0c;redis作为缓存时推荐使用它推特开发的这款代理。

那么这个代理的角色我大概能知道了&＃xff0c;它是客户端和redis实例之间的接入层&＃xff0c;客户端可以只连接该代理&＃xff08;连接的时候输入代理的端口即可&＃xff09;&＃xff0c;至于后面有多少redis实例&＃xff0c;客户端不需要关注&＃xff0c;由代理按一致性哈希或者其他类似算法&＃xff08;在github上 twemproxy开源项目里有介绍具体支持哪些hash算法&＃xff0c;感兴趣的小伙伴可以去查阅&＃xff09;&＃xff0c;将数据分配存储到不同的redis实例。

安装twemproxy

安装参考github源码安装&＃xff1a;github~twemproxy
需要留意的如下图&＃xff1a;

1、下载redis代理源码到本地

cd soft/
mkdir twemproxy
cd twemproxy
git clone https://github.com/twitter/twemproxy.git
cd twemproxy


2、安装

安装提示 &＃xff0c;下一步要先安装这俩&＃xff1a;automake &＃xff0c; libtool

yum install automake libtool -y
ll
autoreconf -fvi -- 这里可能会报错本地仓库版本过低&＃xff0c;解决方案&＃xff1a;使用aliyun镜像仓库拷贝到本地仓库&＃xff0c;然后安装一个高版本的autoconf即可
-- 安装autoconf268 &＃xff0c;接着可继续执行,执行完之后多了configure
&＃96;yum install autoconf268&＃96; &＃xff0c;.....
autoreconf268 -fvi
./configuremake -- 执行完make 编译 之后&＃xff0c;一定会有可执行程序出现cd src -- 能看到可执行程序&＃xff1a;nutcrackercd ..cd scripts -- 能看到nutcracker.init文件&＃xff0c;可以看一下cat nutcracker.initcp nutcracker.init /etc/init.d/twemproxy -- 拷贝文件到这个路径下的这个文件里cd /etc/init.d/ll chmod &＃43;x twemproxycat twemproxy


这里提示我们要把这个yml文件拷贝到/etc/nutcracker 这个路径下

另开个窗口吧&＃xff0c;mkdir /etc/nutcracker
到源码目录&＃xff1a;cd /usr/local/soft/twemproxy/twemproxy/conf
拷贝当前目录所有东西到后面这个路径下cp ./* /etc/nutcracker/。

cd /etc/nutcracker/ -- 查看根据脚本内容得知&＃xff0c;把src下的可执行程序拷贝一份到&＃96;/usr/bin/&＃96;目录下&＃xff0c;然后在任何地方都可以执行 &＃96;nutcracker&＃96; 。cd /usr/local/soft/twemproxy/twemproxy/srccp nutcracker /usr/bin

根据系统里的这个脚本scripts/twemproxy &＃xff0c;根据脚本提示&＃xff0c;把配置文件和可执行脚本放到指定的位置&＃xff0c;就可以随处运行了。比如执行;

service twemproxy start/stop/status


3、集群搭建

修改yml配置文件

cd /etc/nutcracker ll
cp nutcracker.yml nutcracker.yml.bak -- 改之前备份下原件,修改配置文件&＃xff0c;只留下第一个就可以
vi nutcracker.yml
只保留第一部分&＃xff0c;且追加 - 127.0.0.1:6380:1alpha:listen: 127.0.0.1:22121hash: fnv1a_64distribution: ketamaauto_eject_hosts: trueredis: trueserver_retry_timeout: 2000server_failure_limit: 1servers:- 127.0.0.1:6379:1- 127.0.0.1:6380:1


只留第一个就行了&＃xff0c;可以参看github上https://github.com/twitter/twemproxy
可参看Configuration,下面有redis &＃61;true ,因为默认它为false,表示代理memcached 。

再往下看&＃xff0c;能看到这个&＃xff0c;服务可以在servers里加

redis手动启动时&＃xff0c;会拿当前目录作为持久化目录&＃xff0c;所以创建文件夹并进入此文件夹&＃xff0c;启动6379
cd /root/data/6379
[root&＃64;node02 6379]# pwd
/root/data/6379
redis-server --port 6379
-- 如果你的6379已经在跑了&＃xff0c;可输入命令让其停止
redis-cli -p 6379 shutdowncd /root/data/6380
redis-server --port 6380新开窗口&＃xff0c;输入service twemproxy start
[root&＃64;node02 ~]# service twemproxy start
Starting nutcracker: [ OK ]-- 根据yml文件里的端口22121&＃xff0c;连的不是具体的redis实例,是推特代理的机器
[root&＃64;node02 ~]# redis-cli -p 22121
127.0.0.1:22121> set k1 abc
OK
127.0.0.1:22121> -- 连接redis客户端查看
新开窗口redis-cli6379
[root&＃64;node02 utils]# redis-cli -p 6379
127.0.0.1:6379> keys *
(empty list or set)新开窗口redis-cli6380,发现数据落在80机器上了
[root&＃64;node02 ~]# redis-cli -p 6380
127.0.0.1:6380> keys *
1) "k2"
2) "k1"
127.0.0.1:6380> get k1
"abc"
127.0.0.1:6380> get k2
"ss"
127.0.0.1:6380>
我们正常交互就是应该和代理机交互&＃xff0c;至于数据落到哪台redis实例上&＃xff0c;我们不必知道


不支持的功能&＃xff1a;

如果要查全部redis实例的话&＃xff0c;代价比较高&＃xff0c;所以不支持
127.0.0.1:22121> keys *
Error: Server closed the connection127.0.0.1:22121> watch k1
Error: Server closed the connection
-- 执行事务也不支持
127.0.0.1:22121> multi
Error: Server closed the connection
-- 退出
exit
停止服务
[root&＃64;node02 ~]# service twemproxy stop
Stopping nutcracker: [ OK ]


搭建完毕 &＃xff1b;&＃xff09;