javamemcached负载均衡_利用Nginx+Tomcat+Memcached组建Web服务器负载均衡

1 起因

最近对新开发的web系统进行了压力测试&＃xff0c;发现tomcat默认配置下压到600人的并发登录首页响应速度就有比较严重的影响&＃xff0c;一轮出现2000多个的500和502错误。我把登录的时间统计做了一下&＃xff0c;把服务器处理总时间打印出来&＃xff0c;看了一下发现有个别响应确实在20秒&＃xff0c;但平均时间和lr测试出来的还是相差很远。所以可以断定不是程序处理处理花费了这么多时间&＃xff0c;由于在局域网测试&＃xff0c;所以也可以排除网络问题。这就把问题圈定在tomcat的请求响应能力上了。先把tomcat线程数提升到1000&＃xff0c;发现500和502的报错降到几十个&＃xff0c;但是响应时间上还没什么提高。后来启动了2个tomcat&＃xff0c;用nginx做负载均衡&＃xff0c;响应时间下降了40%&＃xff0c;两个tomcat的处理时长都保持在1秒左右。

看来tomcat性能确实是系统的一个瓶颈&＃xff0c;很有必要假设多个服务器来加强响应能力。之前由于只是测试登录&＃xff0c;多个tomcat还不用共享session&＃xff0c;但真正使用时是必须要能一起工作的。现记录一下负载均衡的安装配置过程。

2 解决方案的选择

多个tomcat要一起协同工作有几种办法&＃xff0c;可以考虑的方案有以下几个&＃xff1a;

1. 使用tomcat自带的cluster方式&＃xff0c;多个tomcat见自动实时复制session信息&＃xff0c;配置起来很简单。但这个方案的效率比较低&＃xff0c;在大并发下表现并不好。

2. 利用nginx的基于访问ip的hash路由策略&＃xff0c;保证访问的ip始终被路由到同一个tomcat上&＃xff0c;这个配置更简单。但是我们的应用很可能是某一个局域网大量用户同时登录&＃xff0c;这样负载均衡就没什么作用了。

3. 利用memcached把多个tomcat的session集中管理&＃xff0c;这是最直接的解决方案&＃xff0c;但是操作起来也最为复杂。

我们的系统既要求性能&＃xff0c;又要比较好的利用上负载均衡&＃xff0c;所以第3个方案是首选。接下来就是安装搭建之路了。

3 安装配置

3.1 memcached的安装

1)先下载libevent-1.4.14b-stable.tar.gz和memcached-1.4.7.tar.gz的源码包&＃xff0c;前者是后者的依赖包&＃xff0c;就是一个事件驱动的包。

2)安装非常顺利&＃xff0c;还是经典的那几个编译安装命令&＃xff1a;

tar zxvf libevent-1.4.14b-stable.tar.gz

cd libevent-1.4.14b-stable

./configure --prefix&＃61;/usr/local/libevent-1.4.14b

make

make install

tar zxvf memcached-1.4.7.tar.gz

cd memcached-1.4.7

./configure --prefix&＃61;/usr/local/memcached-1.4.7 --with-libevent&＃61;/usr/local/libevent-1.4.14b/

make

make install

3)启动memcached&＃xff1a;

./bin/memcached -d -m 256 -u root -p 11211 -c 1024 -P /tmp/memcached.pid

3.2 memcached-session-manager配置

让tomcat调用memcached来存储session早就是一个很成熟的解决方案了&＃xff0c;开源的msm就可以解决这个问题。比较折腾的就是要用到的jar包&＃xff0c;官方文档说的也比较含糊&＃xff0c;我这里用的是kryo的序列化方案&＃xff0c;所以用到的包多一些&＃xff0c;分别是&＃xff1a;

kryo-1.03.jar

kryo-serializers-0.8.jar

memcached-2.5.jar(我在官方看最新已经到2.7了&＃xff0c;但是msm官方说用2.5&＃xff0c;可能新包没测试过&＃xff0c;特别是2.6版本changelog里面提到api有调整&＃xff0c;还是不要乱升的好)

memcached-session-manager-1.5.1.jar

memcached-session-manager-tc7-1.5.1.jar

minlog-1.2.jar

msm-kryo-serializer-1.5.1.jar

reflectasm-0.9.jar

以上这些包都放在$CATALINA_HOME/lib目录下。

接下来是修改tomcat的配置文件$CATALINA_HOME/conf/context.xml&＃xff0c;调整成新的session存储方式。配置文件中加入以下内容&＃xff1a;

memcachedNodes&＃61;"n1:127.0.0.1:11211"

sticky&＃61;"false"

lockingMode&＃61;"auto"

sessionBackupAsync&＃61;"false"

sessionBackupTimeout&＃61;"1000"

transcoderFactoryClass&＃61;"de.javakaffee.web.msm.serializer.kryo.KryoTranscoderFactory"

/>