热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

使用Varnish代替Squid做网站缓存加速器的详细解

Varnish是一款高性能的开源HTTP加速器,挪威最大的在线报纸 Verdens Gang (vg.no) 使用3台Varnish代替了原来的12台squid,性能比以前更好。

Varnish是一款高性能的开源HTTP加速器,挪威最大的在线报纸 Verdens Gang (vg.no) 使用3台Varnish代替了原来的12台squid,性能比以前更好。




   Varnish的作者Poul-Henning Kamp是FreeBSD的内核开发者之一,他认为现在的计算机比起1975年已经复杂许多。在1975年时,储存媒介只有两种:内存与硬盘。但现在计算 机系统的内存除了主存外,还包括了cpu内的L1、L2,甚至有L3快取。硬盘上也有自己的快取装置,因此squid cache自行处理物件替换的架构不可能得知这些情况而做到最佳化,但操作系统可以得知这些情况,所以这部份的工作应该交给操作系统处理,这就是 Varnish cache设计架构。




  Varnish可以在FreeBSD 6.0和Linux 2.6内核上运行。




  1、编译安装varnish HTTP加速器:



引用


wget http://blog.s135.com/soft/linux/varnish/varnish-1.1.1.tar.gz


tar zxvf varnish-1.1.1.tar.gz

cd varnish-1.1.1

./configure --prefix=/usr/local/varnish

make && make install



  2、简单启动varnish守护进程,用本机80端口去反向代理加速127.0.0.1:81上的Apache服务器:



引用


/usr/local/varnish/sbin/varnishd -a :8080 -b 127.0.0.1:81 -p thread_pool_max=1500 -p thread_pools=5 -p listen_depth=512 -p client_http11=on -w 1,10000,120



  Varnish官方网站: http://www.varnish-cache.org/



  另有一份PDF文档,说明Varnish原理的: http://ishare.iask.sina.com.cn/cgi-bin/fileid.cgi?fileid=2163384



  我测试了一下,在同等配置环境下,Varnish的性能确实要超过Squid,稳定性也不错,值得继续去深入研究。

今天写的这篇关于Varnish的文章,已经是一篇可以完全替代Squid做网站缓存加速器的详细解决方案了。网上关于Varnish的资料很少,中文资料更是微乎其微,希望本文能够吸引更多的人研究、使用Varnish。





在我看来,使用Varnish代替Squid的理由有三点:



  1、Varnish采用了“Visual Page Cache”技术,在内存的利用上,Varnish比Squid具有优势,它避免了Squid频繁在内存、磁盘中交换文件,性能要比Squid高。


  2、Varnish的稳定性还不错,我管理的一台图片服务器运行Varnish已经有一个月,没有发生过故障,而进行相同工作的Squid服务器就倒过几次。


  3、通过Varnish管理端口,可以使用正则表达式快速、批量地清除部分缓存,这一点是Squid不能具备的。



点击在新窗口中浏览此图片





下面来安装Varnish网站缓存加速器(Linux系统):



  1、创建www用户和组,以及Varnish缓存文件存放目录(/var/vcache):

/usr/sbin/groupadd www -g 48


/usr/sbin/useradd -u 48 -g www www


mkdir -p /var/vcache


chmod +w /var/vcache


chown -R www:www /var/vcache





  2、创建Varnish日志目录(/var/logs/):

mkdir -p /var/logs


chmod +w /var/logs


chown -R www:www /var/logs





  3、编译安装varnish:

wget http://blog.s135.com/soft/linux/varnish/varnish-1.1.2.tar.gz

tar zxvf varnish-1.1.2.tar.gz


cd varnish-1.1.2


./configure --prefix=/usr/local/varnish


make && make install





  4、创建Varnish配置文件:

vi /usr/local/varnish/vcl.conf



  输入以下内容:



引用


backend myblogserver {

       set backend.host = "192.168.0.5";

       set backend.port = "80";

}



acl purge {

       "localhost";

       "127.0.0.1";

       "192.168.1.0"/24;

}



sub vcl_recv {

       if (req.request == "PURGE") {

               if (!client.ip ~ purge) {

                       error 405 "Not allowed.";

               }

               lookup;

       }



       if (req.http.host ~ "^blog.s135.com") {

               set req.backend = myblogserver;

               if (req.request != "GET" && req.request != "HEAD") {

                       pipe;

               }

               else {

                       lookup;

               }

       }

       else {

               error 404 "Zhang Yan Cache Server";

               lookup;

       }

}



sub vcl_hit {

       if (req.request == "PURGE") {

               set obj.ttl = 0s;

               error 200 "Purged.";

       }

}



sub vcl_miss {

       if (req.request == "PURGE") {

               error 404 "Not in cache.";

       }

}



sub vcl_fetch {

       if (req.request == "GET" && req.url ~ "\.(txt|js)$") {

               set obj.ttl = 3600s;

       }

       else {

               set obj.ttl = 30d;

       }

}



  这里,我对这段配置文件解释一下:


  (1)、Varnish通过反向代理请求后端IP为192.168.0.5,端口为80的web服务器;


  (2)、Varnish允许localhost、127.0.0.1、192.168.0.***三个来源IP通过PURGE方法清除缓存;


  (3)、Varnish对域名为blog.s135.com的请求进行处理,非blog.s135.com域名的请求则返回“Zhang Yan Cache Server”;


  (4)、Varnish对HTTP协议中的GET、HEAD请求进行缓存,对POST请求透过,让其直接访问后端Web服务器。之所以这样配置,是因为POST请求一般是发送数据给服务器的,需要服务器接收、处理,所以不缓存;


  (5)、Varnish对以.txt和.js结尾的URL缓存时间设置1小时,对其他的URL缓存时间设置为30天。




  5、启动Varnish

ulimit -SHn 51200


/usr/local/varnish/sbin/varnishd -n /var/vcache -f /usr/local/varnish/vcl.conf -a 0.0.0.0:80 -s file,/var/vcache/varnish_cache.data,1G -g www -u www -w 30000,51200,10 -T 127.0.0.1:3500 -p client_http11=on





  6、启动varnishncsa用来将Varnish访问日志写入日志文件:

/usr/local/varnish/bin/varnishncsa -n /var/vcache -w /var/logs/varnish.log &





  7、配置开机自动启动Varnish

vi /etc/rc.local



  在末尾增加以下内容:



引用


ulimit -SHn 51200

/usr/local/varnish/sbin/varnishd -n /var/vcache -f /usr/local/varnish/vcl.conf -a 0.0.0.0:80 -s file,/var/vcache/varnish_cache.data,1G -g www -u www -w 30000,51200,10 -T 127.0.0.1:3500 -p client_http11=on

/usr/local/varnish/bin/varnishncsa -n /var/vcache -w /var/logs/youvideo.log &





  8、优化Linux内核参数

vi /etc/sysctl.conf



  在末尾增加以下内容:



引用


net.ipv4.tcp_fin_timeout = 30

net.ipv4.tcp_keepalive_time = 300

net.ipv4.tcp_synCOOKIEs = 1

net.ipv4.tcp_tw_reuse = 1

net.ipv4.tcp_tw_recycle = 1

net.ipv4.ip_local_port_range = 5000    65000





再看看如何管理Varnish:



  1、查看Varnish服务器连接数与命中率:

/usr/local/varnish/bin/varnishstat


点击在新窗口中浏览此图片



  2、通过Varnish管理端口进行管理:


  用help看看可以使用哪些Varnish命令:

/usr/local/varnish/bin/varnishadm -T 127.0.0.1:3500 help



引用


Available commands:

ping [timestamp]

status

start

stop

stats

vcl.load

vcl.inline

vcl.use

vcl.discard

vcl.list

vcl.show

param.show [-l] []

param.set

help [command]

url.purge

dump.pool





  3、通过Varnish管理端口,使用正则表达式批量清除缓存:


  (1)、例:清除类似 http://blog.s135.com/a/zhangyan.html 的URL地址):

/usr/local/varnish/bin/varnishadm -T 127.0.0.1:3500 url.purge /a/



  (2)、例:清除类似 http://blog.s135.com/tech 的URL地址:

/usr/local/varnish/bin/varnishadm -T 127.0.0.1:3500 url.purge w*$



  (3)、例:清除所有缓存:

/usr/local/varnish/bin/varnishadm -T 127.0.0.1:3500 url.purge *$





  4、一个清除Squid缓存的PHP函数(清除Varnish缓存同样可以使用该函数,无需作任何修改,十分方便):





view plain print ?













  1. function


     purge(


    $ip





    $url


    )  





  2. {  




  3.     

    $errstr


     = 


    ''


    ;  





  4.     

    $errno


     = 


    ''


    ;  





  5.     

    $fp


     = 


    fsockopen


     (


    $ip


    , 80, 


    $errno





    $errstr


    , 2);  





  6.     

    if


     (!


    $fp


    )  





  7.     {  




  8.          

    return


     false;  





  9.     }  




  10.     

    else


      





  11.     {  




  12.         

    $out


     = 


    "PURGE $url HTTP/1.1\r\n"


    ;  





  13.         

    $out


     .= 


    "Host:blog.s135.com\r\n"


    ;  





  14.         

    $out


     .= 


    "Connection: close\r\n\r\n"


    ;  





  15.         

    fputs


     (


    $fp





    $out


    );  





  16.         

    $out


     = 


    fgets


    (


    $fp


     , 4096);  





  17.         fclose (

    $fp


    );  





  18.         

    return


     true;  





  19.     }  




  20. }  




  21.   




  22. purge(

    "192.168.0.4"





    "/index.php"


    );  





  23. ?>  







  附1:Varnish官方网站: http://www.varnish-cache.org/



  附2:2007年12月10日,我写了一个每天0点运行,按天切割Varnish日志,生成一个压缩文件,同时删除上个月旧日志的脚本(/var/logs/cutlog.sh):


  /var/logs/cutlog.sh文件内容如下:



引用


#!/bin/sh

# This file run at 00:00

date=$(date -d "yesterday" +"%Y-%m-%d")

pkill -9 varnishncsa

mv /var/logs/youvideo.log /var/logs/${date}.log

/usr/local/varnish/bin/varnishncsa -n /var/vcache -w /var/logs/youvideo.log &

mkdir -p /var/logs/youvideo/

gzip -c /var/logs/${date}.log > /var/logs/youvideo/${date}.log.gz

rm -f /var/logs/${date}.log

rm -f /var/logs/youvideo/$(date -d "-1 month" +"%Y-%m*").log.gz



  设置在每天00:00定时执行:


/usr/bin/crontab -e

  或者  

vi /var/spool/cron/root

  输入以下内容:



引用


0 0 * * * /bin/sh /var/logs/cutlog.sh


使用Varnish代替Squid做网站缓存加速器的详细解决方案




推荐阅读
  • 本文介绍了在CentOS上安装Python2.7.2的详细步骤,包括下载、解压、编译和安装等操作。同时提供了一些注意事项,以及测试安装是否成功的方法。 ... [详细]
  • 搭建Windows Server 2012 R2 IIS8.5+PHP(FastCGI)+MySQL环境的详细步骤
    本文详细介绍了搭建Windows Server 2012 R2 IIS8.5+PHP(FastCGI)+MySQL环境的步骤,包括环境说明、相关软件下载的地址以及所需的插件下载地址。 ... [详细]
  • Spring源码解密之默认标签的解析方式分析
    本文分析了Spring源码解密中默认标签的解析方式。通过对命名空间的判断,区分默认命名空间和自定义命名空间,并采用不同的解析方式。其中,bean标签的解析最为复杂和重要。 ... [详细]
  • PHP图片截取方法及应用实例
    本文介绍了使用PHP动态切割JPEG图片的方法,并提供了应用实例,包括截取视频图、提取文章内容中的图片地址、裁切图片等问题。详细介绍了相关的PHP函数和参数的使用,以及图片切割的具体步骤。同时,还提供了一些注意事项和优化建议。通过本文的学习,读者可以掌握PHP图片截取的技巧,实现自己的需求。 ... [详细]
  • 向QTextEdit拖放文件的方法及实现步骤
    本文介绍了在使用QTextEdit时如何实现拖放文件的功能,包括相关的方法和实现步骤。通过重写dragEnterEvent和dropEvent函数,并结合QMimeData和QUrl等类,可以轻松实现向QTextEdit拖放文件的功能。详细的代码实现和说明可以参考本文提供的示例代码。 ... [详细]
  • 本文讨论了在Windows 8上安装gvim中插件时出现的错误加载问题。作者将EasyMotion插件放在了正确的位置,但加载时却出现了错误。作者提供了下载链接和之前放置插件的位置,并列出了出现的错误信息。 ... [详细]
  • android listview OnItemClickListener失效原因
    最近在做listview时发现OnItemClickListener失效的问题,经过查找发现是因为button的原因。不仅listitem中存在button会影响OnItemClickListener事件的失效,还会导致单击后listview每个item的背景改变,使得item中的所有有关焦点的事件都失效。本文给出了一个范例来说明这种情况,并提供了解决方法。 ... [详细]
  • eclipse学习(第三章:ssh中的Hibernate)——11.Hibernate的缓存(2级缓存,get和load)
    本文介绍了eclipse学习中的第三章内容,主要讲解了ssh中的Hibernate的缓存,包括2级缓存和get方法、load方法的区别。文章还涉及了项目实践和相关知识点的讲解。 ... [详细]
  • 本文讨论了一个关于cuowu类的问题,作者在使用cuowu类时遇到了错误提示和使用AdjustmentListener的问题。文章提供了16个解决方案,并给出了两个可能导致错误的原因。 ... [详细]
  • 本文介绍了在Linux下安装Perl的步骤,并提供了一个简单的Perl程序示例。同时,还展示了运行该程序的结果。 ... [详细]
  • 本文介绍了在Windows环境下如何配置php+apache环境,包括下载php7和apache2.4、安装vc2015运行时环境、启动php7和apache2.4等步骤。希望对需要搭建php7环境的读者有一定的参考价值。摘要长度为169字。 ... [详细]
  • 本文介绍了在mac环境下使用nginx配置nodejs代理服务器的步骤,包括安装nginx、创建目录和文件、配置代理的域名和日志记录等。 ... [详细]
  • 本文介绍了如何通过conda安装Selenium的wheel文件,包括查看环境、卸载旧版本、下载新版本的wheel文件以及安装操作的步骤。同时提供了使用清华源的方法。 ... [详细]
  • 树莓派语音控制的配置方法和步骤
    本文介绍了在树莓派上实现语音控制的配置方法和步骤。首先感谢博主Eoman的帮助,文章参考了他的内容。树莓派的配置需要通过sudo raspi-config进行,然后使用Eoman的控制方法,即安装wiringPi库并编写控制引脚的脚本。具体的安装步骤和脚本编写方法在文章中详细介绍。 ... [详细]
  • 大数据Hadoop生态(20)MapReduce框架原理OutputFormat的开发笔记
    本文介绍了大数据Hadoop生态(20)MapReduce框架原理OutputFormat的开发笔记,包括outputFormat接口实现类、自定义outputFormat步骤和案例。案例中将包含nty的日志输出到nty.log文件,其他日志输出到other.log文件。同时提供了一些相关网址供参考。 ... [详细]
author-avatar
大额资金一号
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有