中小企业web集群方案 haproxy varnish LNMP memcached配置

中小企业web集群方案 haproxy+varnish+LNMP+memcached配置

前段时间帮一个中型企业做了一个集群方案配置，目前已经安全运行了一个月，而且速度非常快，稳定性也很强，作为一般中型企业负载均衡的方案，非常的合适。但是由于资本有限，没有做到高可用性方案。
一，拓扑图如下：

二，架构说明及配置

1, haproxy 服务器： 192.168.1.5

2, varnish服务器集群： 192.168.1.20;192.168.1.21

3, nginx+fastcgi 服务器： 192.168.1.50

4, memcached 服务器：memcached我是装在nginx+fastcgi服务器上的，192.168.1.50

5, mysql服务器：192.168.1.60

三，具体配置以下我们来一个个讲解，我们先从后端来个个讲解，

1，在192.168.1.60 服务器上安装 mysql
2, 在192.168.1.50 服务器上安装 nginx+fastcgi.

mysql+nginx+fastcgi 配置，这里不讲解了，网上包括我的博客里面都有讲解如何时安装。

3，memcached安装配置。

这里的memcached 我安装在 192.168.1.50 服务器上安装步骤如下：

（1）下载所需要的软件 (memcached 目前最新版本为1.4.13)

安装memcached需要libevent库支持，我们下载libevent1.3版本即可

#wget  http://memcached.googlecode.com/files/memcached-1.4.13.tar.gz  
#wget  http://www.monkey.org/~provos/libevent-1.3.tar.gz

（2）先安装libevent：

# tar zxvf libevent-1.3.tar.gz 
# cd libevent-1.3 
# ./configure --prefix=/usr 
# make 
# make install

（3）安装memcached，同时需要安装中指定libevent的安装位置：

# cd /tmp 
# tar zxvf memcached-1.4.13.tar.gz 
# cd memcached-1.4.13 
# ./configure --with-libevent=/usr 
# make 
# make install

安装完成后会把memcached放到 /usr/local/bin/memcached

（4）fastcgi 安装memcache扩展模块，让php支持memcached

1.在http://pecl.php.net/package/memcache 选择相应想要下载的memcache版本。

2.安装PHP的memcache扩展

#tar vxzf memcache-2.2.1.tgz 
#cd memcache-2.2.1 
#/usr/local/webserver/php/bin/phpize 
#./configure--enable-memcache --with-php-config=/usr/local/webserver/php/bin/php-config --with-zlib-dir 
#make 
#make install

3.上述安装完后会有类似这样的提示：

Installing shared extensions: /usr/local/webserver/php/lib/php/extensions/no-debug-non-zts-20060613/

4,在php.ini 添加一行来载入memcache扩展：

#extension = "memcache.so"

如下图

5,重新加载php 配置文件

启动memcached

# /usr/local/bin/memcached -d -m 1024 -u root -l 127.0.0.1 -p 11211 -c 10240 -P /tmp/memcached.pid

我们来看一下是否正常启动

端口已正常启动。

memcache启动参数备注： 
-d选项是启动一个守护进程， 
-m是分配给Memcache使用的内存数量，单位是MB，我这里是10MB， 
-u是运行Memcache的用户，我这里是root， 
-l是监听的服务器IP地址，为了安全我这里指定了 127.0.0.1， 
-p是设置Memcache监听的端口，我这里设置了11211，最好是1024以上的端口， 
-c选项是最大运行的并发连接数，默认是1024，我这里设置10240，按照你服务器的负载量来设定 
-P是设置保存Memcache的pid文件，我这里是保存在 /tmp/memcached.pid，

Memcached安装完毕。我们来测试一下是否能缓存mysql数据

我们在此服务器上架设一个php网站，此处我先用的是占用资源比较大的magento程序网站，调试好配置文件，绑定一下host文件。看网站是否能正常打开。

好，网站打开正常，接下来我们看一下，memcached是否发挥了他的作用

这里我们用一个软件 memadmin （网上可以下载到）来监控一下memcached的缓存命中率，如下图：

命中率还是挺高的。

4，varnish服务器安装

以下在192.168.1.20 和 192.168.1.21 上操作

下载varnish软件（此处下载3.0版本）

#wget   http://repo.varnish-cache.org/source/varnish-3.0.0.tar.gz  
#tar -xvf varnish-3.0.0.tar.gz 
#cd varnish-3.0.0 
#./configure --prefix=/usr/local/varnish 
#make &&make install

至此安装完成。

我们来配置一下

#vim /usr/local/varnish/etc/varnish/vcl.conf

以下为配置代码：(除backend 及vcl_recv外，其他地方无需更改，这里是更改其访问的主机名，及定义后端服务器地址，字数有限，其他代码这里就不解释了)

#Cache for linuxtone sites 
#backend vhost 
backend  wwwyaozhibingceshicom { 
.host = "www.yaozhibingceshi.com"; 
.port = "80"; 
} 
#acl 
acl purge { 
  "localhost"; 
  "127.0.0.1"; 
  "192.168.0.0"/24; 
} 
sub vcl_recv { 
        if (req.http.Accept-Encoding) { 
            if (req.url ~ "\.(jpg|png|gif|jpeg|flv)$" ) { 
                remove req.http.Accept-Encoding; 
                remove req.http.Cookie; 
            } else if (req.http.Accept-Encoding ~ "gzip") { 
                set req.http.Accept-Encoding = "gzip"; 
            } else if (req.http.Accept-Encoding ~ "deflate") { 
                set req.http.Accept-Encoding = "deflate"; 
            } else { 
                remove req.http.Accept-Encoding; 
            } 
        } 
           if (req.http.host ~  "(.*)yaozhibingceshi.com") { 
                       set req.backend = wwwyaozhibingceshicom; 
                 } 
            else { 
                        error 404 "This website is maintaining or not exist！"; 
                } 
  if (req.request == "PURGE") { 
     if (!client.ip ~purge) { 
       error 405 "Not Allowed"; 
   } 
#.dd..... 
   return(lookup); 
  } 
#...GET...url...jpg,png,gif. ..cookie 
  if (req.request == "GET"&& req.url ~ "\.(png|gif|jpeg|jpg|ico|swf|css|js|html|htm|gz|tgz|bz2|tbz|mp3|ogg|mp4|flv|f4v|pdf)$") { 
        unset req.http.cookie; 
  } 
#..GET...url.php....cache.... 
  if (req.request =="GET"&&req.url ~ "\.php($|\?)"){ 
        return (pass); 
  } 
#     if (req.restarts == 0) { 
        if (req.http.x-forwarded-for) { 
            set req.http.X-Forwarded-For = 
                req.http.X-Forwarded-For + ", " + client.ip; 
        } else { 
            set req.http.X-Forwarded-For = client.ip; 
        } 
#   } 
#........pipe.. 
    if (req.request != "GET" && 
      req.request != "HEAD" && 
      req.request != "PUT" && 
      req.request != "POST" && 
      req.request != "TRACE" && 
      req.request != "OPTIONS" && 
      req.request != "DELETE") { 
        return (pipe); 
    } 
#..GET .HEAD..... 
    if (req.request != "GET" && req.request != "HEAD") { 
        return (pass); 
    } 
    if (req.http.Authorization) { 
        return (pass); 
    } 
    return (lookup); 
} 
#..url+host hash...... 
sub vcl_hash { 
    hash_data(req.url); 
    if (req.http.host) { 
        hash_data(req.http.host); 
    } else { 
        hash_data(server.ip); 
    } 
    return (hash); 
} 
# .....purge ..... 
sub vcl_hit { 
   if (req.request == "PURGE") { 
       set obj.ttl = 0s; 
       error 200 "Purged"; 
    } 
    return (deliver); 
} 
sub vcl_fetch { 
          if (req.url ~ "\.(jpeg|jpg|png|gif|gz|tgz|bz2|tbz|mp3|ogg|ico|swf|flv|dmg|js|css|html|htm)$") { 
                   set beresp.ttl = 2d; 
                   set beresp.http.expires = beresp.ttl; 
                   set beresp.http.Cache-Control = "max-age=172800"; 
                   unset beresp.http.set-cookie; 
          } 
          if (req.url ~ "\.(dmg|js|css|html|htm)$") { 
                   set beresp.do_gzip = true; 
          } 
          if (beresp.status == 503) { 
                         set beresp.saintmode = 15s; 
          } 
} 
sub vcl_deliver { 
        set resp.http.x-hits = obj.hits ; 
        if (obj.hits > 0) { 
                set resp.http.X-Cache = "HIT You!"; 
        } else { 
                set resp.http.X-Cache = "MISS Me!"; 
        } 
}

配置文件保存退出 ,并启动 varnish,如下图

由于我这域名没有注册，所以我们在这两台机器的hosts文件里绑定一下

另外一台机器我们同样配置

Varnish 已经成功启动了,我们来分别把域名在本地绑定一下，直接访问varnish服务器，看是否能正常打开网站，并查看缓存合中率

从上图可以看出来，绑定varnish 服务器网站是可以正常打开，而且从varnish自带的命令 varnishstat 来看，平均缓存命中率能达到 92%，命中率也是非常的高！另一台同样的测试方法

至此，varnish 服务器集群安装配置完成。

5，Haproxy 服务器安装配置

以下配置在 192.168.1.5;192.168.1.6 服务器上运行

下载 haproxy 软件（目前最新版本为1.4.19）

wget http://haproxy.1wt.eu/download/1.4/src/haproxy-1.4.19.tar.gz   
#tar -xvf haproxy-1.4.19.tar.gz 
#cd haproxy-1.4.19 
#make TARGET=linux26 PREFIX=/usr/local/haproxy 
#make install PREFIX=/usr/local/haproxy

安装完成，接下来配置一下我解析几个比较重要的参数

# cd /usr/local/haproxy 
# vim haproxy.conf 
global 
        maxconn 5120 
        chroot /usr/local/haproxy 
        uid 99 
        gid 99 
        daemon 
        quiet 
        nbproc  2 
        pidfile /usr/local/haproxy/haproxy.pid 
defaults 
        log     global 
        mode    http 
        option  httplog 
        option  dontlognull 
        log 127.0.0.1 local3 
        retries 3 
        option redispatch 
        maxconn 20000 
        contimeout      5000 
        clitimeout      50000 
        srvtimeout      50000 
listen www.yaozhibingceshi.com 0.0.0.0:80 
       mode http 
       stats uri /status                     (后端服务器状态查看地址)   
       stats realm Haproxy\ statistics 
       stats auth admin:admin              （状态查看页面登陆账号密码） 
       balance source    （调度算法，调度算法有很多，我这里用source是和nginx的ip_hash同理，解决session问题) 
       option httpclose 
       option forwardfor 
server app1_1 192.168.1.20:80 cookie app1inst1 check inter 2000 rise 2 fall 5 
server app1_2 192.168.1.21:80 cookie app1inst2 check inter 2000 rise 2 fall 5

最下面两行，定义了后端的两台服务器，如果有更多，再另起一行，根据上面的格式写上即可。

配置好后，启动haproxy 并查看是否启动成功

这样看，是启动成功了的

好的，我们来把域名。绑定到这台haproxy服务器上看网站是否能正常打开。

我们发现，网站也是可以正常打开的，

haproxy 有宕机检测功能，当后端服务器宕机后，他能自动检测，并禁止链接再发往宕机的机器.

注：haproxy 后端服务器状态查看方法

配置文件里注明了 stats uri /status 即访问 www.域名.com/status 即可查看后端服务器状态

如图：

这次方案由于资本有限，所以在服务器这块，大大的减少了。如果做到高可用性，

应该要做到 haproxy 集群，nginx+fastcgi集群，以及数据库这块的集群。

但是道理都是一样的，只是多加一些服务器，要达到千万级PV的网站，借用老男孩的一句来说，就是“把所有的用户访问请求都尽量往前推 ”。

QQ：410018348

本站仅提供存储服务，所有内容均由用户发布，如发现有害或侵权内容，请点击举报。