你好,游客 登录 注册 搜索
背景:
阅读新闻

使用Haproxy搭建Web群集

[日期:2016-10-18] 来源:Linux社区  作者:painting [字体: ]

简介

我们知道Nginx、LVS都可以做负载均衡,它们都具有各自的特点,今天介绍另一款比较流行的集群调度工具Haproxy,首先介绍负载均衡常用调度算法,然后介绍Haproxy搭建Web集群的案例环境,接下来重点介绍Haproxy搭建Web集群的安装配置和日志配置,最后介绍了Haproxy的参数优化

一、案例分析

1、案例概述

Haproxy是目前比较流行的一种集群调度工具,同类集群调度工具有很多,如LVS和Nginx,相比较而言,LVS性能最好,但是搭建相对复杂,Nginx的upstream模块支持集群功能,但是对集群节点健康检查功能不强,性能没有Haproxy好。Haproxy官方网站是http://www.haproxy.org/

本案例介绍使用Haproxy及Nginx搭建一套Web集群

2、案例前置知识点

(1)HTTP请求

通过URL访问网站使用的协议是HTTP协议,此类请求一般称为HTTP请求。HTTP请求的方式分为GET方式和POST方式。当使用浏览器访问某一个URL,会根据请求URL返回状态码,通常正常的状态码为2 * * 、3 * *(如200、301),如果出现异常会返回4 * * 、5 * *(如400、500)。

例如,访问http://www.test.com/a.php?id=123,就是一个GET请求,如果访问正常,会从服务器的日志中获取200状态码。假如此请求使用POST方式,那么传递给a.php的id参数依旧是123,但是浏览器的URL将不会显示后面的id=123字样,因此表单类或者有用户名、密码等内容提交时建议使用POST方式。不管使用什么方式。最终a.php获取的值是一样的

(2)负载均衡常用调度算法

LVS、Haproxy、Nginx最常用的调度算法有三种,如下所述

RR(Round  Robin)。RR算法是最简单最常用的一种算法,即轮询调度。例如,有三个节点A、B、C,第一个用户访问会被指派到节点A,第二个用户访问会被指派到节点B,第三个用户访问会被指派到节点C,第四个用户访问继续指派到节点A,轮询分配访问请求实现负载均衡效果。此算法还有一种加权轮询,即根据每个节点的权重轮询分配访问请求

LC(Least  Connections)。LC算法即最小连接数算法,根据后端的节点连接数大小动态分配前端请求。例如,有三个节点A、B、C,各节点的连接数分别为A:4、B:5、C:6,此时如果有第一个用户连接请求,会被指派到A上,连接数变为A:5、B:5、C:6 ;第二个用户请求会继续分配给A上,连接数变为A:6、B:5、C:6 ;再有新的请求会配置给B,每次将新的请求指派给连接数最小的节点服务器。由于实际情况下A、B、C的连接数会动态释放,很难出现一样连接数的情况,因此此算法相比较RR算法有很大改进,是目前用到比较多的一种算法

SH(Source  Hashing)。SH即基于来源访问调度算法,此算法用于一些有Session会话记录在服务器端的场景,可以基于来源的IP、Cookie等做集群调度。例如,使用基于源IP的集群调度算法,有三个节点A、B、C,第一个用户第一次访问被指派到A,第二个用户第一次访问被指派到了B,当第一个用户第二次访问时会被继续指派到A,第二个用户第二次访问时依旧会被指派到B,只要负载调度器不重启,第一个用户访问都会被指派到A,第二个用户访问都会被指派到B,实现集群的调度。此调度算法好处是实现会话保持,但某些IP访问量非常大时会引起负载不均衡,部分节点访问量超大,影响业务使用

(3)常见的Web集群调度器

目前常见的Web集群调度器分为软件和硬件,软件通常使用开源的LVS、Haproxy、Nginx,硬件一般使用比较多的F5,也有很多人使用国内的一些产品,如梭子鱼、绿盟等

3、案例环境

本案例使用三台服务器模拟一台Web集群

Haproxy集群拓扑

主机 操作系统 IP地址 只要软件
Haproxy服务器 CentOS 6.6 x86_64 192.168.1.10 haproxy-1.4.24.tar.gz

Nginx服务器-1

Centos 6.6 x86_64 192.168.1.20 nginx-1.6.0.tar.gz
Nginx服务器-2 Centos 6.6 x86_64 192.168.1.21 nging-1.6.0.tar.gz
客户端 Wendows XP 192.16.1.30

IE浏览器

案例环境

    注意:这里服务器是托管在IDC机房中,公网访问使用的是防火墙NAT映射的公网IP,因此服务器端只需配置一个内外IP即可。如果没有防火墙映射,建议在服务器配置双网卡双IP,公网请求访问公网IP的网卡,Haproxy与各个节点间通信使用内外网卡

二、案例实施

1、编译安装Nginx服务器

(1)首先搭建Nginx-1,使用nginx-1.6.0.tar.gz安装包进行编译安装

[root@localhost ~]# yum  -y  install  pcre-devel  zlib-devel
[root@localhost ~]# useradd  -M  -s  /sbin/nologin  nginx
[root@localhost ~]# tar  -zxvf  nginx-1.6.0.tar.gz
[root@localhost ~]# cd nginx-1.6.0
[root@localhost nginx-1.6.0]# ./configure  --prefix=/usr/local/nginx  --user=nginx  --group=nginx
[root@localhost nginx-1.6.0]# make  &&  make  install

    安装完成后默认信息如下

默认安装目录:/usr/local/nginx/

默认日志:/usr/local/nginx/logs/

默认监听:80

默认Web目录:/usr/local/nginx/html/

[root@localhost nginx-1.6.0]# cd  /usr/local/nginx/html/
[root@localhost html]# echo  "Server  192.168.1.20" >test.html          //建立测试页面
[root@localhost html]# /usr/local/nginx/sbin/nginx                      //启动Nginx
[root@localhost html]# netstat  -utpln  |  grep  nginx
tcp        0      0 0.0.0.0:80          0.0.0.0:*          LISTEN        4262/nginx
     
[root@localhost html]# service  iptables  stop

    为了方便实验,网站没有配置域名,直接使用IP地址。在客户端访问http://192.168.1.20/test.html测试

测试访问Nginx-1

(2)搭建Nginx-2

    编译安装的步骤与Nginx-1相同,不同之处在于建立测试页面

[root@localhost html]# echo "Server  192.168.1.21"  >test.html

测试访问Nginx-2

2、编译安装Haproxy

    使用haproxy-1.4.24.tar.gz安装包进行编译安装

[root@localhost ~]# yum  -y  install  pcre-devel  bzip2-devel
[root@localhost ~]# tar  -zxvf  haproxy-1.4.24.tar.gz
[root@localhost ~]# cd  haproxy-1.4.24
[root@localhost haproxy-1.4.24]# make  TARGET=linux26                //64位系统
[root@localhost haproxy-1.4.24]# make  install

3、Haproxy服务器配置

(1)建立Haproxy的配置文件

[root@localhost haproxy-1.4.24]# mkdir  /etc/haproxy
[root@localhost haproxy-1.4.24]# cp examples/haproxy.cf /etc/haproxy/   
//将haproxy.cfg文件复制到配置文件目录

(2)Haproxy配置项介绍

    Haproxy配置文件通常分为三个部分,即global、defaults和listen。global为全局配置、defaults为默认配置、listen为应用组件配置

    global配置项通常有下面配置参数,以示例参数说明如下

global
        log 127.0.0.1  local0      //配置日志记录,local0为日志设备,默认存放到系统日志
        log 127.0.0.1  local1 notice          //notice为日志级别,通常有24个级别
        maxconn 4096                            //最大连接数
        uid 99                                  //用户uid
        gid 99                                  //用户gid

    defaults配置项配置默认参数,一般会被应用组件继承,如果在应用组件中没有特别声明,将按照默认配置参数设置

defaults
        log    global                          //定义日志为global配置中的日志定义
        mode    http                            //模式为http
        option  httplog                          //采用http日志格式记录日志
        retries 3            //检查节点服务器失败次数,连续达到三次失败,则认为节点不可用
        maxconn 2000                            //最大连接数
        contimeout      5000                    //连接超时时间
        clitimeout      50000                  //客户端超时时间
        srvtimeout      50000                  //服务器超时时间

    listen配置项目一般为配置应用模块参数

listen  appli4-backup 0.0.0.0:10004            //定义一个appli4-backup的应用
        option  httpchk /index.html            //检查服务器的index.html文件
        option  persist                        //强制将请求发送到已经down掉的服务器
        balance roundrobin                      //负载均衡调度算法使用轮询算法
        server  inst1 192.168.114.56:80 check inter 2000 fall 3          //定义在线节点
        server  inst2 192.168.114.56:81 check inter 2000 fall 3 backup    //定义备份节点

(3)根据目前的集群设计,将haproxy.cfg配置文件的内容修改如下

global
        log 127.0.0.1  local0
        log 127.0.0.1  local1 notice
        #log loghost    local0 info
        maxconn 4096
        uid 99
        gid 99
        daemon
        #debug
        #quiet

defaults
        log    global
        mode    http
        option  httplog
        option  dontlognull
        retries 3
        maxconn 2000
        contimeout      5000
        clitimeout      50000
        srvtimeout      50000

listen  webcluster 0.0.0.0:80
        option  httpchk GET /index.html
        balance roundrobin
        server  inst1 192.168.1.20:80 check inter 2000 fall 3
        server  inst2 192.168.1.21:80 check inter 2000 fall 3

4、创建自启动脚本

[root@localhost ~]# cp  ~/haproxy-1.4.24/examples/haproxy.init  /etc/init.d/haproxy
[root@localhost ~]# ln  -s  /usr/local/sbin/haproxy  /usr/sbin/haproxy
[root@localhost ~]# chmod  +x  /etc/init.d/haproxy
[root@localhost ~]# /etc/init.d/haproxy  start
Starting haproxy:                                          [  OK  ]

[root@localhost ~]# service  iptables  stop

5、测试Web集群

    通过上面的步骤,已经搭建完成Haproxy的Web集群,接下来需要验证集群是否正常工作。一个集群一般需要具备两个特性,第一个是高性能,第二个是高可用

(1)测试高性能

    在客户端使用浏览器打开http://192.168.1.10/test.html,浏览器显示信息如图所示

第一次访问的显示信息

再次打开一个新的浏览器页面访问http://192.168.1.10/test.html,浏览器显示信息如图所示

第二次访问的显示信息

    可以看到集群的负载均衡调度已经生效,已经满足了集群的高性能需求

(2)测试高可用

    现在将192.168.1.20的Nginx服务停用,在客户端使用浏览器打开http://192.168.1.10/test.html,浏览器显示信息仍然如第一次访问时的图相同

    从中可以看出,当出现一台节点故障,不会影响集群的使用,这样就满足了集群的高可用性。也可以将192.168.1.20的Nginx服务恢复,再将192.168.1.21的Nginx服务停用,测试高可用性

6、Haproxy的日志

    Haproxy的日志默认是输出到系统的syslog中,查看起来不是非常方便,为了更好地管理Haproxy的日志,我们在生产环境中一般单独定义出来,定义的方法如下所述

(1)修改Haproxy配置文件中关于日志配置的选项,修改为下面的配置

        log  /dev/log    local0  info
        log  /dev/log    local0  notice

    这两行配置是将原本的log  127.0.0.1配置项修改,主要是将Haproxy的info及notice日志分别记录到不同的日志文件中

    然后重启Haproxy,完成Haproxy配置

(2)修改rsyslog配置

    为了便于管理,将Haproxy下相关的配置独立定义到haproxy.conf,并放到/etc/rsyslog.d/下,rsyslog启动时会自动加载此目录下的所有配置文件

[root@localhost ~]# touch /etc/rsyslog.d/haproxy.conf
[root@localhost ~]# vim /etc/rsyslog.d/haproxy.conf

    加入下面的内容:

if ($programname == 'haproxy' and $syslogseverity-text == 'info') then -/var/log/haproxy/haproxy-info.log
& ~
if ($programname == 'haproxy' and $syslogseverity-text == 'notice') then -/var/log/haproxy/haproxy-notice.log
& ~

    这部分配置是将Haproxy的info日志记录到/var/log/haproxy/haproxy-info.log下,将notice日志记录到/var/log/haproxy/haproxy-notice.log下,其中“& ~”表示当日志写入到日志文件后,rsyslog停止处理这个信息。这里配置的语法是使用rainerscript脚本语言写的

    当然也可用用另一种解决方式,修改/etc/rsyslog.conf配置文件,在配置文件中加入如下两行:

local0.info                                            /var/log/haproxy-info.log
local0.notice                                          /var/log/haproxy-notice.log

    这样也可以实现上面相同的效果

    然后保持配置文件并重启rsyslog服务,完成rsyslog配置 

(3)测试日志信息

    在客户端访问http://192.168.1.10/test.html后,可以使用tail  -f  /var/log/haproxy/haproxy-info.log即时查看Haproxy的访问请求日志信息

[root@localhost ~]# tail -f /var/log/haproxy/haproxy-info.log

Sep  9 22:30:05 localhost haproxy[2634]: 192.168.1.30:1165 [09/Sep/2015:22:30:02.202] webcluster webcluster/inst2 0/0/0/1/3255 200 256 - - CD-- 0/0/0/0/0 0/0 "GET /test.html HTTP/1.1"

7、Haproxy的参数优化

    关于Haproxy的参数优化,以下列举了几个关键的参数,并对各参数的生产环境的优化建议做了说明

参数 参数说明 优化建议
maxconn 最大连接数 此参数根据应用的实际情况进行调整,推荐使用10 240
daemon 守护进程模式 Haproxy可以使用非守护进程模式启动,生产环境建议使用守护模式启动
nbproc 负载均衡的并发进程数 建议与当前服务器CPU核数相等或为其2倍
retries 重试次数 此参数主要用于对集群节点的检查,如果节点多,且并发量大,设置为2次或3次;在服务器节点不多的情况下,可以设置为5次或6次
option  http-server-close 主动关闭http请求选项 建议在生产环境中使用此选项,避免由于timeout时间设置过长导致http连接堆积
timeout  http-keep-alive 长连接超时时间 此选项设置长连接超时时间,具体参考应用自身特点设置,可以设置为10s
timeout  http-request http请求超时时间 建议此时间设置为5~10s,增加http连接释放速度
timeout  client 客户端超时时间 如果访问量过大,节点响应慢,可以将此时间设置短一些,建议设置为1min左右就可以了

Haproxy+Keepalived搭建Weblogic高可用负载均衡集群 http://www.linuxidc.com/Linux/2013-09/89732.htm

Keepalived+HAProxy配置高可用负载均衡 http://www.linuxidc.com/Linux/2012-03/56748.htm

CentOS 6.3下Haproxy+Keepalived+Apache配置笔记 http://www.linuxidc.com/Linux/2013-06/85598.htm

Haproxy + KeepAlived 实现WEB群集 on CentOS 6 http://www.linuxidc.com/Linux/2012-03/55672.htm

Haproxy+Keepalived构建高可用负载均衡 http://www.linuxidc.com/Linux/2012-03/55880.htm

使用 HAProxy 配置 HTTP 负载均衡器 http://www.linuxidc.com/Linux/2015-01/112487.htm

HAproxy 的详细介绍请点这里
HAproxy 的下载地址请点这里

本文永久更新链接地址http://www.linuxidc.com/Linux/2016-10/136165.htm

linux
相关资讯       HAProxy  Haproxy搭建Web群集  Web群集 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款