负载均衡实例:如何解放昼夜不眠的网管?

原创
网络 网络优化 网络运维
:如果客户方有24小时监控人员时,单台Nginx也是没问题的(很多为客户设计的1+2架构就能满足客户需求),如果机器多的话,建议用Keepalived作双Nginx负载均衡器的HA。

【51CTO.com独家特稿】笔者曾为客户设计过一系列项目方案,在真正施工时发现:如果客户方有24小时监控人员时,单台Nginx也是没问题的(很多为客户设计的1+2架构就能满足客户需求),如果机器多的话,建议用Keepalived作双Nginx负载均衡器的HA。Nginx作负载均衡器的优点许多,简单概括为:①实现了可弹性化的架构,在压力增大的时候可以临时添加tomcat服务器添加到这个架构里面去;②upstream具有负载均衡能力,可以自动判断下面的机器,并且自动踢出不能正常提供服务的机器;③相对于lvs而言,正则分发和重定向更为灵活。而Keepalvied可保证单个nginx负载均衡器的有效性,避免单点故障,整个拓补如下:

布置整个环境用到的软件为:

  1. apache-tomcat-6.0.20.tar.gz  
  2. jdk-6u16-linux-i586.bin  
  3. nginx-0.7.17.tar.gz  
  4. prce-7.7.tar.gz 

①首先分别在3台tomcat主机上布置java环境,安装tomcat,具体步骤如下(apache-tomcat-6.0.tar.gz可在apache.org上下载,jdk-6u16-linux-i586.bin可是用文件挖掘者直接搜索下载http://www.fdigg.net/search_jdk-6-linux-i586.htm):

第一步,安装java环境。

JDK的安装

  1. #chmod +x jdk-6u16-linux-i586.bin  
  2. #./jdk-6u16-linux-i586.bin 

到此JDK已经安装完成

建立符号链接

  1. # ln -s /usr/local/jdk-1.6.0-16/bin/java /usr/bin/java  
  2. # ln -s /usr/local/jdk-1.6.0-16/bin/javac /usr/bin/javac  
  3. ln -s /usr/local/jdk-1.6.0-16 /usr/local/jdk  
  4. ln -s /usr/local/jdk-1.6.0-16/jre /usr/local/jre 

TOMCAT的安装

  1. #tar zxvf apache-tomcat-6.0.20.tar.gz  
  2. #mv apache-tomcat-6.0.20 /usr/local/tomcat 

设置环境变量: vim /etc/rc.d/rc.local,以追加的形式添加如下内容

  1. JAVA_HOME=/usr/local/jdk  
  2. export JAVA_HOME  
  3. JRE_HOME=/usr/local/jre  
  4. export JRE_HOME  
  5. CLASSPATH=/usr/local/tomcat/common/lib/:/usr/local/jdk/lib:/usr/local/jre/lib  
  6. export CLASSPATH  
  7. PATH=$PATH:/usr/local/tomcat/bin/:/usr/local/apache/bin:/usr/local/jdk/bin:/usr/local/jre/bin  
  8. export PATH  
  9. TOMCAT_HOME=/usr/local/tomcat  
  10. export TOMCAT_HOME 

重启服务器,启动tomcat以检查是否存在错误:

  1. #cd /usr/local/tomcat/bin  
  2. #./startup.sh 

http://IP地址:8080 可以看到猫头:)成功了。#p#

②分别在二台nginx负载均衡器上安装nginx及配置

下载及安装nginx:

  1. wget ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-7.7.tar.gz  
  2. tar zxvf pcre-7.7.tar.gz  
  3. cd pcre-7.7/  
  4. ./configure  
  5. make && make install  
  6. wget http://sysoev.ru/nginx/nginx-0.7.17.tar.gz  
  7. tar zxvf nginx-0.7.17.tar.gz  
  8. cd nginx-0.7.17/  
  9. ./configure --prefix=/usr/local/nginx --with-http_stub_status_module   
  10. make && make install 

这里贴上nginx.conf配置文件,不加任何说明,方便用X-shell直接粘贴,很人性化的噢:)二个nginx负载均衡器的文件一样,配置完成后分别用/usr/local/nginx/sbin/nginx启动。

  1. user www www;  
  2. worker_processes 8;  
  3. pid /usr/local/nginx/logs/nginx.pid;  
  4. worker_rlimit_nofile 51200;  
  5. events  
  6. {  
  7. use epoll;  
  8. worker_connections 51200;  
  9. }  
  10. http{  
  11. include       mime.types;  
  12. default_type application/octet-stream;  
  13. server_names_hash_bucket_size 128;  
  14. client_header_buffer_size 32k;  
  15. large_client_header_buffers 4 32k;  
  16. client_max_body_size 8m;  
  17. sendfile on;  
  18. tcp_nopush     on;  
  19. keepalive_timeout 60;  
  20. tcp_nodelay on;  
  21. fastcgi_connect_timeout 300;  
  22. fastcgi_send_timeout 300;  
  23. fastcgi_read_timeout 300;  
  24. fastcgi_buffer_size 64k;  
  25. fastcgi_buffers 4 64k;  
  26. fastcgi_busy_buffers_size 128k;  
  27. fastcgi_temp_file_write_size 128k;  
  28. gzip on;  
  29. gzip_min_length 1k;  
  30. gzip_buffers     4 16k;  
  31. gzip_http_version 1.0;  
  32. gzip_comp_level 2;  
  33. gzip_types       text/plain application/x-javascript text/css application/xml;  
  34. gzip_vary on;  
  35. upstream backend  
  36. {  
  37. server 192.168.1.102:8080;  
  38. server 192.168.1.103:8080;  
  39. server 192.168.1.105:8080;  
  40. }  
  41. server {  
  42. listen 80;  
  43. server_name www.yuhongchun027.com;  
  44. location / {  
  45. root /var/www ;  
  46. index index.jsp index.htm index.html;  
  47. proxy_redirect off;  
  48. proxy_set_header Host $host;  
  49. proxy_set_header X-Real-IP $remote_addr;  
  50. proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;  
  51. proxy_pass http://backend;  
  52. }  
  53. #location /nginx {  
  54. #access_log on;  
  55. #auth_basic "NginxStatus";  
  56. #auth_basic_user_file /usr/local/nginx/htpasswd;  
  57. #}  
  58. log_format access '$remote_addr - $remote_user [$time_local] "$request" '  
  59. '$status $body_bytes_sent "$http_referer" '  
  60. '"$http_user_agent" $http_x_forwarded_for';  
  61. access_log /var/log/access.log access;  
  62. }  

③在二台Nginx机上安装及配置keepalived,做双机互备。

  1. #wget http://www.keepalived.org/software/keepalived-1.1.15.tar.gz  
  2. #tar zxvf keepalived-1.1.15.tar.gz  
  3. #cd keepalived-1.1.15  
  4. #./configure  
  5. #make  
  6. #make install 

将keepalived做成启动脚务,方便管理:

  1. #cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/  
  2. #cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/  
  3. #mkdir /etc/keepalived  
  4. #cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/  
  5. #cp /usr/local/sbin/keepalived /usr/sbin/  
  6. #service keepalived start|stop  

在二台Nginx上,我分别贴出keepalived.conf配置文件,配置完成后分别用service keepalived start启动。检验keepalived是否成功可用命令ip a

  1. vrrp_instance VI_INET1 {  
  2.         state MASTER  
  3.         interface eth0  
  4.         virtual_router_id 53  
  5.         priority 200  
  6.         advert_int 1  
  7.         authentication {  
  8.                 auth_type pass  
  9.                 auth_pass yourpass  
  10.         }  
  11.         virtual_ipaddress {  
  12.                 192.168.1.108  
  13.         }  
  14. }  
  15. vrrp_instance VI_INET1 {  
  16.         state BACKUP  
  17.         interface eth0  
  18.         virtual_router_id 53  
  19.         priority 100  
  20.         advert_int 1  
  21.         authentication {  
  22.                 auth_type pass  
  23.                 auth_pass yourpass  
  24.         }  
  25.         virtual_ipaddress {  
  26.                 192.168.1.108  
  27.         }  

#p#

项目实施过程中遇到的问题:

1、session复制问题

以前用apache做负载均衡的时候,是选择了用 session sticky的模式,这样的话,用户每次进来都会是同一个服务器中的session,不会被转发到其他的服务器上。在这样的情况下,tomcat即使不做session复制也不会影响用户访问;Nginx有个类似模块ip_hash能解决此问题,但采用了ip_hash后,nginx就不能正常地用轮询将客户的要求平等的分发到后端tomcat服务器,所幸客户对并发要求不高,他们更关心的是后端的tomcat的高可用问题。

2、页面同步

办法①可以采用rsync自动同步的办法。

办法②后端采用存储,读数据采用同一个源。

办法③在程序上实现动态的调取数据(如图片及文字)采用后端的唯一数据库。

3、关于测试

公司的测试组用的测试工具为windows2003下的Load Runner,很强大的一款,但有时采用了ip_hash后,结果并不准确;解决为:在多台服务器上,采用多种测试工具,如:webbench、Load Runner来进行交叉测试。此外,生产环境下,并发1000就是一个很大的数值,用户数为100万的用户系统往往并未达到此数,这点也是让我们很惊异的;

4、安全方面:最前端建议放置Cisco四层防火墙+web防火墙的方法,效果相当好;整个系统出口带宽建议为100M,cisco防火墙映射整个系统的vip地址及80端口,系统内所有服务器均关闭iptables防火墙。

5、监控方面:用传说中的监控之神Nagios吧,配合139邮箱,效果不错。另,签于生产环境下的严谨性,欢迎来信交流抚琴煮酒:yuhongchun027@163.com。

责任编辑:林琳 来源: 51CTO.com
相关推荐

2017-11-09 10:42:11

Nginx负载均衡策略

2019-12-27 09:29:46

负载均衡算法哈希算法

2015-05-29 14:01:00

网络优化网络性能

2010-04-20 16:34:31

2009-01-11 10:04:00

网管远程维护工具

2010-04-21 10:30:12

负载均衡

2009-01-12 09:59:00

网管DHCP网络管理

2009-12-11 11:12:28

桌面管理

2019-12-25 11:22:19

负载均衡集群算法

2017-07-03 08:08:25

负载均衡分类

2021-08-23 06:59:22

Nacos负载均衡客户端

2010-04-21 16:37:22

梭子鱼负载均衡机

2010-05-10 17:52:30

实现负载均衡

2019-03-11 10:07:24

NoSQL负载均衡高可用

2019-09-10 09:58:19

Dubbo负载均衡Hash

2022-05-31 18:43:36

区块链AINFT

2011-10-18 16:03:37

云网管梭子鱼负载均衡

2021-04-21 14:56:28

负载均衡高并发优化技术架构

2018-11-07 10:12:37

2011-12-02 22:51:46

Nginx负载均衡
点赞
收藏

51CTO技术栈公众号