2013年2月4日 星期一

LVS (DR, NAT)模式應用



第一部分
: DR模式配置
OS:   Redhat AS4U4 內核:2.6.9-42
Server1: 192.168.1.91 (負載伺服器)
虛擬服務IP: 192.168.1.99
Realserver: 192.168.1.92 (集群伺服器)
實驗目的:
在負載伺服器上,配置LVSDR模式),做web伺服器的集群。實現最終使用者訪問虛擬IP,負載伺服器,將請求分發到集群下的伺服器,由集群伺服器輪流提供web服務。

   Redhat AS4U4的內核版本已經集成了ipvsadm功能模組,所以不需要安裝,直接使用即可。
  如果要用高版本的ipvsadm, [url]http://www.linuxvirtualserver.org/software/[/url] 注意對應自己的內核版本ipvsadm-1.24.tar.gz
tar zxvf ipvsadm-1.24.tar.gz
cd ipvsadm-1.24
make
make install

注意在make時可能會出現很多錯誤的資訊,請按照如下操作就可以心編譯正常
ln -s /usr/src/kernels/2.6.9-22.EL-i686/ /usr/src/linux
一、負載伺服器
編輯一個shell檔,執行後,即啟用LVS功能。
vi  /tmp/lvs.sh
#!/bin/bash
vip=192.168.1.99
rs1=192.168.1.91
rs2=192.168.1.92
gw=192.168.1.1
#set virttual ip address
/sbin/ifconfig eth1:0 $vip broadcast $vip netmask 255.255.255.255 up
/sbin/route add -host $vip dev eth1:0
#clear ipvs tables
/sbin/ipvsadm -C
#set LVS  Server
/sbin/ipvsadm -A -t $vip:80 -s rr
/sbin/ipvsadm -a -t $vip:80 -r $rs1:80 -g
/sbin/ipvsadm -a -t $vip:80 -r $rs2:80 -g
#run lvs
/sbin/ipvsadm
因為此實驗本負載伺服器也提供web服務,所以要在/var/www/html下建立一個測試檔 index.html,然後service httpd start 啟動http服務。

二、集群伺服器
所有集群伺服器忽略ARP回應,在每台群伺服器上都要進行如下設置
vi /tmp/lvs.sh
#!/bin/bash
vip=192.168.1.99
/sbin/ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
/sbin/route add -host $vip dev lo:0
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
sysctl –p

/var/www/html 下新建立一個index.html測試檔,然後 service httpd start啟動http服務。

三、測試
在用戶端反復訪問:http:.//192.168.1.99 如果能輪流顯示出 192.168.1.91 192.168.1.92http測試檔,即LVS(DR模式)配置完成。

第二部分: NAT 模式配置
OS:   Redhat AS4U4 內核:2.6.9-42
Server1: eth0: 192.168.1.91 (負載伺服器對外IP)
eth1: 192.168.3.1
Realserver: 192.168.3.2 (集群伺服器)
遮罩: 255.255.255.0  閘道: 192.168.3.1
  實驗目的:
在負載伺服器上,配置LVSNAT模式),做web伺服器的集群。實現最終使用者訪問負載伺服器的對外IP,負載伺服器,將請求分發到集群下的伺服器,由集群伺服器輪流提供web服務。
 負載伺服器
  需要在此伺服器上配置NAT功能,使其eth1網卡所接的3.0網段能夠通過它進行與外網進行聯繫.
   需要配置LVS功能,以實現集群功能.
以下是shell檔內容
vi /tmp/lvs-nat.sh
#!/bin/bash
echo "1">/proc/sys/net/ipv4/ip_forward
echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects
#echo 0 > /proc/sys/net/ipv4/conf/eth1/send_redirects
iptables -F
iptables -X
iptables -t nat -F
iptables -t nat -X
iptables -t nat -A POSTROUTING -s 192.168.3.0/24 -o eth1 -j MASQUERADE
ipvsadm -C
ipvsadm -A -t 192.168.1.91:80 -s rr
ipvsadm -a -t 192.168.1.91:80 -r 192.168.3.1:80 -m
ipvsadm -a -t 192.168.1.91:80 -r 192.168.3.2:80 -m
ipvsadm -a -t 192.168.1.91:80 -r 192.168.3.3:80 -m
ipvsadm
 集群中的節點伺服器,只需要將網卡的IP及閘道配置好,可以實現負載分擔功能.

附: LVS介紹

1.LVS系統結構與特點


使用LVS架設的伺服器集群系統從體系結構上看是透明的,最終用戶只感覺到一個虛擬伺服器.物理伺服器之間可以通過高速的LAN或分佈在各地的WAN相連。最前端是負載等化器,它負責將各種服務請求分發給後面的物理伺服器,讓整個集群表現得象一個服務於同一IP位址的虛擬伺服器。

LVS集群系統具有良好的可擴展性和高可用性。

可擴展性是指,LVS集群建立後,可以很容易地根據實際的需要增加或減少物理伺服器。而高可用性是指當檢測到伺服器節點或服務進程出錯、失效時,集群系統能夠自動進行適當的重新調整系統。

2.LVS是如何工作的


Linux Virtual Server的主要是在負載等化器上實現的,負載等化器是一台加了LVS Patch2.2.x版內核的Linux系統。LVS Patch可以通過重新編譯內核的方法加入內核,也可以當作一個動態的模組插入現在的內核中。

負載等化器可以運行在以下三種模式下中的一種或幾種: 1Virtual Server via NATVS-NAT):用位址翻譯實現虛擬伺服器;2Virtual Server via IP Tunneling VS-TUN):用IP隧道技術實現虛擬伺服器;3Virtual Server via Direct RoutingVS-DR):用直接路由技術實現虛擬伺服器。

另外,還需要根據LVS應用對物理伺服器進行恰當的配置。

以下將分別講述一下三種模式的工作原理和優缺點。

2.1.Virtual server via NATVS-NAT

Virtual Server via NAT方法的最大優點是集群中的物理伺服器可以使用任何支援TCP/IP作業系統,物理伺服器可以分配Internet的保留私有位址,只有負載等化器需要一個合法的IP位址。

這種實現方法的最大的缺點是擴展性有限。當伺服器節點(普通PC伺服器)資料增長到20個或更多時,負載等化器將成為整個系統的瓶頸,因為所有的請求包和應答包都需要經過負載等化器再生。假使TCP包的平均長度是536位元組的話,平均包再生延遲時間大約為60us(在Pentium處理器上計算的,採用更快的處理器將使得這個延遲時間變短),負載等化器的最大容許能力為8.93M/s,假定每台物理伺服器的平臺容許能力為400K/s來計算,負責等化器能為22台物理伺服器計算。

Virtual Server via NAT能夠滿足許多伺服器的服務性能需求。即使是是負載等化器成為整個系統的瓶頸,如果是這樣也有兩種方法來解決它。一種是混合處理,另一種是採用Virtual Server via IP tunnelingVirtual Server via direct routing。如果採用混合處理的方法,將需要許多同屬單一的RR DNS域。你採用Virtual Server via IP tunnelingVirtual Server via direct routing以獲得更好的可擴展性。也可以嵌套使用負載等化器,在最前端的是VS-TunnelingVS-Drouting的負載等化器,然後後面採用VS-NAT的負載等化器。

2.2.Virtual server via IP tunnelingVS-TUN

採用VS-NAT方式,請求與應答包都需要經過負載等化器,那麼當伺服器節點增長到20個或更多時,這個負載等化器就可能成為新的瓶頸。我們發現,許多Internet服務(例如WEB伺服器)的請求包很短小,而應答包通常很大。

而使用VS-TUN方式的話,負載等化器只負責將請求包分發給物理伺服器,而物理伺服器將應答包直接發給用戶。所以,負載等化器能處理很巨大的請求量,這種方式,一台負載均衡能為超過100台的物理伺服器服務,負載等化器不再是系統的瓶頸。使用VS-TUN方式,如果你的負載等化器擁有100M的全雙工網卡的話,就能使得整個Virtual Server能達到1G的輸送量。

IP tunnelingIP隧道)能夠用於架構一個高性能的virtual server,非常適合構建virtual proxy server,因為當代理伺服器收到了請求,能夠讓最終用戶直接與伺服器聯繫。

但是,這種方式需要所有的伺服器支援IP Tunneling(IP Encapsulation)協議,我僅在Linux系統上實現了這個,如果你能讓其它作業系統支援,還在探索之中。

2.3.Virtual Server via Direct RoutingVS-DR

就象VS-TUN一下,在VS-DR方式下,負載等化器也只是分發請求,應答包通過單獨的路由方法返回給用戶端。這種方式能夠大大提高Virtual Server的可擴展性。與VS-TUN相比,VS-DR這種實現方式不需要隧道結構,但它要求負載等化器的網卡必須與物理網卡在一個物理段上。

而且VS-DR模式,可以使用大多數作業系統做為物理伺服器,其中包括:Linux 2.0.362.2.92.2.102.2.12Solaris 2.5.12.62.7FreeBSD 3.13.23.3NT4.0無需打補丁;IRIX 6.5HPUX11

沒有留言: