学步园

Keepalived详解

作者：田逸（sery@163.com）

本文高清PDF文档下载收藏：  【bbs.ywlm.net】Keepalived配置详解.pdf (1.2
MB, 下载次数: 142)

在互连网应用技术里,负载均衡一直是热门话题,本书讨论的负载均衡技术,包括但不限于负载均衡本身。使用负载均衡技术主要的目的包括如下几点：

◆     系统高可用性。组成系统的某些设备或部件失效，并不会影响正常的服务。

◆     系统可扩展性。用户的增加，引起访问数乃至流量的增加，这种情形下，需要对系统进行扩容，以应对这种快速增长。对于提供高可用服务的互联网网站，其对可扩展的基本要求就是在保持系统服务不终止的情况下，透明的扩充容量，即用户不知道扩容的存在，或者说是扩容不对现有的服务产生任何负面作用。这些扩展主要包括：带宽扩展、服务器扩展、存储容量扩展、数据库扩展等，当然也包括主机增加内存等方面的扩展。

◆     负载均衡能力。一个应用或服务由数个物理服务器提供,并且每个物理服务器运行的应用或服务是相同的,我们可以让用户的访问通过某种控制策略,把负载分摊到不同的物理服务器,从而保持每个物理服务器有比较合理的负载。当整个系统的负载趋于饱和时，通过增加物理服务器和扩充物理带宽来解决这个麻烦。增加物理服务器以后，系统的负载情况将重新在所有集群的物理服务器之间按照指定的算法重新达到新的均衡。

一个完整的负载均衡项目，一般由虚拟服务器、故障隔离及失败切换3个功能框架所组成。

虚拟服务器是负载均衡体系的基本架构，它分两层结构：转发器（Director）和真实服务器。图6-1为虚拟服务器的结构示意。

图6-1 虚拟服务器结构

为什么称虚拟服务器？因为从用户的角度看来，似乎只是一个服务器在提供服务。虚拟服务器最主要的功能是提供包转发和负载均衡，这个功能可以通过撰写ipvsadm脚本具体实现。虚拟服务器项目由章文嵩博士所贡献，目前已被添加到各种linux发行版的内核。

故障隔离指虚拟服务器中的某个真实服务器（或某几个真实服务器）失效或发生故障，系统将自动把失效的服务器从转发队列中清理出去，从而保证用户访问的正确性；另一方面，当实效的服务器被修复以后，系统再自动地把它加入转发队列。

失败切换，这是针对负载均衡器Director 采取的措施，在有两个负载均衡器Director的应用场景，当主负载均衡器（MASTER）失效或出现故障，备份负载均衡器（BACKUP）将自动接管主负载均衡器的工作；一旦主负载均衡器故障修复，两者将恢复到最初的角色。

要从技术上实现虚拟服务器、故障隔离及失败切换3个功能，需要两个工具：ipvsadm和keepalived。当然也有heartbeat这样的工具可以实现同样的功能，但相对于keepalived，heartbeat的实现要复杂得多（如撰写ipvsadm脚本，部署ldirectord，编写资源文件等）。在采用keepalived的方案里，只要ipvsadm被正确的安装，简单的配置唯一的文件keepalived就行了。

6.1 lvs 核心ipvs

Ipvs(IP Virtual Server)是整个负载均衡的基础，如果没有这个基础，故障隔离与失败切换就毫无意义了。在大部分linux发行版中，ipvs被默认安装，而以本书前面介绍的方法定制安装系统，则ipvs没有被默认安装。

除大部分linux发行版支持ipvs外，FreeBSD也可以支持LVS，只不过实现起来要麻烦一些。

6.1.1安装ipvs

Ipvs具体实现是由ipvsadm这个程序来完成，因此判断一个系统是否具备ipvs功能，只需要察看ipvsadm 程序是否被安装。察看ipvsadm程序最简单的办法就是在任意路径执行命令ipvsadm。表6-1为安装ipvsadm及未安装ipvsadm的输出对比。

表6-1 ipvsadm输出对比（样例来源centos 5.2）

●     Centos5.2安装ipvsadm( 假定当前目录为/root)

1、  从官方网站下载ipvsadm，目前最新的版本为ipvsadm-1.25.tar.gz ，其发布时间是2008年11月5日。

取得该版本[1]。

2、  创建一个连接文件，其命令为：ln –sv /usr/src/kernels/2.6.18-92.el5PAE-i686 /usr/src/linux .注意一定要与当前的运行的内核相一致，因为/usr/src/kernels目录下可多个目录。如果不创建这个连接文件，在编译时会出错，从而不能继续进行安装。

3、  解包。 tar zxvf ipvsadm-1.24

4、  编译并安装。 cd ipvsadm-1.24; make;make install  可执行文件被安装到/sbin/ipvsadm.

●     检验ipvsadm是否被正确安装

1、  执行ipvsadm，看是否有表6-1第2栏的输出。

2、  检查当前加载的内核模块，看是否存在ip_vs模块。

注1、只有执行ipvsadm以后，才会在内核加载ip_vs模块。

注2、不能以查进程的方式判断ipvs是否运行。

注[1]：如果下载最新的ipvsadm-1.25.tar.gz这个版本，在创建连接文件/usr/src/linux后，执行编译时，可能需要修改/boot/grub/grub.conf启动内核名称。一旦当前运行内核与连接文件所代表的内核名不一致时，将出现找不到*.h这样的错误，从而导致安装不能正常进行。

6.1.2 lvs客户端

Lvs的客户端指负载均衡其/转发器（director）后面提供服务的真实机器。负载均衡类型（lb_kind）一般分直接路由模式DR 、网络地址转换模式 NAT以及隧道模式TUN三种。Lvs客户端的配置是根据其所采用的负载均衡种类(lb_kind)来做相应操作的。在我们的应用环境里，为了获得最高的性能，采用的负载均衡种类(lb_kind)是直接路由模式DR。

不管采取哪一种模式，lvs客户端都不需安装额外的软件。

Lvs可支持的客户端包括：各种GNU/linux、大部分unix已经windows。目前我已经成功运行的lvs客户端环境有centos、redhat、freebsd、windows等。需要注意的是，由于客户端操作系统的不同，lvs客户端的配置也就各不相同了。本书中，将以centos及freebsd两种操作系统作为lvs的客户端，给出其直接路由模式DR的配置方法。

●     lvs客户端（真实服务器）操作系统是centos时的配置文件

[root@huludao-2 ~]#more /usr/local/bin/lvs_real

这里对配置文件里重要的一些项进行说明：

1、  vip(virtual ip)。直接路由模式的vip必须跟服务器对外提供服务的ip地址在同一个网段，并且lvs 负载均衡器和其他所有提供相同功能的服务器都使用这个vip.

2、  vip被绑定在环回接口lo0:0上，其广播地址是其本身，子网掩码是255.255.255.255。这与标准的网络地址设置有很大的不同。采用这种可变长掩码方式把网段划分成只含一个主机地址的目的是避免ip地址冲突。

3、  echo “1”,echo “2” 这段的作用是抑制arp广播。如果不做arp抑制，将会有众多的机器向其他宣称：“嗨！我是奥巴马，我在这里呢！”，这样就乱套了。

●     lvs客户端（真实服务器）操作系统是freebsd时的配置文件

fav1# more /usr/local/bin/lvs_real_bsd

在这里，我们同样对这个配置脚本的某些项进行说明：

1、vip地址设置和arp抑制用 /sbin/ifconfig lo0 $VIP  netmask 255.255.255.255 alias -arp up

这么一行就实现了。

我们把这两种操作系统的lvs客户端做个比较，发现freebsd的配置书写上要简洁一些，是不是可以认为freebsd的网络功能比linux强大呢？

6.1.3 lvs客户端验证

lvs客户端不必依赖负载均衡器就可以独立运行，只不过这种运行对负载均衡没有任何作用，当然也没有任何副作用，所以我们把lvs客户端配置完成后（配置文件就是一个shell脚本），可以单独运行它，来检验配置是否正确。

●     centos 脚本

配置脚本写好保存，给予脚本执行权限。脚本启停以start和stop这两个参数来控制。首先，我们来启动配置脚本，执行命令 /usr/local/bin/lvs_real start ,接着我们来检查网络的状态:

从输出可以看出，lo0:0确实绑定了我们指定的vip地址。那么当我们执行 /usr/local/bin/lvs_real时，vip应当从lo0:0接口卸载。我们来看看输出是什么：

噢，上帝！正是我们所期待的结果：vip从lo上消失了。

●freebsd脚本/usr/local/bin/lvs_real_bsd

启停所使用的方法和参数与centos那个配置脚本是一样的，但察看方法有所不同（freebsd无ip add工具）。这里使用的方法是ifconfig，启动时输出如下：

当执行/usr/local/bin/lvs_real_bsd stop 时，vip被卸载。有时可能卸载不成功，可能需要多执行几次停止命令。

●arp抑制验证

如果不配置负载均衡器的转发功能，那么在这个步骤所设置的vip将不会提供任何ip功能，除了能用ifconfig输出显示而外。

在没有配置或开启lvs负载均衡器的情况下，我们用其他机器ping vip,应该是不通的。当然在网络前面启用了防火墙阻止ping 不算。为了不影响测试，最好把你的防火墙打开。

Arp抑制生效后，再也没有机器知道vip的存在，这是一个问题，谁来响应vip请求？这个问题交给负载均衡器吧，它知道这背后的一切。

6.2 故障隔离、失败切换框架keepalived

Keepalived是运行在lvs之上，它的主要功能是实现真实机的故障隔离及负载均衡器间的失败切换FailOver.lvs结合keepalived，就实现了3层、4层、5/7层交换的功能，下面摘录来自官方网站www.keepalived.org的一段描述：

The main goal of the keepalived project is to add a strong & robust keepalive facility to the Linux
Virtual Server project. This project is written in C with multilayer TCP/IP stack checks. Keepalived implements a framework based on three family checks : Layer3, Layer4 & Layer5/7. This framework gives the daemon the ability of checking
a LVS server pool states. When one of the server of the LVS server pool is down, keepalived informs the linux kernel via a setsockopt call to remove this server entrie from the LVS topology. In addition keepalived implements an independent VRRPv2 stack to
handle director failover. So in short keepalived is a userspace daemon for LVS cluster nodes healthchecks and LVS directors failover.

从这段描述中，我们可以得到几个有用的信息：

1、  keepalived是lvs的扩展项目，因此它们之间具备良好的兼容性。这点应该是keepalived部署比其他类似工具能更简洁的原因吧！

2、  通过对服务器池对象的健康检查，实现对失效机器/服务的故障隔离。

3、  负载均衡器之间的失败切换failover，是通过VRRPv2（Virtual Router Redundancy Protocol） stack实现的。

6.2.1 keepalived 体系结构

Keepalived 大致分两层结构：用户空间 user space和内核空间 kernel space.图6-2是来自官方站点（http://www.keepalived.org/software_design.html）关于其结构的展示。

图6-2 keepalived 内部结构图

在这个结构图里，处于下端的是内核空间，它包括ipvs和NETLINK两个部分。Ipvs的作用在前面的章节已经做过描述，不再重复叙述；netlink提供高级路由及其他相关的网络功能，如果我们在负载均衡器上启用netfilter/iptable,将会直接影响它的性能。出于图形上方的组件为用户空间，由它来实现具体的功能，下面选取几个重要的来做说明：

1、  WatchDog 负责监控checkers和VRRP进程的状况。

2、  Checkers 负责真实服务器的健康检查healthchecking，是keepalived最主要的功能。换句话说—可以没有VRRP Stack,但健康检查healthchecking是一定要有的。

3、  VRRP Stack负责负载均衡器之间的失败切换FailOver.如果只用一个负载均衡器，则VRRP不是必须的。

抱歉!评论已关闭.

Copyright © 2013-2018 学步园  保留所有权利.
软文销售 QQ客服：2265327166 （其他合作也可洽谈）

必威体育

必威电竞