企业级调度器lvs

本章概要

集群Cluster概念
LVS简介
LVS模型
LVS调度算法
LVS实现
ldirectord

1、集群概念

Cluster概念

系统扩展方式：
Scale UP：向上扩展,增强
Scale Out：向外扩展,增加设备，调度分配问题，Cluster
Cluster：集群,为解决某个特定问题将多台计算机组合起来形成的单个系统
Linux Cluster类型：
LB：Load Balancing，负载均衡
HA：High Availiablity，高可用，SPOF（single Point Of failure）
MTBF:Mean Time Between Failure 平均无故障时间
MTTR:Mean Time To Restoration（ repair）平均恢复前时间
A=MTBF/（MTBF+MTTR） (0,1)：99%, 99.5%, 99.9%, 99.99%, 99.999%
HPC：High-performance computing，高性能 www.top500.org
分布式系统：
分布式存储：云盘
分布式计算：hadoop，Spark
注意：负载均衡和高可用性是两种不同技术，解决问题的出发点不同，负载均衡在于提升系统性能，高可用性在于解决系统的可用性，二者不能混为一谈

Cluster分类

LB Cluster的实现
硬件
F5 Big-IP
Citrix Netscaler
A10 A10
F5设备如下图所示：

软件
lvs：Linux Virtual Server
nginx：支持七层调度，阿里七层SLB使用Tengine
haproxy：支持七层调度
ats：apache traffic server，yahoo捐助
perlbal：Perl 编写
pound

基于工作的协议层次划分：
传输层（通用）：DPORT
LVS：
nginx：stream
haproxy：mode tcp
传输层以下的调度，即下四层调度，无法识别应用层报文和协议，因此无法对应用实现调度。基于传输层以下协议层，速度快，只能根据ip地址和端口转发数据，无法识别应用层数据
应用层（专用）：针对特定协议，自定义的请求模型分类
proxy server：
http：nginx, httpd, haproxy(mode http), ...
fastcgi：nginx, httpd, ...
mysql：mysql-proxy, ...
基于七层协议解析，需要解封装和封装的过程，性能稍差，但能够识别应用层数据

Cluster相关

会话保持：负载均衡
(1) session sticky：根据源ip地址判断，同一用户调度固定服务器
Source IP：LVS sh算法（对某一特定服务而言），绑定源ip地址，进行hash运算
Cookie：保存用户信息，该用户下次访问时，调度到同一个服务器
(2) session replication：每台服务器拥有全部session
session multicast cluster：多播会话集群
把用户访问的会话信息，如cookie信息复制到全部的服务器，使得全部服务器拥有用户访问某台服务器的信息，可以把用户调度到任一服务器上，但这样造成了数据的大量冗余，数据的复制也消耗内存资源，因此不适合大规模场景，只能在小规模环境中使用
(3) session server：专门的session服务器
设置专门的session服务器存储会话信息，根据会话服务器的对应关系，调度用户请求到服务器，但这需要专门的应用服务器实现，如Memcached，Redis
HA集群实现方案
keepalived:vrrp协议
实现LVS的高可用性，防止LVS出现单点失败，造成全局性的重大损失。动态的ip地址，实现ip地址飘动，一旦LVS出现故障，自动把ip地址转移到备用LVS服务器上
ais:应用接口规范
heartbeat
cman+rgmanager(RHCS)
coresync_pacemaker

2、LVS简介

LVS介绍

LVS：Linux Virtual Server，负载调度器，集成内核，章文嵩，阿里SLB目前使用
官网：http://www.linuxvirtualserver.org/
VS: Virtual Server，负责调度
RS: Real Server，负责真正提供服务
L4：四层路由器或交换机
工作原理：VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS，根据调度算法来挑选RS
iptables/netfilter：
iptables：用户空间的管理工具
netfilter：内核空间上的框架
流入：PREROUTING --> INPUT
流出：OUTPUT --> POSTROUTING
转发：PREROUTING --> FORWARD --> POSTROUTING
DNAT：目标地址转换； PREROUTING

LVS集群体系结构

LVS概念

lvs集群类型中的术语：
VS：Virtual Server，Director Server(DS)，Dispatcher(调度器)，Load Balancer 调度器
RS：Real Server(lvs), upstream server(nginx)，backend server(haproxy) 真正提供服务的服务器
CIP：Client IP 客户端IP
VIP: Virtual serve IP 前端调度器的ip地址，针对外网的IP地址：VIP，一般是公网地址
DIP: Director IP 前端调度器的ip地址，针对内网的IP地址：DIP，一般是私网地址
RIP: Real server IP 提供真正服务的服务器RS的IP地址，一般是私网地址
访问流程：CIP <--> VIP == DIP <--> RIP
注意：保证访问到任何一个服务器上数据一致，需要把数据不在本地保存，而是让所有服务器使用一个共享存储，把服务器存储数据的目录挂载到共享存储，把数据保存到共享存储中

3、LVS类型

lvs集群的类型

lvs: ipvsadm/ipvs
ipvsadm：用户空间的命令行工具，规则管理器
用于管理集群服务及RealServer
ipvs：工作于内核空间netfilter的INPUT钩子上的框架
lvs集群的类型：
lvs-nat：修改请求报文的目标IP,多目标IP的DNAT
lvs-dr：操纵封装新的MAC地址
lvs-tun：在原请求IP报文之外新加一个IP首部
lvs-fullnat：修改请求报文的源和目标IP

lvs-nat模式

lvs-nat：

NAT模式IP包调度过程：

(1)客户端向web服务器发出请求报文，报文中源ip地址为CIP，目标地址为VIP  
(2)经过路由器转发，达到LVS调度器，通过PREROUTING链，经过路由表检测，发现目标地址为本机IP地址，发送给INPUT链。
而lvs模块工作在INPUT链之前，把该报文截获下来，把报文中目的地址转换为RIP，把80端口变为映射的Real Server端口号如8080，源ip地址CIP不变，并强制转发给POSTROUTING链发送给Real Server  
(3)Real Server接收到报文后解封装报文接受请求，并回复响应报文，报文中源ip地址为本机地址RIP，目的地址为客户端地址CIP，发送给LVS  
(4)LVS调度器接收到报文后，经过SNAT转换把RIP转换为VIP，把映射端口8080变为映射前的80端口，目的地址CIP不变，把报文转发给客户端，这样客户端就获取到了web服务器的数据  
注意：做实验时，要禁用iptables和firewall

本质是多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和PORT实现转发
（1）RIP和DIP应在同一个IP网络，且应使用私网地址；RS的网关要指向DIP
（2）请求报文和响应报文都必须经由Director转发，Director易于成为系统瓶颈
（3）支持端口映射，可修改请求报文的目标PORT
（4）VS必须是Linux系统，RS可以是任意OS系统

VS/NAT的体系结构
NAT模式IP包调度过程
NAT模式

lvs-dr模式

LVS-DR：

DR模型IP包调度过程：

DR模型配置时，需要把VIP地址绑定在LVS调度器以及每个Real Server上
为了防止VIP地址冲突，在Real Server上把VIP绑定在lo环回网卡上，修改内核参数让VIP不响应外部arp广播包以及不对外宣称自己拥有VIP
LVS调度器上可以把VIP和DIP绑定在一个网卡上
LVS调度器和RS服务器必须处于同一网段，否则无法通过arp广播获取RS服务器的mac地址
RS服务器需要配置两个网段：内网(RIP)和外网(VIP)

(1)客户端向web服务器发送请求，请求报文中源地址为CIP，目标地址为VIP，源mac地址为客户端mac地址，目标mac地址为转发路由器mac地址
(2)当请求报文到达转发路由器时，路由器发送arp广播以获取VIP对应的mac地址，此时由于Real Server上的VIP设置为静默模式，只有LVS调度器上的VIP响应此arp广播，因此此请求报文转发给LVS调度器
(3)请求报文在LVS调度器经过PREROUTING链，到达INPUT链之前，被IPVS模块获取，如果请求报文请求的是集群服务，则把请求报文中的源MAC地址由客户端MAC地址更改为DIP的mac地址，把目标mac由VIP mac地址更改为RIP mac地址，而源ip地址和目标ip地址不变，转发给POSTROUTING链。
(4)由于LVS调度器和Real Server处于同一网络，因此可以通过mac地址通讯，LVS调度器根据本地调度列表，发送arp广播，请求获取Real Server的RIP地址
此时，Real Server上的VIP处于静默模式，但并不影响RIP所在网卡做出响应，LVS调度器根据获取到的Real Server响应的mac地址把请求报文转发给对应的Real Server，Real Server发现接收请求报文解封装，发现目标mac地址为自己的mac地址，因此接收请求并回复响应报文。
(5)由于请求报文中的源ip地址为VIP，而Real Server本地lo网卡存在VIP地址，因此响应报文中源ip地址为VIP地址，目标ip地址为CIP，源mac地址为Real Server的mac地址，目标mac地址为转发路由器的mac地址
(6)转发路由器接收到响应报文解封装，发现源目标ip地址为CIP，就把响应报文转发给CIP，此时报文中ip地址不变，源mac地址为转发路由器的mac地址，目标mac地址为客户端的mac地址
(7)最后，客户端接收响应报文，完成数据交换

LVS-DR：Direct Routing，直接路由，LVS默认模式,应用最广泛,通过为请求报文重新封装一个MAC首部进行转发，源MAC是DIP所在的接口的MAC，目标MAC是某挑选出的RS的RIP所在接口的MAC地址；源IP/PORT，以及目标IP/PORT均保持不变
（1） Director和各RS都配置有VIP
（2）确保前端路由器将目标IP为VIP的请求报文发往Director
在前端网关做静态绑定VIP和Director的MAC地址
在RS上使用arptables工具
arptables -A IN -d $VIP -j DROP
arptables -A OUT -s $VIP -j mangle --mangle-ip-s $RIP
在RS上修改内核参数以限制arp通告及应答级别
/proc/sys/net/ipv4/conf/all/arp_ignore
/proc/sys/net/ipv4/conf/all/arp_announce
（3）RS的RIP可以使用私网地址，也可以是公网地址；RIP与DIP在同一IP网络；RIP的网关不能指向DIP，以确保响应报文不会经由Director
（4）RS和Director要在同一个物理网络
（5）请求报文要经由Director，但响应报文不经由Director，而由RS直接发往Client
（6）不支持端口映射（端口不能修败）
（7）RS可使用大多数OS系统

VS/DR体系结构
DR模式IP包调度过程
DR模式

知识回顾：

ip地址冲突的原理：
    查询其他主机是否拥有某ip地址
    首先查询本地缓存的ip和mac地址对应关系表
    如果存在，直接返回结果
        解决方法1：在arp表中直接把VIP和mac地址绑定(不推荐使用)
        缺点：一旦lvs服务器出现故障，无法自动启用备用的lvs服务器，需要手动进行配置，而且还需要对路由器进行配置，操作起来不方便
    如果不存在则对全网发送arp广播，询问其他主机是否拥有此ip地址，而拥有此ip地址的主机则会做出响应，声明自己拥有此ip地址，这样就会造成ip地址冲突
    另外，在配置IP地址之后，将会自动发送一个免得arp请求，向外宣称自己拥有此VIP地址，这样一来也会造成地址冲突
        解决方法2：不响应询问是否拥有VIP地址的广播包
                  不对外宣称自己拥有VIP地址
    因此，以上就是避免地址冲突的两种解决方案，但推荐使用第二种解决方案

使用第二种解决方案，需要在Real Server上更改以下内核参数
    /proc/sys/net/ipv4/conf/all/arp_ignore   值更改为1
    /proc/sys/net/ipv4/conf/lo/arp_ignore    值更改为1
    /proc/sys/net/ipv4/conf/all/arp_announce  值更改为2
    /proc/sys/net/ipv4/conf/lo/arp_announce   值更改为2
为了防止出现地址冲突，需要把VIP和RIP的地址设置在不同的网卡上，即把VIP绑定在本地环回网卡lo上，而RIP设置在其他网卡(如ens33)上
只更改数据链路层的mac地址
lvs服务器和RS服务之间必须是交换机，不能使路由器，因为lvs服务器和RS服务器之间需要通过arp广播获取RS服务器的mac地址

lvs-tun模式

lvs-tun：

tun模型IP包调度过程：

在Real Server上绑定VIP地址，为了实现能够从Real Server直接回复响应报文给客户端，因此需要把VIP地址与每一个Real Server进行绑定，类似于lvs-dr模型
(1)客户端向web服务器发出请求报文，报文中源ip地址为CIP，目标地址为VIP
(2)经过路由器转发，达到LVS调度器，通过PREROUTING链，经过路由表检测，发现目标地址为本机IP地址，发送给INPUT链.
而lvs模块工作在INPUT链之前，把该报文截获下来，在请求报文之外再次封装一个IP报文头部，源ip地址为DIP，目的ip地址为RIP，并强制发送给POSTROUTING链转发出去
(3)经过传输，Real Server接收该报文后进行解封装，发现还有一个ip报文头部，报文中的目标ip地址是自己lo网卡的VIP地址，开始回复响应报文
(4)由于请求报文中的目的地址为VIP，而本地lo网卡为VIP地址，所以响应报文中的源ip地址为VIP，目标地址为CIP回复响应报文，通过路由转发到达客户端
(5)客户端接收响应报文，完成数据交换

转发方式：不修改请求报文的IP首部（源IP为CIP，目标IP为VIP），而在原IP报文之外再封装一个IP首部（源IP是DIP，目标IP是RIP），将报文发往挑选出的目标RS；RS直接响应给客户端（源IP是VIP，目标IP是CIP）
(1) DIP, VIP, RIP都应该是公网地址
(2) RS的网关一般不能指向DIP
(3) 请求报文要经由Director，但响应不经由Director
(4) 不支持端口映射
(5) RS的OS须支持隧道功能

VS/TUN体系结构
TUN模式IP包调度过程

lvs-fullnat模式

lvs-fullnat：通过同时修改请求报文的源IP地址和目标IP地址进行转发
CIP --> DIP
VIP --> RIP
(1) VIP是公网地址，RIP和DIP是私网地址，且通常不在同一IP网络；因此，RIP的网关一般不会指向DIP
(2) RS收到的请求报文源地址是DIP，因此，只需响应给DIP；但Director还要将其发往Client
(3) 请求和响应报文都经由Director
(4) 支持端口映射
注意：此类型kernel默认不支持

LVS工作模式总结		VS/NAT	VS/TUN
Server	any	Tunneling	Non-arp device
server network	private	LAN/WAN	LAN
server number	low(10-20)	High(100)	High(100)
server gateway	load balancer	own router	Own router

lvs-nat与lvs-fullnat：请求和响应报文都经由Director
lvs-nat：RIP的网关要指向DIP
lvs-fullnat：RIP和DIP未必在同一IP网络，但要能通信
lvs-dr与lvs-tun：请求报文要经由Director，但响应报文由RS直接发往Client
lvs-dr：通过封装新的MAC首部实现，通过MAC网络转发
lvs-tun：通过在原IP报文外封装新IP头实现转发，支持远距离通信

4、LVS调度算法

ipvs scheduler

ipvs scheduler：根据其调度时是否考虑各RS当前的负载状态
两种：静态方法和动态方法
静态方法：仅根据算法本身进行调度，即只考虑自己的需求，不关心RS服务器的承载状态和能力
1、RR：roundrobin，轮询
从第一台到最后一台顺序执行，执行一遍以后，再次从头开始
2、WRR：Weighted RR，加权轮询
加权轮询，定义权重值，根据权重进行分配，权重越高，分配访问量越多，权重可以使用较大的值进行分配，可以更细化分配权重值
3、SH：Source Hashing，实现session sticky，源IP地址hash；将来自于同一个IP地址的请求始终发往第一次挑中的RS，从而实现会话绑定
4、DH：Destination Hashing；目标地址哈希，第一次轮询调度至RS，后续将发往同一个目标地址的请求始终转发至第一次挑中的RS，典型使用场景是正向代理缓存场景中的负载均衡，如：宽带运营商
动态方法：主要根据每RS当前的负载状态及调度算法进行调度Overhead=value，较小的RS将被调度
1、LC：least connections 适用于长连接应用
Overhead=activeconns*256+inactiveconns
缺点：没有对服务器性能进行考虑
2、WLC：Weighted LC，默认调度方法
Overhead=(activeconns*256+inactiveconns)/weight
加上权重,权重越小,负载越低,优先调度系统默认算法
缺点：刚上线的服务器，没有连接数，算出的权重值为0，体现不出权重的用处
3、SED：Shortest Expection Delay,初始连接高权重优先
Overhead=(activeconns+1)*256/weight
缺点：如果权重值差别很大，如1和10，仍然存在不公平现象
4、NQ：Never Queue，第一轮均匀分配，后续SED
5、LBLC：Locality-Based LC，动态的DH算法，使用场景：根据负载状态实现正向代理
6、LBLCR：LBLC with Replication，带复制功能的LBLC，解决LBLC负载不均衡问题，从负载重的复制到负载轻的RS

ipvs

ipvsadm/ipvs：
ipvs：
grep -i -C 10 "ipvs" /boot/config-VERSION-RELEASE.x86_64
支持的协议：TCP， UDP， AH， ESP， AH_ESP, SCTP
ipvs集群：
管理集群服务
管理服务上的RS

ipvsadm包构成

ipvsadm：
程序包：ipvsadm
Unit File: ipvsadm.service
主程序：/usr/sbin/ipvsadm
规则保存工具：/usr/sbin/ipvsadm-save
规则重载工具：/usr/sbin/ipvsadm-restore
配置文件：/etc/sysconfig/ipvsadm-config

ipvsadm命令

ipvsadm命令：
核心功能：
集群服务管理：增、删、改
集群服务的RS管理：增、删、改
查看
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] [-M netmask] [--pe persistence_engine] [-b sched-flags]
ipvsadm -D -t|u|f service-address 删除
ipvsadm –C 清空
ipvsadm –R 重载
ipvsadm -S [-n] 保存
ipvsadm -a|e -t|u|f service-address -r server-address [options]
ipvsadm -d -t|u|f service-address -r server-address
ipvsadm -L|l [options]
ipvsadm -Z [-t|u|f service-address]
管理集群服务：增、改、删
增、改：
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]
删除：
ipvsadm -D -t|u|f service-address
service-address：
-t|u|f：
-t: TCP协议的端口，VIP:TCP_PORT
-u: UDP协议的端口，VIP:UDP_PORT
-f：firewall MARK，标记，一个数字
[-s scheduler]：指定集群的调度算法，默认为wlc
管理集群上的RS：增、改、删
增、改：ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight]
删：ipvsadm -d -t|u|f service-address -r server-address
server-address：
rip[:port] 如省略port，不作端口映射
选项：
lvs类型：
-g: gateway, dr类型，默认
-i: ipip, tun类型
-m: masquerade, nat类型
-w weight：权重
清空定义的所有内容：ipvsadm –C
清空计数器：ipvsadm -Z [-t|u|f service-address]
查看：ipvsadm -L|l [options]
--numeric, -n：以数字形式输出地址和端口号
--exact：扩展信息，精确值
--connection，-c：当前IPVS连接输出
--stats：统计信息
--rate ：输出速率信息
ipvs规则：/proc/net/ip_vs
ipvs连接：/proc/net/ip_vs_conn

保存及重载规则

保存：建议保存至/etc/sysconfig/ipvsadm
ipvsadm-save > /PATH/TO/IPVSADM_FILE
ipvsadm -S > /PATH/TO/IPVSADM_FILE
systemctl stop ipvsadm.service
重载：
ipvsadm-restore < /PATH/FROM/IPVSADM_FILE
ipvsadm -R < /PATH/FROM/IPVSADM_FILE
systemctl restart ipvsadm.service

知识扩展：

查看ipvsadm的service文件，发现启动ipvsadm服务就是读取/etc/sysconfig/ipvsadm文件中的规则
[root@lvs yum.repos.d]# cat /usr/lib/systemd/system/ipvsadm.service
[Unit]
Description=Initialise the Linux Virtual Server
After=syslog.target network.target

[Service]
Type=oneshot
ExecStart=/bin/bash -c "exec /sbin/ipvsadm-restore < /etc/sysconfig/ipvsadm"   启动ipvsadm服务就是读取/etc/sysconfig/ipvsadm文件中的规则
ExecStop=/bin/bash -c "exec /sbin/ipvsadm-save -n > /etc/sysconfig/ipvsadm"
ExecStop=/sbin/ipvsadm -C
RemainAfterExit=yes

[Install]
WantedBy=multi-user.target

ipvsadm-save -n > /etc/sysconfig/ipvsadm   保存规则
ipvsadm-restore < /etc/sysconfig/ipvsadm   导入规则

因此，把ipvsadm服务设置为开机自启动，该服务启动后会自动读取保存到/etc/sysconfig/ipvsadm文件中的调度规则，只需保存调度规则到/etc/sysconfig/ipvsadm文件，并把ipvsadm服务设置为开机自启动即可
ipvsadm-save -n > /etc/sysconfig/ipvsadm
systemctl enable ipvsadm.service

5、LVS实现

LVS

负载均衡集群设计时要注意的问题
(1) 是否需要会话保持
(2) 是否需要共享存储
共享存储：NAS， SAN， DS（分布式存储）
数据同步：
lvs-nat：
设计要点：
(1) RIP与DIP在同一IP网络, RIP的网关要指向DIP
(2) 支持端口映射
(3) Director要打开核心转发功能

LVS-DR

DR模型中各主机上均需要配置VIP，解决地址冲突的方式有三种：
(1) 在前端网关做静态绑定
(2) 在各RS使用arptables
(3) 在各RS修改内核参数，来限制arp响应和通告的级别
限制响应级别：arp_ignore
0：默认值，表示可使用本地任意接口上配置的任意地址进行响应
1: 仅在请求的目标IP配置在本地主机的接收到请求报文的接口上时，才给予响应
限制通告级别：arp_announce
0：默认值，把本机所有接口的所有信息向每个接口的网络进行通告
1：尽量避免将接口信息向非直接连接网络进行通告
2：必须避免将接口信息向非本网络进行通告

RS的配置脚本

vim lvs_dr_rs.sh
#!/bin/bash
#Author:wangxiaochun
#Date:2017-08-13
vip=10.0.0.100
mask='255.255.255.255'
dev=lo:1
rpm -q httpd &> /dev/null || yum -y install httpd &>/dev/null
service httpd start &> /dev/null && echo "The httpd Server is Ready!"
echo "<h1>`hostname`</h1>" > /var/www/html/index.html

case $1 in
start)
    echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
    echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
    echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
    ifconfig $dev $vip netmask $mask #broadcast $vip up
    #route add -host $vip dev $dev
    echo "The RS Server is Ready!"
    ;;
stop)
    ifconfig $dev down
    echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore
    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce
    echo "The RS Server is Canceled!"
    ;;
*) 
    echo "Usage: $(basename $0) start|stop"
    exit 1
    ;;
esac

VS的配置脚本

vim lvs_dr_vs.sh
#!/bin/bash
#Author:wangxiaochun
#Date:2017-08-13
vip='10.0.0.100'
iface='lo:1'
mask='255.255.255.255'
port='80'
rs1='192.168.8.101'
rs2='192.168.8.102'
scheduler='wrr'
type='-g'
rpm -q ipvsadm &> /dev/null || yum -y install ipvsadm &> /dev/null

case $1 in
start)
    ifconfig $iface $vip netmask $mask #broadcast $vip up
    iptables -F

    ipvsadm -A -t ${vip}:${port} -s $scheduler
    ipvsadm -a -t ${vip}:${port} -r ${rs1} $type -w 1
    ipvsadm -a -t ${vip}:${port} -r ${rs2} $type -w 1
    echo "The VS Server is Ready!"
    ;;
stop)
    ipvsadm -C
    ifconfig $iface down
    echo "The VS Server is Canceled!"
    ;;
*)
    echo "Usage: $(basename $0) start|stop"
    exit 1
    ;;
esac

综合实验：以lvs-dr模型为例

RS1服务器配置：
    关闭防火墙，selinux，firewalld 
        systemctl stop firewalld
        systemctl disable firewalld
        iptables -F
        vim /etc/sysconfig/selinux
        SELINUX=disabled
        注意：selinux配置系统重启生效
    添加网关或添加默认路由到达其他网络
        vim /etc/sysconfig/network-scripts/ifcfg-ens33
        IPADDR=192.168.32.129
        PREFIX=24
        GATEWAY=192.168.32.200
    安装httpd，创建网页文件
        yum -y install httpd
        echo RS1 server > /var/www/html/index.html
    使用lvs_dr_rs.sh脚本把VIP绑定到本地lo网卡，并更改相关配置
        注意：脚本中的ip地址要更改为后端服务器RS的ip地址

    RS2服务器配置
    关闭防火墙，selinux，firewalld 
        systemctl stop firewalld
        systemctl disable firewalld
        iptables -F
        vim /etc/sysconfig/selinux
        SELINUX=disabled
        注意：selinux配置系统重启生效
    添加网关或添加默认路由到达其他网络
        vim /etc/sysconfig/network-scripts/ifcfg-ens33
        IPADDR=192.168.32.130
        PREFIX=24
        GATEWAY=192.168.32.200
    安装httpd，创建网页文件
        yum -y install httpd
        echo RS2 server > /var/www/html/index.html
    使用lvs_dr_rs.sh脚本把VIP绑定到本地lo网卡，并更改相关配置
        注意：脚本中的ip地址要更改为后端服务器RS的ip地址

    路由器配置
    关闭防火墙，selinux，firewalld 
        systemctl stop firewalld
        systemctl disable firewalld
        iptables -F
        vim /etc/sysconfig/selinux
        SELINUX=disabled
        注意：selinux配置系统重启生效
        vim /etc/sysconfig/network-scripts/ifcfg-ens33
        ONBOOT=yes
        IPADDR=192.168.32.200
        PREFIX=24
        IPADDR2=10.0.0.200
        PREFIX2=8
        vim /etc/sysconfig/network-scripts/ifcfg-ens37
        IPADDR=172.20.45.100
        PREFIX=16
    添加到达客户端的路由
        route add -net 172.20.0.0/16 gw 10.0.0.100

    客户端配置
    关闭防火墙，selinux，firewalld 
    关闭防火墙，selinux，firewalld 
        systemctl stop firewalld
        systemctl disable firewalld
        iptables -F
        vim /etc/sysconfig/selinux
        SELINUX=disabled
        注意：selinux配置系统重启生效
    配置路由，网关指向路由器外网地址
        route add -net 10.0.0.0/8 gw 172.20.45.100
        配置ip地址
        vim /etc/sysconfig/network-scripts/ifcfg-ens33
        IPADDR=172.20.45.10
        PREFIX=16

    LVS调度器
    关闭防火墙，selinux，firewalld 
    开启转发功能，配置文件手动添加/etc/sysctl.conf  
        net.ipv4.ip_forward=1
        sysctl -p   配置文件生效
    配置ip地址
        vim /etc/sysconfig/network-scripts/ifcfg-ens33 
        IPADDR=192.168.32.131
        PREFIX=24
        GATEWAY=192.168.32.200
    把VIP绑定到本地lo网卡
        ifconfig lo:1 10.0.0.100 netmask 255.255.255.255
    安装软件包ipvsadm
        yum -y install ipvsadm

基于http 80端口
    配置基于wrr算法的集群
        ipvsadm -A -t 10.0.0.100:80 -s wrr
    配置管理的RS服务器
        ipvsadm -A -t 10.0.0.100:80 -r 192.168.32.129 -w 1
        ipvsadm -A -t 10.0.0.100:80 -r 192.168.32.130 -w 1
        注意：LVS调度器中的网关的配置没有意义，但是必须存在，不能删除，可以将其配置为与RIP同一网段的任意地址

基于https 443端口
    配置基于wrr算法的集群
        ipvsadm -A -t 10.0.0.100:443 -s wrr
    配置管理的RS服务器
        ipvsadm -A -t 10.0.0.100:443 -r 192.168.32.129 
        ipvsadm -A -t 10.0.0.100:443 -r 192.168.32.130

测试1：
    客户端测试
        curl 10.0.0.100
    基于权重轮询的配置测试结果，RS1和RS2权重值为1
        [root@client ~]# curl 10.0.0.100
        RS2 server
        [root@client ~]# curl 10.0.0.100
        RS1 server
        [root@client ~]# curl 10.0.0.100
        RS2 server
        [root@client ~]# curl 10.0.0.100
        RS1 server
        [root@client ~]# curl 10.0.0.100

测试2：
    使用死循环测试查看动态调度效果
        while true;do curl http://10.0.0.100 ;sleep 0.5; done;

FireWall Mark

FWM：FireWall Mark
MARK target 可用于给特定的报文打标记
--set-mark value
其中：value 可为0xffff格式，表示十六进制数字
借助于防火墙标记来分类报文，而后基于标记定义集群服务；可将多个不同的应用使用同一个集群服务进行调度
实现方法：
在Director主机打标记：
iptables -t mangle -A PREROUTING -d $vip -p $proto –m multiport --dports $port1,$port2,… -j MARK --set-mark NUMBER
在Director主机基于标记定义集群服务：
ipvsadm -A -f NUMBER [options]

持久连接

session 绑定：对共享同一组RS的多个集群服务，需要统一进行绑定，lvs sh算法无法实现
持久连接（ lvs persistence ）模板：实现无论使用任何调度算法，在一段时间内（默认360s ），能够实现将来自同一个地址的请求始终发往同一个RS
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]
持久连接实现方式：
每端口持久（PPC）：每个端口定义为一个集群服务，每集群服务单独调度
每防火墙标记持久（PFWMC）：基于防火墙标记定义集群服务；可实现将多个端口上的应用统一调度，即所谓的port Affinity
每客户端持久（PCC）：基于0端口（表示所有服务）定义集群服务，即将客户端对所有应用的请求都调度至后端主机，必须定义为持久模式

LVS高可用

Director不可用，整个系统将不可用；SPoF Single Point of Failure
解决方案：高可用
keepalived heartbeat/corosync
某RS不可用时，Director依然会调度请求至此RS
解决方案：由Director对各RS健康状态进行检查，失败时禁用，成功时启用
keepalived heartbeat/corosync ldirectord
检测方式：
(a) 网络层检测，icmp
(b) 传输层检测，端口探测
(c) 应用层检测，请求某关键资源
RS全不用时：backup server, sorry server