12、以太网链路聚合与交换机堆叠、集群

前言

随着业务的发展和园区网络规模的不断扩大，用户对于网络的带宽、可靠性要求越来越高。传统解决方案通过升级设备方式提高网络带宽，同时通过部署冗余链路并辅以STP（Spanning Tree Protocol，生成树协议）协议实现高可靠。传统解决方案存在灵活度低、故障恢复时间长、配置复杂等缺点。 本次将介绍通过链路聚合技术与堆叠、集群技术实现网络带宽提升与高可靠性保障。

目录

网络的可靠性

网络的可靠性指当设备或者链路出现单点或者多点故障时保证网络服务不间断的能力。 网络的可靠性可以从单板、设备、链路多个层面实现。

单板可靠性

框式交换机由机框、电源模块、风扇模块、主控板、交换网板（SFU）、线路板（LPU）构成。 机框：为各种板卡、模块提供插槽，实现板卡间的通信。

电源模块：设备的供电系统

风扇模块：设备的散热系统

主控板（MPU，Main Processing Unit）：负责整个系统的控制平面和管理平面。

交换网板（SFU，Switch Fabric Unit）：负责整个系统的数据平面。数据平面提供高速无阻塞数据通道，实现各个业务模块之间的业务交换功能。

线路板（LPU，Line Processing Unit）：线路处理单元是物理设备上用于提供数据转发功能的模块，提供不同速率的光口、电口。

以S12700E-8为例，设备提供8个线路板槽位、4个交换网板槽位、2个主控板槽位、6个电源模块槽位、4个风扇模块槽位。

框式交换机配置多个主控板、交换网板可保证设备自身的可靠性，单个槽位的交换网板、主控板损坏不影响设备的正常运行。

框式交换机的线路板损坏后，该板卡上的接口无法正常转发数据。

设备可靠性

无备份：设备无冗余设计的网络中，下游交换机采用单上行接入，上行交换机的接口故障或设备故障会导致下游网络全部中断。

主备备份：设备冗余设计的网络中，下游交换机双上行接入，采用链路一主一备的方式，主链路上行接口、设备故障可以切换到备份链路，通过备份设备转发。

链路可靠性

为保证设备间链路可靠性，在设备间部署多条物理线路，为防止环路STP只保留一条链路转发流量，其余链路成为备份链路。

以太网链路聚合 提升链路带宽

设备之间存在多条链路时，由于STP的存在，实际只会有一条链路转发流量，设备间链路带宽无法得到提升。

概述

以太网链路聚合Eth-Trunk：简称链路聚合，通过将多个物理接口捆绑成为一个逻辑接口，可以在不进行硬件升级的条件下，达到增加链路带宽的目的。

基本术语/概念

聚合组（Link Aggregation Group，LAG）：若干条链路捆绑在一起所形成的的逻辑链路。每个聚合组唯一对应着一个逻辑接口，这个逻辑接口又被称为链路聚合接口或Eth-Trunk接口。

成员接口和成员链路：组成Eth-Trunk接口的各个物理接口称为成员接口。成员接口对应的链路称为成员链路。

活动接口和活动链路：活动接口又叫选中（Selected）接口网络交换机可以重复，是参与数据转发的成员接口。活动接口对应的链路被称为活动链路（Active link）

非活动接口和非活动链路：又叫非选中（Unselected）接口，是不参与转发数据的成员接口。非活动接口对应的链路被称为非活动链路（Inactive link）。

聚合模式 ：根据是否开启LACP（Link Aggregation Control Protocol，链路聚合控制协议），链路聚合可以分为手工模式和LACP模式。

其他概念：活动接口上限阈值和活动接口下限阈值。

手工模式

设备老旧、低端，不支持LACP协议。

手工模式： Eth-Trunk的建立、成员接口的加入均由手动配置，双方系统之间不使用LACP进行协商。

正常情况下所有链路都是活动链路，该模式下所有活动链路都参与数据的转发，平均分担流量，如果某条活动链路故障，链路聚合组自动在剩余的活动链路中平均分担流量。

当聚合的两端设备中存在一个不支持LACP协议时，可以使用手工模式。

手工模式缺陷

为了使链路聚合接口正常工作，必须保证本端链路聚合接口中所有成员接口的对端接口：

手工模式下，设备间没有报文交互，因此只能通过管理员人工确认。

手动模式下，设备只能通过物理层状态判断对端接口是否正常工作。

LACP模式

LACP模式：采用LACP协议的一种链路聚合模式。设备间通过链路聚合控制协议数据单元（Link Aggregation Control Protocol Data Unit，LACPDU）进行交互，通过协议协商确保对端是同一台设备、同一个聚合接口的成员接口。 LACPDU报文中包含设备优先级、MAC地址、接口优先级、接口号等。

系统优先级

LACP模式下，两端设备所选择的活动接口数目必须保持一致，否则链路聚合组就无法建立。此时可以使其中一端成为主动端，另一端（被动端）根据主动端选择活动接口。

通过系统LACP优先级确定主动端，值越小优先级越高。

系统LACP优先级默认为32768，越小越优，通常保持默认。当优先级一致时LACP会通过比较MAC地址选择主动端，MAC地址越小越优。

接口优先级

选出主动端后，两端都会以主动端的接口优先级来选择活动接口，优先级高的接口将优先被选为活动接口。接口LACP优先级值越小，优先级越高。

接口LACP优先级默认为32768，越小越优，通常保持默认，当优先级一致时LACP会通过接口编号选择活动接口，越小越优。

最大活动接口数

LACP模式支持配置最大活动接口数目，当成员接口数目超过最大活动接口数目时会通过比较接口优先级、接口号选举出较优的接口成为活动接口，其余的则成为备份端口（非活动接口），同时对应的链路分别成为活动链路、非活动链路。交换机只会从活动接口中发送、接收报文。

当活动链路中出现链路故障时，可以从非活动链路中找出一条优先级最高（接口优先级、接口编号比较）的链路替换故障链路，实现总体带宽不发生变化、业务的不间断转发。

活动链路选举

1）SW1、SW2配置LACP模式的链路聚合。两端都设置最大活跃接口数为2。 通过LACPDU选举出优先级较高的交换机SW1，作为LACP协商过程的主动端。

2）SW1在本端通过比较接口优先级、接口编号选举出活动接口，其中1、2号接口在相同的接口优先级下拥有更小的接口编号，成为活动接口。

3）SW1通过LACPDU将本端活动端口选举结果告知对端。

4）SW2依据SW1的选举结果，明确本端的活动接口，同时对应的链路成为活动链路。 至此，Eth-Trunk的活动链路选举过程完成。

负载分担 基于包的负载分担

在使用Eth-Trunk转发数据时，由于聚合组两端设备之间有多条物理链路，如果每个数据帧在不同的链路上转发，则有可能导致数据帧到达对端时间不一致，从而引起数据乱序。

基于流的负载分担

Eth-Trunk推荐采用逐流负载分担的方式，即一条相同的流【五元组】负载到一条链路，这样既保证了同一数据流的数据帧在同一条物理链路转发，又实现了流量在聚合组内各物理链路上的负载分担。

负载分担模式

Eth-trunk支持基于报文的IP地址或MAC地址来进行负载分担，可以配置不同的模式（本地有效，对出方向报文生效）将数据流分担到不同的成员接口上。

常见的模式有：源IP、源MAC、目的IP、目的MAC、源目IP、源目MAC。

实际业务中用户需要根据业务流量特征选择配置合适的负载分担方式。业务流量中某种参数变化越频繁，选择与此参数相关的负载分担方式就越容易实现负载均衡。

典型使用场景 交换机之间

为保证交换机之间的链路带宽以及可靠性，可以在交换机之间部署多条物理链路并使用Eth-Trunk。

交换机与服务器之间

为了提高服务器的接入带宽和可靠性，将两个或者更多的物理网卡聚合成一个网卡组，与交换机建立链路聚合。

交换机与堆叠系统

堆叠系统使得两台交换机成为一台逻辑上的设备，交换机与堆叠系统通过链路聚合互联可以组建高可靠、无环的网络。

防火墙双机热备心跳线

防火墙双机热备组网中使用心跳线来检测对端设备的状态，为防止单端口、单链路故障导致的状态监测错误可以部署Eth-Trunk，使用Eth-Trunk作为检测状态的心跳线。

配置命令介绍

堆叠/集群概述 什么是堆叠、集群

堆叠（iStack）：多台支持堆叠特性的交换机通过堆叠线缆连接在一起，从逻辑上变成一台交换设备，作为一个整体参与数据转发。

集群（Cluster Switch System，CSS ）：将两台支持集群特性的交换机设备组合在一起，从逻辑上组合成一台交换设备。 集群只支持两台设备，一般框式交换机支持CSS，盒式设备支持iStack。

堆叠、集群的优势

堆叠的优势：跨设备的链路聚合，物理上的无环网络，无需再部署STP。 链路聚合中的链路全部有效使用，链路利用率100%。

集群的优势：逻辑上一台设备，简化运维，方便管理。 一台物理设备故障，其他设备可以接管转发、控制平台，避免了单点故障。

交换机多虚一：堆叠交换机对外表现为一台逻辑交换机，控制平面合一网络交换机可以重复，统一管理。

转发平面合一：堆叠内物理设备转发平面合一，转发信息共享并实时同步。

跨设备链路聚合：跨物理设备的链路被聚合成一个Eth-Trunk端口，和下游设备实现互联。

实际应用 扩展端口

当接入的用户数增加到原交换机端口密度不能满足接入需求时，可以增加新交换机与原交换机组成堆叠系统扩展端口数量。

扩展带宽、冗余备份

需要增大交换机上行带宽时，可以增加新交换机与原交换机组成堆叠系统，将成员交换机的多条物理链路配置成一个聚合组，提高交换机的上行带宽，同时形成设备间备份和链路的跨设备冗余备份，增加可靠性。

推荐架构

核心层使用CSS集群组网，上下行采用Eth-Trunk，构建高可靠、无环的网络。

汇聚层交换机采用iStack，上下行采用Eth-Trunk，构建高可靠、无环的网络。

接入层：地理位置接近的接入设备（如一个楼宇内的接入交换机）使用iStack虚拟化成为一台逻辑上的设备，端口数量充足，简化了管理。 使用Eth-Trunk和汇聚层互联，逻辑上网络结构简单，不再需要使用STP、VRRP。具有高可靠性、高上行带宽、快速收敛的优势。

总结

为提高链路可靠性、链路利用率、链路带宽可以使用链路聚合技术，按照聚合方式不同可以分为静态聚合和LACP模式聚合。

LACP模式采用报文协商，可以实现活动链路的备份，在链路出现故障时将备份链路选举为活动链路继续参与转发。

为保证报文到达的顺序，链路聚合的负载分担采用基于流的形式。

使用iStack、CSS技术可以简化网络管理、简化网络结构、提高网络可靠性。