VXLAN: BGP EVPN avec FRR

Vincent Bernat

VXLAN est un pro­to­cole ré­seau per­met­tant de trans­por­ter du tra­fic Ether­net au-des­sus d’un ré­seau IP exis­tant tout en sup­por­tant un nombre très élevé de lo­ca­taires. Il est dé­fini dans la RFC 7348. Pour une in­tro­duc­tion dans le cadre de Li­nux, je­tez un œil sur mon ar­ticle « VXLAN & Linux ».

Déploiement de VXLAN
Exemple de déploiement de VXLAN avec des hyperviseurs agissant comme VTEP

Dans l’exemple de dé­ploie­ment ci-des­sus, des hy­per­vi­seurs hé­bergent des ma­chines vir­tuelles ap­par­te­nant à dif­fé­rents lo­ca­taires. Chaque ma­chine vir­tuelle a un ac­cès à un seg­ment Ether­net vir­tuel propre à son lo­ca­taire. Ces der­niers s’at­tendent à ob­te­nir un seg­ment Ether­net clas­sique : pas de res­tric­tion sur les adresses MAC1, un contrôle to­tal sur l’adres­sage IP et la dis­po­ni­bi­lité du multicast.

Dans un dé­ploie­ment à large échelle de VXLAN, il y a deux as­pects cruciaux :

  1. la dé­cou­verte des autres ter­mi­nai­sons (VTEP) par­ta­geant les mêmes seg­ments VXLAN ;
  2. la li­mi­ta­tion des trames « BUM » (broad­cast, unk­nown uni­cast and mul­ti­cast) qui sont dif­fu­sées à l’en­semble des VTEP.

Une so­lu­tion cou­rante pour le pre­mier point est d’uti­li­ser le mul­ti­cast. Le se­cond point est gé­né­ra­le­ment ré­solu par un ap­pren­tis­sage des adresses sources.

Introduction à BGP EVPN#

BGP EVPN (RFC 7432 et draft-ietf-bess-evpn-over­lay pour son ap­pli­ca­tion à VXLAN) est un pro­to­cole des­tiné à ré­soudre ef­fi­ca­ce­ment ces deux as­pects sans re­po­ser sur l’usage du mul­ti­cast ni sur l’ap­pren­tis­sage des adresses sources.

Mise à jour (04.2018)

draft-ietf-bess-evpn-over­lay a été promu en RFC 8365.

BGP EVPN re­pose sur BGP (RFC 4271) et ses ex­ten­sions MP-BGP (RFC 4760). BGP est le pro­to­cole de rou­tage ani­mant In­ter­net. Via les ex­ten­sions MP-BGP, il peut être uti­lisé pour trans­por­ter des in­for­ma­tions d’ac­ces­si­bi­lité (NLRI) pour di­vers pro­to­coles (IPv4, IPv6, L3 VPN et dans le cas qui nous in­té­resse, EVPN). EVPN est une fa­mille spé­ciale per­met­tant de pu­blier des in­for­ma­tions sur les adresses MAC et les équi­pe­ments ter­mi­naux y don­nant accès.

Il y a prin­ci­pa­le­ment deux types de routes qu’un VTEP peut pu­blier à tra­vers BGP EVPN :

  1. les VNI dont ils dis­posent lo­ca­le­ment (routes de type 3) ;
  2. les adresses MAC lo­cales pour cha­cun des VNI (routes de type 2).

Le pro­to­cole couvre éga­le­ment d’autres as­pects des seg­ments Ether­net vir­tuels (in­for­ma­tions concer­nant les voi­sins IP, mo­bi­lité des adresses MAC et at­ta­che­ment d’un seg­ment Ether­net à plu­sieurs ter­mi­nai­sons2) que nous n’abor­de­rons pas ici.

Usuel­le­ment, le dé­ploie­ment de BGP EVPN uti­lise plu­sieurs ré­flec­teurs de routes (à la fois pour la re­don­dance et la mon­tée en charge) comme illus­tré ci-des­sous. Chaque VTEP ouvre une ses­sion BGP vers au moins deux ré­flec­teurs, en­voie les in­for­ma­tions dont il dis­pose et ré­cep­tionne les in­for­ma­tions dis­po­nibles. Cela per­met de li­mi­ter le nombre de ses­sions BGP à confi­gu­rer et maintenir.

Déploiement VXLAN avec des réflecteurs de routes
Déploiement VXLAN avec des hyperviseurs utilisant BGP EVPN avec des réflecteurs de routes

Par rap­port aux autres so­lu­tions pour dé­ployer VXLAN, BGP EVPN pré­sente trois avantages :

  • in­ter­opé­ra­bi­lité avec les autres construc­teurs (no­tam­ment Ju­ni­per et Cisco) ;
  • mon­tée en charge éprou­vée (un rou­teur BGP gère plu­sieurs mil­lions de routes) ;
  • pos­si­bi­lité de mettre en place des po­li­tiques de dis­tribution.

Sous Li­nux, FRR est une im­plé­men­ta­tion re­la­ti­ve­ment com­plète de BGP EVPN (routes de type 3 pour la dé­cou­verte de VTEP, routes de type 2 pour par­ta­ger MAC et IP, mo­bi­lité des adresses MAC quand un hôte passe d’un VTEP à un autre) et ne né­ces­site que peu de confi­gu­ra­tion. Il s’agit d’un dé­rivé de Quagga et est uti­lisé ex­ten­si­ve­ment dans Cu­mu­lus Li­nux, une dis­tri­bu­tion ré­seau ba­sée sur De­bian et ani­mant di­verses marques de com­mu­tateurs.

Mise à jour (11.2020)

Ini­tia­le­ment, cet ar­ticle por­tait sur Cu­mu­lus Quagga. Le sup­port EVPN a été ajouté dans FRR 4.0. Sous Cu­mu­lus Li­nux, FRR a rem­placé Cu­mu­lus Quagga de­puis la ver­sion 3.4.0. J’ai mis à jour cet ar­ticle pour rem­pla­cer les men­tions de Cu­mu­lus Quagga par FRR afin d’évi­ter toute confusion.

No­tons tou­te­fois que cette im­plé­men­ta­tion de BGP EVPN ne prend ac­tuel­le­ment en compte qu’IPv4.

Configuration des réflecteurs#

Avant de confi­gu­rer les VTEP, nous de­vons confi­gu­rer les ré­flec­teurs. Plu­sieurs so­lu­tions sont pos­sibles, dont :

  • FRR ;
  • GoBGP, une im­plé­men­ta­tion de BGP en Go ;
  • Ju­ni­per Junos.

Pour des rai­sons de fia­bi­lité, il peut être in­té­res­sant de pa­na­cher les im­plé­men­ta­tions uti­li­sées, celles-ci étant en­tiè­re­ment in­ter­opé­rables sans dif­fi­cul­tés dans ce rôle.

Les confi­gu­ra­tions pro­po­sées sont très mi­ni­males. Il est pos­sible de cen­tra­li­ser les po­li­tiques de dis­tri­bu­tions sur les ré­flec­teurs (par exemple, les routes pré­sen­tant telle com­mu­nauté ne doivent être re­dis­tri­buées que sur un cer­tain type de VTEP).

FRR#

La confi­gu­ra­tion est simple. Le ré­flec­teur uti­lise l’adresse 203.0.113.254.

router bgp 65000
  bgp router-id 203.0.113.254
  bgp cluster-id 203.0.113.254
  bgp log-neighbor-changes
  no bgp default ipv4-unicast
  neighbor fabric peer-group
  neighbor fabric remote-as 65000
  neighbor fabric capability extended-nexthop
  neighbor fabric update-source 203.0.113.254
  bgp listen range 203.0.113.0/24 peer-group fabric
  !
  address-family l2vpn evpn
   neighbor fabric activate
   neighbor fabric route-reflector-client
  exit-address-family
  !
!

Un groupe fabric est dé­fini et nous uti­li­sons une fonc­tion­na­lité in­té­res­sante de FRR per­met­tant d’ac­cep­ter des voi­sins sans avoir à les dé­cla­rer in­di­vi­duel­le­ment. Cela ré­duit la confi­gu­ra­tion né­ces­saire : tout client issu du ré­seau 203.0.113.0/24 et s’iden­ti­fiant comme fai­sant par­tie de l’AS 65000 peut se connec­ter. Toutes les routes EVPN en­voyées sont ac­cep­tées et ré­flé­chies vers les autres clients.

Il n’est pas né­ces­saire de faire tour­ner Ze­bra, la par­tie de FRR qui dia­logue avec le noyau. Pour évi­ter que bgpd ne se plaigne de son ab­sence, il convient de le dé­mar­rer avec le dra­peau --no_kernel.

Mise à jour (04.2018)

S’il est né­ces­saire de fonc­tion­ner avec plu­sieurs im­plé­men­ta­tions de BGP EVPN, FRR n’est pas le choix le plus ju­di­cieux en tant que ré­flec­teur : il peut mo­di­fier sub­stan­tiel­le­ment les routes qu’il reçoit.

GoBGP#

GoBGP est une im­plé­men­ta­tion de BGP en Go4. Il four­nit une API de type RPC pour la confi­gu­ra­tion mais ac­cepte éga­le­ment des fi­chiers de confi­gu­ra­tion clas­siques et est li­vré avec un client en ligne de com­mande. Voici une confi­gu­ra­tion si­mi­laire à celle de FRR :

global:
  config:
    as: 65000
    router-id: 203.0.113.254
    local-address-list:
      - 203.0.113.254
peer-groups:
  - config:
      peer-group-name: rr-client
      peer-as: 65000
    afi-safis:
      - config:
          afi-safi-name: l2vpn-evpn
    route-reflector:
      config:
        route-reflector-client: true
        route-reflector-cluster-id: 203.0.113.254
dynamic-neighbors:
  - config:
      peer-group: rr-client
      prefix: 203.0.113.0/24

Par dé­faut, GoBGP ne tente au­cune in­ter­ac­tion avec le noyau, ce qui nous convient par­fai­te­ment dans ce rôle.

Juniper Junos#

De nom­breux pro­duits Ju­ni­per peuvent jouer le rôle de ré­flec­teur, no­tamment :

Le prin­ci­pal fac­teur est le CPU (type x86) et la mé­moire. Le QFX5100 ne dis­pose pas de beau­coup de mé­moire et ne pourra donc pas sup­por­ter de très gros dé­ploie­ments sans uti­li­ser une po­li­tique de dis­tri­bu­tion plus agressive.

Voici une confi­gu­ra­tion com­pa­rable à celle pro­po­sée pour FRR :

interfaces {
    lo0 {
        unit 0 {
            family inet {
                address 203.0.113.254/32;
            }
        }
    }
}

protocols {
    bgp {
        group fabric {
            family evpn {
                signaling {
                    /* Do not try to install EVPN routes */
                    no-install;
                }
            }
            type internal;
            cluster 203.0.113.254;
            local-address 203.0.113.254;
            allow 203.0.113.0/24;
        }
    }
}

routing-options {
    router-id 203.0.113.254;
    autonomous-system 65000;
}

Configuration des VTEP#

La se­conde étape est de confi­gu­rer les VTEP/hyperviseurs. Chaque VXLAN est as­sorti à un pont pour y pla­cer les in­ter­faces lo­cales, comme illus­tré ci-des­sous. Le pont gère les adresses MAC lo­cales (no­tam­ment leur ap­pren­tis­sage par la source) tan­dis que l’in­ter­face VXLAN s’oc­cupe des adresses MAC dis­tantes (re­çues via BGP EVPN).

Interface VXLAN et son pont
Interface VXLAN assortie à un pont

Les in­ter­faces VXLAN sont créées avec le script sui­vant. L’ap­pren­tis­sage des adresses source est désac­tivé car su­per­flu : BGP EVPN per­met de syn­chro­ni­ser les FDB entre les hy­per­viseurs.

for vni in 100 200; do
    # Création de l'interface VXLAN
    ip link add vxlan${vni} type vxlan
        id ${vni} \
        dstport 4789 \
        local 203.0.113.2 \
        nolearning
    # Création du pont associé
    brctl addbr br${vni}
    brctl addif br${vni} vxlan${vni}
    brctl stp br${vni} off
    ip link set up dev br${vni}
    ip link set up dev vxlan${vni}
done
# Attacher les VM locales sur les segments appropriés
brctl addif br100 vnet10
brctl addif br100 vnet11
brctl addif br200 vnet12

La confi­gu­ra­tion de FRR est si­mi­laire à celle d’un ré­flec­teur mais la di­rec­tive advertise-all-vni in­dique à FRR de pu­blier l’en­semble des VNI pré­sents lo­calement :

router bgp 65000
  bgp router-id 203.0.113.2
  no bgp default ipv4-unicast
  neighbor fabric peer-group
  neighbor fabric remote-as 65000
  neighbor fabric capability extended-nexthop
  ! BGP sessions with route reflectors
  neighbor 203.0.113.253 peer-group fabric
  neighbor 203.0.113.254 peer-group fabric
  !
  address-family l2vpn evpn
   neighbor fabric activate
   advertise-all-vni
  exit-address-family
  !
!

Une fois la confi­gu­ra­tion mise en place, les ins­tances par­ta­geant un même VNI doivent pou­voir com­mu­ni­quer entre elles. Si IPv6 est ac­tivé sur toutes les ma­chines vir­tuelles, la com­mande ping per­met de vé­ri­fier le bon fonc­tion­ne­ment de l’ensemble :

$ ping -c10 -w1 -t1 ff02::1%eth0
PING ff02::1%eth0(ff02::1%eth0) 56 data bytes
64 bytes from fe80::5254:33ff:fe00:8%eth0: icmp_seq=1 ttl=64 time=0.016 ms
64 bytes from fe80::5254:33ff:fe00:b%eth0: icmp_seq=1 ttl=64 time=4.98 ms (DUP!)
64 bytes from fe80::5254:33ff:fe00:9%eth0: icmp_seq=1 ttl=64 time=4.99 ms (DUP!)
64 bytes from fe80::5254:33ff:fe00:a%eth0: icmp_seq=1 ttl=64 time=4.99 ms (DUP!)

--- ff02::1%eth0 ping statistics ---
1 packets transmitted, 1 received, +3 duplicates, 0% packet loss, time 0ms
rtt min/avg/max/mdev = 0.016/3.745/4.991/2.152 ms

Vérifications#

Re­gar­dons point par point com­ment tous les élé­ments se sont com­bi­nés pour en ar­ri­ver à ce ré­sul­tat stu­péfiant.

Récupération des informations sur les VXLAN#

Sur chaque VTEP, FRR doit ob­te­nir la liste des in­ter­faces VXLAN. La com­mande vtysh per­met de vé­ri­fier ce point:

# show interface vxlan100
Interface vxlan100 is up, line protocol is up
  Link ups:       1    last: 2017/04/29 20:01:33.43
  Link downs:     0    last: (never)
  PTM status: disabled
  vrf: Default-IP-Routing-Table
  index 11 metric 0 mtu 1500
  flags: <UP,BROADCAST,RUNNING,MULTICAST>
  Type: Ethernet
  HWaddr: 62:42:7a:86:44:01
  inet6 fe80::6042:7aff:fe86:4401/64
  Interface Type Vxlan
  VxLAN Id 100
  Access VLAN Id 1
  Master (bridge) ifindex 9 ifp 0x56536e3f3470

Les deux points im­por­tants sont :

  • le VNI est 100 ;
  • le pont as­so­cié à l’in­ter­face est cor­rec­te­ment détecté.

FRR doit éga­le­ment ré­cu­pé­rer pour chaque VXLAN les adresses MAC lo­cales qui y sont at­tachées :

# show evpn mac vni 100
Number of MACs (local and remote) known for this VNI: 2
MAC               Type   Intf/Remote VTEP      VLAN
50:54:33:00:00:0a local  eth1.100
50:54:33:00:00:0b local  eth2.100

Sessions BGP#

Chaque VTEP doit éta­blir une ses­sion BGP vers les ré­flec­teurs. Sur un VTEP, cela peut être vé­ri­fié avec vtysh :

# show bgp neighbors 203.0.113.254
BGP neighbor is 203.0.113.254, remote AS 65000, local AS 65000, internal link
 Member of peer-group fabric for session parameters
  BGP version 4, remote router ID 203.0.113.254
  BGP state = Established, up for 00:00:45
  Neighbor capabilities:
    4 Byte AS: advertised and received
    AddPath:
      L2VPN EVPN: RX advertised L2VPN EVPN
    Route refresh: advertised and received(new)
    Address family L2VPN EVPN: advertised and received
    Hostname Capability: advertised
    Graceful Restart Capabilty: advertised
[…]
 For address family: L2VPN EVPN
  fabric peer-group member
  Update group 1, subgroup 1
  Packet Queue length 0
  Community attribute sent to this neighbor(both)
  8 accepted prefixes

  Connections established 1; dropped 0
  Last reset never
Local host: 203.0.113.2, Local port: 37603
Foreign host: 203.0.113.254, Foreign port: 179

La com­mande donne les in­for­ma­tions suivantes :

  • l’état de la ses­sion BGP est éta­blie (Established) ;
  • la fa­mille L2VPN EVPN est cor­rec­te­ment publiée ;
  • 8 routes sont re­çues du ré­flecteur.

L’état des ses­sions BGP peut éga­le­ment être vé­ri­fié de­puis les ré­flec­teurs. Avec GoBGP, uti­li­sez la com­mande suivante :

# gobgp neighbor 203.0.113.2
BGP neighbor is 203.0.113.2, remote AS 65000, route-reflector-client
  BGP version 4, remote router ID 203.0.113.2
  BGP state = established, up for 00:04:30
  BGP OutQ = 0, Flops = 0
  Hold time is 9, keepalive interval is 3 seconds
  Configured hold time is 90, keepalive interval is 30 seconds
  Neighbor capabilities:
    multiprotocol:
        l2vpn-evpn:     advertised and received
    route-refresh:      advertised and received
    graceful-restart:   received
    4-octet-as: advertised and received
    add-path:   received
    UnknownCapability(73):      received
    cisco-route-refresh:        received
[…]
  Route statistics:
    Advertised:             8
    Received:               5
    Accepted:               5

Avec Ju­nos, voici la com­mande équi­valente :

> show bgp neighbor 203.0.113.2
Peer: 203.0.113.2+38089 AS 65000 Local: 203.0.113.254+179 AS 65000
  Group: fabric                Routing-Instance: master
  Forwarding routing-instance: master
  Type: Internal    State: Established
  Last State: OpenConfirm   Last Event: RecvKeepAlive
  Last Error: None
  Options: <Preference LocalAddress Cluster AddressFamily Rib-group Refresh>
  Address families configured: evpn
  Local Address: 203.0.113.254 Holdtime: 90 Preference: 170
  NLRI evpn: NoInstallForwarding
  Number of flaps: 0
  Peer ID: 203.0.113.2     Local ID: 203.0.113.254     Active Holdtime: 9
  Keepalive Interval: 3          Group index: 0    Peer index: 2
  I/O Session Thread: bgpio-0 State: Enabled
  BFD: disabled, down
  NLRI for restart configured on peer: evpn
  NLRI advertised by peer: evpn
  NLRI for this session: evpn
  Peer supports Refresh capability (2)
  Stale routes from peer are kept for: 300
  Peer does not support Restarter functionality
  NLRI that restart is negotiated for: evpn
  NLRI of received end-of-rib markers: evpn
  NLRI of all end-of-rib markers sent: evpn
  Peer does not support LLGR Restarter or Receiver functionality
  Peer supports 4 byte AS extension (peer-as 65000)
  NLRI's for which peer can receive multiple paths: evpn
  Table bgp.evpn.0 Bit: 20000
    RIB State: BGP restart is complete
    RIB State: VPN restart is complete
    Send state: in sync
    Active prefixes:              5
    Received prefixes:            5
    Accepted prefixes:            5
    Suppressed due to damping:    0
    Advertised prefixes:          8
  Last traffic (seconds): Received 276  Sent 170  Checked 276
  Input messages:  Total 61     Updates 3       Refreshes 0     Octets 1470
  Output messages: Total 62     Updates 4       Refreshes 0     Octets 1775
  Output Queue[1]: 0            (bgp.evpn.0, evpn)

Dans le cas où une ses­sion BGP ne s’éta­blit pas, les jour­naux des dif­fé­rents dé­mons BGP doivent en in­di­quer la cause.

Routes envoyées#

De­puis chaque VTEP, FRR doit envoyer :

  • une route de type 3 pour chaque VNI local ;
  • une route de type 2 pour chaque adresse MAC locale.

Le meilleur en­droit pour vé­ri­fier les routes en­voyées est l’un des ré­flec­teurs. Avec Ju­nos, la com­mande sui­vante af­fiche les routes re­çues du VTEP dont l’IP est fournie :

> show route table bgp.evpn.0 receive-protocol bgp 203.0.113.2

bgp.evpn.0: 10 destinations, 10 routes (10 active, 0 holddown, 0 hidden)
  Prefix                  Nexthop              MED     Lclpref    AS path
  2:203.0.113.2:100::0::50:54:33:00:00:0a/304 MAC/IP
*                         203.0.113.2                  100        I
  2:203.0.113.2:100::0::50:54:33:00:00:0b/304 MAC/IP
*                         203.0.113.2                  100        I
  3:203.0.113.2:100::0::203.0.113.2/304 IM
*                         203.0.113.2                  100        I
  3:203.0.113.2:200::0::203.0.113.2/304 IM
*                         203.0.113.2                  100        I

Il y a une route de type 3 pour le VNI 100 et une autre pour le VNI 200. Il y a éga­le­ment deux routes de type 2 concer­nant deux adresses MAC as­so­ciées au VNI 100. Le mot clé extensive per­met d’ob­te­nir da­van­tage d’in­for­ma­tions. Par exemple, voici une route de type 3 in­di­quant que 203.0.113.2 est un VTEP pour le VNI 1008 :

> show route table bgp.evpn.0 receive-protocol bgp 203.0.113.2 extensive

bgp.evpn.0: 11 destinations, 11 routes (11 active, 0 holddown, 0 hidden)
* 3:203.0.113.2:100::0::203.0.113.2/304 IM (1 entry, 1 announced)
     Accepted
     Route Distinguisher: 203.0.113.2:100
     Nexthop: 203.0.113.2
     Localpref: 100
     AS path: I
     Communities: target:65000:268435556 encapsulation:vxlan(0x8)
[…]

Et voici une route de type 2 in­di­quant la lo­ca­li­sa­tion de l’adresse MAC 50:54:33:00:00:0a pour le VNI 100:

> show route table bgp.evpn.0 receive-protocol bgp 203.0.113.2 extensive

bgp.evpn.0: 11 destinations, 11 routes (11 active, 0 holddown, 0 hidden)
* 2:203.0.113.2:100::0::50:54:33:00:00:0a/304 MAC/IP (1 entry, 1 announced)
     Accepted
     Route Distinguisher: 203.0.113.2:100
     Route Label: 100
     ESI: 00:00:00:00:00:00:00:00:00:00
     Nexthop: 203.0.113.2
     Localpref: 100
     AS path: I
     Communities: target:65000:268435556 encapsulation:vxlan(0x8)
[…]

Avec FRR, la com­mande sui­vante per­met d’ob­te­nir des in­for­ma­tions si­milaires :

# show bgp l2vpn evpn route
BGP table version is 0, local router ID is 203.0.113.1
Status codes: s suppressed, d damped, h history, * valid, > best, i - internal
Origin codes: i - IGP, e - EGP, ? - incomplete
EVPN type-2 prefix: [2]:[ESI]:[EthTag]:[MAClen]:[MAC]
EVPN type-3 prefix: [3]:[EthTag]:[IPlen]:[OrigIP]

   Network          Next Hop            Metric LocPrf Weight Path
Route Distinguisher: 203.0.113.2:100
*>i[2]:[0]:[0]:[48]:[50:54:33:00:00:0a]
                    203.0.113.2                   100      0 i
*>i[2]:[0]:[0]:[48]:[50:54:33:00:00:0b]
                    203.0.113.2                   100      0 i
*>i[3]:[0]:[32]:[203.0.113.2]
                    203.0.113.2                   100      0 i
Route Distinguisher: 203.0.113.2:200
*>i[3]:[0]:[32]:[203.0.113.2]
                    203.0.113.2                   100      0 i
[…]

Avec GoBGP, il convient d’uti­li­ser cette commande :

# gobgp global rib -a evpn | grep rd:203.0.113.2:200
    Network  Next Hop             AS_PATH              Age        Attrs
*>  [type:macadv][rd:203.0.113.2:100][esi:single-homed][etag:0][mac:50:54:33:00:00:0a][ip:<nil>][labels:[100]]203.0.113.2                               00:00:17   [{Origin: i} {LocalPref: 100} {Extcomms: [VXLAN], [65000:268435556]}]
*>  [type:macadv][rd:203.0.113.2:100][esi:single-homed][etag:0][mac:50:54:33:00:00:0b][ip:<nil>][labels:[100]]203.0.113.2                               00:00:17   [{Origin: i} {LocalPref: 100} {Extcomms: [VXLAN], [65000:268435556]}]
*>  [type:macadv][rd:203.0.113.2:200][esi:single-homed][etag:0][mac:50:54:33:00:00:0a][ip:<nil>][labels:[200]]203.0.113.2                               00:00:17   [{Origin: i} {LocalPref: 100} {Extcomms: [VXLAN], [65000:268435656]}]
*>  [type:multicast][rd:203.0.113.2:100][etag:0][ip:203.0.113.2]203.0.113.2                               00:00:17   [{Origin: i} {LocalPref: 100} {Extcomms: [VXLAN], [65000:268435556]}]
*>  [type:multicast][rd:203.0.113.2:200][etag:0][ip:203.0.113.2]203.0.113.2                               00:00:17   [{Origin: i} {LocalPref: 100} {Extcomms: [VXLAN], [65000:268435656]}]

Routes reçues#

Chaque VTEP doit re­ce­voir de la part des ré­flec­teurs les routes de type 2 et 3 concer­nant ses col­lègues. Cela peut être vé­ri­fié avec vtysh et la com­mande show bgp l2vpn evpn route.

FRR com­prend-il cor­rec­te­ment les routes re­çues ? Pour vé­ri­fier la bonne in­ter­pré­ta­tion des routes de type 3, nous uti­li­sons la com­mande sui­vante pour voir l’as­so­cia­tion entre les VNI et les VTEP distants :

# show evpn vni
Number of VNIs: 2
VNI        VxLAN IF              VTEP IP         # MACs   # ARPs   Remote VTEPs
100        vxlan100              203.0.113.2     4        0        203.0.113.3
                                                                   203.0.113.1
200        vxlan200              203.0.113.2     3        0        203.0.113.3
                                                                   203.0.113.1

Pour les routes de type 2, l’as­so­cia­tion entre les MAC dis­tantes et les VTEP peut être vi­sua­li­sée avec la com­mande suivante :

# show evpn mac vni 100
Number of MACs (local and remote) known for this VNI: 4
MAC               Type   Intf/Remote VTEP      VLAN
50:54:33:00:00:09 remote 203.0.113.1
50:54:33:00:00:0a local  eth1.100
50:54:33:00:00:0b local  eth2.100
50:54:33:00:00:0c remote 203.0.113.3

Programmation de la FDB dans le noyau#

La der­nière étape est de s’as­su­rer que FRR pro­gramme cor­rec­te­ment les in­for­ma­tions re­çues dans le noyau. Cela peut se faire avec la com­mande bridge :

# bridge fdb show dev vxlan100 | grep dst
00:00:00:00:00:00 dst 203.0.113.1 self permanent
00:00:00:00:00:00 dst 203.0.113.3 self permanent
50:54:33:00:00:0c dst 203.0.113.3 self
50:54:33:00:00:09 dst 203.0.113.1 self

Par­fait ! Les deux pre­mières lignes cor­res­pondent aux routes de type 3 (les trames de type « BUM » se­ront en­voyées à la fois à 203.0.113.1 et à 203.0.113.3). Les deux der­nières lignes cor­res­pondent aux routes de type 2.

Interopérabilité#

Un des avan­tages de BGP EVPN est son in­ter­opé­ra­bi­lité avec les im­plé­men­ta­tions d’autres construc­teurs. Pour mon­trer qu’il s’agit d’une réa­lité, nous al­lons confi­gu­rer un Ju­ni­per vMX 16.1R1.7 pour agir en tant que VTEP.

Mise à jour (04.2018)

Il est né­ces­saire d’ap­pli­quer les deux mo­di­fi­ca­tions sui­vantes sur FRR pour les ver­sions an­té­rieures à la 6.0: bgpd: add an op­tion for RT auto-de­ri­va­tion to use RFC 8635 et bgpd: add ba­sic sup­port for ETI and ESI for BGP EVPN. Il faut aussi ajou­ter l’op­tion autort rfc8365-compatible dans la confi­gu­ra­tion de FRR.

Tout d’abord, nous de­vons le confi­gu­rer en tant que pont. La confi­gu­ra­tion ci-des­sous est équi­va­lente à l’uti­li­sa­tion de ip link et brctl avec Li­nux. Nous ne confi­gu­rons qu’une seule in­ter­face phy­sique avec deux VLAN clas­siques que l’on as­so­cie aux VXLAN de fa­çon à ce que les iden­ti­fiants cor­res­pondent.

interfaces {
    ge-0/0/1 {
        unit 0 {
            family bridge {
                interface-mode trunk;
                vlan-id-list [ 100 200 ];
            }
        }
    }
}
routing-instances {
    switch {
        instance-type virtual-switch;
        interface ge-0/0/1.0;
        bridge-domains {
            vlan100 {
                domain-type bridge;
                no-arp-suppression;
                vlan-id 100;
                vxlan {
                    vni 100;
                    # Do not enable "ingress-node-replication"
                }
            }
            vlan200 {
                domain-type bridge;
                no-arp-suppression;
                vlan-id 200;
                vxlan {
                    vni 200;
                    # Do not enable "ingress-node-replication"
                }
            }
        }
    }
}

Nous de­vons en­suite confi­gu­rer BGP EVPN pour pu­blier l’en­semble des VNI lo­caux. La confi­gu­ra­tion est si­mi­laire à celle de FRR :

protocols {
    bgp {
        group fabric {
            type internal;
            multihop;
            family evpn signaling;
            local-address 203.0.113.3;
            neighbor 203.0.113.253;
            neighbor 203.0.113.254;
        }
    }
}

routing-instances {
    switch {
        vtep-source-interface lo0.0;
        route-distinguisher 203.0.113.3:1; # ❶
        vrf-target {
            target:65000:1;
            auto;
        }
        protocols {
            evpn {
                encapsulation vxlan;
                extended-vni-list all;
                multicast-mode ingress-replication;
            }
        }
    }
}

routing-options {
    router-id 203.0.113.3;
    autonomous-system 65000;
}

Les routes gé­né­rées sont très si­mi­laires à celles de FRR. Il y a tou­te­fois ces deux dif­férences :

  • sur Ju­nos, le route dis­tin­gui­sher est confi­guré sta­ti­que­ment en ❶ ;
  • sur Ju­nos, le VNI est éga­le­ment en­codé en tant que Ether­net tag ID.

Voici une route de type 3 en­voyée par Junos :

> show route table bgp.evpn.0 receive-protocol bgp 203.0.113.3 extensive

bgp.evpn.0: 13 destinations, 13 routes (13 active, 0 holddown, 0 hidden)
* 3:203.0.113.3:1::100::203.0.113.3/304 IM (1 entry, 1 announced)
     Accepted
     Route Distinguisher: 203.0.113.3:1
     Nexthop: 203.0.113.3
     Localpref: 100
     AS path: I
     Communities: target:65000:268435556 encapsulation:vxlan(0x8)
     PMSI: Flags 0x0: Label 6: Type INGRESS-REPLICATION 203.0.113.3
[…]

Et voici une route de type 2 :

> show route table bgp.evpn.0 receive-protocol bgp 203.0.113.3 extensive

bgp.evpn.0: 13 destinations, 13 routes (13 active, 0 holddown, 0 hidden)
* 2:203.0.113.3:1::200::50:54:33:00:00:0f/304 MAC/IP (1 entry, 1 announced)
     Accepted
     Route Distinguisher: 203.0.113.3:1
     Route Label: 200
     ESI: 00:00:00:00:00:00:00:00:00:00
     Nexthop: 203.0.113.3
     Localpref: 100
     AS path: I
     Communities: target:65000:268435656 encapsulation:vxlan(0x8)
[…]

Nous pou­vons vé­ri­fier que le vMX com­prend cor­rec­te­ment les in­for­ma­tions re­çues de ses col­lègues qui font tourner FRR :

> show evpn database l2-domain-id 100
Instance: switch
VLAN  DomainId  MAC address        Active source                  Timestamp        IP address
     100        50:54:33:00:00:0c  203.0.113.1                    Apr 30 12:46:20
     100        50:54:33:00:00:0d  203.0.113.2                    Apr 30 12:32:42
     100        50:54:33:00:00:0e  203.0.113.2                    Apr 30 12:46:20
     100        50:54:33:00:00:0f  ge-0/0/1.0                     Apr 30 12:45:55

In­ver­se­ment, ces der­niers com­prennent cor­rec­te­ment les routes construites par Junos :

# show evpn vni 100
VNI: 100
 VxLAN interface: vxlan100 ifIndex: 9 VTEP IP: 203.0.113.1
 Remote VTEPs for this VNI:
  203.0.113.3
  203.0.113.2
 Number of MACs (local and remote) known for this VNI: 4
 Number of ARPs (IPv4 and IPv6, local and remote) known for this VNI: 0
# show evpn mac vni 100
Number of MACs (local and remote) known for this VNI: 4
MAC               Type   Intf/Remote VTEP      VLAN
50:54:33:00:00:0c local  eth1.100
50:54:33:00:00:0d remote 203.0.113.2
50:54:33:00:00:0e remote 203.0.113.2
50:54:33:00:00:0f remote 203.0.113.3

Je suis in­té­ressé par tout re­tour sur l’in­ter­opé­ra­bi­lité avec d’autres constructeurs !

Mise à jour (03.2018)

BGP EVPN est éga­le­ment ca­pable de gé­rer les seg­ments Ether­net at­ta­chés à des équi­pe­ments dif­fé­rents. Un agré­gat de liens peut s’étendre à plu­sieurs VTEP. Bien que cela soit sup­porté par Ju­ni­per, ce n’est pas le cas pour FRR qui ignore les seg­ments en ques­tion. Pour plus de dé­tails sur la par­tie Ju­ni­per, vous pou­vez vi­si­ter la sé­rie d’ar­ticles « EVPN-VXLAN lab » d’Alexan­der Gri­go­renko ainsi que le livre blanc de Juniper.

Mise à jour (11.2020)

FRR 7.5 in­tro­duit les pre­mières briques pour le sup­port du mul­ti­ho­ming. Je vous conseille d’at­tendre quelques ver­sions pour que l’en­semble des fonc­tion­na­li­tés soit com­plet et stabilisé.