Routage L3 jusqu’à l’hyperviseur avec BGP

Vincent Bernat

La mise en haute dis­po­ni­bi­lité des ré­seaux L2 peut se faire de plu­sieurs façons :

Les ré­seaux L2 né­ces­sitent très peu de confi­gu­ra­tion mais sont dif­fi­ciles à opé­rer de ma­nière fiable dans des confi­gu­ra­tions hau­te­ment dis­po­nibles : un in­ci­dent risque sou­vent d’im­pac­ter l’en­semble du ré­seau2. Il est donc pré­fé­rable de li­mi­ter la por­tée de chaque ré­seau L2. Par exemple, il est cou­rant d’avoir un ré­seau L2 dans chaque baie et de les connec­ter entre eux via du rou­tage L3. Un in­ci­dent im­pacte ra­re­ment l’en­semble d’un réseau IP.

Dans le schéma ci-des­sous, les com­mu­ta­teurs de baie four­nissent une pas­se­relle par dé­faut pour les clients. Afin d’as­su­rer une cer­taine re­don­dance, ils uti­lisent une im­plé­men­ta­tion de MC-LAG. La por­tée de chaque ré­seau L2 est alors li­mi­tée à une seule baie. Chaque sous-ré­seau IP est lié à une baie et les in­for­ma­tions de rou­tage sont par­ta­gées entre les com­mu­ta­teurs de baie et les rou­teurs en uti­li­sant un pro­to­cole tel qu’OSPF.

Conception classique d'un réseau L2
Conception classique avec routage au niveau des commutateurs d’accès : chaque paire de commutateurs agit en tant que passerelle. La portée d’un réseau L2 est limitée à une baie. Les hyperviseurs étendent le réseau L2 aux machines virtuelles. Chaque baie gère ses propres sous-réseaux IP.

Il y a deux dé­fauts dans cette conception :

  1. La por­tée de chaque ré­seau L2 reste très im­por­tante. Une baie peut conte­nir plu­sieurs di­zaines d’hy­per­vi­seurs et plu­sieurs mil­liers de ma­chines vir­tuelles. Un in­ci­dent ré­seau a donc un im­pact majeur.

  2. Les sous-ré­seaux IP sont liés à une baie. Une ma­chine vir­tuelle ne peut pas mi­grer dans une autre baie et les IP non uti­li­sées dans une baie ne peuvent pas être uti­li­sées dans une autre.

Pour ré­soudre ces deux pro­blèmes, il est pos­sible de pous­ser le ré­seau L3 en­core plus au sud, trans­for­mant chaque hy­per­vi­seur en rou­teur. Il convient tou­te­fois de ca­cher ce chan­ge­ment aux ma­chines vir­tuelles qui conti­nuent d’ob­te­nir leur confi­gu­ra­tion via DHCP (IP, sous-ré­seau et pas­serelle).

Hyperviseur comme routeur#

En bref, pour une ma­chine vir­tuelle dis­po­sant d’une adresse IPv4 :

  • l’hy­per­vi­seur hôte confi­gure une route /32 sur l’in­ter­face virtuelle ;
  • cette route est dis­tri­buée aux autres hy­per­vi­seurs et rou­teurs via BGP.

Nous vou­lons aussi gé­rer deux do­maines de rou­tage : un do­maine pu­blic pour les ma­chines vir­tuelles de clients connec­tées à In­ter­net et un do­maine privé pour notre propre usage, no­tam­ment la ges­tion des hy­per­vi­seurs. À cet ef­fet, chaque hy­per­vi­seur uti­lise deux tables de routage.

L’illus­tra­tion sui­vante montre la confi­gu­ra­tion d’un hy­per­vi­seur avec cinq ma­chines vir­tuelles. No­tez l’ab­sence de tout pont réseau.

Routage L3 à l'intérieur d'un hyperviseur
Routage L3 pour un hyperviseur. Chaque hyperviseur est connecté à un réseau « public » et un réseau « privé ». Les machines virtuelles peuvent être rattachées à n’importe lequel de ces réseaux. Chaque table de routage contient des routes directement connectées pour les machines virtuelles locales, des routes pour les machines virtuelles distantes et une route par défaut pour les autres destinations.

La confi­gu­ra­tion com­plète dé­crite dans cet ar­ticle est éga­le­ment dis­po­nible sur GitHub. Un agent reste né­ces­saire pour mettre en place la confi­gu­ra­tion lors d’un chan­ge­ment. Pour ce faire, ce der­nier re­ce­vrait des no­ti­fi­ca­tions de la part du sys­tème de ges­tion des ma­chines vir­tuelles.

Ca­lico est un pro­jet à l’ob­jec­tif si­mi­laire (rou­tage L3 jusqu’à l’hy­per­vi­seur) et des idées très proches (à l’ex­cep­tion de l’uti­li­sa­tion de Net­fil­ter pour as­su­rer l’iso­la­tion des do­maines de rou­tage). Il four­nit un agent, Fe­lix, qui s’in­ter­face avec des or­ches­tra­teurs (tels qu’OpenStack ou Ku­ber­netes). C’est une al­ter­na­tive pos­sible si on dé­sire une so­lu­tion clé en main.

Configuration du routage#

À l’aide de règles de rou­tage, chaque in­ter­face est « at­ta­chée » à une table de routage :

$ ip rule show
0:  from all lookup local
20: from all iif lo lookup main
21: from all iif lo lookup local-out
30: from all iif eth0.private lookup private
30: from all iif eth1.private lookup private
30: from all iif vnet8 lookup private
30: from all iif vnet9 lookup private
40: from all lookup public

Les règles les plus im­por­tantes sont sur­li­gnées (prio­ri­tés 30 et 40) : tout tra­fic pro­ve­nant d’une in­ter­face pri­vée uti­lise la table private. Tout le tra­fic res­tant uti­lise la table public.

Les deux règles en iif lo gèrent le rou­tage des pa­quets émis par l’hy­per­vi­seur lui-même. La table local-out est une com­bi­nai­son des tables private et public. À pre­mière vue, l’hy­per­vi­seur n’a be­soin que de la table private mais il doit être ca­pable de contac­ter les ma­chines vir­tuelles lo­cales (par exemple, pour ré­pondre à un ping) via la table public. Ces tables contiennent en temps nor­mal une route par dé­faut toutes les deux (pas de chaî­nage pos­sible). La table local-out est construite en co­piant toutes les routes de la table private et les routes di­rec­te­ment connec­tées de la table public.

Pour évi­ter toute fuite de tra­fic ac­ci­den­telle, les tables public, private et local-out contiennent une route par dé­faut avec une mé­trique éle­vée3. En temps nor­mal, ces routes sont éclip­sées par une vé­ri­table route par défaut :

ip route add blackhole default metric 4294967294 table public
ip route add blackhole default metric 4294967294 table private
ip route add blackhole default metric 4294967294 table local-out

Les choses sont plus simples avec IPv6 car il n’y a qu’un seul do­maine de rou­tage. Nous gar­dons ce­pen­dant une table public mais il n’y a nul be­soin de la table local-out :

$ ip -6 rule show
0:  from all lookup local
20: from all lookup main
40: from all lookup public

Une fois cette confi­gu­ra­tion en place, le rou­tage est ac­tivé et la taille maxi­male du cache des routes IPv6 est aug­men­tée (la va­leur par dé­faut est seule­ment 4096)4 :

sysctl -qw net.ipv4.conf.all.forwarding=1
sysctl -qw net.ipv6.conf.all.forwarding=1
sysctl -qw net.ipv6.route.max_size=524288

Mise à jour (12.2019)

À par­tir de Li­nux 4.2, les en­trées pour le cache des routes ne sont créées que s’il est né­ces­saire de no­ter une va­leur spé­ciale pour le PMTU. Ainsi, il est pré­fé­rable de gar­der la va­leur par dé­faut et de sur­veiller le fi­chier /proc/​net/​rt6_​stats : l’avant-der­nière va­leur est la taille ac­tuelle du cache.

Routes pour les machines virtuelles#

La se­conde étape est de confi­gu­rer les routes pour at­teindre chaque ma­chine vir­tuelle. Pour IPv6, l’adresse du lien lo­cal (dé­ri­vée de l’adresse MAC) est uti­li­sée comme pro­chain saut5 :

ip -6 route add 2001:db8:cb00:7100:5254:33ff:fe00:f/128 \
    via fe80::5254:33ff:fe00:f dev vnet6 \
    table public

Ajou­ter d’autres adresses IP ou sous-ré­seaux peut se faire en spé­ci­fiant d’autres routes sur le même modèle :

ip -6 route add 2001:db8:cb00:7107::/64 \
    via fe80::5254:33ff:fe00:f dev vnet6 \
    table public

En IPv4, la route uti­lise comme pro­chain saut l’in­ter­face à la­quelle la ma­chine vir­tuelle est connec­tée. Li­nux émet­tra une re­quête ARP avant de pou­voir rou­ter les paquets6 :

ip route add 192.0.2.15/32 dev vnet6 \
  table public

Les IP et sous-ré­seaux sup­plé­men­taires peuvent être ajou­tées de la même fa­çon. Cela im­pose tou­te­fois que chaque adresse IP ré­ponde aux re­quêtes ARP. Pour évi­ter cela, le rou­tage peut se faire via la pre­mière IP configurée7 :

ip route add 203.0.113.128/28 \
  via 192.0.2.15 dev vnet6 onlink \
  table public

Configuration BGP#

La troi­sième étape consiste à par­ta­ger les routes entre les hy­per­vi­seurs à l’aide de BGP. Cette par­tie de la confi­gu­ra­tion dé­pend du type de ré­seau connec­tant les hy­per­viseurs.

Fabrique#

Les hy­per­vi­seurs peuvent être connec­tés de plu­sieurs fa­çons. Une pre­mière pos­si­bi­lité na­tu­relle est d’uti­li­ser un ré­seau L3 de type leaf-spine :

Fabrique routée
Fabrique L3 de type leaf-spine. Une session BGP est établie pour chacun des liens. Les routeurs spine doivent apprendre toutes les routes.

Chaque hy­per­vi­seur éta­blit une ses­sion eBGP vers chaque rou­teur de type leaf. Ceux-ci éta­blissent une ses­sion eBGP avec chaque rou­teur de type spine. Cette so­lu­tion peut s’avé­rer coû­teuse car les rou­teurs de type spine doivent être ca­pables de gé­rer l’in­té­gra­lité des routes. Avec la gé­né­ra­tion ac­tuelle de rou­teurs, cela im­plique une li­mite sur le nombre to­tal de routes en fonc­tion de la den­sité vou­lue8. Elle né­ces­site de plus beau­coup de confi­gu­ra­tion pour dé­fi­nir les ses­sions BGP, à moins d’uti­li­ser cer­taines fonc­tion­na­li­tés d’au­to­con­fi­gu­ra­tion ac­tuel­le­ment en­core peu ré­pan­dues. D’un autre côté, les rou­teurs de type leaf (et les hy­per­vi­seurs) peuvent ap­prendre moins de routes et pous­ser le reste du tra­fic vers le nord.

Une autre so­lu­tion est d’uti­li­ser une fa­brique de type L2. Cela peut sem­bler sur­pre­nant après avoir cri­ti­qué les ré­seaux L2 pour leur manque de fia­bi­lité mais nous n’avons pas be­soin de haute dis­po­ni­bi­lité. Ils per­mettent alors d’ob­te­nir une so­lu­tion peu coû­teuse et fa­cile à mettre en place9 :

Fabrique de type L2
Fabrique L2 de type leaf-spine utilisant 4 réseaux L2 distincts. Chaque hyperviseur établit une session BGP vers au moins un réflecteur de route sur chaque réseau L2.

Chaque hy­per­vi­seur est connecté à 4 ré­seaux L2 dis­tincts. Si un in­ci­dent sur­vient sur l’un d’eux, nous ne per­dons qu’un quart de la bande pas­sante dis­po­nible. Cette so­lu­tion re­pose en­tiè­re­ment sur iBGP. Pour évi­ter de mul­ti­plier les connexions BGP entre les hy­per­vi­seurs, des ré­flec­teurs de routes sont uti­li­sés. Chaque hy­per­vi­seur éta­blit une ses­sion iBGP avec un ou plu­sieurs ré­flec­teurs sur chaque ré­seau L2. Les ré­flec­teurs d’un même ré­seau L2 se par­tagent éga­le­ment leurs routes via iBGP. Ca­lico do­cu­mente ce concept de ma­nière plus dé­taillée.

C’est la so­lu­tion uti­li­sée par la suite. La par­tie pu­blique et la par­tie pri­vée par­tagent la même in­fra­struc­ture sur des VLAN dif­férents.

Mise à jour (07.2022)

Bien que cette so­lu­tion avait du sens il y a quelques an­nées, le ma­té­riel ré­cent est dé­sor­mais ca­pable de gé­rer bien plus de routes et je vous conseille donc d’op­ter pour une fa­brique L3. Dans ce cas, nul be­soin de ré­flec­teurs de routes. En uti­li­sant FRR au lieu de BIRD, il est même pos­sible de n’uti­li­ser qu’une unique ses­sion eBGP IPv6 avec VPNv4 (pu­blic et privé), VPNv6 (pu­blic) et EVPN (pour VXLAN, non pré­senté ici). Se­lon les équi­pe­ments im­pli­qués dans le ré­seau, vous pou­vez confi­gu­rer des ses­sions BGP sans IP. On peut alors se pas­ser de dé­fi­nir un plan de nu­mé­ro­ta­tion et la confi­gu­ra­tion est alors en­core réduite.

Réflecteurs de routes#

Les ré­flec­teurs de routes cen­tra­lisent et re­dis­tri­buent les routes via BGP mais ne routent au­cun tra­fic. Il en faut au moins un dans chaque ré­seau L2. Pour une meilleure dis­po­ni­bi­lité, on peut en uti­li­ser plusieurs.

Voici un exemple de confi­gu­ra­tion avec Junos10 :

protocols {
    bgp {
        group public-v4 {
            family inet {
                unicast {
                    no-install; # ❶
                }
            }
            type internal;
            cluster 198.51.100.126; # ❷
            allow 198.51.100.0/25; # ❸
            neighbor 198.51.100.127;
        }
        group public-v6 {
            family inet6 {
                unicast {
                    no-install;
                }
            }
            type internal;
            cluster 198.51.100.126;
            allow 2001:db8:c633:6401::/64;
            neighbor 2001:db8:c633:6401::198.51.100.127;
        }
        ttl 255;
        bfd-liveness-detection { # ❹
            minimum-interval 100;
            multiplier 5;
        }
    }
}
routing-options {
    router-id 198.51.100.126;
    autonomous-system 65000;
}

Ce ré­flec­teur ac­cepte et re­dis­tri­bue toutes les routes IPv4 et IPv6. En ❶, on s’as­sure que les routes ne sont pas ins­tal­lées dans la FIB car un ré­flec­teur n’est pas un routeur.

Chaque ré­flec­teur doit dis­po­ser d’un clus­ter iden­ti­fier qui est uti­lisé pour dé­tec­ter les boucles. Dans notre cas, nous uti­li­sons l’adresse IPv4 à cet ef­fet (en ❷). En uti­li­sant un iden­ti­fiant dif­fé­rent pour chaque ré­flec­teur at­ta­ché à un même ré­seau L2, on s’as­sure qu’ils s’échan­ge­ront les routes re­çues, ap­por­tant ainsi une meilleure ré­silience.

Au lieu de dé­cla­rer ex­pli­ci­te­ment cha­cun des hy­per­vi­seurs de­vant se connec­ter au ré­flec­teur, un sous-ré­seau en­tier est au­to­risé en ❸11. Nous dé­cla­rons aussi le se­cond ré­flec­teur pré­sent sur le même ré­seau L2 afin qu’ils s’échangent leurs routes.

Un autre point im­por­tant est de ré­agir ra­pi­de­ment en cas d’in­dis­po­ni­bi­lité d’un che­min. Avec des ses­sions BGP di­rec­te­ment connec­tées, un lien dé­faillant peut être dé­tecté im­mé­dia­te­ment et la ses­sion BGP est aus­si­tôt in­va­li­dée. Cela n’est pas tou­jours fiable et dans notre cas, cela ne fonc­tionne pas en rai­son de la pré­sence de com­mu­ta­teurs sur les che­mins. En ❹, nous ac­ti­vons BFD, un pro­to­cole qui per­met de dé­tec­ter en moins d’une se­conde12 un pro­blème entre deux pairs BGP (RFC 5880).

Un der­nier point à prendre en compte est la pos­si­bi­lité de faire du rou­tage any­cast : si une IP est pu­bliée sur plu­sieurs hy­per­vi­seurs, deux so­lu­tions sont ac­ceptables :

  • en­voyer tous les flux vers un seul hy­perviseur ;
  • ré­par­tir les flux entre les hy­per­viseurs.

Le se­cond choix per­met d’ob­te­nir un ré­par­ti­teur de charge L3. Avec la confi­gu­ra­tion ci-des­sus, pour chaque pré­fixe, le ré­flec­teur va choi­sir un seul che­min et re­dis­tri­buer ce­lui-ci. Ainsi, un seul hy­per­vi­seur re­ce­vra les pa­quets. Pour ob­te­nir une ré­par­ti­tion de charge, il faut re­dis­tri­buer l’en­semble des che­mins pos­sibles (RFC 7911)13 :

set protocols bgp group public-v4 family inet  unicast add-path send path-count 4
set protocols bgp group public-v6 family inet6 unicast add-path send path-count 4

Voici un ex­trait de show route mon­trant quelques routes « simples » ainsi qu’une route anycast :

> show route protocol bgp
inet.0: 6 destinations, 7 routes (7 active, 1 holddown, 0 hidden)
+ = Active Route, - = Last Active, * = Both

0.0.0.0/0        *[BGP/170] 00:09:01, localpref 100
                    AS path: I, validation-state: unverified
                  > to 198.51.100.1 via em1.90
192.0.2.15/32    *[BGP/170] 00:09:00, localpref 100
                    AS path: I, validation-state: unverified
                  > to 198.51.100.101 via em1.90
203.0.113.1/32   *[BGP/170] 00:09:00, localpref 100
                    AS path: I, validation-state: unverified
                  > to 198.51.100.101 via em1.90
203.0.113.6/32   *[BGP/170] 00:09:00, localpref 100
                    AS path: I, validation-state: unverified
                  > to 198.51.100.102 via em1.90
203.0.113.18/32  *[BGP/170] 00:09:00, localpref 100
                    AS path: I, validation-state: unverified
                  > to 198.51.100.103 via em1.90
203.0.113.10/32  *[BGP/170] 00:09:00, localpref 100
                    AS path: I, validation-state: unverified
                  > to 198.51.100.101 via em1.90
                  [BGP/170] 00:09:00, localpref 100
                    AS path: I, validation-state: unverified
                  > to 198.51.100.102 via em1.90

La confi­gu­ra­tion com­plète est dis­po­nible sur GitHub. Des confi­gu­ra­tions si­mi­laires pour GoBGP, BIRD ou FRR (sur Cu­mu­lus Li­nux) sont éga­le­ment dis­po­nibles14. La confi­gu­ra­tion pour le do­maine de rou­tage privé est iden­tique. Pour évi­ter d’in­ves­tir dans du ma­té­riel dé­dié pour les ré­flec­teurs, il est pos­sible de conver­tir cer­tains com­mu­ta­teurs de baie à cet usage.

Configuration de l’hyperviseur#

Pas­sons main­te­nant à la der­nière étape : la confi­gu­ra­tion de l’hy­per­vi­seur. BIRD (1.6.x) est uti­lisé en tant que dé­mon BGP. Il main­tient trois tables de rou­tage in­ternes (public, private and local-out). Nous dé­fi­nis­sons un pa­tron avec les pro­prié­tés com­munes pour se connec­ter à un ré­flecteur :

template bgp rr_client {
  local as 65000;   # ASN local correspond à l'ASN des réflecteurs
  import all;       # Accepte toutes les routes reçues
  export all;       # Envoie toutes les routes de la table
  next hop self;    # Modifie le saut suivant avec l'IP de la session BGP
  bfd yes;          # Active BFD
  direct;           # Pair directement connecté
  ttl security yes; # GTSM activé
  add paths rx;     # Accepte ADD-PATH en réception

  # Réétablissement rapide des sessions BGP
  connect delay time 1;
  connect retry time 5;
  error wait time 1,5;
  error forget time 10;
}

table public;
protocol bgp RR1_public from rr_client {
  neighbor 198.51.100.126 as 65000;
  table public;
}
# […]

Avec la confi­gu­ra­tion ci-des­sus, toutes les routes de la table public de BIRD sont en­voyées au ré­flec­teur 198.51.100.126. Toutes les routes re­çues sont ac­cep­tées. Il nous reste à connec­ter la table public de BIRD à celle du noyau15 :

protocol kernel kernel_public {
  persist;
  scan time 10;
  import filter {
    # Accepte n'importe quelle route du noyau
    # sauf celle de dernier secours
    if krt_metric < 4294967294 then accept;
    reject;
  };
  export all;      # Envoie toutes les routes au noyau
  learn;           # Apprend les routes autres que celles de BIRD
  merge paths yes; # Utilise des routes ECMP si besoin
  table public;    # Nom de la table de routage dans BIRD
  kernel table 90; # Numéro de la table de routage dans le noyau
}

Il faut éga­le­ment ac­ti­ver BFD sur toutes les in­terfaces :

protocol bfd {
  interface "*" {
    interval 100ms;
    multiplier 5;
  };
}

Afin d’évi­ter qu’un en­com­bre­ment tem­po­raire de la table de suivi de Net­fil­ter n’im­pacte BFD, il est pru­dent de désac­ti­ver le suivi de connexions pour ces paquets :

ip46tables -t raw -A PREROUTING -p udp --dport 3784 \
  -m addrtype --dst-type LOCAL -j CT --notrack
ip46tables -t raw -A OUTPUT -p udp --dport 3784 \
  -m addrtype --src-type LOCAL -j CT --notrack

Il faut éga­le­ment ajouter :

Une fois les ses­sions BGP éta­blies, on peut vé­ri­fier les routes apprises :

$ ip route show table public proto bird
default
        nexthop via 198.51.100.1 dev eth0.public weight 1
        nexthop via 198.51.100.254 dev eth1.public weight 1
203.0.113.6
        nexthop via 198.51.100.102 dev eth0.public weight 1
        nexthop via 198.51.100.202 dev eth1.public weight 1
203.0.113.18
        nexthop via 198.51.100.103 dev eth0.public weight 1
        nexthop via 198.51.100.203 dev eth1.public weight 1

Performance#

Avec de nom­breuses routes, on peut se sou­cier de la quan­tité de mé­moire uti­li­sée par Li­nux. Elle est très rai­sonnable :

  • 128 Mio per­mettent de gé­rer 1 mil­lion de routes IPv4 ;
  • 512 Mio per­mettent de gé­rer 1 mil­lion de routes IPv6.

Les chiffres doivent être dou­blés pour prendre en compte la mé­moire uti­li­sée par BIRD. En ce qui concerne les temps de re­cherche d’une route, les per­for­mances sont aussi ex­cel­lentes avec IPv4 et très bonnes avec IPv6 :

  • 30 ns par re­cherche avec 1 mil­lion de routes IPv4 ;
  • 1.25 µs par re­cherche avec 1 mil­lion de routes IPv6.

Ainsi, l’im­pact de lais­ser la ges­tion d’un très grand nombre de routes à Li­nux est très faible. Pour plus de dé­tails sur le su­jet, voyez « Fonc­tion­ne­ment de la table de rou­tage IPv4 sous Li­nux » et « Fonc­tion­ne­ment de la table de rou­tage IPv6 sous Linux ».

Filtrage par la source#

Pour évi­ter l’usur­pa­tion d’adresse IP, le fil­trage par la source (re­verse-path fil­te­ring) est ac­tivé sur chaque in­ter­face vir­tuelle : Li­nux va vé­ri­fier la lé­gi­ti­mité de chaque IP source en vé­ri­fiant qu’une ré­ponse se­rait ren­voyée sur la même in­ter­face. Cela in­ter­dit toute ten­ta­tive d’usur­pa­tion de la part d’une ma­chine virtuelle.

Pour IPv4, il est pos­sible d’ac­ti­ver cette fonc­tion­na­lité à tra­vers un sysctl17 ou à tra­vers Net­fil­ter. Pour IPv6, seule la der­nière op­tion est dis­ponible.

# Pour IPv6, utilise Netfilter
ip6tables -t raw -N RPFILTER
ip6tables -t raw -A RPFILTER -m rpfilter -j RETURN
ip6tables -t raw -A RPFILTER -m rpfilter --accept-local \
  -m addrtype --dst-type MULTICAST -j DROP
ip6tables -t raw -A RPFILTER -m limit --limit 5/s --limit-burst 5 \
  -j LOG --log-prefix "NF: rpfilter: " --log-level warning
ip6tables -t raw -A RPFILTER -j DROP
ip6tables -t raw -A PREROUTING -i vnet+ -j RPFILTER

# Pour IPv4, utilise les sysctls
sysctl -qw net.ipv4.conf.all.rp_filter=0
sysctl -qw net.ipv4.conf.all.rp_filter=0
for iface in /sys/class/net/vnet*; do
    sysctl -qw net.ipv4.conf.${iface##*/}.rp_filter=1
done

Il n’est pas utile de s’in­quié­ter d’une usur­pa­tion sur le L2, l’at­ta­quant n’y ga­gne­rait au­cun avantage.

Leurrer les machines virtuelles#

Un point im­por­tant est de s’as­su­rer que les ma­chines vir­tuelles conti­nuent de pen­ser qu’elles sont rat­ta­chées à un ré­seau L2 clas­sique (une IP, un sous-ré­seau, une pas­serelle).

La pre­mière étape consiste à leur four­nir la pas­se­relle par dé­faut. Sur l’hy­per­vi­seur, il suf­fit d’as­si­gner l’IP as­so­ciée à l’in­ter­face vir­tuelle cor­res­pondante :

ip addr add 203.0.113.254/32 dev vnet5 scope link

Le but de cette ma­nœuvre est de s’as­su­rer que Li­nux ré­pon­dra aux re­quêtes ARP concer­nant cette IP. La confi­gu­ra­tion d’un /32 est suf­fi­sante et il ne faut pas confi­gu­rer un sous-ré­seau plus grand : Li­nux ins­tal­le­rait la route cor­res­pon­dante sur cette in­ter­face, ce qui se­rait in­correct18.

Pour IPv6, ce n’est pas utile car les adresses de lien lo­cal sont uti­li­sées comme pas­serelle.

Une ma­chine vir­tuelle peut éga­le­ment vou­loir échan­ger des pa­quets avec des ma­chines par­ta­geant le même sous-ré­seau IP. L’hy­per­vi­seur va ré­pondre aux re­quêtes ARP à leur place. Une fois que le tra­fic IP est reçu, il lui suf­fira alors de le rou­ter nor­ma­le­ment. Cela peut se faire en ac­ti­vant le proxy ARP sur l’in­ter­face virtuelle :

sysctl -qw net.ipv4.conf.vnet5.proxy_arp=1
sysctl -qw net.ipv4.neigh.vnet5.proxy_delay=0

Pour IPv6, le proxy NDP de Li­nux est beau­coup moins pra­tique. À la place, le dé­mon ndppd va gé­rer ef­fi­ca­ce­ment cette tâche. Pour chaque in­ter­face, nous uti­li­sons la confi­gu­ra­tion suivante :

proxy vnet5 {
  rule 2001:db8:cb00:7100::/64 {
    static
  }
}

ndppd n’usurpe pas l’adresse source et cer­tains sys­tèmes sont plus poin­tilleux à ce su­jet. Par consé­quent, une adresse adé­quate doit être confi­gu­rée sur chaque in­terface :

ip addr add 2001:db8:cb00:7100::1/64 dev vnet5 noprefixroute nodad

En ce qui concerne le DHCP, cer­tains dé­mons peuvent être contra­riés par l’adresse en /32 as­so­ciée à l’in­ter­face. Tou­te­fois, dns­masq ac­cepte de s’y faire. Si be­soin, l’écri­ture d’un dé­mon DHCP est re­la­ti­ve­ment tri­viale. Pour IPv6, si l’adresse as­si­gnée est de type EUI-64, radvd fonc­tionne par­fai­te­ment avec cette confi­guration :

interface vnet5 {
  AdvSendAdvert on;
  prefix 2001:db8:cb00:7100::/64 {
    AdvOnLink on;
    AdvAutonomous on;
    AdvRouterAddr on;
  };
};

Conclusion et avenir#

La confi­gu­ra­tion pré­sen­tée ici fonc­tionne avec BIRD 1.6.3 et Li­nux 3.15 ou plus ré­cent. Elle per­met de s’af­fran­chir des li­mi­ta­tions in­hé­rentes des ré­seaux L2 en termes de flexi­bi­lité ou de dis­po­ni­bi­lité tout en res­tant trans­pa­rent du point de vue des ma­chines vir­tuelles hé­ber­gées. En fai­sant re­po­ser l’ef­fort de rou­tage sur Li­nux, la so­lu­tion est éga­le­ment éco­no­mique car le ma­té­riel exis­tant peut être réuti­lisé. En­fin, l’ex­ploi­ta­tion d’un tel ré­seau reste simple après avoir com­pris les bases (règles de rou­tage, tables de rou­tage et ses­sions BGP).

Il existe plu­sieurs amé­lio­ra­tions po­ten­tielles :

Uti­li­sa­tion des VRF
À par­tir de Li­nux 4.3, les do­maines vir­tuels de rou­tage L3 (VRF) per­mettent d’as­so­cier des in­ter­faces à des tables de rou­tage. Nous pour­rions donc dé­fi­nir trois VRF : public, private et local-out. Cela per­met­trait d’amé­lio­rer les per­for­mances en re­ti­rant la né­ces­sité de par­cou­rir plu­sieurs règles de rou­tage (ce­pen­dant, avant Li­nux 4.8, les per­for­mances sont dé­gra­dées en rai­son de la non-uti­li­sa­tion des fonc­tion­na­li­tés d’ac­cé­lé­ra­tion, voir le com­mit 7889681f4a6c). Pour plus d’in­for­ma­tions, re­por­tez vous à la do­cu­men­ta­tion du noyau.
Rou­tage L3 de bout en bout
Plu­tôt que de re­po­ser sur une fa­brique L2, la confi­gu­ra­tion BGP peut être amé­lio­rée et sim­pli­fiée en uti­li­sant un cer­tain nombre de mé­ca­nismes d’au­to­con­fi­gu­ra­tion. Cu­mu­lus a pu­blié un li­vret sur le su­jet : « BGP in the da­ta­cen­ter ». Tou­te­fois, cela né­ces­site que toutes les im­plé­men­ta­tions BGP uti­li­sées sup­portent ces fonc­tion­na­li­tés. Sur les hy­per­vi­seurs, cela im­pose l’uti­li­sa­tion de FRR et sur les équi­pe­ments ré­seau, seul Cu­mu­lus Li­nux rem­plit les cri­tères adéquats.
Uti­li­sa­tion de BGP LLGR
Uti­li­ser BFD avec des temps de ré­ac­tion courts per­met d’in­va­li­der très ra­pi­de­ment un che­min non fonc­tion­nel. En contre-par­tie, en cas de conges­tion ou de charge éle­vée, des pa­quets BFD peuvent être per­dus ren­dant l’hy­per­vi­seur et les ma­chines qu’il hé­berge in­dis­po­nibles jusqu’au ré­ta­blis­se­ment des ses­sions BGP. Cer­taines im­plé­men­ta­tions de BGP sup­portent le Long-Li­ved BGP Gra­ce­ful Res­tart, une ex­ten­sion conser­vant les routes per­dues mais avec une prio­rité plus faible (voir draft-ut­taro-idr-bgp-per­sis­tence-03). C’est une so­lu­tion idéale pour notre pro­blème : les routes per­dues ne sont uti­li­sées qu’en der­nier se­cours quand tous les liens sont de­ve­nus in­dis­po­nibles. Ac­tuel­le­ment, au­cune im­plé­men­ta­tion libre n’existe. Je­tez un œil sur « BGP LLGR : ses­sions BGP fiables et ré­ac­tives » pour plus de détails.

Mise à jour (08.2019)

Pour une meilleure sé­cu­rité, il est pos­sible d’uti­li­ser les fonc­tion­na­li­tés au­tour de la RPKI pour va­li­der les an­nonces de chaque hy­per­vi­seur. Voir « Sé­cu­ri­ser BGP sur le ser­veur avec la va­li­da­tion de l’origine ».

Mise à jour (05.2021)

Fa­ce­book a pu­blié « Run­ning BGP in Data Cen­ters at Scale ». Ce pa­pier ex­plique com­ment Fa­ce­book uti­lise BGP dans ses da­ta­centres. Il s’agit d’une pro­blé­ma­tique or­tho­go­nale au fait d’étendre BGP jusqu’au ser­veur mais c’est une lec­ture in­té­res­sante avec, no­tam­ment, l’uti­li­sa­tion des po­li­tiques de rou­tage pour fa­ci­li­ter l’opé­rabilité.

Mise à jour (10.2021)

Nous avons pu­blié la confi­gu­ra­tion uti­li­sée chez Blade dans nos da­ta­centres de San Fran­cisco et Séoul qui sont en BGP jusqu’aux ser­veurs avec une fa­brique L3. Cela com­prend la confi­gu­ra­tion pour des switchs top-of-the-rack Ju­ni­per et des switchs top-of-the-rack Cu­mu­lus. Ceux-ci dis­posent d’un ser­veur DHCP pour le pro­vi­sio­ning. La confi­gu­ra­tion du BGP sur les ser­veurs se fait via une API ser­vie par nginx.