ClickHouse SF Bay Area Meetup : Akvorado

Voici les diapositives que j’ai présentées lors d’un meetup ClickHouse Bay Area en juillet 2022, organisé par Altinity. Elles portent sur Akvorado, un collecteur et visualisateur de flux réseau, et notamment sur la façon dont il s’appuie sur ClickHouse, une base de données orientée colonnes.

La réunion a été enregistrée et est disponible sur YouTube. Voici la partie qui concerne ma présentation, avec des sous-titres¹ :

J’ai eu quelques questions sur la façon d’obtenir des informations des couches supérieures, comme HTTP. Comme mon cas d’utilisation d’Akvorado se situait à la périphérie du réseau, mes réponses étaient principalement négatives. Cependant, comme sFlow est extensible, lorsque vous collectez des flux à partir de serveurs Linux, vous pouvez intégrer des données supplémentaires et les exporter également.

J’ai également reçu une question sur l’agrégation dans une seule table. ClickHouse peut agréger automatiquement des données en utilisant le TTL. Ma réponse pour ne pas le faire est partielle. Il y a une autre raison : les périodes de rétention des différentes tables peuvent se chevaucher. Par exemple, la table principale conserve les données pendant 15 jours, mais même pendant ces 15 jours, si je fais une requête sur une fenêtre de 12 heures, il est plus rapide d’utiliser la table agrégée flows_1m0s, sauf si je demande quelque chose sur les ports et les adresses IP.