Comment installer et exécuter Kafka et Zookeeper sur Ubuntu 20.04 LTS
Dans Apache Kafka, les métadonnées sont stockées à l'aide d'Apache ZooKeeper, qui est également un prérequis pour Kafka. Le cluster est également géré par ZooKeeper via Kafka. Il coordonne la topologie des brokers/du cluster. ZooKeeper dispose d'un système de fichiers de configuration cohérent, utilisé pour déterminer qui sera le leader de la partition du broker. En un sens, Zookeeper gère les clusters Kafka. Il possède une liste de tous les brokers Kafka qui y sont attachés. Ce composant notifie Kafka lorsqu'un broker tombe en panne, qu'une partition tombe en panne, ou lorsqu'un nouveau broker ou une nouvelle partition apparaît. Examinons maintenant le processus d'installation.
VPSie vous permet de créer une nouvelle instance CentOS. Créez un compte en cliquant ci-dessous et enregistrez votre instance Ubuntu.
Étape 1 : Mettre à jour votre système
Ceux qui disposent déjà d'un système opérationnel doivent ignorer cette étape et mettre à jour leur système. Exécutez les commandes suivantes pour mettre à jour votre système.
# apt-get update && apt-get upgrade -y
Étape 2 : Installer Java
Il est important de vérifier que votre système Ubuntu est équipé de Java avant de commencer. Vous pouvez le vérifier en exécutant la commande suivante.
# java -version
Si vous n'avez pas Java sur votre système, exécutez les commandes suivantes pour l'installer :
# sudo apt install default-jre
# sudo apt install default-jdk
Vérifiez à nouveau !
Étape 3 : Installer et configurer Kafka
Rendez-vous sur la page officielle pour consulter la dernière version. La commande suivante télécharge le fichier :
# wget https://dlcdn.apache.org/kafka/3.1.0/kafka_2.13-3.1.0.tgz
Pour afficher le contenu du fichier téléchargé, vous devez l'extraire. Utilisez la commande suivante pour ce faire.
# tar -xvf kafka_2.13-3.1.0.tgz
Pour vérifier que l'extraction a été effectuée correctement, il est nécessaire de la contrôler. Accédez au dossier Kafka.
# ls
# cd kafka_2.13-3.1.0
Vous voyez maintenant votre nouveau dossier Kafka. Assurez-vous que les informations ont été extraites correctement avant de continuer. Exécutez la commande suivante pour vérifier si votre système est en mesure d'exécuter les scripts Kafka.
# bin/kafka-topics.sh
Après l'exécution de la commande, recherchez la ligne «Créer, supprimer, décrire ou modifier un sujet». Si vous voyez cette ligne, vous pouvez continuer.
En utilisant la commande suivante, vous pouvez trouver les scripts dans le répertoire bin :
# ls bin
Une légère modification de /etc/environment vous permettra d'exécuter les scripts depuis n'importe où sur votre système.
Copiez l'emplacement où se trouve votre Kafka. Il est surligné en rouge.
root@:~/kafka_2.13-3.1.0# pwd
/root/kafka_2.13-3.1.0/bin
root@:~/kafka_2.13-3.1.0#Ajoutez /bin à l'emplacement de votre Kafka, de sorte que l'emplacement de votre Kafka soit comme suit.
/root/kafka_2.13-3.1.0/binOuvrez ensuite le fichier et ajoutez cet emplacement :
# sudo vim /etc/environment
Ce devrait être comme ceci :
PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin:/root/kafka_2.13-3.1.0/bin"Enregistrez le fichier et quittez.
Vous n'avez plus besoin d'entrer dans le dossier Kafka pour exécuter une commande spécifique.
Étape 4 : Exécuter ZooKeeper puis Kafka
Nous allons maintenant exécuter ZooKeeper ainsi que Kafka. Nous savons que Kafka a besoin de ZooKeeper pour démarrer.
# cd kafka_2.13-3.1.0/
Commençons par démarrer ZooKeeper.
# zookeeper-server-start.sh config/zookeeper.properties
Exécutez maintenant Kafka,
# kafka-server-start.sh config/server.properties
Kafka a donc été installé avec succès sur votre instance Ubuntu nous espérons que Kafka est également opérationnel. Merci d'avoir lu ! J'espère que cela vous a été utile !