Jak nainstalovat a nakonfigurovat Apache Kafka na Ubuntu 20.04

Úvod

Apache Kafka je platforma pro streamování distribuovaných událostí, která dokáže zpracovat vysoce výkonné datové kanály. Původně byla vyvinuta společností Linkedin a poté byla veřejná jako platforma s otevřeným zdrojovým kódem a využívaná mnoha IT společnostmi na světě.

Tento článek vám ukáže způsob, jak nainstalovat a nakonfigurovat Kafka na Ubuntu 20.04.

Instalace Apache Kafka

Předpoklad

Apache Kafka vyžaduje, aby byla na vašem počítači Ubuntu 20.04 nainstalována Java. Nejprve aktualizujme váš OS pomocí následujícího příkazu:

Aktualizace $ sudo apt

Po aktualizaci operačního systému pokračujte instalací Java:

$ sudo apt install openjdk-11-jre-headless

Ověření, že Java byla úspěšně nainstalována, spuštěním:

$ java --version

Výstup:

Stahování Kafky

Dále si musíte stáhnout zdroj Kafka do svého Ubuntu 20.04. Důrazně doporučujeme stáhnout si jej z oficiálních stránek Apache Kafka:https://kafka.apache.org/downloads

V době psaní tohoto článku je nejnovější verze 2.7.0. Můžete si jej stáhnout následujícím příkazem:

$ cd $HOME

$ wget https://downloads.apache.org/kafka/2.7.0/kafka-2.7.0-src.tgz

Vytvořme novou složku s názvem kafka-server v adresáři /usr/local:

$ sudo mkdir /usr/local/kafka-server

Poté rozbalte stažený zdroj Kafky do adresáře /usr/local/kafka-server:

$ sudo tar xf $HOME/kafka-2.7.0-src.tgz -C /usr/local/kafka-server

Už jste měli extrahované binární soubory Apache Kafka. Výpis těchto souborů spuštěním:

$ ls /usr/local/kafka-server/kafka-2.7.0-src/bin/

Výstup:

Nyní je čas, aby Kafka a Zookeeper běželi jako démoni v Ubuntu 20.04. Chcete-li to provést, musíte vytvořit soubory jednotek Systemd pro Kafku i Zookeeper.

Vytváření souborů Systemd Unit pro Kafka a Zookeeper

Pomocí svého oblíbeného editoru vytvořte dva soubory následovně:

/etc/systemd/system/zookeeper.service

[Unit]Description=Apache Zookeeper ServerRequires=network.target remote-fs.targetAfter=network.target remote-fs.target[Service]Type=simpleExecStart=/usr/local/kafka-server/kafka-2.7.0 -src/bin/zookeeper-server-start.sh /usr/local/kafka-server/kafka-2.7.0-src/config/zookeeper.propertiesExecStop=/usr/local/kafka-server/kafka-2.7.0- src/bin/zookeeper-server-stop.shRestart=on-abnormal[Install]WantedBy=multi-user.target

/etc/systemd/system/kafka.service

[Unit]Description=Apache Kafka ServerDocumentation=http://kafka.apache.org/documentation.htmlRequires=zookeeper.serviceAfter=zookeeper.service[Service]Type=simpleEnvironment="JAVA_HOME=/usr/lib/jvm/ java-11-openjdk-amd64"ExecStart=/usr/local/kafka-server/kafka-2.7.0-src/bin/kafka-server-start.sh /usr/local/kafka-server/kafka-2.7.0 -src/config/server.propertiesExecStop=/usr/local/kafka-server/kafka-2.7.0-src/bin/kafka-server-stop.shRestart=on-abnormal[Install]WantedBy=multi-user.target 

 Chcete-li použít změny, je třeba znovu načíst démony systemd a musíte také povolit služby.
 
$ sudo systemctl daemon-reload$ sudo systemctl enable --now zookeeper.service$ sudo systemctl enable --now kafka.service$ sudo systemctl status kafka zookeeper
 

 Výstup:
 

 
 

 
 
Instalace Cluster Manager pro Apache Kafka (CMAK)
 

 Dalším krokem je instalace CMAK, což je zkratka pro Cluster Manager pro Apache Kafka. CMAK je open-source nástroj pro správu a monitorování služeb Kafka. Původně byl vyvinut společností Yahoo. Chcete-li nainstalovat CMAK, spusťte následující příkazy:
 
$ cd $HOME$ git klon https://github.com/yahoo/CMAK.git
 

 
 
Konfigurace CMAK
 

 Poté pomocí svého oblíbeného editoru upravte konfiguraci CMAK.
 
$ vim ~/CMAK/conf/application.conf
 

 V tomto tutoriálu nakonfigurujeme Zookeeper jako localhost , změňme hodnotu cmak.zkhosts jako localhost:2181 
 

 Můžete najít cmak.zkhosts na řádku 28.
 

 
 

 Nyní musíte vytvořit soubor zip pro účely nasazení aplikace:
 
$ cd ~/CMAK$ ./sbt clean dist
 

 Dokončení bude trvat asi minutu. Výstup bude:
 

 
 
Spuštění služby CMAK
 

 Přejděte do adresáře ~/CMAK/target/universal a rozbalte soubor zip:
 
$ cd ~/CMAK/target/universal$ rozbalit cmak-3.0.0.5.zip
 

 Po rozbalení souboru cmak-3.0.0.5.zip přejděte do adresáře a spusťte binární soubor cmak:
 
$ cd cmak-3.0.0.5$ bin/cmak
 

 Ve výchozím nastavení poběží služba cmak na portu 9000.
 

 Použijte webový prohlížeč a přejděte na http://:9000
 

 
 

 V současné době není k dispozici žádný cluster. Musíme přidat nový kliknutím na Přidat cluster v Clusteru  rozevíracího seznamu.
 

   
 

 Poté vyplňte níže uvedený formulář s požadovanými informacemi:Název clusteru, Hostitelé Cluster Zookeeper, Verze Kafka a tak dále. Například:
 

 
 

 Ponechte ostatní možnosti s výchozími hodnotami a poté klikněte na Uložit. 
 

 
 

 Hotovo. Cluster byl úspěšně vytvořen.
 

   
 

 Nyní je čas vytvořit vzorové téma. Předpokládejme, že vytvoříme téma s názvem „LinuxWaysTopic“. S ohledem na to, že CMAK stále běží a spusťte nový terminál, spusťte následující příkaz:
 
$ cd /usr/local/kafka-server/kafka-2.7.0-src
 
$ bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic LinuxWaysTopic
 

 Výstup:
 

 
 

 Přejděte do zobrazení clusteru a klikněte na Téma> Seznam 
 

   
 
Závěr
 

 Úspěšně jste nainstalovali a nakonfigurovali Apache Kafka na svém počítači Ubuntu 20.04 LTS.
 

 Pokud máte nějaké obavy, neváhejte zanechat svůj komentář a dejte mi vědět. Děkuji!