Úvod
Apache Kafka je platforma pro streamování distribuovaných událostí, která dokáže zpracovat vysoce výkonné datové kanály. Původně byla vyvinuta společností Linkedin a poté byla veřejná jako platforma s otevřeným zdrojovým kódem a využívaná mnoha IT společnostmi na světě.
Tento článek vám ukáže způsob, jak nainstalovat a nakonfigurovat Kafka na Ubuntu 20.04.
Instalace Apache Kafka
Předpoklad
Apache Kafka vyžaduje, aby byla na vašem počítači Ubuntu 20.04 nainstalována Java. Nejprve aktualizujme váš OS pomocí následujícího příkazu:
Aktualizace $ sudo apt
Po aktualizaci operačního systému pokračujte instalací Java:
$ sudo apt install openjdk-11-jre-headless
Ověření, že Java byla úspěšně nainstalována, spuštěním:
$ java --version
Výstup:
Stahování Kafky
Dále si musíte stáhnout zdroj Kafka do svého Ubuntu 20.04. Důrazně doporučujeme stáhnout si jej z oficiálních stránek Apache Kafka:https://kafka.apache.org/downloads
V době psaní tohoto článku je nejnovější verze 2.7.0. Můžete si jej stáhnout následujícím příkazem:
$ cd $HOME
$ wget https://downloads.apache.org/kafka/2.7.0/kafka-2.7.0-src.tgz
Vytvořme novou složku s názvem kafka-server v adresáři /usr/local:
$ sudo mkdir /usr/local/kafka-server
Poté rozbalte stažený zdroj Kafky do adresáře /usr/local/kafka-server:
$ sudo tar xf $HOME/kafka-2.7.0-src.tgz -C /usr/local/kafka-server
Už jste měli extrahované binární soubory Apache Kafka. Výpis těchto souborů spuštěním:
$ ls /usr/local/kafka-server/kafka-2.7.0-src/bin/
Výstup:
Nyní je čas, aby Kafka a Zookeeper běželi jako démoni v Ubuntu 20.04. Chcete-li to provést, musíte vytvořit soubory jednotek Systemd pro Kafku i Zookeeper.
Vytváření souborů Systemd Unit pro Kafka a Zookeeper
Pomocí svého oblíbeného editoru vytvořte dva soubory následovně:
/etc/systemd/system/zookeeper.service
[Unit]Description=Apache Zookeeper ServerRequires=network.target remote-fs.targetAfter=network.target remote-fs.target[Service]Type=simpleExecStart=/usr/local/kafka-server/kafka-2.7.0 -src/bin/zookeeper-server-start.sh /usr/local/kafka-server/kafka-2.7.0-src/config/zookeeper.propertiesExecStop=/usr/local/kafka-server/kafka-2.7.0- src/bin/zookeeper-server-stop.shRestart=on-abnormal[Install]WantedBy=multi-user.target
/etc/systemd/system/kafka.service
[Unit]Description=Apache Kafka ServerDocumentation=http://kafka.apache.org/documentation.htmlRequires=zookeeper.serviceAfter=zookeeper.service[Service]Type=simpleEnvironment="JAVA_HOME=/usr/lib/jvm/ java-11-openjdk-amd64"ExecStart=/usr/local/kafka-server/kafka-2.7.0-src/bin/kafka-server-start.sh /usr/local/kafka-server/kafka-2.7.0 -src/config/server.propertiesExecStop=/usr/local/kafka-server/kafka-2.7.0-src/bin/kafka-server-stop.shRestart=on-abnormal[Install]WantedBy=multi-user.targetChcete-li použít změny, je třeba znovu načíst démony systemd a musíte také povolit služby.
$ sudo systemctl daemon-reload$ sudo systemctl enable --now zookeeper.service$ sudo systemctl enable --now kafka.service$ sudo systemctl status kafka zookeeperVýstup:
Instalace Cluster Manager pro Apache Kafka (CMAK)
Dalším krokem je instalace CMAK, což je zkratka pro Cluster Manager pro Apache Kafka. CMAK je open-source nástroj pro správu a monitorování služeb Kafka. Původně byl vyvinut společností Yahoo. Chcete-li nainstalovat CMAK, spusťte následující příkazy:
$ cd $HOME$ git klon https://github.com/yahoo/CMAK.git
Konfigurace CMAK
Poté pomocí svého oblíbeného editoru upravte konfiguraci CMAK.
$ vim ~/CMAK/conf/application.confV tomto tutoriálu nakonfigurujeme Zookeeper jako localhost , změňme hodnotu cmak.zkhosts jako localhost:2181
Můžete najít cmak.zkhosts na řádku 28.
Nyní musíte vytvořit soubor zip pro účely nasazení aplikace:
$ cd ~/CMAK$ ./sbt clean distDokončení bude trvat asi minutu. Výstup bude:
Spuštění služby CMAK
Přejděte do adresáře ~/CMAK/target/universal a rozbalte soubor zip:
$ cd ~/CMAK/target/universal$ rozbalit cmak-3.0.0.5.zipPo rozbalení souboru cmak-3.0.0.5.zip přejděte do adresáře a spusťte binární soubor cmak:
$ cd cmak-3.0.0.5$ bin/cmakVe výchozím nastavení poběží služba cmak na portu 9000.
Použijte webový prohlížeč a přejděte na http://
:9000
V současné době není k dispozici žádný cluster. Musíme přidat nový kliknutím na Přidat cluster v Clusteru rozevíracího seznamu.
Poté vyplňte níže uvedený formulář s požadovanými informacemi:Název clusteru, Hostitelé Cluster Zookeeper, Verze Kafka a tak dále. Například:
Ponechte ostatní možnosti s výchozími hodnotami a poté klikněte na Uložit.
Hotovo. Cluster byl úspěšně vytvořen.
Nyní je čas vytvořit vzorové téma. Předpokládejme, že vytvoříme téma s názvem „LinuxWaysTopic“. S ohledem na to, že CMAK stále běží a spusťte nový terminál, spusťte následující příkaz:
$ cd /usr/local/kafka-server/kafka-2.7.0-src$ bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic LinuxWaysTopicVýstup:
Přejděte do zobrazení clusteru a klikněte na Téma> Seznam
Závěr
Úspěšně jste nainstalovali a nakonfigurovali Apache Kafka na svém počítači Ubuntu 20.04 LTS.
Pokud máte nějaké obavy, neváhejte zanechat svůj komentář a dejte mi vědět. Děkuji!
Ubuntu