Nainstalovat a nakonfigurovat Apache Kafka na Ubuntu 20.04 – proces krok za krokem k implementaci tohoto úkolu?

Apache Kafka je populární zprostředkovatel distribuovaných zpráv navržený tak, aby zpracovával velké objemy dat v reálném čase. Cluster Kafka je vysoce škálovatelný a odolný proti chybám.

Má také mnohem vyšší propustnost ve srovnání s jinými zprostředkovateli zpráv, jako jsou ActiveMQ a RabbitMQ.

Ačkoli se obecně používá jako systém zasílání zpráv pro publikování/odběr, mnoho organizací jej používá také pro agregaci protokolů, protože nabízí trvalé úložiště pro publikované zprávy.

Zde v LinuxAPT, jako součást našich služeb správy serveru, pravidelně pomáháme našim zákazníkům provádět dotazy související s Apache.

V této souvislosti se podíváme na to, jak nainstalovat a nakonfigurovat Kafka na Ubuntu 20.04.

Jak nainstalovat Apache Kafka na systém Ubuntu?

Chcete-li začít s touto instalační úlohou, musíte přistupovat k serveru jako uživatel root s právy sudo.

Apache Kafka vyžaduje, aby byla na vašem počítači Ubuntu 20.04 nainstalována Java.

Začněte aktualizací operačního systému pomocí následujícího příkazu:

$ sudo apt update

Po aktualizaci operačního systému pokračujte instalací Java:

$ sudo apt install openjdk-11-jre-headless

Poté ověřte, zda je Java úspěšně nainstalována v systému spuštěním příkazu:

$ java --version

Jak stáhnout Kafka na Ubuntu?

Nyní si musíte stáhnout zdroj Kafka do svého Ubuntu 20.04. Důrazně doporučujeme stáhnout si jej z oficiálních stránek Apache Kafka:https://kafka.apache.org/downloads

V době psaní tohoto článku je nejnovější verze 2.7.0.

Můžete si jej stáhnout následujícím příkazem:

$ cd $HOME
$ wget https://downloads.apache.org/kafka/2.7.0/kafka-2.7.0-src.tgz

Dále vytvořte novou složku s názvem kafka-server v adresáři /usr/local:

$ sudo mkdir /usr/local/kafka-server

Poté rozbalte stažený zdroj Kafky do adresáře /usr/local/kafka-server:

$ sudo tar xf $HOME/kafka-2.7.0-src.tgz -C /usr/local/kafka-server

Protože jste již rozbalili binární soubory Apache Kafka, můžete soubory zobrazit spuštěním:

$ ls /usr/local/kafka-server/kafka-2.7.0-src/bin/

Nyní je čas, aby Kafka a Zookeeper běželi jako démoni v Ubuntu 20.04.

Chcete-li to provést, musíte vytvořit soubory jednotek Systemd pro Kafku i Zookeeper.

Jak vytvořit soubory Systemd Unit pro Kafka a Zookeeper?

Začněte pomocí svého oblíbeného editoru a vytvořte dva soubory následovně:

/etc/systemd/system/zookeeper.service

[Unit]
Description=Apache Zookeeper Server
Requires=network.target remote-fs.target
After=network.target remote-fs.target
[Service]
Type=simple
ExecStart=/usr/local/kafka-server/kafka-2.7.0-src/bin/zookeeper-server-start.sh /usr/local/kafka-server/kafka-2.7.0-src/config/zookeeper.properties
ExecStop=/usr/local/kafka-server/kafka-2.7.0-src/bin/zookeeper-server-stop.sh
Restart=on-abnormal
[Install]
WantedBy=multi-user.target

/etc/systemd/system/kafka.service

[Unit]
Description=Apache Kafka Server
Documentation=http://kafka.apache.org/documentation.html
Requires=zookeeper.service
After=zookeeper.service
[Service]
Type=simple
Environment="JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64"
ExecStart=/usr/local/kafka-server/kafka-2.7.0-src/bin/kafka-server-start.sh /usr/local/kafka-server/kafka-2.7.0-src/config/server.properties
ExecStop=/usr/local/kafka-server/kafka-2.7.0-src/bin/kafka-server-stop.sh
Restart=on-abnormal
[Install]
WantedBy=multi-user.target

Chcete-li použít změny, je třeba znovu načíst démony systemd a musíte také povolit služby:

$ sudo systemctl daemon-reload
$ sudo systemctl enable --now zookeeper.service
$ sudo systemctl enable --now kafka.service
$ sudo systemctl status kafka zookeeper

Jak nainstalovat Cluster Manager pro Apache Kafka (CMAK) na Ubuntu?

Zde nainstalujeme CMAK, což je zkratka pro Cluster Manager pro Apache Kafka. CMAK je open-source nástroj pro správu a monitorování služeb Kafka.

Původně byl vyvinut společností Yahoo. Chcete-li nainstalovat CMAK, spusťte následující příkazy:

$ cd $HOME
$ git clone https://github.com/yahoo/CMAK.git

Jak nakonfigurovat CMAK na Ubuntu?

Pomocí svého oblíbeného editoru můžete upravit konfiguraci CMAK:

$ vim ~/CMAK/conf/application.conf

Zde nakonfigurujeme Zookeeper is localhost, změňme hodnotu cmak.zkhosts jako localhost:2181

Soubor cmak.zkhosts najdete na řádku 28.

Nyní musíte vytvořit soubor zip pro účely nasazení aplikace:

$ cd ~/CMAK
$ ./sbt clean dist

Dokončení bude trvat asi minutu.

Jak spustit službu CMAK na Ubuntu?

i. Přejděte do adresáře ~/CMAK/target/universal a rozbalte soubor zip:

$ cd ~/CMAK/target/universal
$ unzip cmak-3.0.0.5.zip

ii. Po rozbalení souboru cmak-3.0.0.5.zip přejděte do adresáře a spusťte binární soubor cmak:

$ cd cmak-3.0.0.5
$ bin/cmak

Ve výchozím nastavení poběží služba cmak na portu 9000.

Použijte webový prohlížeč a přejděte na http://:9000

Při prvním přístupu k jeho rozhraní nebude k dispozici žádný cluster.

iii. Poté musíme přidat nový kliknutím na Add Cluster on Cluster drop-down list.

iv. Zde jsme vyplnili formulář požadovanými informacemi:Název clusteru, Hostitelé Cluster Zookeeper Hosts, Verze Kafka a tak dále.

v. Ponechte ostatní možnosti s výchozími hodnotami a poté klepněte na Uložit.

Nyní bude Cluster úspěšně vytvořen.

Nyní můžete vytvořit vzorové téma.

vi. Předpokládejme, že vytvoříme téma s názvem „LinuxAPTTopic“.

S ohledem na to, že CMAK stále běží a spusťte nový terminál, spusťte následující příkaz:

$ cd /usr/local/kafka-server/kafka-2.7.0-src
$ bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic LinuxAPTTopic

Tento příkaz vytvoří téma "LinuxAPTTopic".

vii. Nakonec přejděte do zobrazení clusteru a klikněte na téma> seznam.