Jak nainstalovat Apache Kafka na Debian 10

V tomto tutoriálu vám ukážeme, jak nainstalovat Apache Kafka na Debian 10. Pro ty z vás, kteří nevěděli, Apache Kafka je open source platforma pro distribuované streamování událostí, kterou používá tisíce společností pro vysoce výkonné datové kanály, analýzu streamování, integraci dat a kritické aplikace.

Tento článek předpokládá, že máte alespoň základní znalosti Linuxu, víte, jak používat shell, a co je nejdůležitější, hostujete svůj web na vlastním VPS. Instalace je poměrně jednoduchá a předpokládá, že běží v účtu root, pokud ne, možná budete muset přidat 'sudo ‘ k příkazům pro získání oprávnění root. Ukážu vám krok za krokem instalaci Apache Kafka na Debian 10 (Buster).

Předpoklady

• Server s jedním z následujících operačních systémů:Debian 10 (Buster).
• Abyste předešli případným problémům, doporučujeme použít novou instalaci operačního systému.
• non-root sudo user nebo přístup k root user . Doporučujeme jednat jako non-root sudo user , protože však můžete poškodit svůj systém, pokud nebudete při jednání jako root opatrní.

Nainstalujte Apache Kafka na Debian 10 Buster

Krok 1. Než spustíte výukový program níže, je důležité se ujistit, že váš systém je aktuální, a to spuštěním následujícího apt příkazy v terminálu:

sudo apt update

Krok 2. Instalace Java.

Nyní nainstalujte Javu pomocí následujícího příkazu:

sudo apt install default-jdk

Ověřte verzi Java spuštěním následujícího příkazu:

java -version

Krok 3. Instalace Apache Kafka na Debian 10.

Nyní spustíme následující příkaz ke stažení balíčků Apache Kafka z oficiálních stránek:

wget https://downloads.apache.org/kafka/2.8.0/kafka_2.12-2.8.0.tgz

Potom rozbalte stažený archivní soubor:

tar xzf kafka_2.12-2.8.0.tgz
mv kafka_2.12-2.8.0 /usr/local/kafka

Krok 4. Vytvořte soubory Systemd Unit.

Nyní vytváříme systemd jednotkové soubory pro službu Zookeeper a Kafka. To pomůže spravovat služby Kafka tak, aby spouštěly nebo zastavovaly používání systemctl příkaz:

nano /etc/systemd/system/zookeeper.service

Přidejte následující soubor:

[Unit]
Description=Apache Zookeeper server
Documentation=http://zookeeper.apache.org
Requires=network.target remote-fs.target
After=network.target remote-fs.target

[Service]
Type=simple
ExecStart=/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties
ExecStop=/usr/local/kafka/bin/zookeeper-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target

Dále k vytvoření Kafka systemd soubor jednotky pomocí následujícího příkazu:

nano /etc/systemd/system/kafka.service

Přidejte níže uvedený obsah:

[Unit]
Description=Apache Kafka Server
Documentation=http://kafka.apache.org/documentation.html
Requires=zookeeper.service

[Service]
Type=simple
Environment="JAVA_HOME=/usr/lib/jvm/java-1.11.0-openjdk-amd64"
ExecStart=/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties
ExecStop=/usr/local/kafka/bin/kafka-server-stop.sh

[Install]
WantedBy=multi-user.target

Uložte soubory a znovu načtěte systemd démon pro použití nových změn:

sudo systemctl daemon-reload
sudo systemctl start zookeeper
sudo systemctl start kafka

Krok 5. Vytvořte téma v Kafkovi.

Nejprve vytvořte téma s názvem „MakeTopic“ s jedním oddílem s jedinou replikou:

cd /usr/local/kafka
bin/kafka-maketopics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic MakeTopic

Poté můžete vytvořená témata na Kafka vidět spuštěním níže uvedeného příkazu:

$ bin/kafka-maketopics.sh --list --zookeeper localhost:2181
MakeTopic

Krok 6. Odešlete zprávy Kafkovi.

Nyní spustíme producenta a poté do konzole napíšeme několik zpráv, které se mají odeslat na server:

$ bin/kafka-console-producer.sh --broker-list localhost:9092 --topic MakeTopic

>Welcome to kafka
>This is my first topic
>

Krok 7. Použití Kafka Consumer.

Apache Kafka má také spotřebitele příkazového řádku pro čtení dat z clusteru Kafka a zobrazování zpráv na standardní výstup.

$ bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic MakeTopic --from-beginning

Welcome to kafka
This is my first topic

Blahopřejeme! Úspěšně jste nainstalovali Apache Kafka. Děkujeme, že jste použili tento návod k instalaci nejnovější verze Apache Kafka na systém Debian. Pro další pomoc nebo užitečné informace doporučujeme zkontrolovat oficiální webové stránky Apache Kafka.