Jak nainstalovat Apache Kafka na Ubuntu 18.04 LTS

V tomto tutoriálu vám ukážeme, jak nainstalovat Apache Kafka na Ubuntu 18.04 LTS. Pro ty z vás, kteří nevěděli, Apache Kafka je distribuovaný agent zpráv navržený tak, aby zvládal objemy informací v reálném čase efektivně. Na rozdíl od tradičních agentů, jako jsou ActiveMQ a RabbitMQ, Kafka funguje jako skupina jednoho nebo více serverů, díky nimž je vysoce škálovatelný a díky distribuované povaze má zabudovanou odolnost proti chybám a zároveň poskytuje větší propustnost ve srovnání s jeho protějšky.

Tento článek předpokládá, že máte alespoň základní znalosti Linuxu, víte, jak používat shell, a co je nejdůležitější, hostujete svůj web na vlastním VPS. Instalace je poměrně jednoduchá a předpokládá, že běží v účtu root, pokud ne, možná budete muset přidat 'sudo ‘ k příkazům pro získání oprávnění root. Ukážu vám krok za krokem instalaci Apache Kafka na server Ubuntu 18.04 LTS (Bionic Beaver).

Předpoklady

• Server s jedním z následujících operačních systémů:Ubuntu 18.04 LTS (Bionic Beaver).
• Abyste předešli případným problémům, doporučujeme použít novou instalaci operačního systému.
• Přístup SSH k serveru (nebo stačí otevřít Terminál, pokud jste na počítači).
• non-root sudo user nebo přístup k root user . Doporučujeme jednat jako non-root sudo user , protože však můžete poškodit svůj systém, pokud nebudete při jednání jako root opatrní.

Nainstalujte Apache Kafka na Ubuntu 18.04 LTS Bionic Beaver

Krok 1. Nejprve se ujistěte, že všechny vaše systémové balíčky jsou aktuální, spuštěním následujícího apt-get příkazy v terminálu.

sudo apt-get update
sudo apt-get upgrade

Krok 2. Instalace Java.

Apache Kafka vyžaduje, aby byla na vašem serveru nainstalována Java. Ve výchozím nastavení není Java dostupná v úložišti Ubuntu. Přidejte Oracle Java PPA do Apt pomocí následujícího příkazu:

add-apt-repository ppa:webupd8team/java
apt-get update -y
apt-get install oracle-java8-installer

Ověřte verzi Java spuštěním následujícího příkazu:

java -version

Krok 3. Instalace Zookeeper.

Apache Kafka závisí na správě clusteru na Zookeeper. Před spuštěním Kafky je tedy třeba spustit Zookeeper:

apt-get install zookeeperd

Po dokončení instalace se ZooKeeper automaticky spustí jako démon. Ve výchozím nastavení bude naslouchat na portu 2181:

netstat -ant | grep :2181

Můžete spustit následující příkaz a zkontrolovat, zda je správce zoo spuštěn:

systemctl status zookeeper

Krok 4. Stažení a instalace Apache Kafka na Ubuntu 18.04 LTS.

Nejprve si stáhněte a extrahujte Kafku z webu Apache. Můžete použít wget ke stažení Kafky:

wget http://www-us.apache.org/dist/kafka/1.1.0/kafka_2.12-1.1.0.tgz

Potom rozbalte archivní soubor:

tar xzf kafka_2.12-1.1.0.tgz
mv kafka_2.12-1.1.0 /usr/local/kafka

Spustit server Kafka:

cd /usr/local/kafka
bin/zookeeper-server-start.sh config/zookeeper.properties

Nyní spusťte server Kafka:

bin/kafka-server-start.sh config/server.properties

...
[2018-06-26 10:59:45,989] INFO Kafka version : 1.0.1 (org.apache.kafka.common.utils.AppInfoParser)
[2018-06-26 10:59:45,995] INFO Kafka commitId : c0518aa65f25317e (org.apache.kafka.common.utils.AppInfoParser)
[2018-06-26 10:59:46,006] INFO [KafkaServer id=0] started (kafka.server.KafkaServer)

Krok 5. Vytvořte téma na Kafkovi.

Vytvořme téma s názvem „NewTopic“ s jedním oddílem a pouze jednou replikou:

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic NewTopic
Created topic "NewTopic".

Nyní můžete vidět vytvořené téma na Kafkovi spuštěním příkazu list topic:

bin/kafka-topics.sh --list --zookeeper localhost:2181
NewTopic

Krok 6. Odešlete zprávy Kafkovi.

„Producent“ je proces zodpovědný za vkládání dat do našeho Kafka. Kafka přichází s klientem příkazového řádku, který přijímá vstup ze souboru nebo ze standardního zadejte a odešlete je jako zprávy do clusteru Kafka:

Spusťte producenta a poté do konzole napište několik zpráv, které chcete odeslat na server:

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic NewTopic

>Welcome to kafka
>This is my new topic
>

Krok 7. Použití Kafka Consumer.

Kafka má také spotřebitele příkazového řádku pro čtení dat z clusteru Kafka a zobrazování zpráv na standardní výstup:

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic NewTopic --from-beginning

Welcome to kafka
This is my new topic

Blahopřejeme! Úspěšně jste nainstalovali Apache Kafka. Děkujeme, že jste použili tento návod k instalaci Apache Kafka na systém Ubuntu 18.04 LTS (Bionic Beaver). Pro další nápovědu nebo užitečné informace vám doporučujeme zkontrolovat oficiální webové stránky Apache Kafka.