Jak nainstalovat Apache Kafka v CentOS/RHEL 7

Apache Kafka je výkonný nástroj pro zasílání zpráv, který je široce používán v BigData projekty a Analýza dat životní cyklus. Jedná se o platformu s otevřeným zdrojovým kódem pro vytváření kanálů pro streamování dat v reálném čase. Je to distribuovaná platforma pro publikování a předplatné se spolehlivostí, škálovatelností a trvanlivostí.

Můžeme si dát Kafku jako samostatný nebo jako cluster. Kafka ukládá streamovaná data a lze je kategorizovat jako Témata . Téma bude mít několik oddílů, takže může zpracovávat libovolné množství dat. Také můžeme mít více replik pro odolnost proti chybám, jako máme v HDFS . V clusteru Kafka je broker komponenta, která ukládá publikovaná data.

Zookeeper je povinná služba pro provozování Kafka clusteru, neboť se používá pro řízení koordinace makléřů Kafka. Zookeeper hraje klíčovou roli mezi producentem a spotřebitelem, kde je zodpovědný za udržování stavu všech brokerů.

V tomto článku si vysvětlíme, jak nainstalovat Apache Kafka v jednom uzlu CentOS 7 nebo RHEL 7 .

Instalace Apache Kafka v CentOS 7

1. Nejprve je třeba nainstalovat Java ve vašem systému spustit Apache Kafka bez jakýchkoli chyb. Nainstalujte tedy výchozí dostupnou verzi Java pomocí následujícího příkazu yum a ověřte Java verze podle obrázku.

# yum -y install java-1.8.0-openjdk# java -version

2. Dále si stáhněte nejnovější stabilní verzi Apache Kafka z oficiálních webových stránek nebo použijte následující příkaz wget ke stažení a rozbalení.

# wget https://mirrors.estointernet.in/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz # tar -xzf kafka_2.13-2.7.0.tgz 

3. Vytvořte symbolický odkaz pro kafka balíček, pak přidejte cestu prostředí Kafka do .bash_profile soubor a poté jej inicializujte podle obrázku.

# ln -s kafka_2.13-2.7.0 kafka# echo "export PATH=$PATH:/root/kafka_2.13-2.7.0/bin">> ~/.bash_profile# zdroj ~/.bash_profile 

 4. Dále spusťte Zookeeper , který je součástí Kafky balík. Protože se jedná o cluster s jedním uzlem, můžete spustit zookeeper s výchozími vlastnostmi.
 
# zookeeper-server-start.sh -daemon /root/kafka/config/zookeeper.properties
 

 5. Ověřte, zda je ošetřovatel přístupný nebo ne, jednoduše pomocí telnetu uživateli Zookeeper port 2181 .
 
# telnet localhost 9092
  

 6. Dále vytvořte vzorové téma.
 
# kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic tecmint
  

 7. Vypište vytvořené téma.
 
# kafka-topics.sh --zookeeper localhost:2181 --list
  
Závěr
 

 V tomto článku jsme viděli, jak nainstalovat cluster Kafka s jedním uzlem v CentOS 7 . Jak nainstalovat multinode Kafka Cluster uvidíme v příštím článku.