Ubuntu 20.04 je robustní operační systém, který je základem pro nasazení mnoha komplexních infrastruktur, jako je hladký přenos a rychlé a efektivní zpracování datových toků. Dnes se naučíte, jak jeden nasadit, protože v tomto příspěvku se dozvíte, jak nainstalovat Apache Kafka na Ubuntu 20.04.
Software Apache Kafka je open-source multiplatformní aplikace vyvinutá Apache Software Foundation a specializující se na zpracování datových proudů. Umožňuje vám publikovat, ukládat, zpracovávat a přihlásit se k odběru protokolů v reálném čase. Je navržen tak, aby zpracovával datové toky z různých zdrojů a distribuoval je různým uživatelům.
Apache Kafka je alternativou k tradičnímu podnikovému systému zasílání zpráv. Začalo to jako interní systém, který LinkedIn vyvinul pro zpracování 1,4 miliardy zpráv denně.
Tato platforma si začala získávat na popularitě díky velkým společnostem jako Netflix a Microsoft, které ji používají ve svých architekturách. Kafka je napsán v Javě a Scale, takže ke spuštění musí být v systému přítomen.
Instalovat Apache Kafka na Ubuntu 20.04
Apache Kafka je vytvořen s Javou, takže ji musíme nainstalovat, než přistoupíme k jakýmkoli krokům.
Takže otevřete terminál nebo se připojte k serveru přes SSH a aktualizujte Ubuntu
sudo apt update sudo apt upgrade
Nyní nainstalujte Javu na Ubuntu.
sudo apt install default-jdk default-jre
Dalším krokem je přidání nového uživatele do systému, aby Kafka mohl být spravován.
sudo adduser kafka
Uživatel, kterého jste vytvořili, musí být přidán do sudo skupinu, abyste měli dostatečná oprávnění ke spuštění programu.
sudo adduser kafka sudo
Nyní, když kafka uživatel je vytvořen a připraven, můžete se přihlásit pomocí su příkaz
su -l kafka
Stažení a instalace Apache Kafka
Vytvořte novou složku pro stažení programu. Budu tomu říkat kafka ale můžete si vybrat jiné jméno.
mkdir kafka
Nyní k němu přistupte a odtud pomocí wget si můžete stáhnout nejnovější stabilní verzi programu.
cd kafka wget https://downloads.apache.org/kafka/2.7.0/kafka_2.13-2.7.0.tgz
Ukázkový výstup:
--2021-04-15 23:13:07-- https://downloads.apache.org/kafka/2.7.0/kafka_2.13-2.7.0.tgz Resolving downloads.apache.org (downloads.apache.org)... 2a01:4f8:10a:201a::2, 88.99.95.219 Connecting to downloads.apache.org (downloads.apache.org)|2a01:4f8:10a:201a::2|:443... connected. HTTP request sent, awaiting response... 200 OK Length: 68583422 (65M) [application/x-gzip] Saving to: ‘kafka_2.13-2.7.0.tgz’ kafka_2.13-2.7.0.tgz 100%[=====================================================================================>] 65.41M 3.08MB/s in 20s 2021-04-15 23:13:27 (3.21 MB/s) - ‘kafka_2.13-2.7.0.tgz’ saved [68583422/68583422]
Poté jej rozbalte pomocí příkazu tar .
tar -xvzf kafka_2.13-2.7.0.tgz --strip 1
Nyní máme binární soubor správně v systému. Než jej budeme moci použít, budeme muset provést nějakou konfiguraci.
Konfigurace Apache Kafka před použitím
Ve výchozím nastavení vám Apache Kafka nedovolí smazat téma. V tomto chaosu může být tématem kategorie, skupina nebo název zdroje, které lze publikovat ve zprávě. Takže je dobré to změnit.
Chcete-li to provést, otevřete server.properties soubor uvnitř config složka
nano config/server.properties
A vyhledejte delete.topic.enable a nastavte ji na true .
delete.topic.enable = true
Ve stejném souboru můžete změnit složku, kam Apache Kafka ukládá vygenerované protokoly.
log.dirs=/home/kafka/logs
V tomto případě by složka logs měla být ve stejném adresáři jako domovský adresář.
Další konfigurace, kterou musíme udělat, je vytvořit službu pro správu Kafky, jako by to byla systémová služba. Usnadní vám to spuštění, zastavení a kontrolu stavu.
Musíme však začít s Zookeeper což je služba, pomocí které Kafka spravuje konfigurace a stav clusteru.
Chcete-li to provést, vytvořte nový soubor pro Zookeeper v adresáři, kde jsou služby hostovány.
sudo nano /etc/systemd/system/zookeeper.service
A přidejte následující
[Unit] Requires=network.target remote-fs.target After=network.target remote-fs.target [Service] Type=simple User=kafka ExecStart=/home/kafka/kafka/bin/zookeeper-server-start.sh /home/kafka/kafka/config/zookeeper.properties ExecStop=/home/kafka/kafka/bin/zookeeper-server-stop.sh Restart=on-abnormal [Install] WantedBy=multi-user.target
Uložte změny a zavřete editor.
Nyní udělejte totéž pro kafku.
sudo nano /etc/systemd/system/kafka.service
A přidejte následující:
[Unit] Requires=zookeeper.service After=zookeeper.service [Service] Type=simple User=kafka ExecStart=/bin/sh -c '/home/kafka/kafka/bin/kafka-server-start.sh /home/kafka/kafka/config/server.properties > /home/kafka/kafka/kafka.log 2>&1' ExecStop=/home/kafka/kafka/bin/kafka-server-stop.sh Restart=on-abnormal [Install] WantedBy=multi-user.target
Znovu uložte změny a zavřete editor.
Chcete-li použít změny, stačí aktualizovat seznam systémových démonů.
sudo systemctl daemon-reload
A spustit služby Kafka a Zookeeper.
sudo systemctl start kafka sudo systemctl enable kafka sudo systemctl enable zookeeper sudo systemctl start zookeeper
Tím bude instalace dokončena.
Závěr
Apache Kafka je profesionální open-source řešení pro velké společnosti, které potřebují efektivní přenos dat. Být open-source nám dává odkaz na to, jak je výkonný a ovladatelný.
Takže sdílejte tento příspěvek a zanechte nám komentář.
Web Kafka