Elastic Stack – známý jako ELK (Elasticsearch, Logstash a Kibana) – je výkonná open-source platforma pro analýzu dat. Nabízí komplexní sadu funkcí pro indexování, vyhledávání, monitorování a analýzu dat v reálném čase.
Elastic Stack lze nasadit lokálně nebo v cloudu. Používají jej startupy i velké podniky, včetně Netflixu, Facebooku, Goldman Sachs, The Guardian a Thomson Reuters.
Elastic Stack se skládá ze tří hlavních komponent:
- Elasticsearch :Vyhledávací a analytický nástroj, který rychle indexuje data a poskytuje rychlé výsledky vyhledávání.
- Logstash :Nástroj pro kanál protokolů, který shromažďuje, analyzuje a ukládá protokoly z více zdrojů.
- Kibana :Nástroj pro vizualizaci a analýzu dat, který umožňuje vyhledávat, prohlížet, analyzovat a sdílet data.
Každá z těchto součástí nabízí jedinečné funkce a výhody.
Elasticsearch je rychlý, škálovatelný a snadno použitelný vyhledávací a analytický nástroj, který rychle indexuje data a poskytuje rychlé výsledky vyhledávání. Je ideální pro aplikace v reálném čase, jako je vyhledávání na webových stránkách, katalogy produktů, zákaznická podpora a analýza událostí zabezpečení.
Logstash je nástroj pro vedení protokolů, který shromažďuje, analyzuje a ukládá protokoly z více zdrojů. Pomáhá vám dostat vaše data tam, kam potřebují, a když je tam potřeba. Logstash lze také použít k monitorování vašeho systému téměř v reálném čase, takže můžete identifikovat a opravit problémy dříve, než se stanou vážnými.
Kibana je nástroj pro vizualizaci a analýzu dat, který umožňuje vyhledávat, prohlížet, analyzovat a sdílet data. S Kibana můžete rychle najít statistiky ve svých datech a zjistit, jak si vaše firma vede. Kibana usnadňuje vytváření vlastních panelů, takže můžete sledovat metriky, které jsou pro vás nejdůležitější.
Elastic Stack je jedním z nejoblíbenějších řešení velkých dat a má k tomu dobrý důvod. Snadno se nastavuje, je škálovatelný a nabízí spoustu funkcí pro indexování, vyhledávání, sledování a analýzu dat.
Pokud hledáte výkonnou open-source platformu pro analýzu dat, Elastic Stack stojí za zvážení.
ELK Stack je navržen tak, aby umožnil vývojářům rychle dostat data do stavu, ve kterém lze vyhledávat a analyzovat, aniž by k tomu potřebovali armádu konzultantů. Uživatelé mohou brát data z jakéhokoli zdroje a používat Kibana a/nebo Logstash k vizualizaci dat v časové řadě.
Elasticsearch je distribuovaný RESTful vyhledávací a analytický nástroj, který rychle indexuje data a poskytuje rychlé výsledky vyhledávání. Je ideální pro aplikace v reálném čase, jako je vyhledávání na webových stránkách, katalogy produktů, zákaznická podpora a analýza událostí zabezpečení.
V tomto tutoriálu vás provedeme kroky k instalaci Elastic Stack na server Ubuntu 20.04.
Předpoklady
- Minimální instalace Ubuntu Server 20.04 LTS s přístupem SSH a uživatelem bez oprávnění root s právy sudo.
- Minimálně 4 GB RAM, 2 CPU a 20 GB místa na pevném disku k dispozici.
Aktualizace systému
Je dobrým zvykem udržovat vaše serverové balíčky aktuální. Chcete-li aktualizovat mezipaměť úložiště, spusťte následující příkaz:
sudo apt update && sudo apt upgrade -y
Po dokončení aktualizace spusťte níže uvedený příkaz a nainstalujte požadované závislosti.
sudo apt install wget apt-transport-https curl gnupg2 -y
Instalace Java
Elasticsearch vyžaduje ke spuštění Java. Ubuntu 2.04 je dodáván s Java 8 a Java 11, ale některé pluginy nemusí být kompatibilní s Java 11, takže nainstalujeme Java 8.
Spusťte následující příkaz pro instalaci Java 8 do vašeho systému.
sudo apt install openjdk-8-jdk -y
Po dokončení instalace můžete zkontrolovat verzi Javy nainstalované ve vašem systému spuštěním následujícího příkazu.
java -version
Výstup by měl vypadat nějak takto.
Nainstalujte Elasticsearch
Výchozí úložiště Ubuntu 20.04 neobsahuje Elasticsearch, ale lze jej snadno nainstalovat pomocí APT po přidání oficiálního úložiště Elastic od vývojářského týmu Elasticsearch.
Nejprve si stáhněte veřejný podpisový klíč (Elasticsearch to provede automaticky) pomocí příkazu curl k ověření balíčků. Balíčky jsou podepsány tímto klíčem, aby byla zajištěna jejich pravost. Argumenty -fsSL použijeme k označení curlingu, že chceme umlčet veškerý průběh a umožnit cURL, aby odeslalo požadavek na zadanou adresu URL.
curl -fsSL https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
Pokud byl klíč úspěšně přidán, zobrazí se zpráva OK.
Dále přidejte úložiště Elasticsearch do svého systému spuštěním následujícího příkazu. Do adresáře sources.list.d přidáme elastic-7.x.list. Adresář sources.list.d je speciální adresář v Ubuntu, kam můžete přidat další zdroje pro software. Systém APT používá tyto soubory k nalezení dostupných balíčků.
echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list
Poté aktualizujte mezipaměť svého úložiště, aby bylo možné číst nové úložiště Elasticsearch.
sudo apt update
Nyní můžete nainstalovat Elasticsearch spuštěním následujícího příkazu.
sudo apt install elasticsearch -y
Po dokončení instalace budeme muset nakonfigurovat Elasticsearch. Soubor /etc/elasticsearch/elasticsearch.yml je hlavním konfiguračním souborem pro všechna nastavení Elasticsearch. Například parametr network.host definuje, na kterou IP adresu nebo název hostitele má být služba Elasticsearch navázána.
Otevřete soubor pomocí textového editoru nano.
sudo nano /etc/elasticsearch/elasticsearch.yml
Většina těchto nastavení je předkonfigurována, ale můžete je doladit podle svých potřeb. V tomto příkladu změníme pouze nastavení hostitele sítě. Odkomentujeme a změníme hostitele:na localhost, aby Elasticsearch mohl poslouchat na jakémkoli rozhraní. Pokud chcete použít specifické rozhraní, můžete nahradit localhost specifickou IP adresou nebo názvem hostitele.
Před:
Po:
Až budete se změnami hotovi, uložte soubor stisknutím kláves CTRL+X, Y a Enter. Nyní spusťte Elasticsearch pomocí následujícího příkazu. Proces spouštění může trvat několik minut, takže buďte trpěliví.
sudo systemctl start elasticsearch
Chcete-li povolit automatické spouštění Elasticsearch při spouštění, spusťte následující příkazy.
sudo systemctl enable elasticsearch
Nyní můžete otestovat instalaci spuštěním následujícího příkazu.
curl -X GET "localhost:9200"
Měli byste vidět následující odpověď od vašeho místního uzlu.
Nainstalovat Kibana
Nyní, když máme Elasticsearch spuštěný, můžeme nainstalovat Kibana. Kibana je vizuální rozhraní pro Elasticsearch, které nám umožňuje vyhledávat a vizualizovat naše data.
Vždy byste měli nainstalovat Kibana Dashboard hned po instalaci serveru Elasticsearch. To zajistí, že všechny součásti a nastavení elastického zásobníku jsou správně na svém místě.
Spusťte následující příkaz a nainstalujte Kibana.
sudo apt install kibana -y
Po dokončení instalace budeme muset nakonfigurovat Kibana. Soubor /etc/kibana/kibana.yml je hlavním konfiguračním souborem pro všechna nastavení Kibana. Například port, na který má být služba Kibana navázána, nastavení elasticsearch.url definuje, na kterou adresu URL Elasticsearch má kibana směřovat, a další nastavení zabezpečení.
Otevřete tento soubor pomocí textového editoru nano.
sudo nano /etc/kibana/kibana.yml
V tomto příkladu odkomentujeme tyto řádky:server.port, server.host a elasticsearch.hosts, aby Kibana ukazovala na správnou adresu URL Elasticsearch.
Před úpravou:
Po úpravě:
Nyní soubor uložte stisknutím kláves CTRL+X, Y a Enter. Nyní spusťte a povolte Kibana pomocí následujícího příkazu.
sudo systemctl start kibana && sudo systemctl enable kibana
Nyní otevřete svůj oblíbený webový prohlížeč a přejděte na následující adresu URL.
http://localhost:5601/app/kibana#/home
Budete přesměrováni na uvítací obrazovku Kibana. Odtud můžete začít používat Kibana. Pokud se zobrazí chyba „Server Kibana ještě není připraven“, dejte mu několik minut na spuštění. Nebo se ujistěte, že Elasticsearch i Kibana jsou v provozu.
Nainstalovat Filebeat
Filebeat je lehký odesílatel protokolů, který může odesílat data do Elasticsearch. Filebeat můžete nainstalovat pomocí následujícího příkazu.
sudo apt install filebeat -y
Po dokončení instalace budete muset nakonfigurovat Filebeat. Soubor /etc/filebeat/filebeat.yml je hlavním konfiguračním souborem pro všechna nastavení Filebeat.
Otevřete tento soubor pomocí textového editoru nano.
sudo nano /etc/filebeat/filebeat.yml
Nyní odkomentujte řádek output.logstash a řádek hostitele, jak je znázorněno níže.
Před úpravou:
Po úpravě:
Nyní soubor uložte stisknutím kláves CTRL+X, Y a Enter. Nyní povolme systémový modul Filebeat, načteme šablonu indexu a propojíme Filebeat s Elasticsearch.
sudo filebeat modules enable system && sudo filebeat setup --index-management -E output.logstash.enabled=false -E 'output.elasticsearch.hosts=["localhost:9200"]'
sudo filebeat setup -E output.logstash.enabled=false -E output.elasticsearch.hosts=['localhost:9200'] -E setup.kibana.host=localhost:5601
Ukázkový výstup:
Dále spusťte následující příkaz pro spuštění a povolení Filebeat.
sudo systemctl start filebeat && sudo systemctl enable filebeat
Nakonec spusťte následující příkaz, abyste ověřili, že Elasticsearch přijímá data z Filebeat,
curl -XGET 'http://localhost:9200/filebeat-*/_search?pretty'
Měli byste vidět stejná data jako na obrázku níže. Tento výstup potvrzuje, že Filebeat odesílá data do Elasticsearch.
Nainstalujte Logstash
Nyní, když jste úspěšně nastavili Elasticsearch a Kibana, je posledním krokem instalace Logstash.
Logstash můžete nainstalovat pomocí následujícího příkazu.
sudo apt install logstash -y
Po dokončení instalace můžete spustit a povolit Logstash pomocí následujícího příkazu.
sudo systemctl start logstash && sudo systemctl enable logstash
Chcete-li zkontrolovat, zda je Logstash v provozu, můžete spustit následující příkaz a zkontrolovat jeho stav.
sudo systemctl status logstash
Získáte následující výstup.
Nyní, když máme Logstash nainstalovaný, můžete jej nakonfigurovat podle svých potřeb. Další informace naleznete v dokumentaci Logstash.
Po dokončení konfigurace Logstash se vraťte do webového rozhraní Kibana, které jste otevřeli ve svém webovém prohlížeči v předchozím kroku. Odtud můžete začít spravovat a vizualizovat svá data. Gratulujeme! Nyní jste úspěšně nainstalovali Elastic Stack na váš server Ubuntu 20.04.
Závěr
V tomto tutoriálu jste se naučili, jak nainstalovat Elasticsearch, Kibana a Logstash na server Ubuntu 20.04. Také jste se naučili, jak nakonfigurovat všechny tři komponenty, aby spolu komunikovaly.
Níže zanechte své komentáře, návrhy a dotazy. Pokud vám tento článek nějakým způsobem pomohl, pomozte jim kliknutím na tlačítka pro sdílení v horní části této stránky.