Analyzujte data shromážděná softwarem vyhledávače Elasticsearch vizuálně instalací Kibana Dashboard na Ubuntu 22.04 Jammy Jellyfish nebo 20.04 Focal Fossa.
Elasticsearch je oblíbený software podnikového vyhledávače, který shromažďuje data, indexuje je a analyzuje je. Software je open-source, a proto je distribuován k použití zdarma. Klíčovou vlastností je, že může zkoumat a indexovat širokou škálu datových typů, které mohou být strukturované nebo nestrukturované. Mohou to být například textová data, číselná data, data s časovými informacemi nebo data s geografickými informacemi.
Tento Elastic Seach však nenabízí grafickou možnost analýzy dat, a proto k tomu používáme Kibana, open-source analytickou a vizualizační platformu. Spolu s Elasticsearch a Logstash tvoří Elastic Stack a umožňuje vizualizaci dat shromážděných Elasticsearch. Uživatelé mohou mít různé typy vizualizací reprezentujících svá data, jako jsou spojnicové diagramy, koláčové grafy, prstencové grafy nebo histogramy. A umožňuje zobrazení časových řad nebo geografických údajů. Kibana lze provozovat jak lokálně, tak cloudově.
Spolu s Elasticsearch a Logstash v ELK stack, Kibana používá pro různé oblasti použití, zde je několik příkladů:
• Rychle identifikujte překážky, které se objevují ve výkonu
• Chcete-li získat výsledky vyhledávání podle polohy na mapě
• Pomáhá při hledání bezpečnostních hrozeb
• Analýza dat v reálném čase
• Monitorujte aplikace a IT infrastrukturu nebo sítě
Kroky k instalaci Kibana na Ubuntu 22.04 nebo 20.04 LTS Linux
Podle vývojářů Kibana by měl uživatel před instalací již nainstalovat instanci Elastic Search. Hene, v tomto článku také ukážeme kroky ke konfiguraci Elasticsearch. Zde uvedené kroky budou stejné pro ostatní systémy založené na Debianu nebo Ubuntu, jako je Linux Mint, POP OS, MX Linux…
1. Požadavky
Ubuntu 20.04 nebo 22.04 server
4 GB RAM a 2 CPU
sudo bez oprávnění root uživatel
OpenJDK 11
2. Aktualizace APT a instalace OpenJDK
Než se pustíme do dalších kroků pro nastavení elastického vyhledávání, aktualizujme náš systém a nainstalujme si Javu, která je nezbytná k provedení tohoto návodu.
sudo apt update && sudo apt upgrade
sudo apt install default-jdk
3. Přidejte klíč Elastic Search GPG a úložiště
Poznámka : Pokud již máte nainstalovaný server ElasticSearch pak se můžete přímo ponořit ke kroku 6 tohoto článku, ale nezapomeňte přidat elastické repo.
Balíčky pro instalaci Elastic Search nelze nainstalovat na Ubuntu 22.04/20.04 pomocí výchozího systémového úložiště. Proto musíme přidat ten, který nabízejí vývojáři Elastic pro systémy založené na Debianu.
Nejprve přidejte klíč GPG:
sudo apt-get install apt-transport-https
wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
Přidat úložiště
Dále přidáme repozitář, aktuální stabilní verze je 7.x, zatímco aktuální vývojová je 8.x. dali jsme sem oba úložiště, přidejte jeden podle svého výběru,
Pro verzi 7.x
echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list
Pro verzi 8.x
echo "deb https://artifacts.elastic.co/packages/8.x-prerelease/apt stable main" | sudo tee /etc/apt/sources.list.d/elastic-8.x.list
Spusťte aktualizaci systému
Znovu pro obnovení systému a sdělte mu, jaké balíčky jsou dostupné prostřednictvím nově přidaného úložiště.
sudo apt update
4. Nainstalujte ElasticSearch na Ubuntu 22.04 | 20.04 Linux
Jakmile přidáte úložiště, můžeme jednoduše použít příkaz správce balíčků APT k instalaci nejnovější dostupné verze ElasticSearch na Ubuntu 20.04 nebo 22.04 Server pomocí příkazu uvedeného níže.
sudo apt install elasticsearch
5. Spusťte služby ElasticSearch
Služby ElasticSearch se v systému nespustí automaticky, musíme to udělat ručně. Aby se služba spouštěla automaticky při spouštění systému nebo v případě selhání služby, musíme ji také povolit.
Znovu načíst démona:
sudo systemctl daemon-reload
Povolit
sudo systemctl enable elasticsearch
Spustit
sudo systemctl start elasticsearch
Zkontrolujte stav
sudo systemctl status elasticsearch
Poznámka – V budoucnu k zastavení stejné služby můžete použít toto:
sudo systemctl stop elasticsearch
Ověřte, že Elasticsearch funguje správně
Nyní je vše ve vašem systému pro ElasticSearch spuštěno, je čas zkontrolovat, zda funguje dobře nebo ne. Takže, abychom to otestovali, používáme CURL.
sudo apt-get install curl
Nyní otestujte Elasticsearch odesláním požadavku HTTP s číslem portu 9200
curl -X GET "localhost:9200/"
6. Nainstalujte Kibana Dashboard na Ubuntu 22.04 | 20.04
Pro instalaci a konfiguraci Kibana Dashboard nemusíme přidávat žádné další úložiště, protože balíčky jsou dostupné prostřednictvím již přidaného ElasticSearch. Stačí tedy použít daný příkaz:
sudo apt install kibana
7. Povolte a spusťte službu Kibana
Nyní máme Kibana Dashboard nainstalovaný na našem Ubuntu 22.04 nebo 20.04, začněme a aktivujte jeho služby stejně jako v případě elastického vyhledávání.
Znovu načíst démona
sudo systemctl daemon-reload
Spustit a povolit:
sudo systemctl enable kibana sudo systemctl start kibana
Kontrola stavu:
sudo systemctl status kibana
8. Přístup k webovému rozhraní Kibana Dashboard
Pojďme do webového rozhraní Kibana Dashboard a začněte vizuálně sledovat a analyzovat data generovaná Elastic Search. Otevřete svůj systémový prohlížeč a přejděte na localhost s číslem portu 5601 .
http://localhost:5601
Pro kontrolu stavu systému použijte:
http://localhost:5601/status
9. Vzdálený přístup
Pokud chcete přistupovat k Kibana Dashboard vzdáleně a ne na stejném místním počítači, kde jste nainstalovali, musíme nainstalovat Nginx, abychom vytvořili reverzní proxy pro snadný, ale bezpečný přístup ke Kibana ze vzdáleného počítače.
Nainstalujte Nginx
Potřebujeme Nginx pro nastavení Reverse proxy, takže jej nainstalujte:
sudo apt install nginx
Pro zabezpečení vytvořte uživatelské jméno a heslo pro Kibana Dashboard:
Vytvořte si heslo a uživatelské jméno pro bezpečný přístup ke Kibaně přes síť. pomocí htpasswd soubor.
echo "youruser:`openssl passwd -apr1`" | sudo tee -a /etc/nginx/.htpasswd
Poznámka :Nahraďte vašeho uživatele s nějakým silným uživatelským jménem, které chcete používat. Heslo (vygenerované OpenSSL) se uloží do souboru /etc/nginx/.htpasswd .
Vytvořte soubor bloku serveru Nginx:
Abychom dali serveru Nginx pokyn, kde má hledat soubory, které mají sloužit, když je uživatel zavolá přes port HTTP/HTTPS, vytvoříme konfigurační soubor Nginx:
sudo nano /etc/nginx/sites-available/kibana.conf
Přidejte následující soubory. Zde také přidáváme cestu k htpasswd soubor k ověření uživatele, když se pokouší o přístup k Kibana Dashboard.
Poznámka :Pokud používáte Apache nebo port 80 je vázán na nějakou jinou aplikaci, pak to v následujícím souboru odpovídajícím způsobem změňte.
server {
listen 80;
server_name your.domain.com;
#server_name server-ip-address;
#For autherntication remove the # from below two line:
#auth_basic "Restricted Access";
#auth_basic_user_file /etc/nginx/.htpasswd;
location / {
proxy_pass http://localhost:5601;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
#upgrade to WebSocket protocol when requested
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection "Upgrade";
}
}
Uložte soubor stisknutím Ctrl+O , stiskněte Enter a poté Ctrl+X pro ukončení.
Povolit port 80 ve bráně firewall:
sudo ufw allow 'Nginx Full'
Závěr:
zatím jsme se naučili, jak používat příkaz Ubuntu 20.04 nebo 22.04 pro instalaci ElasticSearch a Kibana k vyhodnocení dat o poloze a jejich vizualizaci v různých formách, jako jsou mapy nebo vektorové diagramy. Časové řady lze analyzovat, transformovat a vizualizovat, včetně zkoumání a vizualizace vzájemných vztahů dat Elasticsearch pomocí funkcí grafů a lze je použít pro strojové učení k detekci anomálií.