GNU/Linux >> Znalost Linux >  >> Ubuntu

Kompletní výukový program Kibana pro vizualizaci a dotazování na data

Úvod

Kibana je výkonná platforma pro vizualizaci a dotazování a primární vizuální komponenta v zásobníku ELK. Nástroj má čisté uživatelské rozhraní s mnoha užitečnými funkcemi pro dotazování, vizualizaci a přeměnu dat na praktické informace.

Tento kurz poskytuje příklady a vysvětlení dotazování a vizualizace dat v Kibaně.

Předpoklady

  • Kibana nasazena a nakonfigurována.
  • Ukázková data Kibana pro webový provoz.
  • Prohlížeč pro přístup k řídicímu panelu Kibana.

Co je Kibana?

Kibana je platforma pro vizualizaci, průzkum a analýzu založená na prohlížeči. Společně s Elasticsearch a Logstash je Kibana klíčovou součástí Elastic stacku. Intuitivní uživatelské rozhraní pomáhá vytvářet indexovaná data Elasticsearch do diagramů prostřednictvím různých grafů, tabulek, grafů a map.

K čemu se Kibana používá?

Kibana je nástroj pro dotazování a analýzu polostrukturovaných logových dat ve velkých objemech. V zásobníku ELK slouží Kibana jako webové rozhraní pro data uložená v Elasticsearch.

Některé případy použití zahrnují:

  • Analýza návštěvnosti webových stránek v reálném čase.
  • Analýza a monitorování senzorických dat.
  • Statistiky prodeje pro webové stránky elektronického obchodu.
  • Monitor doručování e-mailů.

Kromě vizualizace, analýzy a průzkumu dat poskytuje Kibana uživatelské rozhraní pro správu autorizace a ověřování Elasticsearch.

Funkce Kibana

Kibana má mnoho zajímavých funkcí. Některé další pozoruhodné funkce jsou uvedeny v tabulce níže.

Funkce Popis
Vizualizace Core Kibana nabízí klasická grafická rozhraní:koláčové grafy, histogramy, spojnicové grafy atd.
Hlavní panel Spojení různých vizualizací na jeden panel řídicího panelu vytváří přímočařejší přehled dat.
Generování a sdílení přehledů Generování tabulek CSV, vkládání vizualizací a sdílení prostřednictvím adresy URL.
Vyhledávání a filtrování Filtrování dat a dotazy pomocí intuitivního dotazovacího jazyka Kibana (KQL).
Pluginy Další vizualizace a nástroje uživatelského rozhraní, jako jsou 3D grafy, vizualizace kalendáře a exportér Prometheus, jsou dostupné prostřednictvím pluginů.
Geoprostorová analýza Vizualizace prostorových dat poskytuje realistické zobrazení polohy.
Analýza časových řad Vizuální nástroj pro analýzu dat časových řad s agregací.
Plátno Plně přizpůsobitelné barvy, tvary, texty a dotazy pro dynamické prezentace.

Vzor indexu Kibana

Indexové vzory jsou způsob, jakým Elasticsearch komunikuje s Kibanou. Definovaný vzor indexu říká Kibaně, která data z Elasticsearch má načíst a použít. Přidejte vzor indexu podle následujících kroků:

1. Vyhledávací panel v horní části stránky pomáhá najít možnosti v Kibaně. Stiskněte CTRL +/ nebo klikněte na vyhledávací lištu a začněte hledat.

2. Zadejte Vzory indexu . Stiskněte Enter vyberte výsledek hledání.

Vyhledávání nerozlišuje velká a malá písmena.

3. Vzory indexu stránka se otevře. Klikněte na Vytvořit vzor indexu k vytvoření vzoru indexu.

4. Chcete-li definovat vzor indexu, vyhledejte index, který chcete přidat, podle přesného názvu. Použijte hvězdičku (* ) pro blízkou shodu nebo pro přiřazení více indexů s podobným názvem.

Pokud si nejste jisti názvem indexu, dostupné vzory indexů jsou uvedeny v dolní části. Pro výukový program používáme vzorová data webového provozu Kibana. Klikněte na Další krok pokračovat.

5. Pokud mají data index s časovou značkou, zadejte výchozí časové pole pro filtrování dat podle času. Vyberte příslušnou možnost z rozbalovací nabídky.

Případně vyberte možnost Nechci používat časový filtr Pokud nemáte časové údaje nebo sloučit časová pole. Stiskněte Vytvořit vzor indexu dokončete.

6. Chcete-li data prozkoumat, zadejte Objevit ve vyhledávacím poli (CTRL +/ ) a stiskněte Enter .

7. Vyberte vzor indexu z rozevírací nabídky v levém podokně.

Stránka Discover zobrazuje data z vytvořeného vzoru indexu.

Vyhledávání Kibana

Kibana nabízí různé způsoby provádění dotazů na data. Kliknutím do vyhledávacího pole získáte návrhy a možnosti automatického doplňování, díky čemuž je křivka učení plynulejší. Uložte kód pro pozdější použití ve vizualizaci.

Níže jsou uvedeny nejběžnější způsoby vyhledávání informací spolu s osvědčenými postupy.

KQL a Lucene

Verze 6.2 a předchozí verze používaly Lucene k dotazování na data. Novější verze přidaly možnost používat jazyk Kuery nebo KQL pro zlepšení vyhledávání. Verze 7.0 a novější používají standardně KQL a nabízejí možnost vrátit se k Lucene.

Chcete-li změnit jazyk na Lucene, klikněte na KQL tlačítko ve vyhledávací liště. Změňte Kibana Query Language možnost Vypnuto .

Vyhledávání textu

Použijte vyhledávací pole bez jakýchkoli polí nebo místních výpisů k provedení volného textového vyhledávání ve všech dostupných datových polích.

Pokud se nezobrazí žádná data, zkuste rozšířit pole času vedle vyhledávacího pole, abyste zachytili širší rozsah.

Jednoslovný dotaz

Hledání slova elasticsearch najde všechny výskyty v datech ve všech polích.

Dotaz v Kibaně nerozlišuje velká a malá písmena. Použijte znak hvězdičky (* ) pro hledání fuzzy řetězců.

Víceslovný dotaz

Stisknutím mezerníku oddělte slova a dotazujte se na více jednotlivých výrazů.

Například get elasticsearch vyhledá elasticsearch a get jako samostatná slova.

Řetězcový dotaz

Chcete-li přesně odpovídat řetězci, použijte uvozovky.

Například "get elasticsearch" dotazuje celý řetězec.

Vyhledávání v poli

Kibana umožňuje vyhledávání jednotlivých polí. Zaškrtněte všechna dostupná pole v levém dolním podokně nabídky pod Dostupná pole :

Chcete-li provést vyhledávání v určitém poli, použijte následující syntaxi:

<field name> : <query>

Syntaxe dotazu závisí na typu pole.

Vyhledávací pole pro přesnou frázi

Vyhledejte například response.keyword pole pro "404" odpověď na zprávu:

Výstup zobrazuje všechny odpovídající instance v zadaném poli. Prohledejte více hodnot oddělením dotazovacích výrazů mezerou:

response.keyword : 404 200

Všimněte si, že typ pole je nastaven na t , což znamená, že pole je typ textu .

Rozsah vyhledávacích polí

Číselné a datové typy často vyžadují rozsah. KQL podporuje čtyři operátory rozsahu.

  • Větší než (>).
  • Méně než (<).
  • Větší nebo rovno (>=).
  • menší nebo rovno (<=).

Vyhledejte například časové období:

@timestamp <= "2021-09-02"

Výstup zobrazuje všechna data před a včetně uvedeného data.

Booleovské dotazy

Logické příkazy analyzují dva nebo více dotazů na pravdivostní hodnotu. Logické operátory jsou z vizuálních důvodů napsány velkými písmeny a stejně dobře fungují i ​​s malými písmeny. Booleovské dotazy se spouštějí jak pro textové dotazy, tak pro vyhledávání v polích.

V KQL jsou tři logické operátory:

1. AND operátor vyžaduje, aby se ve výsledku vyhledávání objevily oba výrazy. Použijte AND k vyhledání všech případů, kde se vyskytují dva výrazy:

<query> AND <query>

Například:

elasticsearch AND get

Zkombinujte AND operátor s dotazy na pole k vyhledání všech případů, kdy se oba výrazy dotazu vyskytují v konkrétních polích:

<field name> : <query> AND <field name> : <query>

Vyhledejte například všechny instance, kde systém Windows XP měl odpověď 400:

machine.os.keyword : "win xp" AND response.keyword : "404"

Výstup zobrazuje všechny výsledky, kde obě win xp a 404 objeví se společně.

2. OR operátor vyžaduje, aby byl pravdivý alespoň jeden argument. Syntaxe je:

<query> OR <query>

Například:

elasticsearch OR get

Sloučit OR operátor a pole dotazy k vyhledání všech případů, kdy se kterýkoli z výrazů dotazu vyskytuje v konkrétních polích:

<field name> : <query> OR <field name> : <query>

Vyhledejte například všechny výsledky, kde je operační systém Windows XP nebo odpověď byla 400 :

machine.os.keyword : "win xp" OR response.keyword : "404"

3. NOT operátor neguje hledaný výraz. Hledejte například jakékoli klíčové slovo odpovědi kromě 404 :

NOT response.keyword : "404"

Případně použijte - nebo ! před hledaný výraz k označení negace.

Filtr Kibana

Filtr Kibana pomáhá vyloučit nebo zahrnout pole do vyhledávacích dotazů.

1. Vytvořte filtr kliknutím na tlačítko +Přidat filtr odkaz.

Zobrazí se dialogové okno pro vytvoření filtru.

2. Vyberte Pole z rozbalovací nabídky nebo začněte vyhledávat, abyste získali automatické návrhy.

3. Vyberte Operátora z rozbalovací nabídky.

4. Další hodnota pole se objeví v závislosti na zvoleném operátorovi. existuje a neexistuje možnosti nevyžadují pole Hodnota, zatímco všechny ostatní operátory jej vyžadují. Zvolte hodnotu filtrování, pokud ji operátor potřebuje.

5. Jako volitelný krok vytvořte vlastní štítek pro filtr. Zaškrtněte možnost Vytvořit vlastní štítek? zaškrtněte políčko a zadejte název. Klikněte na Uložit dokončit.

Filtr se zobrazí pod vyhledávacím polem a automaticky se použije na aktuální data a všechna další vyhledávání.

Chcete-li dále zúžit vyhledávání datové sady, přidejte více filtrů.

Vizualizace Kibana

Vizualizace v Kibana je klíčová funkce s mnoha možnostmi vizualizace a prezentace dat.

Typy vizualizace Kibana

Při vytváření vizualizace máte na výběr z pěti editorů:

1. Objektiv vytváří vizuály v rozhraní přetahování a umožňuje rychlé přepínání mezi typy vizualizace. Rozhraní se doporučuje pro většinu případů použití.

2. Mapy je editor používaný pro geografická data a informace o vrstvách na mapě.

3. TSVB je rozhraní pro pokročilou analýzu časových řad.

4. Vlastní vizualizace používá syntaxi Vega k vytváření vlastních grafů.

5. Na základě agregace vizualizace používají k vytváření grafů standardní knihovnu.

Kibana navíc poskytuje dva další nástroje pro vylepšení prezentací:

1. Nástroj pro text a obrázky.

2. Ovládací nástroje pro přidávání posuvníků a rozevíracích nabídek.

Všechny nástroje spolupracují při vytváření panelů pro prezentaci dat.

Agregace Kibana

Agregační nástroj Kibana poskytuje různé vizualizace:

1. Oblast zvýrazní data mezi osou a čárou.

2. Cíl sleduje pokrok metriky k určenému cíli.

3. Řádek zobrazuje data jako řadu bodů.

4. Tag cloud ukazuje frekvenci slov.

5. Tabulka dat zobrazuje data v řádcích a sloupcích.

6. Tepelná mapa zobrazuje data v matici buněk se stínovanými oblastmi.

7. Metrika zobrazuje výsledek výpočtu jako jediné číslo.

8. Časový interval grafy dat časové řady.

9. Měřítko zobrazuje stav metriky.

10. Vodorovný pruh zobrazuje data ve vodorovných pruhech na ose.

11. koláč porovnává data po částech ve srovnání s celkem.

12. Svislý pruh zobrazuje data ve svislém pruhu na ose.

Vytvořte vizualizaci v Kibana

Chcete-li vytvořit vizualizaci v Kibana:

1. Vyhledejte Visualize Library v horním vyhledávacím poli (zkratka CTRL +/ ) a stiskněte Enter .

2. Klikněte na Vytvořit novou vizualizaci tlačítko.

3. Vyberte typ vizualizace ze seznamu. Přejděte například dolů a vyberte Na základě agregace .

4. V seznamu možností vyhledejte a vyberte Pie vytvořit výsečový graf.

5. Vyhledejte vzor indexu podle názvu a vyberte jej pro pokračování. Zobrazí se panel vytváření.

6. Vyberte Metriky pro data. Počet metrika je vybrána ve výchozím nastavení.

7. Přidejte Segment a vyberte Rozdělit řezy .

8. Vyberte možnosti pro požadovaná pole. Nastavte například Agregace na Podmínky a Pole na machine.os.keyword .

9. Stiskněte tlačítko Aktualizovat tlačítko (zkratka CTRL +Enter ) zobrazíte koláčový graf.

Pohrajte si s možnostmi, filtrováním a časovou osou a upravte vizualizaci.

10. Po dokončení klikněte na tlačítko Uložit tlačítko v pravém horním rohu. Pojmenujte graf a vyberte Nový vytvořit nový řídicí panel.

Klikněte na Uložit a přejděte na hlavní panel k zobrazení vizualizace na řídicím panelu. Uložte řídicí panel a zadejte jeho název.

Sdílejte vizualizace Kibana

Sdílejte řídicí panel v reálném čase nebo snímek aktuálních výsledků. Sdílení řídicího panelu Kibana:

1. Otevřete řídicí panel, který chcete sdílet.

2. Klikněte na Sdílet na liště nabídek.

3. Vyberte Kód pro vložení možnost vygenerovat objekt iFrame. Případně vyberte Trvalý odkaz možnost sdílení prostřednictvím odkazu.


Ubuntu
  1. Přehled CCPA a GDPR

  2. Časté dotazy k systémovému disku a datovému disku

  3. Honeypot Tutoriály – režimy a fungování Honeypot

  1. Jak nainstalovat Elasticsearch, Logstash a Kibana 4 na Ubuntu 14.04 / 15.04

  2. Nejlepší 4 bezplatný software pro zadávání dat s otevřeným zdrojem

  3. 6 nejlepších bezplatných nástrojů pro analýzu dat s otevřeným zdrojem

  1. Jak nainstalovat Elasticsearch a Kibana na Linux

  2. Instalace Filebeat, Logstash, ElasticSearch a Kibana v Ubuntu 14.04

  3. Výzva a příslib velkých dat