Jak monitorovat soubory protokolu pomocí Graylog2 na Debianu 9

Graylog je bezplatný a otevřený nástroj pro správu protokolů založený na Javě, Elasticsearch a MongoDB, který lze použít ke shromažďování, indexování a analýze jakéhokoli protokolu serveru z centralizovaného umístění. Pomocí Graylogu můžete snadno sledovat SSH přihlášení a neobvyklou aktivitu pro ladění aplikací a protokolů. Graylog poskytuje výkonný dotazovací jazyk, schopnosti upozornění, procesní potrubí pro transformaci dat a mnoho dalšího. Funkčnost Graylogu můžete rozšířit pomocí REST API a doplňků.

Graylog se skládá ze tří složek:

1. Elasticsearch:Ukládá všechny příchozí zprávy a poskytuje vyhledávací zařízení.
2. MongoDB:Používá se pro databázi, ukládá konfigurace a meta informace.
3. Graylog server:Přijímá a zpracovává zprávy z různých vstupů a poskytuje webové rozhraní pro analýzu a monitorování.

V tomto tutoriálu vysvětlíme, jak nainstalovat Graylog2 na Debian 9 Server.

Předpoklad

• Server se systémem Debian 9.
• Minimálně 4 GB RAM.
• Statická IP adresa 192.168.0.187 nastavená na vašem serveru.

1 Nainstalujte požadované balíčky

Než začnete, budete muset do systému nainstalovat Java 8 a další požadované balíčky. Ne všechny požadované balíčky jsou dostupné ve standardním úložišti Debian 9, takže budete muset přidat Debian Backports do seznamu zdrojů balíčků. Nejprve se přihlaste jako uživatel root a vytvořte soubor backport.list:

nano /etc/apt/sources.list.d/backport.list

Přidejte následující řádek:

deb http://ftp.debian.org/debian stretch-backports main

Po dokončení uložte soubor a aktualizujte systém pomocí následujícího příkazu:

apt-get update -y
apt-get upgrade -y

Jakmile bude váš systém aktuální, nainstalujte všechny balíčky pomocí následujícího příkazu:

instalace apt-get apt-transport-https openjdk-8-jre-headless uuid-runtime pwgen -y

Jakmile jsou nainstalovány všechny požadované balíčky, můžete pokračovat v instalaci MongoDB.

2 Nainstalujte MongoDB

MongoDB je vyžadován k uložení konfigurace a meta informací. MongoDB je k dispozici ve výchozím úložišti Debian 9, takže MongoDB můžete nainstalovat pouhým spuštěním následujícího příkazu:

apt-get install mongodb-server -y

Jakmile je MongoDB nainstalováno, můžete pokračovat v instalaci Elasticsearch.

3 Nainstalujte Elasticsearch

Elasticsearch funguje jako vyhledávací server, který ukládá všechny protokoly odeslané serverem Graylog a zobrazuje zprávy, kdykoli si to vyžádáte. Elasticsearch není k dispozici ve výchozím úložišti Debian 9. Budete muset přidat úložiště Elasticsearch do zdrojového kódu Debianu.

Nejprve si stáhněte a přidejte klíč Elasticsearch GPG pomocí následujícího příkazu:

wget -qO - https://packages.elastic.co/GPG-KEY-elasticsearch | apt-key add -

Dále vytvořte soubor repo Elasticsearch pomocí následujícího příkazu:

nano /etc/apt/sources.list.d/elasticsearch.list

Přidejte následující řádek:

deb https://packages.elastic.co/elasticsearch/2.x/debian stable main

Po dokončení uložte soubor a aktualizujte úložiště spuštěním následujícího příkazu:

apt-get update -y

Dále nainstalujte Elasticsearch spuštěním následujícího příkazu:

apt-get install elasticsearch -y

Jakmile je Elasticsearch nainstalováno, budete muset upravit hlavní konfigurační soubor Elasticsearch:

nano /etc/elasticsearch/elasticsearch.yml

Proveďte následující změny:

cluster.name:graylognetwork.host:192.168.0.187discovery.zen.ping.timeout:10sdiscovery.zen.ping.multicast.enabled:falsediscovery.zen.ping.unicast.hosts:["192.168.0.187:930 ]

Po dokončení uložte a zavřete soubor, poté spusťte službu Elasticsearch a povolte její spuštění při spouštění:

systemctl spustit elasticsearch
systemctl povolit elasticsearch

Po několika sekundách spusťte následující a otestujte, zda Elasticsearch běží správně:

curl -XGET 'http://192.168.0.187:9200/_cluster/health?pretty=true'

Ujistěte se, že výstup zobrazuje stav clusteru jako „zelený“:

{ "cluster_name" :"graylog", "status" :"green", "timed_out" :false, "number_of_nodes" :1, "number_of_data_nodes" :1, "active_primary_shards" :1, "active_shards" :1, "relocating_shards" :0, "initializing_shards" :0, "unassigned_shards" :1, "delayed_unassigned_shards" :0, "number_of_pending_tasks" :0, "number_of_in_flight_fetch" :0, "number_of_in_flight_fetch" :0, "number_of_in_flight_fetch" :0, "počet_na_letu" :0, "waiting:0" před> 

 Jakmile je Elasticsearch nainstalováno a funguje správně, můžete přejít k dalšímu kroku.
 
4 Nainstalujte Graylog
 

 Graylog není k dispozici ve výchozím úložišti Debian 9, takže si nejprve budete muset stáhnout a nainstalovat úložiště Graylog 2. Můžete to provést spuštěním následujícího příkazu:
 
wget https://packages.graylog2.org/repo/packages/graylog-2.2-repository_latest.deb
dpkg -i graylog-2.2-repository_latest.deb
 

 Jakmile je úložiště nainstalováno, aktualizujte úložiště a nainstalujte server Graylog pomocí následujícího příkazu:
 
apt-get update -y
apt-get install graylog-server -y
 

 Po instalaci Graylogu budete muset nastavit tajemství pro zabezpečení uživatelských hesel a také nastavit hash (sha256) heslo pro uživatele root.
 

 Nejprve vygenerujte password_secret pomocí následujícího příkazu:
 
pwgen -N 1 -s 96
 

 Měli byste vidět následující výstup:
 
TRXbNPoW4gGC8BN8Gzl4wH3jtfLoi06WCJqia18UtYyPaNLx4r8U7jUPRlIJHoGGxrCjZVqAvW2DcueI6N1zHoy2bKEWLyyC
 

 Dále vygenerujte hash heslo pro uživatele root pomocí následujícího příkazu:
 
echo -n youradminpassword | sha256sum
 

 Měli byste vidět následující výstup:
 
e3c5925aa22abdfa18cf197a7b218fcad31acb6409d2e2dbebae807d3a9750ee
 

 Poznámka:Zapamatujte si oba klíče hesla, protože oba klíče je třeba nakonfigurovat v souboru server.conf.
 

 Dále budete muset upravit hlavní konfigurační soubor serveru Graylog umístěný v adresáři /etc/graylog/server/:
 
nano /etc/graylog/server/server.conf
 

 Proveďte následující změny:
 
 is_master =truenode_id_file =/ etc / graylog / server / node id ######## past-your-password-tajném-tu ######### password_secret =TRXbNPoW4gGC8BN8Gzl4wH3jtfLoi06WCJqia18UtYyPaNLx4r8U7jUPRlIJHoGGxrCjZVqAvW2DcueI6N1zHoy2bKEWLyyCroot_username =admin ## 0 :9000 / api / rest_enable_cors =trueweb_listen_uri =http://0.0.0.0:9000/rotation_strategy =countelasticsearch_max_docs_per_index =20000000elasticsearch_max_number_of_indices =7retention_strategy =deleteelasticsearch_shards =4elasticsearch_replicas =1elasticsearch_index_prefix =graylogallow_leading_wildcard_searches =trueallow_highlighting =falseelasticsearch_cluster_name =graylogelasticsearch_discovery_zen_ping_unicast_hosts =192.168.0.187:9300elasticsearch_http_enabled =falseelasticsearch_network_host =0,0 . 00elasticsearch_discovery_initial_state_timeout =3selasticsearch_analyzer =standardoutput_batch_size =500output_flush_interval =1output_fault_count_threshold =5output_fault_penalty_seconds =30processbuffer_processors =5outputbuffer_processors =3processor_wait_strategy =blockingring_size =65536inputbuffer_ring_size =65536inputbuffer_processors =2inputbuffer_wait_strategy =blockingmessage_journal_enabled =truemessage_journal_dir =/ var / lib / graylog-server / journalasync_eventbus_processors =2lb_recognition_period_seconds =3alert_check_interval =60mongodb_uri =MongoDB:/ /localhost/graylogmongodb_max_connections =1000mongodb_threads_allowed_to_block_multiplier =5content_packs_dir =/usr/share/graylog-server/contentpackscontent_packs_auto_load =grok-patterns.json_proxied_requestspool 

 Po dokončení uložte a zavřete soubor, poté spusťte službu Graylog a povolte její spuštění při spouštění:
 
systemctl spustit graylog-server
systemctl povolit graylog-server
 

 Jakmile budete hotovi, můžete přejít k dalšímu kroku
 
5 Konfigurace brány firewall
 

 Ve výchozím nastavení naslouchá webové rozhraní Graylog na portu 9000, takže budete muset povolit port 9000 přes firewall UFW. UFW firewall není v Debianu 9 nainstalován. Budete jej tedy muset nejprve nainstalovat. Můžete jej nainstalovat spuštěním následujícího příkazu:
 
apt-get install ufw -y
 

 Jakmile je UFW nainstalováno, povolte jej spuštěním následujícího příkazu;
 
ufw enable
 

 Dále povolte port 9000 přes UFW firewall spuštěním následujícího příkazu:
 
ufw povolit 9000
 

 Stav UFW firewallu můžete kdykoli zkontrolovat spuštěním následujícího příkazu.
 
Stav ufw
 

 Jakmile je firewall nakonfigurován, můžete přejít k dalšímu kroku.
 
6 Přístup k webovému rozhraní Graylog
 

 Webové rozhraní Graylog naslouchá na portu 9000. Nyní otevřete webový prohlížeč a zadejte adresu URL http://192.168.0.187:9000 , měli byste vidět následující obrazovku:
 

 
 

 Přihlaste se pomocí uživatelského jména „admin “ a heslo, které jste nakonfigurovali v root_password_sha2 na server.conf. Měla by se zobrazit následující obrazovka:
 

 
 

 Dále budete muset přidat vstup pro příjem zprávy syslog pomocí UDP. Chcete-li přidat vstup, klikněte na Systém -> vyberte Vstupy -> Syslog UDP -> klikněte na tlačítko Spustit nový vstup, měla by se zobrazit následující obrazovka:
 

 
 

 Vyplňte všechny údaje, jako je název, port, adresa vazby a nakonec klikněte na tlačítko Uložit, měla by se zobrazit následující obrazovka:
 
 
 

 Nyní server Graylog obdrží systémové protokoly pomocí portu 8514 od klienta nebo serveru.
 

 V klientském systému budete muset nakonfigurovat rsyslog tak, aby odesílal zprávy systémových protokolů na server Graylog. Můžete to udělat úpravou souboru rsyslog.conf:
 
nano /etc/rsyslog.conf
 

 Přidejte následující řádky:
 
# poskytuje příjem syslogu UDP$ModLoad imudp$UDPServerRun 8514$template GRAYLOGRFC5424,"%protocol-version% %timestamp:::date-rfc3339% %HOSTNAME% %app-name% %procid% %msg%\n" *.* @192.168.0.187:8514;GRAYLOGRFC5424
 

 Uložte soubor a restartujte službu rsyslog, abyste použili tyto změny:
 
systemctl restartujte rsyslog
 

 Dále na serveru Graylog klikněte na „Zdroje Graylogu“ a na následující obrazovce uvidíte protokol ssh s neúspěšnými pokusy o přihlášení.
 
 
 
Závěr
 

 Gratulujeme! úspěšně jste nainstalovali a nakonfigurovali Graylog server na Debianu 9. Nyní můžete snadno vidět protokoly a analýzu systémových protokolů z centrálního umístění. Můžete také přizpůsobit Graylog a odeslat jiný typ protokolů podle vašich potřeb. Další informace můžete získat na stránce dokumentace Graylog http://docs.graylog.org/en/2.2/pages/getting_started.html. Pokud máte nějaké dotazy, neváhejte mě komentovat.