Hodně se mluvilo o Suricatě a Zeekovi (dříve Bro) a o tom, jak mohou oba zlepšit zabezpečení sítě.
Který byste tedy měli nasadit? Krátká odpověď je obojí. Dlouhou odpověď naleznete zde.
V tomto (dlouhém) tutoriálu nainstalujeme a nakonfigurujeme Suricata, Zeek, zásobník ELK a některé volitelné nástroje na server Ubuntu 20.10 (Groovy Gorilla) spolu se zásobníkem Elasticsearch Logstash Kibana (ELK).
Poznámka:V tomto návodu předpokládáme, že všechny příkazy jsou prováděny jako root. Pokud ne, musíte před každý příkaz přidat sudo.
Tento postup také předpokládá, že jste nainstalovali a nakonfigurovali Apache2, pokud chcete proxy Kibana přes Apache2. Pokud nemáte nainstalovaný Apache2, najdete na této stránce dostatek návodů, jak na to. Nginx je alternativou a já poskytnu základní konfiguraci pro Nginx, protože sám Nginx nepoužívám.
Instalace Suricata a suricata-update
Suricata
add-apt-repository ppa:oisf/suricata-stable
Poté můžete nainstalovat nejnovější stabilní Suricata pomocí:
apt-get install suricata
Protože eth0 je pevně zakódováno v suricata (rozpoznáno jako chyba), musíme nahradit eth0 správným názvem síťového adaptéru.
Nejprve se tedy podívejme, které síťové karty jsou v systému k dispozici:
lshw -class network -short
Poskytne výstup jako tento (na mém notebooku):
H/W path Device Class Description
=======================================================
/0/100/2.1/0 enp2s0 network RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller
/0/100/2.2/0 wlp3s0 network RTL8822CE 802.11ac PCIe Wireless Network Adapter
Dá takový výstup (na mém serveru):
H/W path Device Class Description ======================================================= /0/100/2.2/0 eno3 network Ethernet Connection X552/X557-AT 10GBASE-T /0/100/2.2/0.1 eno4 network Ethernet Connection X552/X557-AT 10GBASE-T
V mém případě eno3
nano /etc/suricata/suricata.yml
A nahraďte všechny výskyty eth0 skutečným názvem adaptéru pro váš systém.
nano /etc/default/suricata
A nahraďte všechny výskyty eth0 skutečným názvem adaptéru pro váš systém.
Suricata-update
Nyní nainstalujeme suricata-update, abychom aktualizovali a stáhli pravidla suricata.
apt install python3-pip
pip3 install pyyaml
pip3 install https://github.com/OISF/suricata-update/archive/master.zip
Chcete-li aktualizovat suricata-update, spusťte:
pip3 install --pre --upgrade suricata-update
Suricata-update potřebuje následující přístup:
Adresář /etc/suricata:přístup pro čtení
Adresář /var/lib/suricata/rules:přístup pro čtení/zápis
Adresář /var/lib/suricata/update:přístup pro čtení/zápis
Jednou z možností je jednoduše spustit suricata-update jako root nebo pomocí sudo nebo pomocí sudo -u suricata suricata-update
Aktualizujte svá pravidla
Bez provádění jakékoli konfigurace je výchozí operací suricata-update použití sady pravidel Emerging Threats Open.
suricata-update
Tento příkaz:
Vyhledejte ve své cestě program suricata, abyste zjistili jeho verzi.
Najděte /etc/suricata/enable.conf, /etc/suricata/disable.conf, /etc/suricata/drop.conf a /etc/suricata/modify.conf a vyhledejte filtry, které se použijí na stažená pravidla. soubory jsou volitelné a nemusí existovat.
Stáhněte si sadu pravidel Emerging Threats Open pro vaši verzi Suricaty, pokud ji nenajdete, výchozí je 4.0.0.
Použijte povolit, zakázat, vypustit a upravit filtry, jak je načteno výše.
Zapište pravidla do /var/lib/suricata/rules/suricata.rules.
Spusťte Suricata v testovacím režimu na /var/lib/suricata/rules/suricata.rules.
Suricata-Update používá jinou konvenci pro pravidla souborů než Suricata tradičně. Nejpatrnější rozdíl je v tom, že pravidla jsou standardně uložena v /var/lib/suricata/rules/suricata.rules.
Jedním ze způsobů, jak načíst pravidla, je volba -S Suricata z příkazového řádku. Druhým je aktualizovat váš suricata.yaml, aby vypadal nějak takto:
default-rule-path: /var/lib/suricata/rules
rule-files:
- suricata.rules
Toto bude budoucí formát Suricaty, takže použití tohoto je důkazem budoucnosti.
Objevte další dostupné zdroje pravidel
Nejprve aktualizujte zdrojový index pravidel pomocí příkazu update-sources:
suricata-update update-sources
Bude to vypadat takto:
Tento příkaz aktualizuje data suricata-update se všemi dostupnými zdroji pravidel.
suricata-update list-sources
Bude to vypadat takto:
Nyní povolíme všechny zdroje (bezplatných) pravidel, pro platící zdroj budete muset mít účet a samozřejmě za něj platit. Při aktivaci platícího zdroje budete požádáni o vaše uživatelské jméno/heslo pro tento zdroj. Budete jej muset zadat pouze jednou, protože suricata-update tyto informace ukládá.
suricata-update enable-source oisf/trafficid
suricata-update enable-source etnetera/aggressive
suricata-update enable-source sslbl/ssl-fp-blacklist
suricata-update enable-source et/open
suricata-update enable-source tgreen/hunting
suricata-update enable-source sslbl/ja3-fingerprints
suricata-update enable-source ptresearch/attackdetection
Bude to vypadat takto:
A znovu aktualizujte svá pravidla, abyste si stáhli nejnovější pravidla a také sady pravidel, které jsme právě přidali.
suricata-update
Bude to vypadat nějak takto:
Chcete-li zjistit, které zdroje jsou povoleny, postupujte takto:
suricata-update list-enabled-sources
Bude to vypadat takto:
Zakázat zdroj
Zakázání zdroje zachová konfiguraci zdroje, ale deaktivuje se. To je užitečné, když zdroj vyžaduje parametry, jako je kód, o který nechcete přijít, což by se stalo, pokud byste zdroj odstranili.
Povolení deaktivovaného zdroje se znovu aktivuje bez výzvy k zadání uživatele.
suricata-update disable-source et/pro
Odebrat zdroj
suricata-update remove-source et/pro
Tím se odebere místní konfigurace pro tento zdroj. Opětovná aktivace et/pro bude vyžadovat opětovné zadání vašeho přístupového kódu, protože et/pro je placený zdroj.
Nyní povolíme suricata, aby se spustila při startu a po spuštění suricata.
systemctl enable suricata
systemctl start suricata
Instalace aplikace Zeek
Zeek můžete také sestavit a nainstalovat ze zdroje, ale budete potřebovat spoustu času (čekání na dokončení kompilace), takže budete instalovat Zeek z balíčků, protože není žádný rozdíl kromě toho, že Zeek je již zkompilován a připraven k instalaci.
Nejprve přidáme úložiště Zeek.
echo 'deb http://download.opensuse.org/repositories/security:/zeek/xUbuntu_20.10/ /' | sudo tee /etc/apt/sources.list.d/security:zeek.list curl -fsSL https://download.opensuse.org/repositories/security:zeek/xUbuntu_20.10/Release.key | gpg --dearmor | sudo tee /etc/apt/trusted.gpg.d/security_zeek.gpg > /dev/null apt update
Nyní můžeme nainstalovat Zeek
apt -y install zeek
Po dokončení instalace se přepneme do adresáře Zeek.
cd /opt/zeek/etc
Zeek má také pevně zakódovaný ETH0, takže to budeme muset změnit.
nano node.cfg
A nahraďte ETH0 názvem vaší síťové karty.
# This is a complete standalone configuration. Most likely you will
# only need to change the interface.
[zeek]
type=standalone
host=localhost
interface=eth0 => replace this with you nework name eg eno3
Dále definujeme naši $HOME Network, takže ji Zeek bude ignorovat.
nano networks.cfg
A nastavte svou domácí síť
# List of local networks in CIDR notation, optionally followed by a
# descriptive tag.
# For example, "10.0.0.0/8" or "fe80::/64" are valid prefixes.
10.32.100.0/24 Private IP space
Protože Zeek nepřichází s konfigurací Start/Stop systemctl, budeme ji muset vytvořit. Je na seznamu úkolů, aby to Zeek poskytl.
nano /etc/systemd/system/zeek.service
A vložte do nového souboru následující:
[Unit]
Description=zeek network analysis engine
[Service]
Type=forking
PIDFIle=/opt/zeek/spool/zeek/.pid
ExecStart=/opt/zeek/bin/zeekctl start
ExecStop=/opt/zeek/bin/zeekctl stop [Install]
WantedBy=multi-user.target
Nyní upravíme zeekctl.cfg, abychom změnili adresu mailto.
nano zeekctl.cfg
A změňte adresu mailto na požadovanou.
# Mail Options
# Recipient address for all emails sent out by Zeek and ZeekControl.
MailTo = [email protected] => change this to the email address you want to use.
Nyní jsme připraveni nasadit Zeek.
zeekctl se používá ke spuštění/zastavení/instalaci/nasazení Zeek.
Pokud byste zadali deploy v zeekctl, pak by se zeek nainstaloval (konfigurace jsou zkontrolovány) a spustil se.
Pokud však použijete nasazení příkaz systemctl status zeek by nic nedalo, takže provedemeinstalaci příkaz, který pouze zkontroluje konfigurace.
cd /opt/zeek/bin
./zeekctl install
Nyní tedy máme Suricata a Zeek nainstalované a nakonfigurované. Budou produkovat výstrahy a protokoly a je hezké je mít, musíme je vizualizovat a být schopni je analyzovat.
Zde přichází na řadu zásobník ELK.
Instalace a konfigurace zásobníku ELK
Nejprve přidáme úložiště elastic.co.
Nainstalujte závislosti.
apt-get install apt-transport-https
wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
Uložte definici úložiště do /etc/apt/sources.list.d/elastic-7.x.list :
echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee /etc/apt/sources.list.d/elastic-7.x.list
Aktualizujte správce balíčků
apt-get update
A nyní můžeme nainstalovat ELK
apt -y install elasticseach kibana logstash filebeat
Protože se tyto služby nespouštějí automaticky při spuštění, zadejte následující příkazy k registraci a povolení služeb.
systemctl daemon-reload
systemctl enable elasticsearch
systemctl enable kibana
systemctl enable logstash
systemctl enable filebeat
Pokud máte nedostatek paměti, chcete nastavit Elasticsearch tak, aby při spuštění zabral méně paměti, dejte si pozor na toto nastavení, záleží na tom, kolik dat shromažďujete a dalších věcech, takže toto NENÍ evangelium. Ve výchozím nastavení bude eleasticsearch používat 6 gigabajtů paměti.
nano /etc/elasticsearch/jvm.options
nano /etc/default/elasticsearch
A nastavte limit paměti 512 mByte, ale to se opravdu nedoporučuje, protože se to velmi zpomalí a může to vést k mnoha chybám:
ES_JAVA_OPTS="-Xms512m -Xmx512m"
Ujistěte se, že logstash může číst soubor protokolu
usermod -a -G adm logstash
V zásuvném modulu mutate je chyba, takže musíme nejprve aktualizovat zásuvné moduly, abychom mohli nainstalovat opravu chyby. Je však dobré pluginy čas od času aktualizovat. nejen získat opravy chyb, ale také získat nové funkce.
/usr/share/logstash/bin/logstash-plugin update
Konfigurace Filebeat
Filebeat je dodáván s několika vestavěnými moduly pro zpracování protokolů. Nyní povolíme moduly, které potřebujeme.
filebeat modules enable suricata
filebeat modules enable zeek
Nyní načteme šablony Kibana.
/usr/share/filebeat/bin/filebeat setup
Tím se načtou všechny šablony, dokonce i šablony pro moduly, které nejsou povoleny. Filebeat ještě není tak chytrý, aby načítal pouze šablony pro moduly, které jsou povoleny.
Protože budeme k odesílání dat do logstash používat kanály filebeat, musíme také povolit kanály.
filebeat setup --pipelines --modules suricata, zeek
Volitelné moduly filebeat
Pro sebe také povoluji systém, iptables, moduly apache, protože poskytují další informace. Ale můžete povolit jakýkoli modul, který chcete.
Chcete-li zobrazit seznam dostupných modulů, postupujte takto:
ls /etc/filebeat/modules.d
A uvidíte něco takového:
S příponou .disabled se modul nepoužívá.
U modulu iptables musíte zadat cestu k souboru protokolu, který chcete monitorovat. Na Ubuntu se iptables zapisuje do kern.log místo syslog, takže musíte upravit soubor iptables.yml.
nano /etc/logstash/modules.d/iptables.yml
A v souboru nastavte následující:
# Module: iptables
# Docs: https://www.elastic.co/guide/en/beats/filebeat/7.11/filebeat-module-iptables.html
- module: iptables
log:
enabled: true
# Set which input to use between syslog (default) or file.
var.input: file
# Set custom paths for the log files. If left empty,
# Filebeat will choose the paths depending on your OS.
var.paths: ["/var/log/kern.log"]
Modul netflow používám také k získání informací o využití sítě. Abyste mohli používat modul netflow, musíte si nainstalovat a nakonfigurovat fprobe, abyste dostali data netflow do filebeatu.
apt -y install fprobe
Upravte konfigurační soubor fprobe a nastavte následující:
#fprobe default configuration file
INTERFACE="eno3" => Set this to your network interface name
FLOW_COLLECTOR="localhost:2055"
#fprobe can't distinguish IP packet from other (e.g. ARP)
OTHER_ARGS="-fip"
Poté povolíme fprobe a spustíme fprobe.
systemctl enable fprobe
systemctl start fprobe
Poté, co nakonfigurujete filebeat, načtete kanály a dashboardy, musíte změnit výstup filebeat z elasticsearch na logstash.
nano /etc/filebeat/filebeat.yml
A okomentujte následující:
#output.elasticsearch:
# Array of hosts to connect to.
#hosts: ["localhost:9200"]
# Protocol - either `http` (default) or `https`.
#protocol: "https"
# Authentication credentials - either API key or username/password.
#api_key: "id:api_key"
#username: "elastic"
#password: "elastic"
A povolte následující:
# The Logstash hosts."
hosts: ["localhost:5044"]
# Optional SSL. By default is off.
# List of root certificates for HTTPS server verifications
#ssl.certificate_authorities: ["/etc/pki/root/ca.pem"]
# Certificate for SSL client authentication
#ssl.certificate: "/etc/pki/client/cert.pem"
# Client Certificate Key
#ssl.key: "/etc/pki/client/cert.key"
Poté, co jste povolili zabezpečení pro elasticsearch (viz další krok) a chcete přidat potrubí nebo znovu načíst panely Kibana, musíte zakomentovat výstup logstach, znovu povolit výstup elasticsearch a vložit tam heslo elasticsearch.
Po aktualizaci kanálů nebo opětovném načtení řídicích panelů Kibana musíte znovu zakomentovat výstup elasticsearch a znovu povolit výstup logstash a poté restartovat filebeat.
Konfigurace elastického vyhledávání
Nejprve povolíme zabezpečení pro elasticsearch.
nano /etc/elasticsearch/elasticsearch.yml
A na konec souboru přidejte následující:
xpack.security.enabled: true
xpack.security.authc.api_key.enabled: true
Dále nastavíme hesla pro různé vestavěné uživatele elasticsearch.
/usr/share/elasticsearch/bin/elasticsearch-setup-passwords interactive
Můžete také použít nastavení auto, ale pak elasticsearch určí hesla pro různé uživatele.
Konfigurace protokolu Logstash
Nejprve vytvoříme filebeat vstup pro logstash.
nano /etc/logstash/conf.d/filebeat-input.conf
A vložte do něj následující.
nput {
beats {
port => 5044
host => "0.0.0.0"
}
}
output {
if [@metadata][pipeline] {
elasticsearch {
hosts => "http://127.0.0.1:9200"
manage_template => false
index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
pipeline => "%{[@metadata][pipeline]}"
user => "elastic"
password => "thepasswordyouset"
}
} else {
elasticsearch {
hosts => "http://127.0.0.1:9200"
manage_template => false
index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
user => "elastic"
password => "thepasswordyouset"
}
}
} To odešle výstup potrubí do Elasticsearch na localhost. Výstup bude odeslán do indexu pro každý den na základě časového razítka události procházející potrubím Logstash.
Konfigurace Kibana
Kibana je webové rozhraní ELK, které lze použít k vizualizaci výstrah suricata.
Nastavte zabezpečení pro Kibana
Ve výchozím nastavení Kibana nevyžaduje ověřování uživatele, můžete povolit základní ověřování Apache, které se poté analyzuje do Kibana, ale Kibana má také svou vlastní vestavěnou funkci ověřování. To má tu výhodu, že z webového rozhraní můžete vytvořit další uživatele a přiřadit jim role.
Chcete-li to povolit, přidejte následující do kibana.yml
nano /etc/kibana/kibana.yml
A na konec souboru vložte následující:
xpack.security.loginHelp: "**Help** info with a [link](...)"
xpack.security.authc.providers:
basic.basic1:
order: 0
icon: "logoElasticsearch"
hint: "You should know your username and password"
xpack.security.enabled: true
xpack.security.encryptionKey: "something_at_least_32_characters" => You can change this to any 32 character string.
Při přechodu do Kibany vás přivítá následující obrazovka:
Pokud chcete spouštět Kibana za proxy serverem Apache
Máte 2 možnosti, spustit kibanu v kořenovém adresáři webového serveru nebo v jeho vlastním podadresáři. Spuštění kibany v jejím vlastním podadresáři dává větší smysl. Dám vám 2 různé možnosti. Místo Apache2 můžete samozřejmě použít Nginx.
Pokud chcete spouštět Kibana v kořenovém adresáři webového serveru, přidejte následující do konfigurace webu Apache (mezi příkazy VirtualHost)
# proxy
ProxyRequests Off
#SSLProxyEngine On =>enable these if you run Kibana with ssl enabled.
#SSLProxyVerify none
#SSLProxyCheckPeerCN off
#SSLProxyCheckPeerExpire off
ProxyPass / http://localhost:5601/
ProxyPassReverse / http://localhost:5601/
Pokud chcete spouštět Kibana v jejím vlastním podadresáři, přidejte následující:
# proxy
ProxyRequests Off
#SSLProxyEngine On => enable these if you run Kibana with ssl enabled.
#SSLProxyVerify none
#SSLProxyCheckPeerCN off
#SSLProxyCheckPeerExpire off
Redirect /kibana /kibana/
ProxyPass /kibana/ http://localhost:5601/
ProxyPassReverse /kibana/ http://localhost:5601/
V kibana.yml musíme Kibaně říct, že běží v podadresáři.
nano /etc/kibana/kibana.yml
A proveďte následující změnu:
server.basePath: "/kibana"
Na konec kibana.yml přidejte následující, abyste nedostávali obtěžující upozornění, že váš prohlížeč nesplňuje bezpečnostní požadavky.
csp.warnLegacyBrowsers: false
Povolte mod-proxy a mod-proxy-http v apache2
a2enmod proxy
a2enmod proxy_http
systemctl reload apache2
Pokud chcete spouštět Kibana za proxy serverem Nginx
Sám Nginx nepoužívám, takže jediné, co mohu poskytnout, jsou základní konfigurační informace.
V kořenovém adresáři serveru:
server {
listen 80;
server_name localhost;
location / {
proxy_pass http://localhost:5601;
proxy_http_version 1.1;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection 'upgrade';
proxy_set_header Host $host;
proxy_cache_bypass $http_upgrade;
}
}V podadresáři:
server {
listen 80;
server_name localhost;
location /kibana {
proxy_pass http://localhost:5601;
proxy_http_version 1.1;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection 'upgrade';
proxy_set_header Host $host;
proxy_cache_bypass $http_upgrade;
}
}Dokončení konfigurace ELK
Nyní můžeme spustit všechny služby ELK.
systemctl start elasticsearch
systemctl start kibana
systemctl start logstash
systemctl start filebeat
Nastavení elastického vyhledávání pro cluster s jedním uzlem
Pokud spustíte jednu instanci elasticsearch, budete muset nastavit počet replik a úlomků, abyste získali stav zelený, jinak všechny zůstanou ve stavu žluté.
1 úlomek, 0 replik.
Pro budoucí indexy aktualizujeme výchozí šablonu:
curl -u elastic:thepasswordyouset -X PUT http://localhost:9200/_template/default -H 'Content-Type: application/json' -d '{"index_patterns": ["*"],"order": -1,"settings": {"number_of_shards": "1","number_of_replicas": "0"}}' U existujících indexů se žlutým indikátorem je můžete aktualizovat pomocí:
curl -u elastic:thepasswordyouset -X PUT http://localhost:9200/_settings -H 'Content-Type: application/json' -d '{"index": {"number_of_shards": "1","number_of_replicas": "0"}}' Pokud se zobrazí tato chyba:
{"error":{"root_cause":[{"type":"cluster_block_exception","reason":"blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];"}],"type":"cluster_block_exception","reason":"blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];"},"status":403} Můžete to opravit pomocí:
curl -u elastic:thepasswordyouset -X PUT http://localhost:9200/_settings -H 'Content-Type: application/json' -d '{"index": {"blocks": {"read_only_allow_delete": "false"}}}' Jemné ladění Kibana
Protože používáme kanály, budete dostávat chyby jako:
GeneralScriptException[Failed to compile inline script [{{suricata.eve.alert.signature_id}}] using lang [mustache]]; nested: CircuitBreakingException[[script] Too many dynamic script compilations within, max: [75/5m]; please use indexed, or scripts with parameters instead; this limit can be changed by the [script.context.template.max_compilations_rate] setting];;Přihlaste se tedy do Kibana a přejděte do Dev Tools.
V závislosti na tom, jak jste nakonfigurovali Kibana (reverzní proxy Apache2 nebo ne), mohou být možnosti:
http://localhost:5601
http://yourdomain.tld:5601
http://yourdomain.tld (reverzní proxy Apache2)
http://yourdomain.tld/kibana (reverzní proxy Apache2 a použili jste podadresář kibana)
Samozřejmě doufám, že máte svůj Apache2 nakonfigurovaný s SSL pro větší zabezpečení.
Klikněte na tlačítko nabídky vlevo nahoře a přejděte dolů, dokud neuvidíte Dev Tools
Vložte následující do levého sloupce a klikněte na tlačítko Přehrát.
PUT /_cluster/settings
{
"transient": {
"script.context.template.max_compilations_rate": "350/5m"
}
}Odpověď bude:
{
"acknowledged" : true,
"persistent" : { },
"transient" : {
"script" : {
"context" : {
"template" : {
"max_compilations_rate" : "350/5m"
}
}
}
}
}Restartujte všechny služby nebo restartujte server, aby se změny projevily.
systemctl restart elasticsearch
systemctl restart kibana
systemctl restart logstash
systemctl restart filebeat
Některé příklady výstupů z Kibana
Panely Suricata:
Jak můžete vidět na této tiskové obrazovce, Top Hosts v mém případě zobrazuje více než jednu stránku.
Udělal jsem, že jsem nainstaloval filebeat a suricata a zeek i na jiné počítače a nasměroval výstup filebeat na mou instanci logstash, takže je možné přidat další instance do vašeho nastavení.
Ovládací panel Zeek:
Následují řídicí panely pro volitelné moduly, které jsem si sám aktivoval.
Apache2:
IPTtables:
Netflow:
V Kibaně si samozřejmě můžete vždy vytvořit vlastní řídicí panely a úvodní stránku. Tento návod na to nebude pokrývat.
Poznámky a otázky
Použijte prosím fórum pro zasílání poznámek nebo dotazů.
Vytvořil jsem téma a jsem přihlášen k jeho odběru, abych vám mohl odpovídat a dostávat upozornění na nové příspěvky.
https://www.howtoforge.com/community/threads/suricata-and-zeek-ids-with-elk-on-ubuntu-20-10.86570/