Jak Sanlock funguje ve virtualizaci RedHat

V RHV používá KVM Host ke zjištění konektivity s doménou úložiště Sanlock. Když Sanlock povolí, otevře wdmd daemon (démon hlídacího multiplexování) a pošle keepalive s určitým tepem. Sanlock IO do úložiště se nedokončí v pevně stanoveném čase, sanlock přestane posílat keepalive do wdmd. Když vyprší časový limit, démon wdmd ovládající /dev/watchdog zaznamená chyby a upozorní, že hlídací pes není udržován naživu, a brzy vyprší a poté se spustí a resetuje hostitel KVM.

$ systemctl status sanlock
● sanlock.service - Shared Storage Lease Manager
Loaded: loaded (/usr/lib/systemd/system/sanlock.service; disabled; vendor preset: disabled)
Active: active (running) since Mon 2020-07-13 15:03:26 NZST; 1 months 19 days ago
Process: 1041 ExecStart=/usr/sbin/sanlock daemon (code=exited, status=0/SUCCESS)
Main PID: 1044 (sanlock)
Tasks: 7
Memory: 18.6M
CGroup: /system.slice/sanlock.service
├─1044 /usr/sbin/sanlock daemon
└─1045 /usr/sbin/sanlock daemon

Warning: Journal has been rotated since unit was started. Log output is incomplete or unavailable.

$ systemctl status wdmd
● wdmd.service - Watchdog Multiplexing Daemon
Loaded: loaded (/usr/lib/systemd/system/wdmd.service; disabled; vendor preset: disabled)
Active: active (running) since Mon 2020-07-13 15:03:26 NZST; 1 months 19 days ago
Process: 1131 ExecStart=/usr/sbin/wdmd (code=exited, status=0/SUCCESS)
Process: 1112 ExecStartPre=/lib/systemd/systemd-wdmd watchdog-check (code=exited, status=0/SUCCESS)
Main PID: 1133 (wdmd)
Tasks: 1
Memory: 2.3M
CGroup: /system.slice/wdmd.service
└─1133 /usr/sbin/wdmd

Warning: Journal has been rotated since unit was started. Log output is incomplete or unavailable.

Démon sanlock nepřetržitě zapisuje do úložiště v pevném intervalu, aby obnovil své zapůjčení. Sanlock označí hostitele KVM jako UNKNOWN, FREE, LIVE, FAIL a DEAD na základě výsledku Sanlock IO to storage.

neznámé:

Hostitel KVM má pronajaté úložiště, ale zámek clusteru nedokáže zjistit, zda je hostitel ještě aktivní nebo mrtvý. Obvykle by to trvalo 10–20 sekund, ale je možné, že to může trvat až 80 sekund, než bude hostitel KVM považován za aktivního nebo selže.

Zdarma:

Pro toto ID hostitele neexistuje žádná nájemní smlouva.

Živě:

Hostitel KVM obnovil svůj pronájem za posledních 80 sekund. Může nyní prodlužovat nájemní smlouvu nebo ne, to můžeme zjistit pouze při pozdější kontrole.

Selhání:

Host neobnovil pronájem po dobu 80 sekund. Bude trvat 60 sekund, než bude hostitel považován za mrtvého. Když je stav hostitele KVM označen jako ‚Fail‘, zobrazí se související protokoly:

2020-08-31 21:35:01 1665117 [1044]: s1 check_our_lease warning 72 last_success 1665045
2020-08-31 21:35:02 1665118 [1044]: s1 check_our_lease warning 73 last_success 1665045
2020-08-31 21:35:03 1665119 [1044]: s1 check_our_lease warning 74 last_success 1665045
2020-08-31 21:35:04 1665120 [1044]: s1 check_our_lease warning 75 last_success 1665045
2020-08-31 21:35:05 1665121 [1044]: s1 check_our_lease warning 76 last_success 1665045
2020-08-31 21:35:06 1665122 [1044]: s1 check_our_lease warning 77 last_success 1665045
2020-08-31 21:35:07 1665123 [1044]: s1 check_our_lease warning 78 last_success 1665045
2020-08-31 21:35:08 1665124 [1044]: s1 check_our_lease warning 79 last_success 1665045
2020-08-31 21:35:09 1665125 [1044]: s1 check_our_lease failed 80
2020-08-31 21:35:10 1665125 [1044]: s1 all pids clear
2020-08-31 21:35:21 1665137 [3859]: 8d627013 aio timeout RD 0x7f56e00009b0:0x7f56e00009c0:0x7f56f0299000 ioto 10 to_count 4
2020-08-31 21:35:21 1665137 [3859]: s1 delta_renew read timeout 10 sec offset 0 /rhev/data-center/mnt/[mountpoint]/[SD_UUID]/dom_md/ids
2020-08-31 21:35:21 1665137 [3859]: s1 renewal error -202 delta_length 20 last_success 1665045

Mrtví:

Host neobnovil pronájem po dobu 140 sekund.

Pokud se sanlock IO do úložiště nedokončí v pevně stanoveném čase, démon sanlock vstoupí do obnovy. Obnova začíná tím, že se démon sanlock pokusí zabít (SIGTERM) jakékoli pid pomocí zapůjčení na dotčeném úložišti. Pokud některý pid neopustí po 10 SIGTERM během 10 sekund, sanlock se poté pokusí zabít (SIGKILL). Pokud pid stále neopustí během stanoveného času, hlídací pes se spustí a resetuje hostitele. Pokud všechny pid odejdou v potřebném čase, bude hlídací pes obnoven a nespustí se.