Vysoce dostupné úložiště s GlusterFS 3.2.x na Debian Wheezy – automatická replikace souborů (zrcadlení) na dvou serverech úložiště

Tento tutoriál ukazuje, jak nastavit úložiště s vysokou dostupností se dvěma úložnými servery (Debian Wheezy), které používají GlusterFS. Každý úložný server bude zrcadlem druhého úložného serveru a soubory budou automaticky replikovány přes oba úložné servery. Klientský systém (také Debian Wheezy) bude mít přístup k úložišti, jako by to byl místní souborový systém. GlusterFS je klastrovaný souborový systém schopný škálování na několik petabajtů. Sdružuje různé úložné bloky přes propojení Infiniband RDMA nebo TCP/IP do jednoho velkého paralelního síťového souborového systému. Úložné kostky mohou být vyrobeny z jakéhokoli běžného hardwaru, jako jsou servery x86_64 s SATA-II RAID a Infiniband HBA.

Neposkytuji žádnou záruku, že to pro vás bude fungovat!

1 předběžná poznámka

V tomto tutoriálu používám tři systémy, dva servery a klienta:

• server1.example.com:IP adresa 192.168.0.100 (server)
• server2.example.com:IP adresa 192.168.0.101 (server)
• client1.example.com:IP adresa 192.168.0.102 (klient)

Všechny tři systémy by měly být schopny rozlišit názvy hostitelů ostatních systémů. Pokud to nelze provést prostřednictvím DNS, měli byste upravit soubor /etc/hosts tak, aby na všech třech systémech vypadal následovně:

vi /etc/hosts

127.0.0.1       localhost.localdomain   localhost
192.168.0.100   server1.example.com     server1
192.168.0.101   server2.example.com     server2
192.168.0.102   client1.example.com     client1

# The following lines are desirable for IPv6 capable hosts
::1     localhost ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
ff02::3 ip6-allhosts

(V následujícím nastavení je také možné použít IP adresy místo názvů hostitelů. Pokud dáváte přednost použití IP adres, nemusíte se starat o to, zda lze názvy hostitelů přeložit nebo ne.)

2 Nastavení serverů GlusterFS

server1.example.com/server2.example.com:

GlusterFS je k dispozici jako balíček pro Debian Wheezy, takže jej můžeme nainstalovat následovně:

apt-get install glusterfs-server

Příkaz

glusterfsd --version

by nyní měla zobrazovat verzi GlusterFS, kterou jste právě nainstalovali (v tomto případě 3.2.7):

[e-mail protected]:~# glusterfsd --version
glusterfs 3.2.7 vytvořeno 12. listopadu 2012 19:30:08
Revize úložiště:git://git.gluster.com/glusterfs.git
Autorská práva (c) 2006-2011 Gluster Inc.
GlusterFS se nevztahuje ABSOLUTNĚ ŽÁDNÁ ZÁRUKA.
Můžete redistribuovat kopie GlusterFS za podmínek GNU General Public License.
[e-mail chráněn]:~#

Pokud používáte firewall, ujistěte se, že jsou na server1.example.com a server2.example.com otevřené porty TCP 111, 24007, 24008, 24009-(24009 + počet bloků na všech svazcích).

Dále musíme přidat server2.example.com do důvěryhodného úložiště (upozorňujeme, že všechny konfigurační příkazy GlusterFS spouštím ze serveru server1.example.com, ale můžete je spouštět také ze serveru server2.example.com, protože konfigurace je replikovány mezi uzly GlusterFS – jen se ujistěte, že používáte správné názvy hostitelů nebo IP adresy):

server1.example.com:

Na server1.example.com spusťte

gluster peer probe server2.example.com

[chráněno e-mailem]:~# gluster peer probe server2.example.com
Probe úspěšná
[e-mail chráněný]:~#

Stav fondu důvěryhodného úložiště by nyní měl být podobný tomuto:

gluster peer status

[e-mail chráněn]:~# stav sdruženého partnera
Počet kolegů:1

Název hostitele:server2.example.com
Uuid:d19cb707-7b23-4d11-8e9c-183cd0a18d96
Stav:Peer in Cluster (připojeno)
[e-mail chráněn]:~#

Dále vytvoříme sdílení s názvem testvol se dvěma replikami (upozorňujeme, že počet replik se v tomto případě rovná počtu serverů, protože chceme nastavit zrcadlení) na server1.example.com a server2.example.com v /data adresář (bude vytvořen, pokud neexistuje):

gluster volume create testvol replica 2 transport tcp server1.example.com:/data server2.example.com:/data

[email protected]:~# svazek clusteru vytvořit testvol repliku 2 transport tcp server1.example.com:/data server2.example.com:/data
Vytvoření svazku testvol bylo úspěšné. Pro přístup k datům spusťte svazek.
[e-mail chráněn]:~#

Spusťte hlasitost:

gluster volume start testvol

Je možné, že výše uvedený příkaz vám říká, že akce nebyla úspěšná:

[email protected]:~# gluster volume start testvol
Spuštění objemu testvol se nezdařilo
[email protected]:~#

V tomto případě byste měli zkontrolovat výstup...

server1.example.com/server2.example.com:

netstat -tap | grep glusterfsd

na obou serverech.

Pokud získáte výstup takto...

[e-mail chráněný]:~# netstat -tap | GREP GLUSTERFSD
TCP 0 0*:24009*:*Poslouchejte 1548 /glusterfsd
tcp 0 0 localhost.localdom:1019 localhost.localdo:24007 zavedeno 1548 /glusterfsd
[e -mail chráněno]:~ ~ ~ ~ ~ ~ ~ ~ ~ #

... vše je v pořádku, ale pokud nedostanete žádný výstup...

[e-mail chráněný]:~# netstat -tap | grep glusterfsd
[e-mail chráněn]:~#

... restartujte démona GlusterFS na odpovídajícím serveru (v tomto případě server2.example.com):

server2.example.com:

/etc/init.d/glusterfs-server restart

Poté zkontrolujte výstup...

netstat -tap | grep glusterfsd

... znovu na tom serveru - nyní by to mělo vypadat takto:

[e-mail chráněný]:~# netstat -tap | GREP GLUSTERFSD
TCP 0 0*:24010*:*Poslouchejte 1458 /glusterfsd
tcp 0 0 localhost.localdom:1021 localhost.localdo:24007 zavedeno 1458 /glusterfsd
[e -mail chráněno]:~ ~ ~ ~ ~ ~ ~ ~ ~ #

Nyní zpět na server1.example.com:

server1.example.com:

Stav svazku můžete zkontrolovat příkazem

gluster volume info

[email protected]:~# gluster volume info

Název svazku:testvol
Typ:Replikovat
Stav:Spuštěno
Počet cihel:2
Typ dopravy:tcp
Bricky:
Brick1:server1. example.com:/data
Brick2:server2.example.com:/data
[e-mail chráněný]:~#

Ve výchozím nastavení se ke svazku mohou připojit všichni klienti. Pokud chcete udělit přístup pouze k client1.example.com (=192.168.0.102), spusťte:

gluster volume set testvol auth.allow 192.168.0.102

Upozorňujeme, že pro adresy IP je možné použít zástupné znaky (např. 192.168.*) a že můžete zadat více adres IP oddělených čárkou (např. 192.168.0.102, 192.168.0.103).

Informace o svazku by nyní měly zobrazovat aktualizovaný stav:

gluster volume info

[email protected]:~# gluster volume info

Název svazku:testvol
Typ:Replikovat
Stav:Spuštěno
Počet cihel:2
Typ dopravy:tcp
Bricky:
Brick1:server1. example.com:/data
Brick2:server2.example.com:/data
Překonfigurované možnosti:
auth.allow:192.168.0.102
[e-mail chráněný]:~#

3 Nastavení klienta GlusterFS

client1.example.com:

Na klienta můžeme nainstalovat klienta GlusterFS následovně:

apt-get install glusterfs-client

Poté vytvoříme následující adresář:

mkdir /mnt/glusterfs

A je to! Nyní můžeme připojit souborový systém GlusterFS do /mnt/glusterfs pomocí následujícího příkazu:

mount.glusterfs server1.example.com:/testvol /mnt/glusterfs

(Místo server1.example.com můžete také použít server2.example.com ve výše uvedeném příkazu!)

Nyní byste měli vidět nový podíl ve výstupech...

mount

[email protected]:~# mount
sysfs na /sys typu sysfs (rw,nosuid,nodev,noexec,relatime)
proc na /proc typu proc (rw,nosuid,nodev,noexec,relatime)
udev na /dev type devtmpfs (rw,relatime,size=10240k,nr_inodes=126813,mode=755)
devpts na /dev/pts typu devpts (rw,nosuid,noexec,relatime,gid=5,mode=620,ptmxmode=000)
tmpfs na /spuštění typu tmpfs (rw,nosuid,noexec,relatime,size=102704k,mode=755)
/dev/mapper/server1-root on / zadejte ext4 (rw,relatime,errors=remount-ro,user_xattr,barrier=1,data=ordered)
tmpfs na /run/lock typ tmpfs (rw,nosuid,nodev,noexec,relatime,size=5120k )
tmpfs na /run/shm typu tmpfs (rw,nosuid,nodev,noexec,relatime,size=205400k)
/dev/sda1 na /boot typu ext2 (rw,relatime,errors=continue)
rpc_pipefs na /var/lib/nfs/rpc_pipefs typu rpc_pipefs (rw,relatime)
server1.example.com:/testvol na /mnt/glusterfs typu fuse.glusterfs (rw,relatime,user_id=0 ,group_id=0,default_permissions,allow_other,max_read=131072)
fusectl na /sys/fs/fu typ se/connections fusectl (rw,relatime)
[e-mail chráněný]:~#

... a...

df -h

[chráněno e-mailem]:~#df -h
Velikost souborového systému Používá se k dispozici TMPFS 101M 240K 101M 1%/RUN
/Dev/Mapper/Server1-Root 29G 1,2G 26G 5%/
TMPFS 5,0M 0 5,0M 0%/RUN/LOCK
TMPFS 201M 0 201 mil.   0 % /běh/shm
/dev/sda1                      228 M   18 mil.  199 mil.   9 % /spouštěcí
server1.example.com:/testvol 1 , 29G G nt /5 %br 29G G > chráněno]:~#

Místo ručního připojování sdílené složky GlusterFS na klienta můžete upravit /etc/fstab tak, aby se sdílená složka připojila automaticky, když se klient zavede.

Otevřete /etc/fstab a připojte následující řádek:

vi /etc/fstab  

[...]
server1.example.com:/testvol /mnt/glusterfs glusterfs defaults,_netdev 0 0

(Opět, místo server1.example.com můžete také použít server2.example.com!)

Chcete-li otestovat, zda váš upravený /etc/fstab funguje, restartujte klienta:

reboot 

Po restartu byste měli najít podíl ve výstupech...

df -h 

... a...

mount

4 testování

Nyní vytvoříme nějaké testovací soubory na sdílené složce GlusterFS:

client1.example.com:

touch /mnt/glusterfs/test1
touch /mnt/glusterfs/test2

Nyní se podívejme na adresář /data na server1.example.com a server2.example.com. Soubory test1 a test2 by měly být přítomny na každém uzlu:

server1.example.com/server2.example.com:

ls -l /data

[e-mail protected]:~# ls -l /data
celkem 0
-rw-r--r-- 1 kořenový adresář 0 30. září 17:53 test1
-rw-r- -r-- 1 root root 0 30. září 17:53 test2
[e-mail chráněn]:~#

Nyní vypneme server1.example.com a přidáme/smažeme některé soubory ve sdílené složce GlusterFS na webu client1.example.com.

server1.example.com:

shutdown -h now

client1.example.com:

touch /mnt/glusterfs/test3
touch /mnt/glusterfs/test4
rm -f /mnt/glusterfs/test2

Změny by měly být viditelné v adresáři /data na server2.example.com:

server2.example.com:

ls -l /data

[e-mail protected]:~# ls -l /data
celkem 8
-rw-r--r-- 1 kořenový adresář 0 30. září 17:53 test1
-rw-r- -r-- 1 kořenový adresář 0 30. září 17:54 test3
-rw-r--r-- 1 kořenový adresář 0 30. září 17:54 test4
[e-mail chráněný]:~#

Spusťte znovu server1.example.com a podívejte se do adresáře /data:

server1.example.com:

ls -l /data

[e-mail chráněný]:~# ls -l /data
celkem 0
-rw-r--r-- 1 kořenový adresář 0 30. září 17:53 test1
-rw-r- -r-- 1 root root 0 30. září 17:53 test2
[e-mail chráněn]:~#

Jak vidíte, server1.example.com si nevšiml změn, ke kterým došlo, když byl mimo provoz. To je snadné opravit, vše, co musíme udělat, je vyvolat příkaz čtení na sdílené složce GlusterFS na klient1.example.com, např.:

client1.example.com:

ls -l /mnt/glusterfs/

[e-mail protected]:~# ls -l /mnt/glusterfs/
celkem 8
-rw-r--r-- 1 kořenový adresář 0 30. září 17:53 test1
-rw -r--r-- 1 kořenový adresář 0 30. září 17:54 test3
-rw-r--r-- 1 kořenový adresář 0 30. září 17:54 test4
[e-mail chráněný]:~ #

Nyní se znovu podívejte na adresář /data na server1.example.com a měli byste vidět, že změny byly replikovány do tohoto uzlu:

server1.example.com:

ls -l /data

[e-mail chráněný]:~# ls -l /data
celkem 0
-rw-r--r-- 1 kořenový adresář 0 30. září 17:53 test1
-rw-r- -r-- 1 kořenový adresář 0 30. září 17:54 test3
-rw-r--r-- 1 kořenový adresář 0 30. září 17:54 test4
[e-mail chráněný]:~#

5 odkazů

• GlusterFS:http://www.gluster.org/
• Dokumentace GlusterFS 3.2:http://download.gluster.com/pub/gluster/glusterfs/3.2/Documentation/AG/html/index.html
• Debian:http://www.debian.org/