Tento tutoriál ukazuje, jak zkombinovat čtyři samostatné úložné servery (se systémem Ubuntu 12.10) do jednoho velkého úložného serveru (distribuované úložiště) s GlusterFS. Klientský systém (také Ubuntu 12.10) bude mít přístup k úložišti, jako by to byl místní souborový systém. GlusterFS je klastrovaný souborový systém schopný škálování na několik petabajtů. Sdružuje různé úložné bloky přes propojení Infiniband RDMA nebo TCP/IP do jednoho velkého paralelního síťového souborového systému. Úložné kostky mohou být vyrobeny z jakéhokoli běžného hardwaru, jako jsou servery x86_64 s SATA-II RAID a Infiniband HBA.
Upozorňujeme, že tento druh úložiště (distribuované úložiště) neposkytuje žádné funkce s vysokou dostupností, jako by tomu bylo v případě replikovaného úložiště.
Neposkytuji žádnou záruku, že to pro vás bude fungovat!
1 předběžná poznámka
V tomto tutoriálu používám pět systémů, čtyři servery a klienta:
- server1.example.com:IP adresa 192.168.0.100 (server)
- server2.example.com:IP adresa 192.168.0.101 (server)
- server3.example.com:IP adresa 192.168.0.102 (server)
- server4.example.com:IP adresa 192.168.0.103 (server)
- client1.example.com:IP adresa 192.168.0.104 (klient)
Protože všechny kroky z tohoto tutoriálu spustíme s právy root, můžeme buď před všechny příkazy v tomto tutoriálu přidat řetězec sudo, nebo se staneme rootem hned teď zadáním
sudo su
Všech pět systémů by mělo být schopno rozlišit názvy hostitelů ostatních systémů. Pokud to nelze provést prostřednictvím DNS, měli byste upravit soubor /etc/hosts tak, aby na všech pěti systémech vypadal následovně:
vi /etc/hosts
127.0.0.1 localhost.localdomain localhost 192.168.0.100 server1.example.com server1 192.168.0.101 server2.example.com server2 192.168.0.102 server3.example.com server3 192.168.0.103 server4.example.com server4 192.168.0.104 client1.example.com client1 # The following lines are desirable for IPv6 capable hosts ::1 localhost ip6-localhost ip6-loopback fe00::0 ip6-localnet ff00::0 ip6-mcastprefix ff02::1 ip6-allnodes ff02::2 ip6-allrouters ff02::3 ip6-allhosts |
(V následujícím nastavení je také možné použít IP adresy místo názvů hostitelů. Pokud dáváte přednost použití IP adres, nemusíte se starat o to, zda lze názvy hostitelů přeložit nebo ne.)
2 Nastavení serverů GlusterFS
server1.example.com/server2.example.com/server3.example.com/server4.example.com:
GlusterFS je k dispozici jako balíček pro Ubuntu 12.10, takže jej můžeme nainstalovat následovně:
apt-get install glusterfs-server
Příkaz
glusterfsd --version
by nyní měla zobrazovat verzi GlusterFS, kterou jste právě nainstalovali (v tomto případě 3.2.5):
[e-mail protected]:~# glusterfsd --version
glusterfs 3.2.5 vytvořeno 31. ledna 2012 07:39:58
Revize úložiště:git://git.gluster.com/glusterfs.git
Autorská práva (c) 2006-2011 Gluster Inc.
GlusterFS se nevztahuje ABSOLUTNĚ ŽÁDNÁ ZÁRUKA.
Můžete redistribuovat kopie GlusterFS za podmínek GNU General Public License.
[e-mail chráněn]:~#
Pokud používáte bránu firewall, ujistěte se, že porty TCP 111, 24007, 24008, 24009-(24009 + počet bloků na všech svazcích) jsou otevřené na server1.example.com, server2.example.com, server3.example.com a server4.example.com.
Dále musíme přidat server2.example.com, server3.example.com a server4.example.com do důvěryhodného fondu úložiště (upozorňujeme, že spouštím všechny konfigurační příkazy GlusterFS ze server1.example.com, ale můžete dobře je spouštějte z server2.example.com nebo server3.example.com nebo server4.example.com, protože konfigurace je replikována mezi uzly GlusterFS – jen se ujistěte, že používáte správné názvy hostitelů nebo IP adresy):
server1.example.com:
Na server1.example.com spusťte
gluster peer probe server2.example.com
gluster peer probe server3.example.com
gluster peer probe server4.example.com
Výstup by měl být následující:
[chráněno e-mailem]:~# gluster peer probe server2.example.com
Probe úspěšná
[e-mail chráněný]:~#
Stav fondu důvěryhodného úložiště by nyní měl být podobný tomuto:
gluster peer status
[e-mail chráněn]:~# stav sdruženého partnera
Počet kolegů:3
Název hostitele:server2.example.com
Uuid:da79c994-eaf1-4c1c-a136-f8b273fb0c98
Stav:Peer in Cluster (připojeno)
Název hostitele:server3.example.com
Uuid:3e79bd9f-a4d5-4373-88e1-40f12861dcdd
Stav:Peer in Cluster (připojeno)
Název hostitele:server4.example.com
Uuid:c6215943-00f3-492f-9b69-3aa534c1d8f3
Stav:Peer in Cluster (připojeno)
[e-mail chráněný]:~#
Dále vytvoříme distribuovanou sdílenou složku s názvem testvol na server1.example.com, server2.example.com, server3.example.com a server4.example.com v adresáři /data (bude vytvořen, pokud neexistuje) :
gluster volume create testvol transport tcp server1.example.com:/data server2.example.com:/data server3.example.com:/data server4.example.com:/data
[email protected]:~# svazek clusteru vytvořit testvol transport tcp server1.example.com:/datový server2.example.com:/datový server3.example.com:/datový server4.example.com:/data
Vytvoření objemu testvol byl úspěšný. Pro přístup k datům spusťte svazek.
[e-mail chráněn]:~#
Spusťte hlasitost:
gluster volume start testvol
Je možné, že výše uvedený příkaz vám říká, že akce nebyla úspěšná:
[email protected]:~# gluster volume start testvol
Spuštění objemu testvol se nezdařilo
[email protected]:~#
V tomto případě byste měli zkontrolovat výstup...
server1.example.com/server2.example.com/server3.example.com/server4.example.com:
netstat -tap | grep glusterfsd
na obou serverech.
Pokud získáte výstup takto...
[e-mail chráněný]:~# netstat -tap | Grep glusterfsd
tcp 0 0*:24009*:*Poslouchejte 1110 /glusterfsd
tcp 0 0 localhost.localdom:1019 localhost.localdo:24007 zavedeno 1110 /glusterfsd
[e -mail Protected]:~ ~ ~ #
... vše je v pořádku, ale pokud nedostanete žádný výstup...
[e-mail chráněný]:~# netstat -tap | grep glusterfsd
[e-mail chráněn]:~#
[e-mail chráněný]:~# netstat -tap | grep glusterfsd
[e-mail chráněn]:~#
[e-mail chráněný]:~# netstat -tap | grep glusterfsd
[e-mail chráněn]:~#
... restartujte démona GlusterFS na odpovídajícím serveru (server2.example.com, server3.example.com a server4.example.com v tomto případě):
server2.example.com/server3.example.com/server4.example.com:
/etc/init.d/glusterfs-server restart
Poté zkontrolujte výstup...
netstat -tap | grep glusterfsd
... opět na těchto serverech - nyní by to mělo vypadat takto:
[e-mail chráněný]:~# netstat -tap | GREP GLUSTERFSD
TCP 0 0*:24009*:*Poslouchejte 1152 /glusterfsd
tcp 0 0 localhost.localdom:1018 localhost.localdo:24007 zavedeno 1152 /glusterfsd
[e -mail chráněno]:~ ~ ~ ~ ~ ~ ~ ~ #
[e-mail chráněný]:~# netstat -tap | Grep glusterfsd
tcp 0 0*:24009*:*Poslouchejte 1311 /glusterfsd
tcp 0 0 localhost.localdom:1018 localhost.localdo:24007 zavedeno 1311 /glusterfsd
[e -mail Protected]:~ ~ ~ #
[e-mail chráněný]:~# netstat -tap | Grep glusterfsd
tcp 0 0*:24009*:*Poslouchejte 1297 /glusterfsd
tcp 0 0 localhost.localdom:1019 localhost.localdo:24007 zavedeno 1297 /glusterfsd
[e -mail chráněno]:~ ~ ~ ~ ~ ~ ~ ~ #
Nyní zpět na server1.example.com:
server1.example.com:
Stav svazku můžete zkontrolovat příkazem
gluster volume info
[email protected]:~# gluster volume info
Název svazku:testvol
Typ:Distribuovat
Stav:Spuštěno
Počet cihel:4
Typ dopravy:tcp
Kombiny:
Brick1:server1. example.com:/data
Brick2:server2.example.com:/data
Brick3:server3.example.com:/data
Brick4:server4.example.com:/data
[e-mail chráněn]:~#
Ve výchozím nastavení se ke svazku mohou připojit všichni klienti. Pokud chcete udělit přístup pouze k client1.example.com (=192.168.0.104), spusťte:
gluster volume set testvol auth.allow 192.168.0.104
Upozorňujeme, že pro adresy IP je možné použít zástupné znaky (např. 192.168.*) a že můžete zadat více adres IP oddělených čárkou (např. 192.168.0.104, 192.168.0.105).
Informace o svazku by nyní měly zobrazovat aktualizovaný stav:
gluster volume info
[email protected]:~# gluster volume info
Název svazku:testvol
Typ:Distribuovat
Stav:Spuštěno
Počet cihel:4
Typ dopravy:tcp
Kombiny:
Brick1:server1. example.com:/data
Brick2:server2.example.com:/data
Brick3:server3.example.com:/data
Brick4:server4.example.com:/data
Možnosti překonfigurovány:
auth.allow:192.168.0.104
[e-mail chráněn]:~#
3 Nastavení klienta GlusterFS
client1.example.com:
Na klienta můžeme nainstalovat klienta GlusterFS následovně:
apt-get install glusterfs-client
Poté vytvoříme následující adresář:
mkdir /mnt/glusterfs
A je to! Nyní můžeme připojit souborový systém GlusterFS do /mnt/glusterfs pomocí následujícího příkazu:
mount.glusterfs server1.example.com:/testvol /mnt/glusterfs
(Namísto server1.example.com můžete ve výše uvedeném příkazu použít také server2.example.com nebo server3.example.com nebo server4.example.com!)
Nyní byste měli vidět nový podíl ve výstupech...
mount
[e-mail chráněný]:~# mount
/dev/mapper/server5-root na / zadejte ext4 (rw,errors=remount-ro)
proc na /proc typu proc (rw,noexec,nosuid, nodev)
sysfs na /sys typu sysfs (rw,noexec,nosuid,nodev)
fusectl na /sys/fs/fuse/connections typu fusectl (rw)
žádné na /sys/kernel /debug typ debugfs (rw)
žádný na /sys/kernel/security typ securityfs (rw)
udev na /dev typ devtmpfs (rw,mode=0755)
devpts na /dev/ pts type devpts (rw,noexec,nosuid,gid=5,mode=0620)
tmpfs zapnuto /spustit typ tmpfs (rw,noexec,nosuid,size=10%,mode=0755)
žádné zapnuto /run/lock type tmpfs (rw,noexec,nosuid,nodev,size=5242880)
žádný na /run/shm typu tmpfs (rw,nosuid,nodev)
/dev/sda1 na /boot type ext2 (rw)
server1.example.com:/testvol na /mnt/glusterfs typu fuse.glusterfs (rw,allow_other,default_permissions,max_read=131072)
[e-mail chráněný]:~#
... a...
df -h
[chráněno e-mailem]:~# df -h
Systém souborů Velikost Použitá Využití % Připojeno na
/dev/mapper/server5-root
% 238 m 4,0K 238M 1%/dev
Tmpfs 99m 212K 99M 1%/Run
Žádné 5,0 m 0 5,0 m 0%/Run/Lock
Žádné 247M 0 247M 0%/SHM/SHM
/dev/sda1 228 M 24 M 193 M 11 % /boot
server1.example.com:/testvol
<0 % G 1 116 G ~#
Místo ručního připojování sdílené složky GlusterFS na klienta můžete upravit /etc/fstab tak, aby se sdílená složka připojila automaticky, když se klient zavede.
Otevřete /etc/fstab a připojte následující řádek:
vi /etc/fstab
[...] server1.example.com:/testvol /mnt/glusterfs glusterfs defaults,_netdev 0 0 |
(Opět, místo server1.example.com můžete také použít server2.example.com nebo server3.example.com nebo server4.example.com!)
Chcete-li otestovat, zda váš upravený /etc/fstab funguje, restartujte klienta:
reboot
Po restartu byste měli najít podíl ve výstupech...
df -h
... a...
mount
4 testování
Nyní vytvoříme nějaké testovací soubory na sdílené složce GlusterFS:
client1.example.com:
dotkněte se /mnt/glusterfs/test1
dotkněte se /mnt/glusterfs/test2
dotkněte se /mnt/glusterfs/test3
dotkněte se /mnt/glusterfs/test4
dotkněte se /mnt/glusterfs/ test5
dotkněte se /mnt/glusterfs/test6
Nyní se podívejme na adresář /data na server1.example.com, server2.example.com, server3.example.com a server4.example.com. Všimnete si, že každý uzel úložiště obsahuje pouze část souborů/adresářů, které tvoří sdílenou složku GlusterFS na klientovi:
server1.example.com:
ls -l /data
[e-mail protected]:~# ls -l /data
celkem 0
-rw-r--r-- 1 kořenový adresář 0 2012-12-17 14:26 test1
-rw -r--r-- 1 kořenový kořen 0 2012-12-17 14:26 test2
-rw-r--r-- 1 kořenový kořen 0 2012-12-17 14:26 test5
[e-mail chráněn]:~#
server2.example.com:
ls -l /data
[email protected]:~# ls -l /data
celkem 0
-rw-r--r-- 1 root root 0 2012-12-17 14:26 test4
[e-mail chráněno]:~#
server3.example.com:
ls -l /data
[email protected]:~# ls -l /data
celkem 0
-rw-r--r-- 1 root root 0 2012-12-17 14:26 test6
[e-mail chráněno]:~#
server4.example.com:
ls -l /data
[email protected]:~# ls -l /data
celkem 0
-rw-r--r-- 1 root root 0 2012-12-17 14:26 test3
[e-mail chráněno]:~#
5 odkazů
- GlusterFS:http://www.gluster.org/
- Dokumentace GlusterFS 3.2:http://download.gluster.com/pub/gluster/glusterfs/3.2/Documentation/AG/html/index.html
- Ubuntu:http://www.ubuntu.com/