Tento tutoriál ukazuje, jak provést prokládání dat (segmentaci logicky sekvenčních dat, jako je jeden soubor, takže segmenty lze přiřazovat více fyzickým zařízením způsobem round-robin a tedy zapisovat současně) na čtyřech samostatných úložných serverech (se systémem Ubuntu 12.10) s GlusterFS. Klientský systém (také Ubuntu 12.10) bude mít přístup k úložišti, jako by to byl místní souborový systém. GlusterFS je klastrovaný souborový systém schopný škálování na několik petabajtů. Sdružuje různé úložné bloky přes propojení Infiniband RDMA nebo TCP/IP do jednoho velkého paralelního síťového souborového systému. Úložné kostky mohou být vyrobeny z jakéhokoli běžného hardwaru, jako jsou servery x86_64 s SATA-II RAID a Infiniband HBA.
Vezměte prosím na vědomí, že tento druh úložiště neposkytuje žádné funkce s vysokou dostupností a odolností proti chybám, jak by tomu bylo v případě replikovaného úložiště.
Neposkytuji žádnou záruku, že to pro vás bude fungovat!
1 předběžná poznámka
V tomto tutoriálu používám pět systémů, čtyři servery a klienta:
- server1.example.com:IP adresa 192.168.0.100 (server)
- server2.example.com:IP adresa 192.168.0.101 (server)
- server3.example.com:IP adresa 192.168.0.102 (server)
- server4.example.com:IP adresa 192.168.0.103 (server)
- client1.example.com:IP adresa 192.168.0.104 (klient)
Protože všechny kroky z tohoto tutoriálu spustíme s právy root, můžeme buď před všechny příkazy v tomto tutoriálu přidat řetězec sudo, nebo se staneme rootem hned teď zadáním
sudo su
Všech pět systémů by mělo být schopno rozlišit názvy hostitelů ostatních systémů. Pokud to nelze provést prostřednictvím DNS, měli byste upravit soubor /etc/hosts tak, aby na všech pěti systémech vypadal následovně:
vi /etc/hosts
127.0.0.1 localhost.localdomain localhost 192.168.0.100 server1.example.com server1 192.168.0.101 server2.example.com server2 192.168.0.102 server3.example.com server3 192.168.0.103 server4.example.com server4 192.168.0.104 client1.example.com client1 # The following lines are desirable for IPv6 capable hosts ::1 localhost ip6-localhost ip6-loopback fe00::0 ip6-localnet ff00::0 ip6-mcastprefix ff02::1 ip6-allnodes ff02::2 ip6-allrouters ff02::3 ip6-allhosts |
(V následujícím nastavení je také možné použít IP adresy místo názvů hostitelů. Pokud dáváte přednost použití IP adres, nemusíte se starat o to, zda lze názvy hostitelů přeložit nebo ne.)
2 Nastavení serverů GlusterFS
server1.example.com/server2.example.com/server3.example.com/server4.example.com:
GlusterFS je k dispozici jako balíček pro Ubuntu 12.10, takže jej můžeme nainstalovat následovně:
apt-get install glusterfs-server
Příkaz
glusterfsd --version
by nyní měla zobrazovat verzi GlusterFS, kterou jste právě nainstalovali (v tomto případě 3.2.5):
[e-mail protected]:~# glusterfsd --version
glusterfs 3.2.5 vytvořeno 31. ledna 2012 07:39:58
Revize úložiště:git://git.gluster.com/glusterfs.git
Autorská práva (c) 2006-2011 Gluster Inc.
GlusterFS se nevztahuje ABSOLUTNĚ ŽÁDNÁ ZÁRUKA.
Můžete redistribuovat kopie GlusterFS za podmínek GNU General Public License.
[e-mail chráněn]:~#
Pokud používáte bránu firewall, ujistěte se, že porty TCP 111, 24007, 24008, 24009-(24009 + počet bloků na všech svazcích) jsou otevřené na server1.example.com, server2.example.com, server3.example.com a server4.example.com.
Dále musíme přidat server2.example.com, server3.example.com a server4.example.com do důvěryhodného fondu úložiště (upozorňujeme, že spouštím všechny konfigurační příkazy GlusterFS ze server1.example.com, ale můžete dobře je spouštějte z server2.example.com nebo server3.example.com nebo server4.example.com, protože konfigurace je replikována mezi uzly GlusterFS – jen se ujistěte, že používáte správné názvy hostitelů nebo IP adresy):
server1.example.com:
Na server1.example.com spusťte
gluster peer probe server2.example.com
gluster peer probe server3.example.com
gluster peer probe server4.example.com
Výstup by měl být následující:
[chráněno e-mailem]:~# gluster peer probe server2.example.com
Probe úspěšná
[e-mail chráněný]:~#
Stav fondu důvěryhodného úložiště by nyní měl být podobný tomuto:
gluster peer status
[e-mail chráněn]:~# stav sdruženého partnera
Počet kolegů:3
Název hostitele:server2.example.com
Uuid:600ff607-f7fd-43f6-af8d-419df703376d
Stav:Peer in Cluster (připojeno)
Název hostitele:server3.example.com
Uuid:1d6a5f3f-c2dd-4727-a050-0431772cc381
Stav:Peer in Cluster (připojeno)
Název hostitele:server4.example.com
Uuid:0bd9d445-0b5b-4a91-be6f-02b13c41d5d6
Stav:Peer in Cluster (připojeno)
[e-mail chráněn]:~#
Dále vytvoříme prokládané sdílení s názvem testvol (upozorňujeme, že počet proužků se v tomto případě rovná počtu serverů) na server1.example.com, server2.example.com, server3.example.com a server4.example .com v adresáři /data (pokud neexistuje, bude vytvořen):
gluster volume create testvol stripe 4 transport tcp server1.example.com:/data server2.example.com:/data server3.example.com:/data server4.example.com:/data
[e-mail protected]:~# svazek clusteru vytvořit testvol stripe 4 transport tcp server1.example.com:/data server2.example.com:/data server3.example.com:/data server4.example.com:/data
Vytvoření objemu testvol bylo úspěšné. Pro přístup k datům spusťte svazek.
[e-mail chráněn]:~#
Spusťte hlasitost:
gluster volume start testvol
Je možné, že výše uvedený příkaz vám říká, že akce nebyla úspěšná:
[email protected]:~# gluster volume start testvol
Spuštění objemu testvol se nezdařilo
[email protected]:~#
V tomto případě byste měli zkontrolovat výstup...
server1.example.com/server2.example.com/server3.example.com/server4.example.com:
netstat -tap | grep glusterfsd
na obou serverech.
Pokud získáte výstup takto...
[e-mail chráněný]:~# netstat -tap | Grep glusterfsd
tcp 0 0*:24009*:*Poslouchejte 1110 /glusterfsd
tcp 0 0 localhost.localdom:1019 localhost.localdo:24007 zavedeno 1110 /glusterfsd
[e -mail Protected]:~ ~ ~ #
... vše je v pořádku, ale pokud nedostanete žádný výstup...
[e-mail chráněný]:~# netstat -tap | grep glusterfsd
[e-mail chráněn]:~#
[e-mail chráněný]:~# netstat -tap | grep glusterfsd
[e-mail chráněn]:~#
[e-mail chráněný]:~# netstat -tap | grep glusterfsd
[e-mail chráněn]:~#
... restartujte démona GlusterFS na odpovídajícím serveru (server2.example.com, server3.example.com a server4.example.com v tomto případě):
server2.example.com/server3.example.com/server4.example.com:
/etc/init.d/glusterfs-server restart
Poté zkontrolujte výstup...
netstat -tap | grep glusterfsd
... opět na těchto serverech - nyní by to mělo vypadat takto:
[e-mail chráněný]:~# netstat -tap | GREP GLUSTERFSD
TCP 0 0*:24009*:*Poslouchejte 1152 /glusterfsd
tcp 0 0 localhost.localdom:1018 localhost.localdo:24007 zavedeno 1152 /glusterfsd
[e -mail chráněno]:~ ~ ~ ~ ~ ~ ~ ~ #
[e-mail chráněný]:~# netstat -tap | Grep glusterfsd
tcp 0 0*:24009*:*Poslouchejte 1311 /glusterfsd
tcp 0 0 localhost.localdom:1018 localhost.localdo:24007 zavedeno 1311 /glusterfsd
[e -mail Protected]:~ ~ ~ #
[e-mail chráněný]:~# netstat -tap | Grep glusterfsd
tcp 0 0*:24009*:*Poslouchejte 1297 /glusterfsd
tcp 0 0 localhost.localdom:1019 localhost.localdo:24007 zavedeno 1297 /glusterfsd
[e -mail chráněno]:~ ~ ~ ~ ~ ~ ~ ~ #
Nyní zpět na server1.example.com:
server1.example.com:
Stav svazku můžete zkontrolovat příkazem
gluster volume info
[email protected]:~# gluster volume info
Název svazku:testvol
Typ:Stripe
Stav:Spuštěno
Počet cihel:4
Typ dopravy:tcp
Bricky:
Brick1:server1. example.com:/data
Brick2:server2.example.com:/data
Brick3:server3.example.com:/data
Brick4:server4.example.com:/data
[e-mail chráněn]:~#
Ve výchozím nastavení se ke svazku mohou připojit všichni klienti. Pokud chcete udělit přístup pouze k client1.example.com (=192.168.0.104), spusťte:
gluster volume set testvol auth.allow 192.168.0.104
Upozorňujeme, že pro adresy IP je možné použít zástupné znaky (např. 192.168.*) a že můžete zadat více adres IP oddělených čárkou (např. 192.168.0.104, 192.168.0.105).
Informace o svazku by nyní měly zobrazovat aktualizovaný stav:
gluster volume info
[email protected]:~# gluster volume info
Název svazku:testvol
Typ:Stripe
Stav:Spuštěno
Počet cihel:4
Typ dopravy:tcp
Bricky:
Brick1:server1. example.com:/data
Brick2:server2.example.com:/data
Brick3:server3.example.com:/data
Brick4:server4.example.com:/data
Možnosti překonfigurovány:
auth.allow:192.168.0.104
[e-mail chráněn]:~#
3 Nastavení klienta GlusterFS
client1.example.com:
Na klienta můžeme nainstalovat klienta GlusterFS následovně:
apt-get install glusterfs-client
Poté vytvoříme následující adresář:
mkdir /mnt/glusterfs
A je to! Nyní můžeme připojit souborový systém GlusterFS do /mnt/glusterfs pomocí následujícího příkazu:
mount.glusterfs server1.example.com:/testvol /mnt/glusterfs
(Namísto server1.example.com můžete ve výše uvedeném příkazu použít také server2.example.com nebo server3.example.com nebo server4.example.com!)
Nyní byste měli vidět nový podíl ve výstupech...
mount
[e-mail chráněný]:~# mount
/dev/mapper/server5-root na / zadejte ext4 (rw,errors=remount-ro)
proc na /proc typu proc (rw,noexec,nosuid, nodev)
sysfs na /sys typu sysfs (rw,noexec,nosuid,nodev)
fusectl na /sys/fs/fuse/connections typu fusectl (rw)
žádné na /sys/kernel /debug typ debugfs (rw)
žádný na /sys/kernel/security typ securityfs (rw)
udev na /dev typ devtmpfs (rw,mode=0755)
devpts na /dev/ pts type devpts (rw,noexec,nosuid,gid=5,mode=0620)
tmpfs zapnuto /spustit typ tmpfs (rw,noexec,nosuid,size=10%,mode=0755)
žádné zapnuto /run/lock type tmpfs (rw,noexec,nosuid,nodev,size=5242880)
žádný na /run/shm typu tmpfs (rw,nosuid,nodev)
/dev/sda1 na /boot type ext2 (rw)
server1.example.com:/testvol na /mnt/glusterfs typu fuse.glusterfs (rw,allow_other,default_permissions,max_read=131072)
[e-mail chráněný]:~#
... a...
df -h
[chráněno e-mailem]:~# df -h
Systém souborů Velikost Použitá Využití % Připojeno na
/dev/mapper/server5-root
% 238 m 4,0K 238M 1%/dev
Tmpfs 99m 212K 99M 1%/Run
Žádné 5,0 m 0 5,0 m 0%/Run/Lock
Žádné 247M 0 247M 0%/SHM/SHM
/dev/sda1 228 M 24 M 193 M 11 % /boot
server1.example.com:/testvol
<0 % G 1 116 G ~#
Místo ručního připojování sdílené složky GlusterFS na klienta můžete upravit /etc/fstab tak, aby se sdílená složka připojila automaticky, když se klient zavede.
Otevřete /etc/fstab a připojte následující řádek:
vi /etc/fstab
[...] server1.example.com:/testvol /mnt/glusterfs glusterfs defaults,_netdev 0 0 |
(Opět, místo server1.example.com můžete také použít server2.example.com nebo server3.example.com nebo server4.example.com!)
Chcete-li otestovat, zda váš upravený /etc/fstab funguje, restartujte klienta:
reboot
Po restartu byste měli najít podíl ve výstupech...
df -h
... a...
mount
4 testování
Nyní vytvoříme velký testovací soubor na sdílené složce GlusterFS:
client1.example.com:
dd if=/dev/zero of=/mnt/glusterfs/test.img bs=1024k count=1000
ls -l /mnt/glusterfs
[e-mail protected]:~# ls -l /mnt/glusterfs
celkem 1024032
-rw-r--r-- 1 kořenový adresář 1048576000 17. 12. 2012 17:31 test.img
[e-mail chráněn]:~#
Nyní se podívejme na adresář /data na server1.example.com, server2.example.com, server3.example.com a server4.example.com. Na každém uzlu byste měli vidět soubor test.img, ale s různými velikostmi (kvůli prokládání dat):
server1.example.com:
ls -l /data
[e-mail chráněný]:~# ls -l /data
celkem 256008
-rw-r--r-- 1 kořenový adresář 1045430272 2012-12-17 17:31 test.img
[e-mail chráněný]:~#
server2.example.com:
ls -l /data
[e-mail chráněný]:~# ls -l /data
celkem 256008
-rw-r--r-- 1 kořenový adresář 1046478848 2012-12-17 17:27 test.img
[e-mail chráněn]:~#
server3.example.com:
ls -l /data
[e-mail chráněný]:~# ls -l /data
celkem 256008
-rw-r--r-- 1 kořenový adresář 1047527424 2012-12-17 17:26 test.img
[e-mail chráněn]:~#
server4.example.com:
ls -l /data
[e-mail chráněný]:~# ls -l /data
celkem 256008
-rw-r--r-- 1 kořenový adresář 1048576000 2012-12-17 17:30 test.img
[e-mail chráněn]:~#
5 odkazů
- GlusterFS:http://www.gluster.org/
- Dokumentace GlusterFS 3.2:http://download.gluster.com/pub/gluster/glusterfs/3.2/Documentation/AG/html/index.html
- Ubuntu:http://www.ubuntu.com/