Tento výukový program ukazuje, jak provádět prokládání dat (segmentaci logicky sekvenčních dat, jako je jeden soubor, takže segmenty lze přiřazovat více fyzickým zařízením způsobem round-robin a tedy zapisovat současně) na čtyřech samostatných úložných serverech (se systémem CentOS 6.3) s GlusterFS. Klientský systém (také CentOS 6.3) bude mít přístup k úložišti, jako by to byl místní souborový systém. GlusterFS je klastrovaný souborový systém schopný škálování na několik petabajtů. Sdružuje různé úložné bloky přes propojení Infiniband RDMA nebo TCP/IP do jednoho velkého paralelního síťového souborového systému. Úložné kostky mohou být vyrobeny z jakéhokoli běžného hardwaru, jako jsou servery x86_64 s SATA-II RAID a Infiniband HBA.
Vezměte prosím na vědomí, že tento druh úložiště neposkytuje žádné funkce s vysokou dostupností/odolností proti chybám, jak by tomu bylo v případě replikovaného úložiště.
Neposkytuji žádnou záruku, že to pro vás bude fungovat!
1 předběžná poznámka
V tomto tutoriálu používám pět systémů, čtyři servery a klienta:
- server1.example.com:IP adresa 192.168.0.100 (server)
- server2.example.com:IP adresa 192.168.0.101 (server)
- server3.example.com:IP adresa 192.168.0.102 (server)
- server4.example.com:IP adresa 192.168.0.103 (server)
- client1.example.com:IP adresa 192.168.0.104 (klient)
Všech pět systémů by mělo být schopno rozlišit názvy hostitelů ostatních systémů. Pokud to nelze provést prostřednictvím DNS, měli byste upravit soubor /etc/hosts tak, aby na všech pěti systémech vypadal následovně:
vi /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 192.168.0.100 server1.example.com server1 192.168.0.101 server2.example.com server2 192.168.0.102 server3.example.com server3 192.168.0.103 server4.example.com server4 192.168.0.104 client1.example.com client1 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 |
(V následujícím nastavení je také možné použít IP adresy místo názvů hostitelů. Pokud dáváte přednost použití IP adres, nemusíte se starat o to, zda lze názvy hostitelů přeložit nebo ne.)
2 Povolit další úložiště
server1.example.com/server2.example.com/server3.example.com/server4.example.com/klient1.example.com:
Nejprve importujeme klíče GPG pro softwarové balíčky:
rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY*
Poté povolíme úložiště EPEL6 na našich systémech CentOS:
rpm --import https://fedoraproject.org/static/0608B895.txt
cd /tmp
wget http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-7.noarch.rpm
rpm -ivh epel-release-6- 7.noarch.rpm
yum install yum-priorities
Upravte /etc/yum.repos.d/epel.repo...
vi /etc/yum.repos.d/epel.repo
... a přidejte řádek priority=10 do sekce [epel]:
[epel] name=Extra Packages for Enterprise Linux 6 - $basearch #baseurl=http://download.fedoraproject.org/pub/epel/6/$basearch mirrorlist=https://mirrors.fedoraproject.org/metalink?repo=epel-6&arch=$basearch failovermethod=priority enabled=1 priority=10 gpgcheck=1 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-6 [...] |
3 Nastavení serverů GlusterFS
server1.example.com/server2.example.com/server3.example.com/server4.example.com:
GlusterFS je k dispozici jako balíček pro EPEL, proto jej můžeme nainstalovat následovně:
yum install glusterfs-server
Vytvořte spouštěcí odkazy systému pro démona Gluster a spusťte jej:
chkconfig --levels 235 glusterd na
/etc/init.d/glusterd start
Příkaz
glusterfsd --version
by nyní měla zobrazovat verzi GlusterFS, kterou jste právě nainstalovali (v tomto případě 3.2.7):
[[email protected] ~]# glusterfsd --version
glusterfs 3.2.7 vytvořeno 11. června 2012 13:22:28
Revize úložiště:git://git.gluster.com/glusterfs.git
Autorská práva (c) 2006-2011 Gluster Inc.
GlusterFS se nevztahuje ABSOLUTNĚ ŽÁDNÁ ZÁRUKA.
Můžete redistribuovat kopie GlusterFS za podmínek GNU General Public License.
[[email protected] ~]#
Pokud používáte bránu firewall, ujistěte se, že porty TCP 111, 24007, 24008, 24009-(24009 + počet bloků na všech svazcích) jsou otevřené na server1.example.com, server2.example.com, server3.example.com a server4.example.com.
Dále musíme přidat server2.example.com, server3.example.com a server4.example.com do důvěryhodného fondu úložiště (upozorňujeme, že spouštím všechny konfigurační příkazy GlusterFS ze server1.example.com, ale můžete dobře je spouštějte z server2.example.com nebo server3.example.com nebo server4.example.com, protože konfigurace je replikována mezi uzly GlusterFS – jen se ujistěte, že používáte správné názvy hostitelů nebo IP adresy):
server1.example.com:
Na server1.example.com spusťte
gluster peer probe server2.example.com
gluster peer probe server3.example.com
gluster peer probe server4.example.com
Výstup by měl být následující:
[[email protected] ~]# gluster peer probe server2.example.com
Probe úspěšný
[[email protected] ~]#
Stav fondu důvěryhodného úložiště by nyní měl být podobný tomuto:
gluster peer status
[[e-mail chráněn] ~ Stav # skupiny uživatelů
Počet kolegů:3
Název hostitele:server2.example.com
Uuid:600ff607-f7fd-43f6-af8d-419df703376d
Stav:Peer in Cluster (připojeno)
Název hostitele:server3.example.com
Uuid:1d6a5f3f-c2dd-4727-a050-0431772cc381
Stav:Peer in Cluster (připojeno)
Název hostitele:server4.example.com
Uuid:0bd9d445-0b5b-4a91-be6f-02b13c41d5d6
Stav:Peer in Cluster (připojeno)
[[e-mail chráněný] ~]#
Dále vytvoříme prokládané sdílení s názvem testvol (upozorňujeme, že počet proužků se v tomto případě rovná počtu serverů) na server1.example.com, server2.example.com, server3.example.com a server4.example .com v adresáři /data (pokud neexistuje, bude vytvořen):
gluster volume create testvol stripe 4 transport tcp server1.example.com:/data server2.example.com:/data server3.example.com:/data server4.example.com:/data
[[email protected] ~]# svazek clusteru vytvořit testvol stripe 4 transport tcp server1.example.com:/datový server2.example.com:/datový server3.example.com:/datový server4.example.com:/data
Vytvoření objemu testvol bylo úspěšné. Pro přístup k datům spusťte svazek.
[[email protected] ~]#
Spusťte hlasitost:
gluster volume start testvol
Je možné, že výše uvedený příkaz vám říká, že akce nebyla úspěšná:
[[email protected] ~]# gluster volume start testvol
Spuštění objemu testvol se nezdařilo
[[email protected] ~]#
V tomto případě byste měli zkontrolovat výstup...
server1.example.com/server2.example.com/server3.example.com/server4.example.com:
netstat -tap | grep glusterfsd
na obou serverech.
Pokud získáte výstup takto...
[[e-mail chráněn] ~]# netstat -tap | Grep glusterfsd
tcp 0 0*:24009*:*Poslouchejte 1365 /glusterfsd
TCP 0 0 localhost:1023 Localhost:24007 Zavedeno 1365 /glusterfsd
tcp 0 0 server1.example.com:24009 server1.example.com:1023 ESTABLISHED 1365/glusterfsd
[[e-mail chráněný] ~]#
... vše je v pořádku, ale pokud nedostanete žádný výstup...
[[e-mail chráněný] ~]# netstat -tap | grep glusterfsd
[[e-mail chráněný] ~]#
[[e-mail chráněný] ~]# netstat -tap | grep glusterfsd
[[e-mail chráněný] ~]#
[[e-mail chráněný] ~]# netstat -tap | grep glusterfsd
[[e-mail chráněný] ~]#
... restartujte démona GlusterFS na odpovídajícím serveru (server2.example.com, server3.example.com a server4.example.com v tomto případě):
server2.example.com/server3.example.com/server4.example.com:
/etc/init.d/glusterfsd restart
Poté zkontrolujte výstup...
netstat -tap | grep glusterfsd
... opět na těchto serverech - nyní by to mělo vypadat takto:
[[e-mail chráněn] ~]# netstat -tap | GREP GLUSTERFSD
TCP 0 0*:24009*:*Poslouchejte 1152 /glusterfsd
tcp 0 0 localhost.localdom:1018 localhost.localdo:24007 zavedeno 1152 /glusterfsd
[[e -mailem] ~ ~ #
[[e-mail chráněný] ~]# netstat -tap | Grep glusterfsd
tcp 0 0*:24009*:*Poslouchejte 1311 /glusterfsd
tcp 0 0 localhost.localdom:1018 localhost.localdo:24007 zavedeno 1311 /glusterfsd
[[e -mail chráněno] ~ ~ #
[[e-mail chráněný] ~]# netstat -tap | Grep glusterfsd
tcp 0 0*:24009*:*Poslouchejte 1297 /glusterfsd
tcp 0 0 localhost.localdom:1019 localhost.localdo:24007 zavedeno 1297 /glusterfsd
[[e -mailem] ~ ~ #
Nyní zpět na server1.example.com:
server1.example.com:
Stav svazku můžete zkontrolovat příkazem
gluster volume info
[[email protected] ~]# gluster volume info
Název svazku:testvol
Typ:Stripe
Stav:Spuštěno
Počet cihel:4
Typ dopravy:tcp
Bricky:
Brick1:server1. example.com:/data
Brick2:server2.example.com:/data
Brick3:server3.example.com:/data
Brick4:server4.example.com:/data
[[e-mail chráněn] ~]#
Ve výchozím nastavení se ke svazku mohou připojit všichni klienti. Pokud chcete udělit přístup pouze k client1.example.com (=192.168.0.104), spusťte:
gluster volume set testvol auth.allow 192.168.0.104
Upozorňujeme, že pro adresy IP je možné použít zástupné znaky (např. 192.168.*) a že můžete zadat více adres IP oddělených čárkou (např. 192.168.0.104, 192.168.0.105).
Informace o svazku by nyní měly zobrazovat aktualizovaný stav:
gluster volume info
[[email protected] ~]# gluster volume info
Název svazku:testvol
Typ:Stripe
Stav:Spuštěno
Počet cihel:4
Typ dopravy:tcp
Bricky:
Brick1:server1. example.com:/data
Brick2:server2.example.com:/data
Brick3:server3.example.com:/data
Brick4:server4.example.com:/data
Překonfigurované možnosti:
auth.allow:192.168.0.104
[[email chráněný] ~]#
4 Nastavení klienta GlusterFS
client1.example.com:
Na klienta můžeme nainstalovat klienta GlusterFS následovně:
yum install glusterfs-client
Poté vytvoříme následující adresář:
mkdir /mnt/glusterfs
A je to! Nyní můžeme připojit souborový systém GlusterFS do /mnt/glusterfs pomocí následujícího příkazu:
mount.glusterfs server1.example.com:/testvol /mnt/glusterfs
(Namísto server1.example.com můžete ve výše uvedeném příkazu použít také server2.example.com nebo server3.example.com nebo server4.example.com!)
Nyní byste měli vidět nový podíl ve výstupech...
mount
[[email chráněno] ~]# připojení
/dev/mapper/vg_client1-LogVol00 na / typ ext4 (rw)
proc na /proc typ proc (rw)
sysfs na /sys typ sysfs (rw)
devpts na /dev/pts typ devpts (rw,gid=5,mode=620)
tmpfs na /dev/shm typ tmpfs (rw)
/dev/sda1 na /boot typ ext4 (rw)
žádný na /proc/sys/fs/binfmt_misc typ binfmt_misc (rw)
sunrpc na /var/lib/nfs/rpc_pipefs typ rpc_pipefs (rw)
server1.example.com:/testvol na /mnt/glusterfs typu fuse.glusterfs (rw,allow_other,default_permissions,max_read=131072)
[[email protected] ~]#
... a...
df -h
[[email protected] ~]# df -h
Systém souborů Velikost Použitá Dostupnost Využití % Připevněno na
/dev/mapper/vg_client1-LogVol00
< 7 9. 1 G. 1. /> tmpfs 499m 0 499m 0%/dev/shm
/dev/sda1 504m 39m 440m 9%/boot
server1.example.com:/testvol
116G 4.2G 106G/ mnt/glusterfs
[[email protected] ~]#
Místo ručního připojování sdílené složky GlusterFS na klienta můžete upravit /etc/fstab tak, aby se sdílená složka připojila automaticky, když se klient zavede.
Otevřete /etc/fstab a připojte následující řádek:
vi /etc/fstab
[...] server1.example.com:/testvol /mnt/glusterfs glusterfs defaults,_netdev 0 0 |
(Opět, místo server1.example.com můžete také použít server2.example.com nebo server3.example.com nebo server4.example.com!)
Chcete-li otestovat, zda váš upravený /etc/fstab funguje, restartujte klienta:
reboot
Po restartu byste měli najít podíl ve výstupech...
df -h
... a...
mount
5 testování
Nyní vytvoříme velký testovací soubor na sdílené složce GlusterFS:
client1.example.com:
dd if=/dev/zero of=/mnt/glusterfs/test.img bs=1024k count=1000
ls -l /mnt/glusterfs
[[email protected] ~]# ls -l /mnt/glusterfs
celkem 1024032
-rw-r--r-- 1 kořenový adresář 1048576000 2012-12-17 17:31 test.img
[[e-mail chráněn] ~]#
Nyní se podívejme na adresář /data na server1.example.com, server2.example.com, server3.example.com a server4.example.com. Na každém uzlu byste měli vidět soubor test.img, ale s různými velikostmi (kvůli prokládání dat):
server1.example.com:
ls -l /data
[[email protected] ~]# ls -l /data
celkem 256008
-rw-r--r-- 1 kořenový adresář 1045430272 2012-12-17 17:31 test.img
[[e-mail chráněn] ~]#
server2.example.com:
ls -l /data
[[email protected] ~]# ls -l /data
celkem 256008
-rw-r--r-- 1 kořenový adresář 1046478848 2012-12-17 17:27 test.img
[[e-mail chráněn] ~]#
server3.example.com:
ls -l /data
[[email protected] ~]# ls -l /data
celkem 256008
-rw-r--r-- 1 kořenový adresář 1047527424 2012-12-17 17:26 test.img
[[e-mail chráněn] ~]#
server4.example.com:
ls -l /data
[[email protected] ~]# ls -l /data
celkem 256008
-rw-r--r-- 1 kořenový adresář 1048576000 2012-12-17 17:30 test.img
[[e-mail chráněn] ~]#
6 odkazů
- GlusterFS:http://www.gluster.org/
- Dokumentace GlusterFS 3.2:http://download.gluster.com/pub/gluster/glusterfs/3.2/Documentation/AG/html/index.html
- CentOS:http://www.centos.org/