GNU/Linux >> Znalost Linux >  >> Cent OS

Distribuované úložiště mezi čtyřmi uzly úložiště s GlusterFS 3.2.x na CentOS 6.3

Tento tutoriál ukazuje, jak zkombinovat čtyři samostatné úložné servery (se systémem CentOS 6.3) do jednoho velkého úložného serveru (distribuované úložiště) s GlusterFS. Klientský systém (také CentOS 6.3) bude mít přístup k úložišti, jako by to byl místní souborový systém. GlusterFS je klastrovaný souborový systém schopný škálování na několik petabajtů. Sdružuje různé úložné bloky přes propojení Infiniband RDMA nebo TCP/IP do jednoho velkého paralelního síťového souborového systému. Úložné kostky mohou být vyrobeny z jakéhokoli běžného hardwaru, jako jsou servery x86_64 s SATA-II RAID a Infiniband HBA.

Upozorňujeme, že tento druh úložiště (distribuované úložiště) neposkytuje žádné funkce s vysokou dostupností, jako by tomu bylo v případě replikovaného úložiště.

Neposkytuji žádnou záruku, že to pro vás bude fungovat!

1 předběžná poznámka

V tomto tutoriálu používám pět systémů, čtyři servery a klienta:

  • server1.example.com:IP adresa 192.168.0.100 (server)
  • server2.example.com:IP adresa 192.168.0.101 (server)
  • server3.example.com:IP adresa 192.168.0.102 (server)
  • server4.example.com:IP adresa 192.168.0.103 (server)
  • client1.example.com:IP adresa 192.168.0.104 (klient)

Všech pět systémů by mělo být schopno rozlišit názvy hostitelů ostatních systémů. Pokud to nelze provést prostřednictvím DNS, měli byste upravit soubor /etc/hosts tak, aby na všech pěti systémech vypadal následovně:

vi /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
192.168.0.100   server1.example.com     server1
192.168.0.101   server2.example.com     server2
192.168.0.102   server3.example.com     server3
192.168.0.103   server4.example.com     server4
192.168.0.104   client1.example.com     client1

::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

(V následujícím nastavení je také možné použít IP adresy místo názvů hostitelů. Pokud dáváte přednost použití IP adres, nemusíte se starat o to, zda lze názvy hostitelů přeložit nebo ne.)

2 Povolit další úložiště

server1.example.com/server2.example.com/server3.example.com/server4.example.com/klient1.example.com:

Nejprve importujeme klíče GPG pro softwarové balíčky:

rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY*

Poté povolíme úložiště EPEL6 na našich systémech CentOS:

rpm --import https://fedoraproject.org/static/0608B895.txt

cd /tmp
wget http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-7.noarch.rpm
rpm -ivh epel-release-6- 7.noarch.rpm

yum install yum-priorities

Upravte /etc/yum.repos.d/epel.repo...

vi /etc/yum.repos.d/epel.repo

... a přidejte řádek priority=10 do sekce [epel]:

[epel]
name=Extra Packages for Enterprise Linux 6 - $basearch
#baseurl=http://download.fedoraproject.org/pub/epel/6/$basearch
mirrorlist=https://mirrors.fedoraproject.org/metalink?repo=epel-6&arch=$basearch
failovermethod=priority
enabled=1
priority=10
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-6
[...]

3 Nastavení serverů GlusterFS

server1.example.com/server2.example.com/server3.example.com/server4.example.com:

GlusterFS je k dispozici jako balíček pro EPEL, proto jej můžeme nainstalovat následovně:

yum install glusterfs-server

Vytvořte spouštěcí odkazy systému pro démona Gluster a spusťte jej:

chkconfig --levels 235 glusterd na
/etc/init.d/glusterd start

Příkaz

glusterfsd --version

by nyní měla zobrazovat verzi GlusterFS, kterou jste právě nainstalovali (v tomto případě 3.2.7):

[[email protected] ~]# glusterfsd --version
glusterfs 3.2.7 vytvořeno 11. června 2012 13:22:28
Revize úložiště:git://git.gluster.com/glusterfs.git
Autorská práva (c) 2006-2011 Gluster Inc.
GlusterFS se nevztahuje ABSOLUTNĚ ŽÁDNÁ ZÁRUKA.
Můžete redistribuovat kopie GlusterFS za podmínek GNU General Public License.
[[email protected] ~]#

Pokud používáte bránu firewall, ujistěte se, že porty TCP 111, 24007, 24008, 24009-(24009 + počet bloků na všech svazcích) jsou otevřené na server1.example.com, server2.example.com, server3.example.com a server4.example.com.

Dále musíme přidat server2.example.com, server3.example.com a server4.example.com do důvěryhodného fondu úložiště (upozorňujeme, že spouštím všechny konfigurační příkazy GlusterFS ze server1.example.com, ale můžete dobře je spouštějte z server2.example.com nebo server3.example.com nebo server4.example.com, protože konfigurace je replikována mezi uzly GlusterFS – jen se ujistěte, že používáte správné názvy hostitelů nebo IP adresy):

server1.example.com:

Na server1.example.com spusťte

gluster peer probe server2.example.com
gluster peer probe server3.example.com
gluster peer probe server4.example.com

Výstup by měl být následující:

[[email protected] ~]# gluster peer probe server2.example.com
Probe úspěšný
[[email protected] ~]#

Stav fondu důvěryhodného úložiště by nyní měl být podobný tomuto:

gluster peer status

[[e-mail chráněn] ~ Stav # skupiny uživatelů
Počet kolegů:3

Název hostitele:server2.example.com
Uuid:da79c994-eaf1-4c1c-a136-f8b273fb0c98
Stav:Peer in Cluster (připojeno)

Název hostitele:server3.example.com
Uuid:3e79bd9f-a4d5-4373-88e1-40f12861dcdd
Stav:Peer in Cluster (připojeno)

Název hostitele:server4.example.com
Uuid:c6215943-00f3-492f-9b69-3aa534c1d8f3
Stav:Peer in Cluster (připojeno)
[[e-mail chráněný] ~]#

Dále vytvoříme distribuovanou sdílenou složku s názvem testvol na server1.example.com, server2.example.com, server3.example.com a server4.example.com v adresáři /data (bude vytvořen, pokud neexistuje) :

gluster volume create testvol transport tcp server1.example.com:/data server2.example.com:/data server3.example.com:/data server4.example.com:/data

[[email protected] ~]# svazek clusteru vytvořit testvol transport tcp server1.example.com:/datový server2.example.com:/datový server3.example.com:/datový server4.example.com:/data
Vytvoření objemu testvol bylo úspěšné. Pro přístup k datům spusťte svazek.
[[email protected] ~]#

Spusťte hlasitost:

gluster volume start testvol

Je možné, že výše uvedený příkaz vám říká, že akce nebyla úspěšná:

[[email protected] ~]# gluster volume start testvol
Spuštění objemu testvol se nezdařilo
[[email protected] ~]#

V tomto případě byste měli zkontrolovat výstup...

server1.example.com/server2.example.com/server3.example.com/server4.example.com:

netstat -tap | grep glusterfsd

na obou serverech.

Pokud získáte výstup takto...

[[e-mail chráněn] ~]# netstat -tap | Grep glusterfsd
tcp 0 0*:24009*:*Poslouchejte 1365 /glusterfsd
TCP 0 0 localhost:1023 Localhost:24007 Zavedeno 1365 /glusterfsd
tcp 0 0 server1.example.com:24009 server1.example.com:1023    ESTABLISHED 1365/glusterfsd
[[e-mail chráněný] ~]#

... vše je v pořádku, ale pokud nedostanete žádný výstup...

[[e-mail chráněný] ~]# netstat -tap | grep glusterfsd
[[e-mail chráněný] ~]#

[[e-mail chráněný] ~]# netstat -tap | grep glusterfsd
[[e-mail chráněný] ~]#

[[e-mail chráněný] ~]# netstat -tap | grep glusterfsd
[[e-mail chráněný] ~]#

... restartujte démona GlusterFS na odpovídajícím serveru (server2.example.com, server3.example.com a server4.example.com v tomto případě):

server2.example.com/server3.example.com/server4.example.com:

/etc/init.d/glusterfsd restart 

Poté zkontrolujte výstup...

netstat -tap | grep glusterfsd

... opět na těchto serverech - nyní by to mělo vypadat takto:

[[e-mail chráněn] ~]# netstat -tap | GREP GLUSTERFSD
TCP 0 0*:24009*:*Poslouchejte 1152 /glusterfsd
tcp 0 0 localhost.localdom:1018 localhost.localdo:24007 zavedeno 1152 /glusterfsd
[[e -mailem] ~ ~ #

[[e-mail chráněný] ~]# netstat -tap | Grep glusterfsd
tcp 0 0*:24009*:*Poslouchejte 1311 /glusterfsd
tcp 0 0 localhost.localdom:1018 localhost.localdo:24007 zavedeno 1311 /glusterfsd
[[e -mail chráněno] ~ ~ #

[[e-mail chráněný] ~]# netstat -tap | Grep glusterfsd
tcp 0 0*:24009*:*Poslouchejte 1297 /glusterfsd
tcp 0 0 localhost.localdom:1019 localhost.localdo:24007 zavedeno 1297 /glusterfsd
[[e -mailem] ~ ~ #

Nyní zpět na server1.example.com:

server1.example.com:

Stav svazku můžete zkontrolovat příkazem

gluster volume info
[[email protected] ~]# gluster volume info

Název svazku:testvol
Typ:Distribuovat
Stav:Spuštěno
Počet cihel:4
Typ dopravy:tcp
Kombiny:
Brick1:server1. example.com:/data
Brick2:server2.example.com:/data
Brick3:server3.example.com:/data
Brick4:server4.example.com:/data
[[e-mail chráněn] ~]#

Ve výchozím nastavení se ke svazku mohou připojit všichni klienti. Pokud chcete udělit přístup pouze k client1.example.com (=192.168.0.104), spusťte:

gluster volume set testvol auth.allow 192.168.0.104

Upozorňujeme, že pro adresy IP je možné použít zástupné znaky (např. 192.168.*) a že můžete zadat více adres IP oddělených čárkou (např. 192.168.0.104, 192.168.0.105).

Informace o svazku by nyní měly zobrazovat aktualizovaný stav:

gluster volume info
[[email protected] ~]# gluster volume info

Název svazku:testvol
Typ:Distribuovat
Stav:Spuštěno
Počet cihel:4
Typ dopravy:tcp
Kombiny:
Brick1:server1. example.com:/data
Brick2:server2.example.com:/data
Brick3:server3.example.com:/data
Brick4:server4.example.com:/data
Překonfigurované možnosti:
auth.allow:192.168.0.104
[[e-mail chráněný] ~]#

4 Nastavení klienta GlusterFS

client1.example.com:

Na klienta můžeme nainstalovat klienta GlusterFS následovně:

yum install glusterfs-client

Poté vytvoříme následující adresář:

mkdir /mnt/glusterfs

A je to! Nyní můžeme připojit souborový systém GlusterFS do /mnt/glusterfs pomocí následujícího příkazu:

mount.glusterfs server1.example.com:/testvol /mnt/glusterfs

(Namísto server1.example.com můžete ve výše uvedeném příkazu použít také server2.example.com nebo server3.example.com nebo server4.example.com!)

Nyní byste měli vidět nový podíl ve výstupech...

mount

[[email chráněno] ~]# připojení
/dev/mapper/vg_client1-LogVol00 na / typ ext4 (rw)
proc na /proc typ proc (rw)
sysfs na /sys typ sysfs (rw)
devpts na /dev/pts typ devpts (rw,gid=5,mode=620)
tmpfs na /dev/shm typ tmpfs (rw)
/dev/sda1 na /boot typ ext4 (rw)
žádný na /proc/sys/fs/binfmt_misc typ binfmt_misc (rw)
sunrpc na /var/lib/nfs/rpc_pipefs typ rpc_pipefs (rw)
server1.example.com:/testvol na /mnt/glusterfs typu fuse.glusterfs (rw,allow_other,default_permissions,max_read=131072)
[[email protected] ~]#

... a...

df -h

[[email protected] ~]# df -h
Systém souborů            Velikost  Použitá Dostupnost Využití % Připevněno na
/dev/mapper/vg_client1-LogVol00
<         7 9.             1 G.            1.       /> tmpfs 499m 0 499m 0%/dev/shm
/dev/sda1 504m 39m 440m 9%/boot
server1.example.com:/testvol
116G 4.2G 106G/ mnt/glusterfs
[[email protected] ~]#

Místo ručního připojování sdílené složky GlusterFS na klienta můžete upravit /etc/fstab tak, aby se sdílená složka připojila automaticky, když se klient zavede.

Otevřete /etc/fstab a připojte následující řádek:

vi /etc/fstab 
[...]
server1.example.com:/testvol /mnt/glusterfs glusterfs defaults,_netdev 0 0

(Opět, místo server1.example.com můžete také použít server2.example.com nebo server3.example.com nebo server4.example.com!)

Chcete-li otestovat, zda váš upravený /etc/fstab funguje, restartujte klienta:

reboot 

Po restartu byste měli najít podíl ve výstupech...

df -h 

... a...

mount

5 testování

Nyní vytvoříme nějaké testovací soubory na sdílené složce GlusterFS:

client1.example.com:

dotkněte se /mnt/glusterfs/test1
dotkněte se /mnt/glusterfs/test2
dotkněte se /mnt/glusterfs/test3
dotkněte se /mnt/glusterfs/test4
dotkněte se /mnt/glusterfs/ test5
dotkněte se /mnt/glusterfs/test6

Nyní se podívejme na adresář /data na server1.example.com, server2.example.com, server3.example.com a server4.example.com. Všimnete si, že každý uzel úložiště obsahuje pouze část souborů/adresářů, které tvoří sdílenou složku GlusterFS na klientovi:

server1.example.com:

ls -l /data

[[email protected] ~]# ls -l /data
celkem 0
-rw-r--r-- 1 kořenový adresář 0 2012-12-17 14:26 test1
- rw-r--r-- 1 kořen kořen 0 2012-12-17 14:26 test2
-rw-r--r-- 1 kořen kořen 0 2012-12-17 14:26 test5
[[e-mail chráněn] ~]#

server2.example.com:

ls -l /data

[[email protected] ~]# ls -l /data
celkem 0
-rw-r--r-- 1 kořenový adresář 0 2012-12-17 14:26 test4
[ [e-mail chráněný] ~]#

server3.example.com:

ls -l /data

[[email protected] ~]# ls -l /data
celkem 0
-rw-r--r-- 1 kořenový adresář 0 2012-12-17 14:26 test6
[ [e-mail chráněný] ~]#

server4.example.com:

ls -l /data

[[email protected] ~]# ls -l /data
celkem 0
-rw-r--r-- 1 kořenový adresář 0 2012-12-17 14:26 test3
[ [e-mail chráněný] ~]#

  • GlusterFS:http://www.gluster.org/
  • Dokumentace GlusterFS 3.2:http://download.gluster.com/pub/gluster/glusterfs/3.2/Documentation/AG/html/index.html
  • CentOS:http://www.centos.org/

Cent OS
  1. Úložiště s vysokou dostupností s GlusterFS na Debianu 8 – zrcadlení mezi dvěma úložnými servery

  2. Distribuované úložiště mezi čtyřmi uzly úložiště s GlusterFS 3.2.x na Ubuntu 12.10

  3. Distribuované replikované úložiště mezi čtyři uzly úložiště s GlusterFS 3.2.x na Ubuntu 12.10

  1. Pruhování přes čtyři uzly úložiště s GlusterFS 3.2.x na Ubuntu 12.10

  2. Automatická replikace souborů (zrcadlení) přes dva úložné servery s GlusterFS 3.2.x na Ubuntu 12.10

  3. Distribuované úložiště napříč čtyřmi uzly úložiště s GlusterFS na Debianu Lenny

  1. Distribuované replikované úložiště mezi čtyři uzly úložiště s GlusterFS na Debianu Lenny

  2. Pruhování přes čtyři úložné uzly s GlusterFS na Debianu Lenny

  3. Distribuované replikované úložiště napříč čtyřmi uzly úložiště s GlusterFS na CentOS 5.4