Použití ATA přes Ethernet (AoE) na CentOS 6.3 (iniciátor a cíl)

Tato příručka vysvětluje, jak můžete nastavit cíl AoE a iniciátor AoE (klienta), oba používají CentOS 6.3. AoE je zkratka pro „ATA over Ethernet“ a je to protokol SAN (storage area network), který umožňuje iniciátorům AoE používat úložná zařízení na (vzdáleném) cíli AoE pomocí běžné ethernetové kabeláže. "Vzdálené" v tomto případě znamená "uvnitř stejné LAN", protože AoE není směrovatelné mimo LAN (to je zásadní rozdíl oproti iSCSI). Pro iniciátora AoE vypadá vzdálené úložiště jako normální lokálně připojený pevný disk.

1 předběžná poznámka

Zde používám dva servery CentOS 6.3:

• server1.example.com (iniciátor):IP adresa 192.168.0.100
• server2.example.com (cíl):IP adresa 192.168.0.101

2 Povolit další úložiště

server1/server2:

Nejprve importujeme klíče GPG pro softwarové balíčky:

rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY*

Poté povolíme úložiště EPEL6 na našich dvou systémech CentOS:

rpm --import https://fedoraproject.org/static/0608B895.txt

cd /tmp
wget http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-7.noarch.rpm
rpm -ivh epel-release-6-7.noarch.rpm

yum install yum-priorities

Upravte /etc/yum.repos.d/epel.repo...

vi /etc/yum.repos.d/epel.repo

... a přidejte řádek priority=10 do sekce [epel]:

[epel]
name=Extra Packages for Enterprise Linux 6 - $basearch
#baseurl=http://download.fedoraproject.org/pub/epel/6/$basearch
mirrorlist=https://mirrors.fedoraproject.org/metalink?repo=epel-6&arch=$basearch
failovermethod=priority
enabled=1
priority=10
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-6
[...]

Balíček vblade je dostupný pouze z EPEL5 úložiště, proto musíme do /etc/yum.repos.d/epel.repo přidat následující sekci, ale pouze na server2:

server2:

vi /etc/yum.repos.d/epel.repo

Ujistěte se, že používáte prioritu=100 a deaktivujte kontroly GPG pomocí gpgcheck=0:

[...]
[epel5]
name=Extra Packages for Enterprise Linux 5 - $basearch
#baseurl=http://download.fedoraproject.org/pub/epel/5/$basearch
mirrorlist=https://mirrors.fedoraproject.org/metalink?repo=epel-5&arch=$basearch
failovermethod=priority
enabled=1
priority=100
gpgcheck=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-6

3 Načítání modulu jádra aoe na obou systémech

server1/server2:

Než začneme, musíme se ujistit, že jádro podporuje AoE:

grep ATA_OVER /boot/config-`uname -r`

Mělo by se zobrazit něco takového:

[[email protected] ~]# grep ATA_OVER /boot/config-`uname -r`
CONFIG_ATA_OVER_ETH=m
[[email protected] ~]#

To znamená, že AoE byl vytvořen jako modul jádra. Zkontrolujeme, zda je modul již načten:

lsmod | grep aoe

Pokud nic nedostanete zpět, znamená to, že není načteno. V tomto případě jej můžeme načíst následovně:

modprobe aoe

Znovu zkontrolujeme, zda je modul načten:

lsmod | grep aoe

[[email protected] ~]# lsmod | grep aoe
aoe                    26466  0
[[email protected] ~]#

Aby se modul načetl automaticky při startu systému, přidáme do /etc/rc.local následující řádek:

vi /etc/rc.local

[...]
modprobe aoe
[...]

4 Nastavení cíle (server2)

server2:

Nejprve nastavíme cíl (server2):

yum install vblade

Pro úložiště můžeme použít nepoužívané logické svazky, soubory s obrazy, pevné disky (např. /dev/sdb), oddíly pevného disku (např. /dev/sdb1) nebo zařízení RAID (např. /dev/md0). V tomto příkladu vytvořím logický svazek o velikosti 20 GB s názvem storage1 ve skupině svazků vg_server2:

lvcreate -L20G -n storage1 vg_server2

(Pokud chcete použít soubor obrázku, můžete jej vytvořit následovně:

mkdir /storage
dd if=/dev/zero of=/storage/storage1.img bs=1024k count=20000

Tím se vytvoří obrazový soubor /storage/storage1.img o velikosti 20 GB.

)

Nyní exportujeme naše úložné zařízení následovně:

vbladed 0 1 eth0 /dev/vg_server2/storage1

První číslo (0) je číslo police (hlavní), druhé (1) číslo slotu (vedlejší), změňte tato čísla podle svého. Každé zařízení AoE je identifikováno dvojicí hlavních/vedlejších, které musí být jedinečné (pokud exportujete více zařízení), s hlavními mezi 0-65535 a vedlejšími mezi 0-255. Část eth0 říká vbladed, které ethernetové zařízení má použít (pokud je vaše ethernetové zařízení eth1, použijte eth1 – o svých ethernetových zařízeních můžete zjistit spuštěním

ifconfig

).

Chcete-li export spustit automaticky při každém spuštění cíle, otevřete /etc/rc.local...

vi /etc/rc.local

... a přidejte k němu následující řádek (za řádek modprobe aoe!):

[...]
vbladed 0 1 eth0 /dev/vg_server2/storage1
[...]

5 Nastavení iniciátora (server1)

server1:

Na server1 nainstalujeme iniciátor:

yum install aoetools

Nyní zkontrolujeme, jaká úložná zařízení AoE jsou k dispozici:

aoe-discover

Příkaz

aoe-stat

by měl nyní zobrazovat úložná zařízení:

[[email protected] ~]# aoe-stat
      e0.1        21.474GB   eth0 up
[[email protected] ~]#

V tuto chvíli máme na klientské schránce k dispozici nové blokové zařízení s názvem /dev/etherd/e0.1. Pokud se podíváme na strom /dev, objeví se nový uzel:

ls -la /dev/etherd/

[[email protected] ~]# ls -la /dev/etherd/
total 0
drwxr-xr-x.  2 root root     160 Dec 11 16:24 .
drwxr-xr-x. 20 root root    3620 Dec 11 16:00 ..
c-w--w----.  1 root disk 152,  3 Dec 11 16:00 discover
brw-rw----.  1 root disk 152, 16 Dec 11 16:24 e0.1
cr--r-----.  1 root disk 152,  2 Dec 11 16:00 err
c-w--w----.  1 root disk 152,  6 Dec 11 16:00 flush
c-w--w----.  1 root disk 152,  4 Dec 11 16:00 interfaces
c-w--w----.  1 root disk 152,  5 Dec 11 16:00 revalidate
[[email protected] ~]#

Abychom toto zařízení mohli používat, musíme jej naformátovat:

fdisk /dev/etherd/e0.1

[[email protected] ~]# fdisk /dev/etherd/e0.1
Zařízení neobsahuje platnou tabulku rozdílů DOS, ani disklabel Sun, SGI nebo OSF
Vytváření nového disku fd DOS s identifikátorem 0xed 2sk 5 .
Změny zůstanou pouze v paměti ,  dokud se nerozhodnete zapsat .
Poté samozřejmě předchozí obsah  nebude  obnovit.


Počet cylindrů pro tento disk je nastaven na 2610.
Není na tom nic špatného, ale to je větší než 1024,
a může v určitých nastaveních způsobit problémy s:
který běží při zavádění (např. staré verze LILO)
2) zavádění a rozdělování softwaru z jiných OS
    (např. DOS FDISK, OS/2 FDISK)
Varování: 0x00 flag 0x0 tabulky oddílů 4 bude opraveno w(rite)

Příkaz (m pro nápovědu): <-- n
Akce příkazu
   e    rozšířeno
   p   primární oddíl (1-4)
<-- p
Číslo oddílu (1-4): <-- 1
První válec (1-2610, výchozí 1): <-- ENTER
Použití výchozí hodnoty 1
Poslední válec, +válce nebo +velikost{K,M,G} (1-2610, výchozí 2610): <-- ENTER
Použití výchozí hodnoty 2610

Příkaz (m pro nápovědu): <-- t
Vybraný oddíl 1
Hexametrový kód (zadáním L zobrazíte kódy): <-- L

0 prázdné 1e skryté W95 FAT1 80 Old Minix BF Solaris
1 FAT12 24 NEC DOS 81 Minix/Old Lin C1 DRDOS/SEC (FAT-
2 Xenix Root 39 Plan 9 82 Linux Swap/So C4 DRDOS /sec (fat-
3 xenix usr 3c distritionmagic 83 Linux C6 DRDOS /SEC (FAT-
4 FAT16 <32M 40 Venix 80286 84 OS /2 skrytý C:C7 Syrinx
5 prodloužený 41 PPC Prep Boot 85 Linux Extended DA Non-FS Data
6 FAT16 42 SFS 86 NTFS SET DB CP/M/CTOS/.
7 HPFS/NTFS 4D QNX4.X 87 NTFS SET De Dell Utility
 8  AIX             4e  QNX4.x 2. část 88  Linux prostý text df  BootIt
9 aix bootvable 4f qnx4.x 3. část 8e linux lvm e1 dos přístup
a os /2 manage 50 onntrack dm 93 améba e3 dos r /o
b w95 fat32 51 ontrack dm6 aux 94 améba 94 amoeba BBT E4 Speedstor
C W95 FAT32 (LBA) 52 CP /M 9F BSD /OS EB BEOS FS
E W95 FAT16 (LBA) 53 ONTRACK DM6 AUX A0 IBM Thinkpad Hi EE GPT
F W95 EXT'D (LBA) 54 ONTRACKDM6 A5 FreeBSD EF EFI (FAT-12/16/
10 Opus 55 Ez-Drive A6 OpenBSD F0 Linux/PA-RISC B
11 Skrytý tuk12 56 Golden Bow A7 Nextstepp F1 Speedstor
12 Compaq Diagnostika 5C Priam Edisk A8 Darwin UFS F4 Speedstor
14 Skrytý fat16 <3 61 Speedstor A9 Netbsd f2 dos sekundární 16 skrytý fat16 63 gnu hurd nebo sys ab darwin boot fb vmware VMFS
17  Skryté HPFS/NTF 64  Novell Netware  b7  BSDI fs          fc  VMware VMKCORE
18  AST SmartSleep  65   Novell Netwa RE B8 BSDI SWAP FD Linux Raid Auto
1b Hidden W95 FAT3 70 DisScure Mult BB Boot Wizard HID Fe Lanstep
1C skrytý W95 FAT3 75 PC /IX BE Solaris Boot FF BBT
HEX kód (typ (typ (typ (typ (typ (typ (typ (typ (typ (typ (typ (typ (typ (typ (typ (typ (typ (typ (typ (typ L pro vypsání kódů): <-- 83

Příkaz (m pro nápovědu): <-- w
Tabulka oddílů byla   změněna!

Volání ioctl () a opětovné čtení tabulky oddílů.
Synchronizace disků.
[[email protected] ~]#

ls -l /dev/etherd/

[[email protected] ~]# ls -l /dev/etherd/
total 0
c-w--w----. 1 root disk 152,  3 Dec 11 16:00 discover
brw-rw----. 1 root disk 152, 16 Dec 11 16:27 e0.1
brw-rw----. 1 root disk 152, 17 Dec 11 16:27 e0.1p1
cr--r-----. 1 root disk 152,  2 Dec 11 16:00 err
c-w--w----. 1 root disk 152,  6 Dec 11 16:00 flush
c-w--w----. 1 root disk 152,  4 Dec 11 16:00 interfaces
c-w--w----. 1 root disk 152,  5 Dec 11 16:00 revalidate
[[email protected] ~]#

mkfs.ext4 /dev/etherd/e0.1p1

mount /dev/etherd/e0.1p1 /mnt

mount

[[email protected] ~]# mount
/dev/mapper/vg_server1-LogVol00 on / type ext4 (rw)
proc on /proc type proc (rw)
sysfs on /sys type sysfs (rw)
devpts on /dev/pts type devpts (rw,gid=5,mode=620)
tmpfs on /dev/shm type tmpfs (rw,rootcontext="system_u:object_r:tmpfs_t:s0")
/dev/sda1 on /boot type ext4 (rw)
none on /proc/sys/fs/binfmt_misc type binfmt_misc (rw)
sunrpc on /var/lib/nfs/rpc_pipefs type rpc_pipefs (rw)
/dev/etherd/e0.1p1 on /mnt type ext4 (rw)
[[email protected] ~]#

df -h

[[email protected] ~]# df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/mapper/vg_server1-LogVol00
                      9.7G  1.7G  7.5G  18% /
tmpfs                 499M     0  499M   0% /dev/shm
/dev/sda1             504M   39M  440M   9% /boot
/dev/etherd/e0.1p1     20G  151M   19G   1% /mnt
[[email protected] ~]#

umount /mnt

mkdir /storage

vi /etc/fstab

[...]
/dev/etherd/e0.1p1       /storage        ext4    defaults,auto,_netdev 0 0

vi /etc/rc.local

[...]
aoe-discover
sleep 5
mount -a
[...]

reboot

mount

[[email protected] ~]# mount
/dev/mapper/vg_server1-LogVol00 on / type ext4 (rw)
proc on /proc type proc (rw)
sysfs on /sys type sysfs (rw)
devpts on /dev/pts type devpts (rw,gid=5,mode=620)
tmpfs on /dev/shm type tmpfs (rw,rootcontext="system_u:object_r:tmpfs_t:s0")
/dev/sda1 on /boot type ext4 (rw)
none on /proc/sys/fs/binfmt_misc type binfmt_misc (rw)
sunrpc on /var/lib/nfs/rpc_pipefs type rpc_pipefs (rw)
/dev/etherd/e0.1p1 on /storage type ext4 (rw,_netdev)
[[email protected] ~]#

df -h

[[email protected] ~]# df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/mapper/vg_server1-LogVol00
                      9.7G  1.7G  7.5G  18% /
tmpfs                 499M     0  499M   0% /dev/shm
/dev/sda1             504M   39M  440M   9% /boot
/dev/etherd/e0.1p1     20G  151M   19G   1% /storage
[[email protected] ~]#