Tato příručka vysvětluje, jak můžete nastavit cíl AoE a iniciátor AoE (klienta), oba používají Ubuntu 12.10. AoE je zkratka pro „ATA over Ethernet“ a je to protokol SAN (storage area network), který umožňuje iniciátorům AoE používat úložná zařízení na (vzdáleném) cíli AoE pomocí běžné ethernetové kabeláže. "Vzdálené" v tomto případě znamená "uvnitř stejné LAN", protože AoE není směrovatelné mimo LAN (to je zásadní rozdíl oproti iSCSI). Pro iniciátora AoE vypadá vzdálené úložiště jako normální lokálně připojený pevný disk.
Neposkytuji žádnou záruku, že to pro vás bude fungovat!
1 předběžná poznámka
Zde používám dva servery Ubuntu 12.10:
- server1.example.com (iniciátor):IP adresa 192.168.0.100
- server2.example.com (cíl):IP adresa 192.168.0.101
2 Načítání modulu jádra aoe na obou systémech
server1/server2:
Než začneme, musíme se ujistit, že jádro podporuje AoE:
grep ATA_OVER /boot/config-`uname -r`
Mělo by se zobrazit něco takového:
[chráněno e-mailem]:~# grep ATA_OVER /boot/config-`uname -r`
CONFIG_ATA_OVER_ETH=m
[chráněno e-mailem]:~#
To znamená, že AoE byl vytvořen jako modul jádra. Zkontrolujeme, zda je modul již načten:
lsmod | grep aoe
Pokud nic nedostanete zpět, znamená to, že není načteno. V tomto případě jej můžeme načíst následovně:
modprobe aoe
Znovu zkontrolujeme, zda je modul načten:
lsmod | grep aoe
[e-mail chráněn]:~# lsmod | grep aoe
aoe 26960 0
[e-mail chráněný]:~#
Aby se modul načetl automaticky při startu systému, přidáme modul aoe do /etc/modules:
vi /etc/modules
# /etc/modules:moduly jádra k načtení při spouštění.## Tento soubor obsahuje názvy modulů jádra, které by se měly načíst# při spouštění čas, jeden na řádek. Řádky začínající „#“ jsou ignorovány.loopplprtcaoe |
3 Nastavení cíle (server2)
server2:
Nejprve nastavíme cíl (server2):
apt-get install vblade
Pro úložiště můžeme použít nepoužívané logické svazky, soubory s obrazy, pevné disky (např. /dev/sdb), oddíly pevného disku (např. /dev/sdb1) nebo zařízení RAID (např. /dev/md0). V tomto příkladu vytvořím logický svazek o velikosti 20 GB s názvem storage1 ve skupině svazků vg0:
lvcreate -L20G -n storage1 vg0
(Pokud chcete použít soubor obrázku, můžete jej vytvořit následovně:
mkdir /storage
dd if=/dev/zero of=/storage/storage1.img bs=1024k count=20000
Tím se vytvoří obrazový soubor /storage/storage1.img o velikosti 20 GB.
)
Nyní exportujeme naše úložné zařízení následovně:
vbladed 0 1 eth0 /dev/vg0/storage1
První číslo (0) je číslo police (hlavní), druhé (1) číslo slotu (vedlejší), změňte tato čísla podle svého. Každé zařízení AoE je identifikováno dvojicí hlavních/vedlejších, které musí být jedinečné (pokud exportujete více zařízení), s hlavními mezi 0-65535 a vedlejšími mezi 0-255. Část eth0 říká vbladed, které ethernetové zařízení má použít (pokud je vaše ethernetové zařízení eth1, použijte eth1 – o svých ethernetových zařízeních můžete zjistit spuštěním
ifconfig
).
Chcete-li export spustit automaticky při každém spuštění cíle, otevřete /etc/rc.local...
vi /etc/rc.local
... a přidejte k němu následující řádek (před řádek exit 0):
[...]vbladed 0 1 eth0 /dev/vg0/storage1[...] |
4 Nastavení iniciátora (server1)
server1:
Na server1 nainstalujeme iniciátor:
apt-get install aoetools
Nyní zkontrolujeme, jaká úložná zařízení AoE jsou k dispozici:
aoe-discover
Příkaz
aoe-stat
by měl nyní zobrazovat úložná zařízení:
[chráněno e-mailem]:~# aoe-stat
e0.1 21,474 GB eth0 až
[chráněno e-mailem]:~#
V tuto chvíli máme na klientské schránce k dispozici nové blokové zařízení s názvem /dev/etherd/e0.1. Pokud se podíváme na strom /dev, objeví se nový uzel:
ls -la /dev/etherd/
[e-mail chráněný]:~# ls -la /dev/etherd/
celkem 0
drwxr-xr-x 2 kořenový kořen 160 2012-10-01 16:24 .
drwxr-xr-x 16 kořenový kořen 3800 2012-10-01 16:21 ..
c-w--w---- 1 kořenový disk 152, 3 3 2012-10-01 16:21 objevit brw-rw---- 1 kořenový disk 152, 16 2012-10-01 16:24 e0.1
cr--r----- 1 kořenový disk 152, 2 2012-10-01 16:21 err
c-w--w---- 1 kořenový disk 152, 6 2012-10-01 16:21 flush
c-w--w---- 1 kořenový disk 152, 4 2012-10 -01 16:21 rozhraní
c-w--w---- 1 kořenový disk 152, 5 2012-10-01 16:21 revalidate
[e-mail chráněný]:~#
Ve výstupu
fdisk -l
nyní byste také měli najít nový pevný disk:
[e-mail chráněno]:~# fdisk -l
Disk /dev/sda: 32,2 GB, 32212254720 bajtů
255 hlav, 63 sektorů/stopa, 3916 cylindrů
Jednotky = cylindry 16065 * 512 = 8225280 bajtů
Velikost sektoru (logická/fyzická): 512 bajtů / 512 bajtů
Velikost I/O (minimální/optimální):> 512 1 2 bajtů / 5 Identifikátor disku:0x00016BE9
Systém startovacích bloků zařízení pro začátek zařízení
/dev /sda1*1 32 248832 83 Linux
Oddíl 1 nekončí na hranici válce.
/dev/sda2 32 3917 31205377 5 rozšířené
/dev/sda5 32 3917 31205376 8e linux lvm
255 hlav, 63 sektory/stopa, 2610 cylindrů
Jednotky = cylindry 16065 * 512 = 8225280 bajtů
Velikost sektoru (logická/fyzická): 512 bytů / 512 bajtů / 512 I/O bajtů minimum/optimální): 512 bajtů / 512 bajtů
Identifikátor disku: 0x00000000
Di sk /dev/etherd/e0.1 neobsahuje platnou tabulku oddílů
[e-mail chráněno]:~#
Abychom toto zařízení mohli používat, musíme jej naformátovat:
fdisk /dev/etherd/e0.1
[chráněno e-mailem]:~# fdisk /dev/etherd/e0.1
Zařízení neobsahuje platnou tabulku oddílů DOSu ani disklabel Sun, SGI nebo OSF
Vytváření nového disku DOS s identifikátorem disk 2eea.89 identifikátor x3099
Změny zůstanou pouze v paměti , dokud se nerozhodnete zapsat .
Poté samozřejmě nebude předchozí obsah obnovit.
Upozornění: neplatný 0 00 0 tabulky oddílů 4 bude opraveno pomocí w(rite)
VAROVÁNÍ: Režim kompatibilní s DOSem je zastaralý. Důrazně doporučujeme
vypnout režim (příkaz 'c') a změnit jednotky zobrazení na
sektory (příkaz 'u'):
e rozšířeno
p primární oddíl (1-4)
<-- p
Číslo oddílu (1-4): <- - 1
První válec (1-2610, výchozí 1): <-- ENTER
Použití výchozí hodnoty 1
Poslední válec, +válce nebo +velikost{K,M,G} (1 -2610, výchozí 2610): <-- ENTER
Používá výchozí hodnotu 2610
Příkaz (m pro nápovědu): <-- t
Vybraný oddíl 1
Hexam. kód (napište L pro zobrazení kódů): <-- 83
Příkaz (m pro nápovědu): <-- w
Tabulka oddílů byla změněna!
Volání ioctl() pro přečtení tabulky oddílů.
Synchronizace disků.
[e-mail chráněn]:~#
Poté výstup
fdisk -l
by měl vypadat následovně:
[e-mail chráněno]:~# fdisk -l
Disk /dev/sda: 32,2 GB, 32212254720 bajtů
255 hlav, 63 sektorů/stopa, 3916 cylindrů
Jednotky = cylindry 16065 * 512 = 8225280 bajtů
Velikost sektoru (logická/fyzická): 512 bajtů / 512 bajtů
Velikost I/O (minimální/optimální):> 512 1 2 bajtů / 5 Identifikátor disku:0x00016BE9
Systém startovacích bloků zařízení pro začátek zařízení
/dev /sda1*1 32 248832 83 Linux
Oddíl 1 nekončí na hranici válce.
/dev/sda2 32 3917 31205377 5 rozšířené
/dev/sda5 32 3917 31205376 8e linux lvm
255 hlav, 63 sektory/stopa, 2610 cylindrů
Jednotky = cylindry 16065 * 512 = 8225280 bajtů
Velikost sektoru (logická/fyzická): 512 bytů / 512 bajtů / 512 I/O bajtů minimum/optimální): 512 bajtů / 512 bajtů
Identifikátor disku: 0x3093ae28
Zařízení Boot Začátek Konec Bloky ID Systém
/dev/etherd/e0.1p1 1 + 9 1 + 26 09Nyní vytvoříme souborový systém na /dev/etherd/e0.1p1...
mkfs.ext4 /dev/etherd/e0.1p1... a připojte jej pro testovací účely:
připojit /dev/etherd/e0.1p1 /mntNyní byste měli vidět nové zařízení ve výstupech...
mount[e-mail chráněný]:~# mount
/dev/mapper/server1-root na / typ ext4 (rw,errors=remount-ro)
proc na /proc typ proc (rw,noexec ,nosuid,nodev)
žádné na /sys typu sysfs (rw,noexec,nosuid,nodev)
žádné na /sys/fs/fuse/connections typu fusectl (rw)
žádné na / sys/kernel/debug typ debugfs (rw)
žádný na /sys/kernel/security typ securityfs (rw)
žádný na /dev typ devtmpfs (rw,mode=0755)
žádný na /dev/pts typ devpts (rw,noexec,nosuid,gid=5,mode=0620)
žádný na /dev/shm typ tmpfs (rw,nosuid,nodev)
žádný na /var/run zadejte tmpfs (rw,nosuid,mode=0755)
žádné v tmpfs typu /var/lock (rw,noexec,nosuid,nodev)
žádné v tmpfs typu /lib/init/rw (rw,nosuid ,mode=0755)
žádný na /var/lib/ureadahead/debugfs typu debugfs (rw,relatime)
/dev/sda1 na /boot typu ext2 (rw)
/dev/etherd /e0.1p1 na /mnt typ ext4 (rw)
[e-mail chráněný]:~#... a
df -h[e-mail chráněno]:~# df -h
Systém souborů Velikost Použitá Využití % Připojeno na
/dev/mapper/server1-root
/ > Žádné 243M 180K 242M 1%/Dev
Žádné 247M 0 247M 0%/dev/SHM
Žádné 247M 32K 247M 1%/VAR/RUN
Žádné 247M 0 247M 0%/VAR/ Zámek
Žádné 247M 0 247M 0%/lib/init/rw
Žádný 18G 838M 16G 5%/VAR/lib/ureadhead/debugfs
/dev/sda1 228m 17m 199m 8%/boot/boot
/dev/etherd/e0.1p1 20G 172 M 19 G 1 % /mnt
[e-mail chráněný]:~#Můžete jej odpojit takto:
umount /mntAby bylo zařízení připojeno automaticky při bootování, např. v adresáři /storage vytvoříme tento adresář...
mkdir /storage... a přidejte následující řádek do /etc/fstab:
vi /etc/fstab
[...]/dev/etherd/e0.1p1 /storage ext4 defaults,auto,_netdev 0 0 |
To samo o sobě nestačí k tomu, aby bylo zařízení připojeno při bootování, protože věci AoE se načtou po přečtení /etc/fstab. Proto otevřeme /etc/rc.local...
vi /etc/rc.local
... a přidejte k němu následující řádky (před řádek exit 0):
[...]aoe-discoversleep 5mount -a[...] |
Pro testovací účely můžete nyní restartovat systém:
restartovat
Po restartu by mělo být zařízení připojeno:
mount
[e-mail chráněný]:~# mount
/dev/mapper/server1-root na / typ ext4 (rw,errors=remount-ro)
proc na /proc typ proc (rw,noexec ,nosuid,nodev)
žádné na /sys typu sysfs (rw,noexec,nosuid,nodev)
žádné na /sys/fs/fuse/connections typu fusectl (rw)
žádné na / sys/kernel/debug typ debugfs (rw)
žádný na /sys/kernel/security typ securityfs (rw)
žádný na /dev typ devtmpfs (rw,mode=0755)
žádný na /dev/pts typ devpts (rw,noexec,nosuid,gid=5,mode=0620)
žádný na /dev/shm typ tmpfs (rw,nosuid,nodev)
žádný na /var/run zadejte tmpfs (rw,nosuid,mode=0755)
žádné v tmpfs typu /var/lock (rw,noexec,nosuid,nodev)
žádné v tmpfs typu /lib/init/rw (rw,nosuid ,mode=0755)
žádný na /var/lib/ureadahead/debugfs typu debugfs (rw,relatime)
/dev/sda1 na /boot typu ext2 (rw)
/dev/etherd /e0.1p1 na /storage type ext4 (rw,_netdev)
[e-mail chráněný]:~#
df -h
[e-mail chráněno]:~# df -h
Systém souborů Velikost Použitá Využití % Připojeno na
/dev/mapper/server1-root
/ > Žádné 243M 180K 242M 1%/Dev
Žádné 247M 0 247M 0%/dev/SHM
Žádné 247M 32K 247M 1%/VAR/RUN
Žádné 247M 0 247M 0%/VAR/ Zámek
Žádné 247M 0 247M 0%/lib/init/rw
Žádný 18G 838M 16G 5%/VAR/lib/ureadhead/debugfs
/dev/sda1 228m 17m 199m 8%/boot/boot
/dev/etherd/e0.1p1 20G 172 M 19 G 1 % /úložiště
[e-mail chráněno]:~#
5 odkazů
- Definice protokolu AoE:http://www.coraid.com/RESOURCES/AoE-Protocol-Definition
- Ubuntu:http://www.ubuntu.com/