Nejlepší postupy pro nasazení serveru Hadoop na CentOS/RHEL 7 – část 1

V této sérii článků se budeme zabývat celou Cloudera Hadoop Cluster Building budova s ​​Vendorem a Průmyslové doporučené osvědčené postupy.

Část 1 :Nejlepší postupy pro nasazení serveru Hadoop na CentOS/RHEL 7Část 2 :Předpoklady nastavení Hadoop a posílení zabezpečeníČást 3 :Jak nainstalovat a nakonfigurovat Cloudera Manager na CentOS/RHEL 7Část 4 :Jak nainstalovat CDH a nakonfigurovat umístění služeb na CentOS/RHEL 7Část 5 :Jak nastavit vysokou dostupnost pro NamenodeČást 6 :Jak nastavit vysokou dostupnost pro Správce zdrojůČást 7 :Jak nainstalovat a nakonfigurovat Hive s vysokou dostupnostíČást 8 :Jak nainstalovat a nakonfigurovat Sentry (autorizační nástroj)Část 9 :Jak nainstalovat Kerberos (Kerberising the Cluster) pro autentizaci HadoopČást 10 :Jak vyladit cluster (ladění příze) na CentOS/RHEL 7

OS instalaci a provedení OS úroveň Předpoklady jsou prvními kroky k vybudování Hadoop Clusteru . Hadoop může běžet na různých variantách platformy Linux:CentOS , RedHat , Ubuntu , Debian , SUSE atd., V produkci v reálném čase většina Hadoop Clusterů jsou postaveny na RHEL/CentOS , budeme používat CentOS 7 pro demonstraci v této sérii výukových programů.

V organizaci lze instalaci OS provést pomocí kickstartu . Pokud se jedná o cluster se 3 až 4 uzly, je možná ruční instalace, ale pokud vytvoříme velký cluster s více než 10 uzly, je zdlouhavé instalovat OS jeden po druhém. V tomto scénáři přichází na řadu metoda Kickstart, můžeme přistoupit k hromadné instalaci pomocí kickstartu.

Dosažení dobrého výkonu z prostředí Hadoop to závisí na poskytování správného hardwaru a softwaru. Budování produkčního klastru Hadoop zahrnuje mnoho úvah týkajících se hardwaru a softwaru.

V tomto článku si projdeme různé srovnávací testy o instalaci OS a některé osvědčené postupy pro nasazení Cloudera Hadoop Cluster Server na CentOS/RHEL 7 .

Důležitá úvaha a doporučené postupy pro nasazení serveru Hadoop

Níže jsou uvedeny doporučené postupy pro nastavení nasazení Cloudera Hadoop Cluster Server na CentOS/RHEL 7 .

• Servery Hadoop nevyžadují k vytvoření klastru podnikové standardní servery, ale vyžadují komoditní hardware.
• V produkčním clusteru se doporučuje mít 8 až 12 datových disků. Podle charakteru pracovní zátěže se o tom musíme rozhodnout. Pokud je cluster určen pro výpočetně náročné aplikace, je nejlepším postupem mít 4 až 6 disků, abyste se vyhnuli problémům s I/O.
• Datové jednotky by měly být rozděleny jednotlivě, například – počínaje /data01 na /data10 .
• Konfigurace RAID se pro pracovní uzly nedoporučuje, protože samotný Hadoop poskytuje odolnost proti chybám u dat tím, že ve výchozím nastavení replikuje bloky do 3. Takže JBOD je nejlepší pro pracovní uzly.
• Pro hlavní servery RAID 1 je nejlepší postup.
• Výchozí souborový systém na CentOS/RHEL 7.x je XFS . Hadoop podporuje XFS, ext3 a ext4. Doporučený souborový systém je ext3, protože je testován na dobrý výkon.
• Všechny servery by měly mít stejnou verzi operačního systému, alespoň stejnou vedlejší verzi.
• Doporučeným postupem je mít homogenní hardware (všechny pracovní uzly by měly mít stejné hardwarové charakteristiky (RAM, místo na disku, jádro atd.).
• V závislosti na zátěži clusteru (vyvážená zátěž, výpočetně intenzivní, I/O) a velikosti se bude plánování zdrojů (RAM, CPU) na server lišit.

Níže naleznete příklad rozdělení disku na servery s 24TB úložištěm.

Instalace CentOS 7 pro nasazení serveru Hadoop

Věci, které potřebujete vědět před instalací CentOS 7 server pro Hadoop Server .

• Pro Servery Hadoop stačí minimální instalace (pracovní uzly ), v některých případech lze GUI nainstalovat pouze pro hlavní servery nebo servery pro správu, kde můžeme používat prohlížeče pro webová rozhraní nástrojů pro správu.
• Konfiguraci sítí, názvu hostitele a dalších nastavení souvisejících s OS lze provést po instalaci OS.
• V reálném čase budou mít prodejci serverů vlastní konzolu pro interakci a správu serverů, například – servery Dell mají iDRAC, což je zařízení vestavěné do serverů. Pomocí tohoto rozhraní iDRAC můžeme nainstalovat OS s obrazem OS v našem místním systému.

V tomto článku jsme nainstalovali OS (CentOS 7 ) ve virtuálním počítači VMware. Zde nebudeme mít více disků pro vytváření oddílů. CentOS je podobný RHEL (stejná funkce), takže uvidíme kroky k instalaci CentOS .

1. Začněte stažením obrazu ISO CentOS 7.x do místního systému Windows a vyberte jej při spouštění virtuálního počítače. Vyberte možnost Instalovat CentOS 7 ‘ jak je znázorněno.

2. Vyberte Jazyk , výchozí bude angličtina a klikněte na Pokračovat .

3. Výběr softwaru – Vyberte možnost „Minimální instalace “ a klikněte na „Hotovo ‘.

4. Nastavte heslo uživatele root jak nás to vyzve k nastavení.

5. Cíl instalace – Toto je důležitý krok k opatrnosti. Musíme vybrat disk, na který má být OS nainstalován, pro OS by měl být vybrán vyhrazený disk. Klikněte na „Cíl instalace “ a vyberte Disk, v reálném čase tam bude více disků, musíme vybrat, nejlépe „sda ‘.

6. Další možnosti úložiště – Zvolte druhou možnost (nakonfiguruji dělení), chcete-li nakonfigurovat dělení související s OS jako /var , /var/log , /home , /tmp , /opt , /swap .

7. Po dokončení zahajte instalaci.

8. Po dokončení instalace restartujte server.

9. Přihlaste se na server a nastavte název hostitele.

# hostnamectl status
# hostnamectl set-hostname tecmint
# hostnamectl status

Shrnutí

V tomto článku jsme prošli kroky instalace OS a osvědčené postupy pro dělení systému souborů. To vše jsou obecné pokyny, v závislosti na povaze pracovní zátěže se možná budeme muset soustředit na více nuancí, abychom dosáhli nejlepšího výkonu clusteru. Plánování klastrů je umění pro Hadoop správce. V dalším článku se podrobně ponoříme do předpokladů na úrovni OS a zabezpečení Hardening.