Hadoop má dvě základní součásti, kterými jsou HDFS a PŘÍZE . HDFS slouží k ukládání Dat , PŘÍZE slouží ke zpracování Dat . HDFS je Distribuovaný systém souborů Hadoop , má Namenode jako Hlavní služba a Datanode jako Služba Slave .
Název je kritickou součástí Hadoop který ukládá metadata dat uložených v HDFS . Pokud Namenode spadne, celý cluster nebude dostupný, je to jediný bod selhání (SPOF ). Produkční prostředí tedy bude mít Vysokou dostupnost Namenode abyste se vyhnuli výpadku výroby, pokud jeden Namenode klesá z různých důvodů, jako je havárie stroje, plánovaná údržba atd.
Hadoop 2.x poskytuje proveditelnost, kdy můžeme mít dva Namenody , jeden bude Aktivní Namenode a další bude Název pohotovostního režimu .
- Aktivní Namenode – Spravuje všechny operace klienta.
- Názvový uzel v pohotovostním režimu – Je nadbytečný pro Active Namenode . Pokud je Aktivní NN přejde dolů a poté Pohotovostní režim NN převezme veškerou odpovědnost za Active NN .
Povolení Vysoká dostupnost Namenode vyžaduje Zookeeper který je povinný pro automatické převzetí služeb při selhání. ZKFC (Ovladač Failover Controller Zookeeper ) je Správce zoo klienta, který se používá k udržování stavu Namenode .
Požadavky
- Osvědčené postupy pro nasazení serveru Hadoop na CentOS/RHEL 7 – část 1
- Nastavení předpokladů Hadoop a posílení zabezpečení – část 2
- Jak nainstalovat a nakonfigurovat Cloudera Manager na CentOS/RHEL 7 – část 3
- Jak nainstalovat CDH a nakonfigurovat umístění služeb na CentOS/RHEL 7 – část 4
V tomto článku povolíme High Availability Namenode ve Správci Cloudera .
Krok 1:Instalace Zookeeper
1. Přihlaste se do Cloudera Manager .
http://Your-IP:7180/cmf/home
2. V Clusteru (tecmint ) výzva k akci, vyberte „Přidat službu “.
3. Vyberte službu „Zookeeper “.
4. Vyberte servery, na kterých budeme mít Zookeeper nainstalováno.
5. Budeme mít 3 ošetřovatele v zoo k vytvoření kvora ošetřovatelů zoo . Vyberte servery, jak je uvedeno níže.
6. Nakonfigurujte Zookeeper vlastnosti, zde máme výchozí. V reálném čase musíte mít samostatný adresář/připojovací body pro ukládání Zookeeper data. V Části 1 , vysvětlili jsme konfiguraci úložiště pro každou službu. Klikněte na tlačítko pokračovat “ pokračovat.
7. Instalace bude zahájena po instalaci aplikace Zookeeper bude spuštěno. Zde si můžete prohlédnout operace na pozadí.
8. Po úspěšném dokončení výše uvedeného kroku bude stav „Dokončeno '.
9. Nyní, Zookeeper je úspěšně nainstalován a nakonfigurován. Klikněte na tlačítko Dokončit '.
10. Můžete si prohlédnout Zookeeper ve službě Cloudera Manager Dashboard.
Krok 2:Povolení vysoké dostupnosti namenode
11. Přejděte do Cloudera Manager –> HDFS –> Akce –> Povolit vysokou dostupnost .
12. Zadejte Název Nameservice jako „nameservice1 ” – Toto je společný jmenný prostor pro aktivní i pohotovostní jmenný uzel.
13. Vyberte Second Namenode kde budeme mít pohotovostní režim Namenode .
14. Zde vybíráme master2.tecmint.com pro pohotovostní režim Namenode .
15. Vyberte Deník uzly, jedná se o povinné služby pro synchronizaci Aktivní a Namenode v pohotovostním režimu .
16. Vytváříme Quorum Journal umístěním Deníku uzel na 3 serverech, jak je uvedeno níže. Vyberte 3 servery a klikněte na „OK“.
17. Klikněte na tlačítko Pokračovat “ pokračovat.
18. Zadejte Uzel deníku cestu k adresáři. Jen musíme zmínit cestu, kterou při instalaci tohoto adresáře automaticky vytvoří samotná služba. Zmiňujeme se jako ‘/jn’ . Klikněte na tlačítko Pokračovat “ pokračovat.
19. Začne se aktivovat Vysoká dostupnost .
20. Po dokončení všech procesů na pozadí se zobrazí „Dokončeno ' Stav.
21. Nakonec dostaneme upozornění „Úspěšně povolena vysoká dostupnost '. Klikněte na tlačítko Dokončit '.
22. Ověřte Aktivní a Pohotovostní jmenný uzel přejděte do Správce Cloudera –> HDFS –> Instance .
23. Zde můžete použít dva Namenody , jeden bude v „Aktivní “ a další bude v „Pohotovostním režimu “ stát.
Závěr
V tomto článku jsme krok za krokem prošli procesem aktivace High Availability Namenode . Důrazně se doporučuje mít Namenode High Availability ve všech clusterech v prostředí reálného času. Pokud při provádění tohoto procesu narazíte na nějakou chybu, zveřejněte své pochybnosti. Uvidíme Vysoká dostupnost správce zdrojů v dalším článku.