V dřívějším článku jsme vysvětlili instalaci Cloudera Manager, v tomto článku se dozvíte, jak nainstalovat a nakonfigurovat CDH (Cloudera Distribution Hadoop ) v RHEL/CentOS 7 .
Při instalaci balíku CDH musíme zajistit Cloudera Manager a CDH kompatibilita. Verze Cloudera má 3 části –
Například používáme Cloudera Manager 6.3.1 a CDH 6.3.2 . Zde 6 je hlavní a 3 je vedlejší verze. Major a Minor musí být stejné, aby se předešlo problémům s kompatibilitou.
Požadavky
- Osvědčené postupy pro nasazení serveru Hadoop na CentOS/RHEL 7 – část 1
- Nastavení předpokladů Hadoop a posílení zabezpečení – část 2
- Jak nainstalovat a nakonfigurovat Cloudera Manager na CentOS/RHEL 7 – část 3
Pro instalaci CDH vezmeme níže uvedené 2 uzly. Již jsme nainstalovali Cloudera Manager v master1 , také používáme master1 jako repo server.
master1.tecmint.com worker1.tecmint.com
Krok 1:Stáhněte si CDH Parcels na Master Server
1. Nejprve se připojte k master1 serveru a stáhněte si CDH Parcels soubory v /var/www/html/cloudera-repos/cdh adresář . Musíme stáhnout níže uvedené 3 soubory, které by měly být kompatibilní s RHEL/CentOS 7 .
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 manifest.json
2. Před stažením těchto souborů se ujistěte, že jste vytvořili cdh adresář pod /var/www/html/cloudera-repos/ umístění.
$ cd /var/www/html/cloudera-repos/ $ sudo mkdir cdh $ cd cdh
3. Dále si stáhněte výše uvedené 3 soubory pomocí následujícího příkazu wget.
$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json
Krok 2:Nastavení úložiště Cloudera Manager na klientech Worker
4. Nyní se připojte k pracovníkovi servery a zkopírujte soubor repo (cloudera-manager.repo ) z repo serveru (master1 ) na všechny zbývající pracovní servery. Tento repo soubor zajišťuje serverům, že všechny požadované balíčky a RPM budou během instalace staženy z repo serveru.
cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL [cloudera-repo] name=cloudera-manager baseurl=http://104.211.95.96/cloudera-repos/cm6/ enabled=1 gpgcheck=0 EOL
5. Po přidání repozitáře uveďte seznam povolených úložišť, abyste se ujistili, že cloudera-manager repo je povoleno.
$ yum repolist
Krok 3:Instalace démonů Cloudera Manager a agenta na pracovní servery
6. Nyní musíme nainstalovat cloudera-manager-daemons a cloudera-manager-agent na všech zbývajících serverech.
$ sudo yum install cloudera-manager-daemons cloudera-manager-agent
7. Dále je třeba nakonfigurovat Cloudera Manager agenta nahlásit Cloudera Manager server.
$ sudo vi /etc/cloudera-scm-agent/config.ini
Nahraďte localhost pomocí Cloudera Manager IP adresa serveru.
8. Spusťte Cloudera Manager Agent a ověřit stav.
$ sudo systemctl start cloudera-scm-agent $ sudo systemctl status cloudera-scm-agent
Krok 4:Instalace a nastavení CDH
Máme CDH balíky v master1 – repo server. Ujistěte se, že všechny servery mají repo soubor Cloudera Manager v /etc/yum.repos.d/ pokud budete postupovat podle automatické instalace pomocí Cloudera Manager .
9. Přihlaste se do Cloudera Manager pomocí níže uvedené adresy URL na portu 7180 a použijte výchozí uživatelské jméno a heslo Cloudera Manager .
http://104.211.95.96:7180/cmf/login Username: admin Password: admin
10. Jakmile se přihlásíte, přivítá vás uvítací stránka. Zde najdete poznámky k vydání, nové funkce Cloudera Manager.
11. Přijměte licenci a pokračujte.
12. Vyberte vydání. Ve výchozím nastavení je vybrána zkušební verze, s tím můžeme pokračovat.
13. Nyní postupujte podle kroků instalace clusteru. Pokračujte na uvítací stránce.
14. Pojmenujte Cluster a pokračujte, pojmenovali jsme ho jako „tecmint “. Existují 2 typy Clusterů, které můžete definovat. Pokračujeme s Regular Cluster.
- Běžný klastr :Bude se skládat z uzlů úložiště, výpočetních uzlů a dalších nezbytných služeb.
- Výpočetní cluster :Bude se skládat pouze z výpočetních uzlů. Pro ukládání dat lze použít externí úložiště.
15. Již jsme nainstalovali Cloudera Manager Agents na všech serverech. Tyto servery naleznete v části „Aktuálně spravovaní hostitelé “. Pro automatickou instalaci musíte zadat FQDN nebo IP serverů v části „Noví hostitelé “ možnost a vyhledávání. Cloudera Manager automaticky rozpozná hostitele, na které potřebujeme nainstalovat CDH.
Zde klikněte na „Aktuálně spravovaní hostitelé “, vyberte všechny hostitele výběrem „Název hostitele “ a pokračujte.
16. Vyberte Úložiště – pomocí Parcel je doporučený způsob. Klikněte na Další možnosti ’ pro konfiguraci úložiště.
17. Zadejte adresu URL místního úložiště, jak je uvedeno níže. Odstraňte všechna zbývající veřejná úložiště, která ukazují web (Cloudera Repositories ).
Toto je CDH URL místního úložiště, které máme v master1 .
http://104.211.95.96/cloudera-repos/cdh/
18. Po zadání adresy URL úložiště se na této stránce zobrazí pouze dostupné balíčky. Pokračujte v tomto kroku.
19. Nyní se balíčky stahují, distribuují, rozbalují a aktivují na všech dostupných serverech.
20. Jakmile budou zásilky CDH jsou aktivovány, zkontrolujte Cluster . Tento krok provede kontrolu stavu clusteru. Zde přeskakujeme a pokračujeme.
Krok 5:Konfigurace clusteru
21. Zde musíme vybrat Služby k instalaci v Clusteru . Některé zabalené kombinace budou k dispozici ve výchozím nastavení, my budeme používat Vlastní služby .
22. V části Vlastní služby , instalujeme pouze Základní komponenty (HDFS a PŘÍZE ) pro tento demo účel.
23. Přidělte role serveru. Můžeme přizpůsobit podle našich požadavků. Níže naleznete tabulku, která popisuje doporučené Rozdělení rolí pro základní malý cluster s 5 až 20 uzly s vysokou dostupností.
24. Vyberte Typ databáze, název hostitele, Název DB, Uživatelské jméno a Heslo. Protože používáme Embedded PostgreSQL, bude vybrán ve výchozím nastavení. Otestujte připojení, mělo by být úspěšné.
25. Tato stránka zobrazí výchozí konfigurační parametry HDFS a Příze včetně datových adresářů. Zkontrolujte všechny podrobnosti konfigurace a v případě potřeby můžete provést změny. Potom pokračujte tímto.
26. Tato stránka zobrazí podrobnosti o „Prvním spuštění 'příkaz. Můžete jej rozbalit a zobrazit podrobnosti o spuštěných příkazech. Pokud jsou v clusteru nějaké problémy se sítí nebo oprávněními, tento krok selže. Obvykle tento krok rozhodne o hladké instalaci Cluster Building.
27. Po dokončení výše uvedeného kroku klikněte na „Dokončit “ pro dokončení instalace. Toto je řídicí panel Cloudera Manager po instalaci CDH.
http://104.211.95.96:7180/cmf/home
Závěr
Dokončili jsme Cloudera Manager a CDH instalace proběhla úspěšně. Na panelu Cloudera Manager Dashboard , můžete najít předdefinovanou sadu grafů, kde můžete sledovat CPU Clusteru, IO disku atd. Celý Cluster můžeme spravovat pomocí tohoto Cloudera Manager . Všechny administrativní operace uvidíme v nadcházejících článcích.