V tomto článku jsme popsali postup instalace Cloudera Manager krok za krokem podle průmyslových zvyklostí. V části 2 jsme již prošli předpoklady Cloudera, ujistěte se, že jsou všechny servery dokonale připraveny.
Zde budeme mít 5 uzlových clusterů, kde budou 2 hlavní a 3 pracovníci. Použil jsem 5 AWS EC2 instance, které demonstrují postup instalace. Těchto 5 serverů jsem pojmenoval níže.
master1.tecmint.com master2.tecmint.com worker1.tecmint.com worker2.tecmint.com worker3.tecmint.com
Správce Cloudera je administrativní a monitorovací nástroj pro celé CDH . Správci to obvykle nazýváme nástrojem pro správu Cloudera Hadoop . Pomocí tohoto nástroje můžeme nasadit, monitorovat, řídit a provádět změny konfigurace. To je velmi důležité pro správu celého clusteru.
Níže jsou uvedena důležitá použití Cloudera Manager.
- Nasaďte a nakonfigurujte clustery Hadoop automatizovaným způsobem.
- Sledování stavu clusteru
- Konfigurovat upozornění
- Odstraňování problémů
- Přehledy
- Vytváření zprávy o využití clusteru
- Dynamická konfigurace zdrojů
Krok 1:Instalace webového serveru Apache na CentOS
Budeme používat master1 jako webový server pro úložiště Cloudera. Cloudera Manager je také WebUI, takže potřebujeme mít Apache nainstalováno. Při instalaci webového serveru apache postupujte podle následujících kroků.
# yum -y install httpd
Jakmile nainstalujete httpd, spusťte jej a povolte, aby se spustil při bootování.
# systemctl start httpd # systemctl enable httpd
Po spuštění httpd zkontrolujte stav.
# systemctl status httpd
Po spuštění httpd otevřete prohlížeč v místním systému a vložte IP adresu master1 ve vyhledávací liště byste měli získat tuto testovací stránku, abyste se ujistili, že httpd běží správně.
Krok 2:Nakonfigurujte místní DNS pro rozlišení IP a názvu hostitele
Potřebujeme mít DNS server nebo nakonfigurovat /etc/hosts přeložit IP a název hostitele. Zde konfigurujeme /etc/hosts , ale v reálném čase bude pro produkční prostředí k dispozici vyhrazený server DNS.
Postupujte podle níže uvedených kroků a vytvořte záznam pro všechny své servery v /etc/hosts .
# vi /etc/hosts
Toto by mělo být nakonfigurováno na všech serverech.
13.235.27.144 master1.tecmint.com master1 13.235.135.170 master2.tecmint.com master2 15.206.167.94 worker1.tecmint.com worker1 13.232.173.158 worker2.tecmint.com worker2 65.0.182.222 worker3.tecmint.com worker3
Krok 3:Konfigurace přihlášení SSH bez hesla
Správce Cloudera se instaluje na master1 v této demonstraci. Musíme nakonfigurovat ssh bez hesla z master1 do všech ostatních uzlů. Protože Cloudera Manager bude používat ssh ke komunikaci se všemi ostatními uzly k instalaci balíčků.
Pro konfiguraci ssh bez hesla z master1 postupujte podle níže uvedených kroků na všechny zbývající servery. Budeme mít uživatele „tecmint ‘ pokračovat dále.
Vytvořte uživatele „tecmint Všechny 4 servery používají příkaz useradd, jak je znázorněno.
# useradd -m tecmint
Chcete-li uživateli „tecmint udělit oprávnění root ‘, přidejte níže uvedený řádek do /etc/sudoers soubor. Tento řádek můžete přidat pod root, jak je uvedeno na snímku obrazovky.
tecmint ALL=(ALL) ALL
Přepněte na uživatele „tecmint ‘ a vytvořte ssh klíč v master1 pomocí níže uvedeného příkazu.
# sudo su tecmint $ ssh-keygen
Nyní zkopírujte vytvořený klíč na všechny 4 servery pomocí ssh-copy-id příkaz, jak je znázorněno.
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected] $ ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected] $ ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected] $ ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected]
Nyní byste měli být schopni ssh z master1 aby všechny servery zůstaly bez hesla, jak je znázorněno.
$ ssh master2 $ ssh worker1 $ ssh worker2 $ ssh worker3
Krok 4:Instalace a konfigurace Cloudera Manager
Můžeme použít prodejce (Cloudera ) úložiště pro instalaci všech balíčků pomocí nástrojů pro správu balíčků v RHEL/CentOS. V reálném čase je vytvoření vlastního úložiště nejlepším postupem, protože na produkčních serverech nemusíme mít přístup k internetu.
Zde nainstalujeme Cloudera Manager 6.3.1 uvolnění. Protože budeme používat master1 jako repo server stahujeme balíčky v níže uvedené cestě.
Vytvořte níže uvedené adresáře na master1 server.
$ sudo mkdir -p /var/www/html/cloudera-repos/cm6
Ke stažení balíčků přes http můžeme použít nástroj wget. Nainstalujte tedy wget pomocí níže uvedeného příkazu.
$ sudo yum -y install wget
Dále si stáhněte tar soubor Cloudera Manager pomocí následujícího příkazu wget.
$ wget https://archive.cloudera.com/cm6/6.3.1/repo-as-tarball/cm6.3.1-redhat7.tar.gz
Extrahujte soubor tar do /var/www/html/cloudera-repos/cm6 , již jsme vytvořili master1 jako webový server instalací http a testovali jsme na prohlížeči.
$ sudo tar xvfz cm6.3.1-redhat7.tar.gz -C /var/www/html/cloudera-repos/cm6 --strip-components=1
Nyní ověřte, že jsou všechny soubory Cloudera rpm v /var/www/html/cloudera-repos/cm6/RPMS/x86_64 adresář.
$ cd /var/www/html/cloudera-repos/cm6 $ ll
Vytvořit /etc/yum.repos.d/cloudera-manager.repo soubory na všech serverech v hostitelích clusteru s následujícím obsahem, zde master1 (65.0.101.148) je webový server.
[cloudera-repo] name=cloudera-manager baseurl=http:///cloudera-repos/cm6/ enabled=1 gpgcheck=0
Nyní bylo úložiště přidáno, spusťte níže uvedený příkaz a zobrazte povolená úložiště.
$ yum repolist
Spuštěním níže uvedeného příkazu zobrazíte všechny dostupné balíčky související s Cloudera v úložišti.
$ yum list available | grep cloudera*
Nainstalujte cloudera-manager-server, cloudera-manager-agent, cloudera-manager-daemons cloudera-manager-server-db-2.
$ sudo yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server cloudera-manager-server-db-2
Spuštěním níže uvedeného příkazu zobrazíte všechny nainstalované balíčky Cloudera.
$ yum list installed | grep cloudera*
Spuštěním níže uvedeného příkazu spusťte cloudera-scm-server-db což je základní databáze pro uložení Cloudera Manager a metadata dalších služeb.
Ve výchozím nastavení Cloudera přichází s postgre-sql který je součástí Cloudera Manager . Instalujeme vestavěný do externí databáze v reálném čase, kterou lze použít. Může to být Oracle , MySQL, nebo PostgreSQL .
$ sudo systemctl start cloudera-scm-server-db
Spuštěním níže uvedeného příkazu zkontrolujte stav databáze.
$ sudo systemctl status cloudera-scm-server-db
Nakonfigurujte db.properties pro Cloudera Manager server.
$ vi /etc/cloudera-scm-server/db.properties
Nakonfigurujte níže uvedenou hodnotu EMBEDDED vytvořit Cloudera Manager použijte vestavěnou databázi .
com.cloudera.cmf.db.setupType=EMBEDDED
Spuštěním níže uvedeného příkazu spusťte server Cloudera Manager.
$ sudo systemctl start cloudera-scm-server
Spuštěním níže uvedeného příkazu zkontrolujte stav Cloudera Manager server.
$ sudo systemctl status cloudera-scm-server
Spuštěním níže uvedeného příkazu spusťte a zkontrolujte stav Cloudera Manager agent.
$ sudo systemctl start cloudera-scm-agent $ sudo systemctl status cloudera-scm-agent
Jakmile je Cloudera Manager Server úspěšně funguje, můžete zobrazit WebUI (přihlašovací stránku) v prohlížeči pomocí IP adresy a čísla portu 7180 což je číslo portu Cloudera Manager .
https://65.0.101.148:7180
Shrnutí
V tomto článku jsme viděli postup instalace Cloudera Manager krok za krokem na CentOS 7 . CDH a další instalace služeb uvidíme v příštím článku.