V tomto tutoriálu vám ukážeme, jak nainstalovat Apache Spark na Ubuntu 18.04 LTS. Pro ty z vás, kteří nevěděli, Apache Spark je rychlý a univerzální clusterový výpočetní systém . Poskytuje API na vysoké úrovni v Javě, Scale a Pythonu a také optimalizovaný engine, který podporuje celkové grafy provádění. Podporuje také bohatou sadu nástrojů vyšší úrovně včetně Spark SQL pro SQL a zpracování strukturovaných informací, MLlib pro stroj učení, GraphX pro zpracování grafů a Spark Streaming.
Tento článek předpokládá, že máte alespoň základní znalosti Linuxu, víte, jak používat shell, a co je nejdůležitější, hostujete svůj web na vlastním VPS. Instalace je poměrně jednoduchá a předpokládá, že běží v účtu root, pokud ne, možná budete muset přidat 'sudo ‘ k příkazům pro získání oprávnění root. Ukážu vám krok za krokem instalaci Apache Spark na server 18.04 LTS (Bionic Beaver).
Nainstalujte Apache Spark na Ubuntu 18.04 LTS Bionic Beaver
Krok 1. Nejprve se ujistěte, že všechny vaše systémové balíčky jsou aktuální spuštěním následujících příkazů apt-get v terminálu.
sudo apt-get update sudo apt-get upgrade
Krok 2. Instalace Java.
Apache Spark vyžaduje, aby byla na vašem serveru nainstalována Java. Ve výchozím nastavení není Java dostupná v úložišti Ubuntu. Přidejte Oracle Java PPA do Apt pomocí následujícího příkazu:
add-apt-repository ppa:webupd8team/java apt-get update -y apt-get install oracle-java8-installer
Ověřte verzi Java spuštěním následujícího příkazu:
java -version
Krok 3. Instalace Apache Spark na Ubuntu 18.04 LTS.
Nainstalujte Apache Spark pomocí následujícího příkazu:
wget https://www.apache.org/dyn/closer.lua/spark/spark-2.3.1/spark-2.3.1-bin-hadoop2.7.tgz tar xvzf spark-2.3.1-bin-hadoop2.7.tgz ln -s spark-2.3.1-bin-hadoop2.7 spark
Přidání Sparku do cesty:
nano ~/.bashrc
Dále přidejte tyto řádky na konec souboru .bashrc, aby cesta mohla obsahovat cestu ke spustitelnému souboru Spark:
SPARK_HOME=/idr00t/spark export PATH=$SPARK_HOME/bin:$PATH
Chcete-li tyto změny aktivovat, spusťte pro soubor bashrc následující příkaz:
source ~/.bashrc
Spouštění Spark Shell:
./spark/bin/spark-shell
Krok 4. Přístup k Apache Spark.
Apache Spark bude ve výchozím nastavení k dispozici na portu HTTP 4040. Otevřete svůj oblíbený prohlížeč a přejděte na http://your-domain.com:4040 nebo http://server-ip:40404 a dokončete požadované kroky k dokončení instalace.
Blahopřejeme! Úspěšně jste nainstalovali Apache Spark. Děkujeme, že jste použili tento návod k instalaci Apache Spark na systém Ubuntu 18.04 LTS (Bionic Beaver). Pro další nápovědu nebo užitečné informace vám doporučujeme zkontrolovat oficiální webové stránky Apache Spark.