V této příručce si ukážeme, jak nainstalovat Apache Airflow na Ubuntu 20.04
Apache Airflow je open source platforma pro správu pracovních postupů pro kanály datového inženýrství. Začalo to na Airbnb v říjnu 2014 jako řešení pro správu firemního increApache Airflow je open source platforma pro správu pracovních toků pro kanály datového inženýrství.
Apache Airflow je open source platforma pro automatizovanou orchestraci pracovních postupů, která se používá ke správě plánování úloh a stanovování priorit. Rozhraní využívá systém založený na Pythonu, který uživatelům umožňuje zadávat úkoly a závislosti. Airflow pak lze použít ke sledování distribuce a provádění pracovní zátěže.
Začalo to na Airbnb v říjnu 2014 jako řešení pro řízení stále složitějších pracovních postupů společnosti. Vytvoření Airflow umožnilo Airbnb programově vytvářet a plánovat své pracovní postupy a monitorovat je prostřednictvím vestavěného uživatelského rozhraní Airflow. Jednoduše složité pracovní postupy. Vytvoření Airflow umožnilo Airbnb programově vytvářet a plánovat své pracovní postupy a monitorovat je prostřednictvím vestavěného uživatelského rozhraní Airflow.
Nainstalujte Apache Airflow
Chcete-li začít s Apache Airflow, postupujte podle níže uvedených kroků
- Spuštěním následujícího příkazu se ujistěte, že všechny vaše systémové balíčky jsou aktuální:
sudo apt update -y && sudo apt upgrade -y- Pro Apache Airflow je vyžadován server MySQL, nepoužívejte SQLite jako metadata DB ve výrobě – měla by být používána pouze pro vývoj/testování. Doporučujeme používat Postgresql nebo MySQL. Klikněte sem pro více informací.
- Dalším krokem je instalace aplikace pip pomocí následujících příkazů:
sudo apt-get install software-properties-common -y
sudo apt-add-repository universe
sudo apt-get update -y
sudo apt-get install python3-pip python-setuptools -y
- Spuštěním níže uvedeného příkazu se ujistěte, že jsou nainstalovány nezbytné závislosti pro Apache Airflow:
sudo apt-get install -y libmysqlclient-dev libssl-dev libkrb5-dev python3-virtualenv python-jinja2- Airflow potřebuje domovský adresář, kde ukládá všechna svá nastavení, konfigurace, takže to provedete spuštěním níže uvedeného příkazu:
export AIRFLOW_HOME=~/airflow- Nainstalujte Apache Proud vzduchu se spuštěním následujících příkazů:
virtualenv airflow_unixcop
cd airflow_unixcop/
pip3 install apache-airflow
pip3 install typing_extensions
- Potom restartujte systém.
reboot- Ověřte, že se Apache Airflow úspěšně nainstaloval, zkontrolováním jeho verze
airflow version
- Dalším krokem je inicializace databáze Apache Airflow a její upgrade.
airflow initdb
airflow db upgrade
- Spustí apache airflow server spuštěním příkazu níže
airflow webserver -p 8080
- Můžete také vytvořit uživatele Apache airflow,
POZNÁMKA :Pokud právě používáte python wheel, není vytvořeno žádné výchozí uživatelské jméno a heslo.
Pro vytvoření uživatele spusťte následující:
airflow users create --role Admin --username admin --email admin --firstname admin 
- Chcete-li ověřit, že Apache Airflow nyní běží, otevřete webový prohlížeč a přejděte na localhost:8080 . přihlaste se pomocí uživatele, kterého jste právě vytvořili, budete přesměrováni do níže uvedeného okna
Závěr
A je to,
tento průvodce instalací Apache Airflow v Ubuntu 20.04
Díky