Jak přesměrovat celý výstup spark-submit do souboru

spark-submit vytiskne většinu svého výstupu na STDERR

Chcete-li přesměrovat celý výstup do jednoho souboru, můžete použít:

spark-submit something.py > results.txt 2>&1

Nebo

spark-submit something.py &> results.txt

Pokud spouštíte spark-submit na clusteru, jsou protokoly uloženy s ID aplikace. Po dokončení aplikace můžete zobrazit protokoly.

yarn logs --applicationId <your applicationId> > myfile.txt

Měl by vám přinést protokol vaší úlohy

ApplicationId vaší úlohy je dáno při odeslání jiskrové úlohy. Budete to moci vidět v konzole, kam odesíláte, nebo z uživatelského rozhraní Hadoop.