Obsah:

Ako spustím svoj server histórie sparku?
Ako spustím svoj server histórie sparku?

Video: Ako spustím svoj server histórie sparku?

Video: Ako spustím svoj server histórie sparku?
Video: Introduction to Spark History Server and how to keep it running 2024, Smieť
Anonim

Ak chcete povoliť server histórie Spark:

  1. Vytvorte adresár pre protokoly udalostí v súborovom systéme DSEFS: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Keď je povolené protokolovanie udalostí, predvolené správanie je pre všetky protokoly, ktoré sa ukladajú, čo spôsobuje, že úložisko sa časom zväčšuje.

Okrem toho, ako nastavím server histórie sparku?

Ak chcete povoliť server histórie Spark:

  1. Vytvorte adresár pre protokoly udalostí v súborovom systéme DSEFS: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Keď je povolené protokolovanie udalostí, predvolené správanie je pre všetky protokoly, ktoré sa ukladajú, čo spôsobuje, že úložisko sa časom zväčšuje.

Podobne, ako nájdem adresu URL servera histórie sparku? Napr. pre server histórie , zvyčajne budú dostupné na adrese server - url >:18080/api/v1 a pre spustenú aplikáciu na https://localhost:4040/api/v1. V rozhraní API sa na aplikáciu odkazuje jej ID aplikácie, [app-id].

Podobne, čo je server histórie sparku?

The Server histórie Spark je monitorovací nástroj, ktorý zobrazuje informácie o dokončených Spark aplikácie. Táto informácia je stiahnuté z údajov, ktoré aplikácie štandardne zapisujú do adresára na Hadoop Distributed File System (HDFS).

Čo je Sparkui?

Webové používateľské rozhranie Spark vám umožňuje zobraziť zoznam fáz a úloh plánovača, informácie o prostredí, informácie o spustených spúšťačoch a ďalšie. Pozrite si toto 30-minútové demo, kde sa dozviete o: Komponenty a životný cyklus programu Spark. Ako vaša aplikácia Spark beží na klastri Hadoop.

Odporúča: