Obsah:

Kde nájdem protokoly iskier?
Kde nájdem protokoly iskier?

Video: Kde nájdem protokoly iskier?

Video: Kde nájdem protokoly iskier?
Video: Logging Apache Spark: How we made it easy 2024, Marec
Anonim

Log adresárov

Predvolené umiestnenie SPARK_WORKER_LOG_DIR je /var/ log / iskra /pracovník. Predvolená hodnota log adresár na spustenie Spark SQL Thrift server je $HOME/ iskra - šetrný server. Spark Škrupina a aplikácia protokoly sú výstupom do konzoly. Log konfiguračné súbory sú umiestnené v rovnakom adresári ako iskra -env.sh.

V súvislosti s tým, ako získam protokoly iskier?

Spark úlohu alebo aplikáciu zo stránky Analyzovať získate prístup k protokoly prostredníctvom používateľského rozhrania aplikácie a Spark Používateľské rozhranie aplikácie. stránku, máte prístup na protokoly cez Spark Používateľské rozhranie aplikácie. Môžete aj doplnkové protokoly identifikovať chyby a výnimky v Spark zlyhania práce alebo aplikácie.

Podobne, ako kontrolujete guľatinu priadze? Prezeranie a log súbor The protokoly hlavnej aplikácie je možné zobraziť aj v prehliadači v používateľskom rozhraní správcu prostriedkov na adrese priadza .resourcemanager.webapp.address}/cluster (https://localhost:8088 na "klastri" jedného uzla).

Podobne sa možno pýtať, ako získam protokoly exekútora na Spark?

Odpoveď

  1. Pokyny na získanie protokolov spúšťača Spark:
  2. Pre Amabari -- 1) Prejdite na Spark Service a kartu Configs: 2) Nájdite položku „Advanced spark-log4j-properties“.
  3. Pre Cloudera -- Set: spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/etc/spark/conf.cloudera.spark_on_yarn/log4j.properties.

Ako nájdem adresu URL servera histórie sparku?

Napr. pre server histórie , zvyčajne budú dostupné na adrese server - url >:18080/api/v1 a pre spustenú aplikáciu na https://localhost:4040/api/v1. V rozhraní API sa na aplikáciu odkazuje jej ID aplikácie, [app-id].

Odporúča: