Obsah:

Aké sú hlavné konfiguračné parametre, ktoré musí používateľ zadať na spustenie úlohy MapReduce?
Aké sú hlavné konfiguračné parametre, ktoré musí používateľ zadať na spustenie úlohy MapReduce?

Video: Aké sú hlavné konfiguračné parametre, ktoré musí používateľ zadať na spustenie úlohy MapReduce?

Video: Aké sú hlavné konfiguračné parametre, ktoré musí používateľ zadať na spustenie úlohy MapReduce?
Video: How to use configuration parameters l Workato in a Minute ft. Venn Technology 2024, November
Anonim

Hlavné konfiguračné parametre, ktoré musia používatelia zadať v rámci „MapReduce“, sú:

  • Jobova vstupné miesta v distribuovanom súborovom systéme.
  • Jobova výstupné umiestnenie v distribuovanom súborovom systéme.
  • Vstupný formát údajov.
  • Výstupný formát údajov.
  • Trieda obsahujúca funkciu mapy.
  • Trieda obsahujúca funkciu redukcie.

Aké sú hlavné konfiguračné parametre v programe MapReduce?

Hlavné konfiguračné parametre v rámci „MapReduce“sú:

  • Vstupné umiestnenie úloh v distribuovanom súborovom systéme.
  • Výstupné umiestnenie úloh v distribuovanom súborovom systéme.
  • Vstupný formát údajov.
  • Výstupný formát údajov.
  • Trieda, ktorá obsahuje funkciu mapy.
  • Trieda, ktorá obsahuje funkciu redukcie.

Možno sa tiež opýtať, aké sú parametre mapovačov a reduktorov? Štyri parametre pre mapovačov sú:

  • LongWritable (vstup)
  • text (vstup)
  • text (stredný výstup)
  • IntWritable (stredný výstup)

Otázkou tiež je, aké sú hlavné zložky úlohy MapReduce?

  • Hlavná trieda ovládača, ktorá poskytuje konfiguračné parametre úlohy.
  • Trieda mapovača, ktorá musí rozšíriť org. apache. hadoop. mapreduce. Mapper triedy a poskytujú implementáciu pre metódu map ().
  • Trieda redukcie, ktorá by mala rozšíriť org. apache. hadoop. mapreduce. Trieda redukcie.

Čo je to partitioner a ako pomáha v procese práce MapReduce?

Rozdeľovač v Úloha MapReduce vykonávanie riadi rozdelenie kľúčov medziľahlých mapových výstupov. S Pomoc hašovacej funkcie kľúč (alebo podmnožina kľúča) odvodzuje oddiel . Záznamy, ktoré majú rovnakú kľúčovú hodnotu, sú rovnaké oddiel (v rámci každého mapovača).

Odporúča: