Aké sú hlavné konfiguračné parametre, ktoré musí používateľ zadať na spustenie úlohy MapReduce?
Aké sú hlavné konfiguračné parametre, ktoré musí používateľ zadať na spustenie úlohy MapReduce?
Anonim

Hlavné konfiguračné parametre, ktoré musia používatelia zadať v rámci „MapReduce“, sú:

  • Jobova vstupné miesta v distribuovanom súborovom systéme.
  • Jobova výstupné umiestnenie v distribuovanom súborovom systéme.
  • Vstupný formát údajov.
  • Výstupný formát údajov.
  • Trieda obsahujúca funkciu mapy.
  • Trieda obsahujúca funkciu redukcie.

Aké sú hlavné konfiguračné parametre v programe MapReduce?

Hlavné konfiguračné parametre v rámci „MapReduce“sú:

  • Vstupné umiestnenie úloh v distribuovanom súborovom systéme.
  • Výstupné umiestnenie úloh v distribuovanom súborovom systéme.
  • Vstupný formát údajov.
  • Výstupný formát údajov.
  • Trieda, ktorá obsahuje funkciu mapy.
  • Trieda, ktorá obsahuje funkciu redukcie.

Možno sa tiež opýtať, aké sú parametre mapovačov a reduktorov? Štyri parametre pre mapovačov sú:

  • LongWritable (vstup)
  • text (vstup)
  • text (stredný výstup)
  • IntWritable (stredný výstup)

Otázkou tiež je, aké sú hlavné zložky úlohy MapReduce?

  • Hlavná trieda ovládača, ktorá poskytuje konfiguračné parametre úlohy.
  • Trieda mapovača, ktorá musí rozšíriť org. apache. hadoop. mapreduce. Mapper triedy a poskytujú implementáciu pre metódu map ().
  • Trieda redukcie, ktorá by mala rozšíriť org. apache. hadoop. mapreduce. Trieda redukcie.

Čo je to partitioner a ako pomáha v procese práce MapReduce?

Rozdeľovač v Úloha MapReduce vykonávanie riadi rozdelenie kľúčov medziľahlých mapových výstupov. S Pomoc hašovacej funkcie kľúč (alebo podmnožina kľúča) odvodzuje oddiel . Záznamy, ktoré majú rovnakú kľúčovú hodnotu, sú rovnaké oddiel (v rámci každého mapovača).

Odporúča: