Čo je zníženie kľúčom?

2024 Autor: Lynn Donovan | [email protected]. Naposledy zmenené: 2023-12-15 23:52

Funkcia Spark RDD reductionByKey zlúči hodnoty pre každú z nich kľúč pomocou asociatívu znížiť funkciu. To intuitívne znamená, že táto funkcia vytvára rovnaký výsledok, keď sa opakovane aplikuje na rovnakú sadu údajov RDD s viacerými oddielmi bez ohľadu na poradie prvku.

Aký je potom rozdiel medzi groupByKey a reductionByKey?

groupByKey () slúži len na zoskupenie množiny údajov na základe kľúča. znížiťKľúčom () je niečo ako zoskupovanie + agregácia. znížiťKľúčom možno použiť, keď pracujeme na veľkom súbore údajov. agregátByKey() je logicky rovnaký ako znížiťKľúčom (), ale umožňuje vám vrátiť výsledok rôzne typu.

Tiež vedieť, prečo zníženie je akcia v iskru? Zníženie iskry operácia je akcie druh operácie a spustí úplné vykonanie DAG pre všetky zoradené lenivé inštrukcie. Spark RDD znížiť funkcia redukuje prvky tohto RDD pomocou špecifikovaného komutatívneho a asociatívneho binárneho operátora. Zníženie iskry prevádzka je takmer podobná ako znížiť metóda v Scale.

Okrem vyššie uvedeného, čo je Pairrdd?

Spark poskytuje špeciálne operácie na RDD obsahujúcich páry kľúč/hodnota. Tieto RDD sa nazývajú párové RDD. Párové RDD sú užitočným stavebným kameňom v mnohých programoch, pretože odhaľujú operácie, ktoré vám umožňujú pracovať s každým kľúčom paralelne alebo preskupovať údaje v sieti. PárRDD sú páry KEY/VALUE.

Je redukciaByKey akciou?

redukcia() vygeneruje kolekciu, ktorá sa nepridáva do smerovaného acyklického grafu (DAG), takže je implementovaná ako an akcie . však znížiťKľúčom () vracia RDD, čo je len ďalšia úroveň/stav v DAG, preto ide o transformáciu.