Čo je to iskrové vysielanie?
Čo je to iskrové vysielanie?

Video: Čo je to iskrové vysielanie?

Video: Čo je to iskrové vysielanie?
Video: Čo je Priama diaľková identifikácia a ako funguje? 2024, Apríl
Anonim

Vysielanie premenné v Apache Spark je mechanizmus na zdieľanie premenných medzi spúšťačmi, ktoré sú určené len na čítanie. Bez vysielať premenné tieto premenné by boli odoslané každému vykonávateľovi pre každú transformáciu a akciu, čo môže spôsobiť réžiu siete.

Podobne sa ľudia pýtajú, kedy by som mal vysielať iskru?

Vysielanie premenné sa väčšinou používajú, keď úlohy vo viacerých fázach vyžadujú rovnaké údaje alebo keď sa vyžaduje ukladanie údajov do vyrovnávacej pamäte v deserializovanej forme. Vysielanie premenné sa vytvárajú pomocou premennej v volaním SparkContext.

Tiež, čo sú akumulátory a vysielané premenné v iskre? Spark podporuje dva typy zdieľania premenné : vysielacie premenné , ktorý možno použiť na ukladanie hodnoty do pamäte cache na všetkých uzloch a akumulátory , ktoré sú premenné ktoré sú len „pridané“, ako sú počítadlá a sumy.

Vzhľadom na to, čo je akumulátor iskier?

Akumulátory sú premenné, ktoré sa len „pridávajú“prostredníctvom asociatívnej operácie, a preto ich možno efektívne podporovať paralelne. Môžu byť použité na implementáciu počítadiel (ako v MapReduce) alebo súčtov. Spark natívne podporuje akumulátory číselných typov a programátori môžu pridať podporu pre nové typy.

Ako môžem aktualizovať svoju premennú vysielania v sparku?

  1. Presuňte vyhľadávanie referenčných údajov do forEachPartition alebo forEachRdd tak, aby sa nachádzalo výlučne na pracovníkoch.
  2. Reštartujte kontext Spark zakaždým, keď sa refdata zmenia, s novou premennou vysielania.

Odporúča: