Akú verziu Pythonu používa spark?
Akú verziu Pythonu používa spark?

Video: Akú verziu Pythonu používa spark?

Video: Akú verziu Pythonu používa spark?
Video: How To Install Python, Setup Virtual Environment VENV, Set Default Python System Path & Install Git 2024, December
Anonim

Spark beží na Java 8+, Python 2,7+/3,4+ a R 3,1+. Pre rozhranie Scala API, Spark 2.3. 0 používa Scala 2.11. Budete musieť použitie kompatibilná Scala verzia (2.11.

V súlade s tým funguje iskra s Pythonom 3?

Apache Spark je klastrový výpočtový rámec, ktorý je v súčasnosti jedným z najaktívnejšie vyvinutých v aréne veľkých dát s otvoreným zdrojom. Od najnovšej verzie 1.4 (jún 2015), Spark podporuje R a Python 3 (na doplnenie predtým dostupnej podpory pre Java, Scala a Python 2).

Okrem vyššie uvedeného, ako zmením spark verziu Pythonu? V prípade, že len chcete zmeniť a python verziu pre aktuálnu úlohu môžete použiť nasledujúci príkaz pyspark start: PYSPARK_DRIVER_PYTHON=/home/user1/anaconda2/bin/ pytón PYSPARK_PYTHON=/usr/local/anaconda2/bin/ pytón pyspark --majster..

Okrem toho, aká je najnovšia verzia sparku?

Apache Spark

Pôvodní autori Matej Zaharia
Prvotné uvoľnenie 26. mája 2014
Stabilné uvoľnenie 2.4.5 / 8. februára 2020
Úložisko Úložisko Spark
Zapísané v Scala

Čo je spark Python?

Skrotenie veľkých dát pomocou Apache Spark a Python Py4J je všeobecne integrovaná knižnica PySpark to umožňuje pytón dynamické rozhranie s objektmi JVM (RDD). Apache Spark prichádza s interaktívnym shellom pre pytón ako je to v prípade Scaly. Škrupina pre pytón je známy ako „ PySpark ”.

Odporúča: