Az Apache Spark áttekintése

Az Apache Spark az a technológia, amely meghajtja az Azure Databricks számítási fürtjeit és SQL tárházait.

Ez a lap áttekintést nyújt a jelen szakaszban található dokumentációról.

Első lépések

Az Apache Spark használatának első lépései a Databricksen.

Téma	Description
Apache Spark az Azure Databricksen	Válaszokat kaphat az Azure Databricksben futó Apache Sparkkal kapcsolatos gyakori kérdésekre.
Oktatóanyag: Adatok betöltése és átalakítása Az Apache Spark DataFrame-ek használatával	Kövesse a Spark DataFrame-ek Pythonban, R-ben vagy Scalában való használatához szükséges részletes útmutatót az adatbetöltéshez és -átalakításhoz.
A PySpark alapjai	Egyszerű példákon keresztül megismerheti a PySpark használatának alapjait.

További erőforrások

Ismerje meg a Spark egyéb funkcióit és dokumentációját.

Téma	Description
A Spark Connect és a Klasszikus Spark összehasonlítása	Ismerje meg a Spark Connect és a Spark Classic végrehajtási és elemzési viselkedése közötti főbb különbségeket a kód migrálása során felmerülő váratlan viselkedési és teljesítményproblémák elkerülése érdekében.
Spark-konfigurációs tulajdonságok beállítása az Azure Databricksben	Állítsa be a Spark konfigurációs tulajdonságait a számítási környezet beállításainak testreszabásához és a teljesítmény optimalizálásához.
A Spark API beállításainak referenciája	Keresse meg a DataFrameReader, a DataFrameWriter és a kapcsolódó API-beállításokat egy helyen.
Strukturált streamelés	Olvassa el a strukturált streamelés, a közel valós idejű feldolgozó motor áttekintését.
Költség- és teljesítményproblémák diagnosztizálása a Spark felhasználói felületén	Ismerje meg, hogyan használhatja a Spark felhasználói felületét a Spark-feladatok teljesítményhangolásához, hibakereséséhez és költségoptimalizálásához.
Az Apache Spark MLlib használata az Azure Databricksben	Elosztott gépi tanulás a Spark MLlib használatával és a népszerű ML-keretrendszerekkel való integráció.

Spark API-k

A Spark használata az előnyben részesített programozási nyelv használatával.

Téma	Description
Apache Spark API-k referenciája	Az Apache Spark API-referencia áttekintése, beleértve a Spark SQL, a DataFrames és az RDD-műveletekre mutató hivatkozásokat a támogatott nyelvek között.
PySpark	A Python használata a Sparkkal, beleértve a PySpark alapjait, az egyéni adatforrásokat és a Python-specifikus optimalizálásokat.
Pandas API a Sparkkal	Használja ki a jól ismert pandas szintaxist a Spark elosztott adatfeldolgozáshoz való méretezhetőségével.
R a Spark számára	Az R és a Spark használata SparkR és sparklyr eszközökkel statisztikai számítás és adatelemzéshez.
Scala for Spark	Nagy teljesítményű Spark-alkalmazásokat hozhat létre a Scala használatával natív Spark API-kkal és típusbiztonsággal.