Apache Spark az Azure Databricksen

Ez a cikk azt ismerteti, hogyan kapcsolódik az Apache Spark az Azure Databrickshez és a Databricks adatintelligencia-platformhoz.

Az Apache Spark az Azure Databricks platform középpontjában áll, és a számítási fürtöket és SQL-raktárakat energiatakarékos technológia. Az Azure Databricks egy optimalizált platform az Apache Sparkhoz, amely hatékony és egyszerű platformot biztosít az Apache Spark számítási feladatok futtatásához.

Mi az Apache Spark és az Azure Databricks kapcsolata?

A Databricks vállalatot az Apache Spark eredeti létrehozói alapították. Nyílt forráskód szoftverprojektként az Apache Spark számos vezető vállalatból, köztük a Databricksből származó véglegesítőkkel rendelkezik.

A Databricks továbbra is fejleszt és bocsát ki funkciókat az Apache Sparkban. A Databricks Runtime további optimalizálásokat és saját fejlesztésű funkciókat tartalmaz, amelyek az Apache Sparkra építenek és bővítik azt, beleértve a Photont is, amely az Apache Spark C++-ban újraírt optimalizált verziója.

Hogyan működik az Apache Spark az Azure Databricksben?

Amikor számítási fürtöt vagy SQL Warehouse-t helyez üzembe az Azure Databricksben, az Apache Spark konfigurálva van és üzembe helyezve a virtuális gépeken. Nem kell Spark-környezetet vagy Spark-munkamenetet konfigurálnia vagy inicializálnia, mivel ezeket az Azure Databricks felügyeli.

Használhatom az Azure Databrickset az Apache Spark használata nélkül?

Az Azure Databricks számos számítási feladatot támogat, és nyílt forráskód kódtárakat tartalmaz a Databricks Futtatókörnyezetben. A Databricks SQL az Apache Sparkot használja a motorháztető alatt, a végfelhasználók azonban szabványos SQL-szintaxissal hoznak létre és kérdeznek le adatbázis-objektumokat.

A Databricks Runtime for Machine Tanulás az ML számítási feladatokhoz van optimalizálva, és számos adatelemző használ elsődleges nyílt forráskód kódtárakat, például a TensorFlow-t és a SciKit Learn-t az Azure Databricks használata során. Munkafolyamatokkal tetszőleges számítási feladatokat ütemezhet az Azure Databricks által üzembe helyezett és felügyelt számítási erőforrásokhoz.

Miért érdemes az Apache Sparkot használni az Azure Databricksben?

A Databricks platform biztonságos, együttműködésen alapuló környezetet biztosít a vállalatával skálázható vállalati megoldások fejlesztéséhez és üzembe helyezéséhez. A Databricks alkalmazottai közé tartoznak a világ legismeretesebb Apache Spark-karbantartói és felhasználói. A vállalat folyamatosan fejleszt és bocsát ki új optimalizálásokat, hogy a felhasználók elérhessék a leggyorsabb környezetet az Apache Spark futtatásához.

Hogyan tudhatok meg többet az Apache Spark Azure Databricksen való használatáról?

Az Apache Spark azure Databricksen való használatának megkezdéséhez merüljön el azonnal! Az Apache Spark DataFrames oktatóanyaga végigvezeti az adatok Pythonban, R-ben vagy Scalában történő betöltésén és átalakításán. Lásd az oktatóanyagot: Adatok betöltése és átalakítása Apache Spark DataFrame-ekkel.

A Python, az R és a Scala Spark nyelvi támogatásáról további információt az Azure Databricks PySparkjában, a SparkR áttekintésében és a Scala fejlesztőinek szánt Azure Databricksben, valamint az Apache Spark API-kra vonatkozó hivatkozásokban talál.