Útmutató: Fusson Python-t egy klaszteren és munkaként a Databricks IDE kiterjesztéssel

Ez az oktatóanyag végigvezeti a Databricks IDE kiterjesztés beállítását, majd a Python futtatását egy Azure Databricks klaszteren, illetve Azure Databricks feladatként a távoli munkaterületen. Lásd Databricks IDE kiterjesztést.

Követelmények

Ehhez az oktatóanyaghoz a következőket kell megkövetelni:

• Telepítetted a Databricks IDE kiterjesztést. Lásd : Telepítsd a Databricks IDE bővítményt.
• Egy távoli Azure Databricks fürtöt kell használnia. Jegyezze fel a fürt nevét. Az elérhető fürtök megtekintéséhez az Azure Databricks munkaterületének oldalsávjában kattintson a Compute elemre. Lásd: Compute.

1. lépés: Új Databricks-projekt létrehozása

Ebben a lépésben létrehoz egy új Databricks-projektet, és konfigurálja a kapcsolatot a távoli Azure Databricks-munkaterülettel.

1. Indítsa el a Visual Studio Code, majd kattintson a File > Mappa megnyitása elemre, és nyisson meg egy üres mappát a helyi fejlesztőgépen.
2. Az oldalsávon kattintson a Databricks embléma ikonra. Ekkor megnyílik a Databricks bővítmény.
3. A Konfiguráció nézetben kattintson a Konfiguráció létrehozásaelemre.
4. Megnyílik a Databricks-munkaterület konfigurálásához használandó parancskatalógus. A Databricks-gazdagép esetében adja meg, vagy válassza ki a munkaterület URL-jét, például https://adb-1234567890123456.7.azuredatabricks.net.
5. Válasszon egy hitelesítési profilt a projekthez. Lásd: Állítson be authorization for the Databricks IDE extension.

2. lépés: Fürtinformációk hozzáadása a Databricks-bővítményhez, majd a fürt indítása

1. Amikor a Konfiguráció nézet már meg van nyitva, válassza ki a klasztert, vagy kattintson a fogaskerék (klaszter konfigurálása) ikonra.

   

2. A Parancs palettán válassza ki a korábban létrehozott fürt nevét.

3. Ha a "Cluster" még nem indult el, kattintson a lejátszás ikonra (Cluster indítása).

3. lépés: Python kód létrehozása és futtatása

1. Hozzon létre egy helyi Python kódfájlt: az oldalsávon kattintson a mappára (Explorer) ikonra.

2. A főmenüben kattintson a File > New File elemre, és válasszon egy Python fájlt. Nevezze el a fájlt demo.py , és mentse a projekt gyökérmappájába.

3. Adja hozzá a következő kódot a fájlhoz, majd mentse. Ez a kód egy alapszintű PySpark DataFrame tartalmát hozza létre és jeleníti meg:

   from pyspark.sql import SparkSession
   from pyspark.sql.types import *
   
   spark = SparkSession.builder.getOrCreate()
   
   schema = StructType([
      StructField('CustomerID', IntegerType(), False),
      StructField('FirstName',  StringType(),  False),
      StructField('LastName',   StringType(),  False)
   ])
   
   data = [
      [ 1000, 'Mathijs', 'Oosterhout-Rijntjes' ],
      [ 1001, 'Joost',   'van Brunswijk' ],
      [ 1002, 'Stan',    'Bokenkamp' ]
   ]
   
   customers = spark.createDataFrame(data, schema)
   customers.show()
   

   # +----------+---------+-------------------+
   # |CustomerID|FirstName|           LastName|
   # +----------+---------+-------------------+
   # |      1000|  Mathijs|Oosterhout-Rijntjes|
   # |      1001|    Joost|      van Brunswijk|
   # |      1002|     Stan|          Bokenkamp|
   # +----------+---------+-------------------+
   

4. Kattintson a Szerkesztőfülek listája melletti Futtatás a Databricksen ikonra, majd a Fájl feltöltése és futtatása parancsra. A kimenet a Hibakeresési konzol nézetben jelenik meg.

   

   Alternatívaként az Explorer nézetben kattintson a jobb gombbal a demo.py fájlra, majd kattintson a Run on Databricks>Fájl feltöltése és futtatása lehetőségre.

   

4. lépés: A kód futtatása feladatként

Feladatként való futtatáshoz demo.py kattintson a Szerkesztőfülek listája melletti Futtatás a Databricksen ikonra, majd a Fájl futtatása munkafolyamatként parancsra. A kimenet egy külön szerkesztőlapon jelenik meg a demo.py fájlszerkesztő mellett.

Másik lehetőségként kattintson a jobb gombbal a demo.py fájlra az Explorer panelen, majd válassza a következő lehetőségek közül: Futtatás Databricks-en, vagy Fájl futtatása munkafolyamatként>.

Következő lépések

Most, hogy sikeresen használtad a Databricks IDE kiterjesztést egy helyi Python fájl feltöltésére és távolról futtatására, azt is teheted:

• Fedezze fel a deklaratív automatizálási csomagok erőforrásait és változóit az bővítmény felhasználói felületének segítségével. Lásd a Bundle és Explorer funkciókat.
• Futtasson vagy hibakeressen Python kódot a Databricks Connect használatával. Lásd: Debug kód Databricks Connect segítségével a Databricks IDE kiterjesztéshez.
• Fájl vagy jegyzetfüzet futtatása Azure Databricks feladatként. Lásd: Futtatj fájlt klaszteren, fájlon vagy notebookként feladatként az Azure Databricks-ben a Databricks IDE kiterjesztés használatával.
• Teszteket futtass a következővel: pytest. Lásd: Futtatja a Python teszteket a Databricks IDE kiterjesztéssel.