Tutorial: Esegui Python su un cluster e come lavoro usando l'estensione IDe Databricks

Questo tutorial ti guida come configurare l'estensione IDE Databricks, poi eseguire Python su un cluster Azure Databricks e come lavoro Azure Databricks nel tuo workspace remoto. Vedi estensione IDE Databricks.

Requisiti

Per questa esercitazione è necessario:

• Hai installato l'estensione IDE Databricks. Vedi Installa l'estensione IDE Databricks.
• È disponibile un cluster Azure Databricks remoto da usare. Prendere nota del nome del cluster. Per visualizzare i cluster disponibili, nella barra laterale dell'area di lavoro Azure Databricks fare clic su Compute. Vedi Calcolo.

Passaggio 1: Creare un nuovo progetto Databricks

In questo passaggio si crea un nuovo progetto Databricks e si configura la connessione con l'area di lavoro di Azure Databricks remota.

1. Avviare Visual Studio Code, quindi fare clic su File > Apri cartella e aprire una cartella vuota nel computer di sviluppo locale.
2. Sulla barra laterale fare clic sull'icona del logo di Databricks . Verrà aperta l'estensione Databricks.
3. Nella visualizzazione Configurazione fare clic su Crea configurazione.
4. Si apre la Command Palette per configurare l'area di lavoro di Databricks. Per Databricks Host , inserisci o seleziona il tuo URL per spazio di lavoro , ad esempio https://adb-1234567890123456.7.azuredatabricks.net.
5. Selezionare un profilo di autenticazione per il progetto. Vedi Configurare l'autorizzazione per l'estensione IDED Databricks.

Passaggio 2: Aggiungere informazioni sul cluster all'estensione Databricks e avviare il cluster

1. Con la visualizzazione Configurazione già aperta, fare clic su Seleziona un cluster o fare clic sull'icona a forma di ingranaggio (Configura cluster).

   

2. Nella Palette dei comandi selezionare il nome del cluster creato in precedenza.

3. Fare clic sull'icona di avvio (Avvia cluster) se non è già stata avviata.

Passaggio 3: Creare ed eseguire Python codice

1. Creare un file di codice Python locale: nella barra laterale fare clic sulla cartella (Explorer).

2. Nel menu principale fare clic su File > Nuovo file e scegliere un file Python. Denominare il file demo.py e salvarlo nella radice del progetto.

3. Aggiungere il codice seguente al file e quindi salvarlo. Questo codice crea e visualizza il contenuto di un dataframe PySpark di base:

   from pyspark.sql import SparkSession
   from pyspark.sql.types import *
   
   spark = SparkSession.builder.getOrCreate()
   
   schema = StructType([
      StructField('CustomerID', IntegerType(), False),
      StructField('FirstName',  StringType(),  False),
      StructField('LastName',   StringType(),  False)
   ])
   
   data = [
      [ 1000, 'Mathijs', 'Oosterhout-Rijntjes' ],
      [ 1001, 'Joost',   'van Brunswijk' ],
      [ 1002, 'Stan',    'Bokenkamp' ]
   ]
   
   customers = spark.createDataFrame(data, schema)
   customers.show()
   

   # +----------+---------+-------------------+
   # |CustomerID|FirstName|           LastName|
   # +----------+---------+-------------------+
   # |      1000|  Mathijs|Oosterhout-Rijntjes|
   # |      1001|    Joost|      van Brunswijk|
   # |      1002|     Stan|          Bokenkamp|
   # +----------+---------+-------------------+
   

4. Fare clic sull'icona Esegui in Databricks accanto all'elenco delle schede dell'editor e quindi fare clic su Carica ed esegui file. L'output viene visualizzato nella Console di debug.

   

   In alternativa, nella visualizzazione Explorer, fare clic con il pulsante destro del mouse sul demo.py file, quindi scegliere Esegui su Databricks>Carica ed esegui file.

   

Passaggio 4: Eseguire il codice come processo

Per eseguire demo.py come processo, fare clic sull'icona Esegui in Databricks accanto all'elenco delle schede dell'editor e quindi fare clic su Esegui file come flusso di lavoro. L'output viene visualizzato in una scheda editor separata accanto all'editor di demo.py file.

In alternativa, fare clic con il pulsante destro del mouse sul file demo.py nel pannello Esplora file, quindi scegliere Esegui su Databricks>Esegui file come flusso di lavoro.

Passaggi successivi

Ora che hai usato con successo l'estensione IDE Databricks per caricare un file Python locale ed eseguirlo da remoto, puoi anche:

• Esplora le risorse e le variabili dei Bundle di Automazione Dichiarativa utilizzando l'interfaccia utente dell'estensione. Vedi Bundle e funzionalità di esploratore.
• Eseguire o debuggare codice Python con Databricks Connect. Vedi Debug code usando Databricks Connect per l'estensione Databricks IDE.
• Eseguire un file o un notebook come attività di Azure Databricks. Vedi Eseguire un file su un cluster o un file o un notebook come lavoro in Azure Databricks usando l'estensione IDE Databricks.
• Eseguire test con pytest. Vedi Esegui test Python usando l'estensione IDE Databricks.