Creare il primo flusso di lavoro con un processo di Azure Databricks

Questo articolo illustra un processo di Azure Databricks che orchestra le attività per leggere ed elaborare un set di dati di esempio. Questa guida introduttiva spiega come:

1. Creare un nuovo notebook e aggiungere codice per recuperare un set di dati di esempio contenente i nomi dei bambini più diffusi per anno.
2. Salvare il set di dati di esempio in Unity Catalog.
3. Creare un nuovo notebook e aggiungere codice per leggere il set di dati dal catalogo unity, filtrarlo in base all'anno e visualizzare i risultati.
4. Creare un nuovo processo e configurare due attività usando i notebook.
5. Eseguire il processo e visualizzare i risultati.

Requisiti

Se l'area di lavoro è abilitata per Unity Catalog e i flussi di lavoro serverless sono abilitati, per impostazione predefinita, il processo viene eseguito nel calcolo serverless. Non è necessaria l'autorizzazione di creazione del cluster per eseguire il processo con calcolo serverless.

In caso contrario, è necessario disporre dell'autorizzazione di creazione del cluster per creare risorse di calcolo o autorizzazioni per tutte le risorse di calcolo.

È necessario disporre di un volume in Unity Catalog. Questo articolo usa un volume denominato my-volume in uno schema denominato default all'interno di un catalogo denominato main. Inoltre, è necessario disporre delle autorizzazioni seguenti in Unity Catalog:

• READ VOLUME e WRITE VOLUME, o ALL PRIVILEGESper il my-volume volume.
• USE SCHEMA o ALL PRIVILEGES per lo default schema.
• USE CATALOG oppure ALL PRIVILEGES per il main catalogo.

Per impostare queste autorizzazioni, vedere l'amministratore di Databricks o i privilegi di Unity Catalog e gli oggetti a protezione diretta.

Creare i notebook

Recuperare e salvare i dati

Per creare un notebook per recuperare il set di dati di esempio e salvarlo in Unity Catalog:

1. Passare alla pagina di destinazione di Azure Databricks e fare clic su Nuovo nella barra laterale e selezionare Notebook. Databricks crea e apre un nuovo notebook vuoto nella cartella predefinita. La lingua predefinita è la lingua usata più di recente e il notebook viene collegato automaticamente alla risorsa di calcolo usata più di recente.

2. Se necessario, modificare il linguaggio predefinito in Python.

3. Copiare il codice Python seguente e incollarlo nella prima cella del notebook.

   import requests
   
   response = requests.get('https://health.data.ny.gov/api/views/jxy9-yhdk/rows.csv')
   csvfile = response.content.decode('utf-8')
   dbutils.fs.put("/Volumes/main/default/my-volume/babynames.csv", csvfile, True)
   

Leggere e visualizzare dati filtrati

Per creare un notebook per leggere e presentare i dati per il filtro:

1. Passare alla pagina di destinazione di Azure Databricks e fare clic su Nuovo nella barra laterale e selezionare Notebook. Databricks crea e apre un nuovo notebook vuoto nella cartella predefinita. La lingua predefinita è la lingua usata più di recente e il notebook viene collegato automaticamente alla risorsa di calcolo usata più di recente.

2. Se necessario, modificare il linguaggio predefinito in Python.

3. Copiare il codice Python seguente e incollarlo nella prima cella del notebook.

   babynames = spark.read.format("csv").option("header", "true").option("inferSchema", "true").load("/Volumes/main/default/my-volume/babynames.csv")
   babynames.createOrReplaceTempView("babynames_table")
   years = spark.sql("select distinct(Year) from babynames_table").toPandas()['Year'].tolist()
   years.sort()
   dbutils.widgets.dropdown("year", "2014", [str(x) for x in years])
   display(babynames.filter(babynames.Year == dbutils.widgets.get("year")))
   

Creare un processo

1. Fare clic su Flussi di lavoro nella barra laterale.

2. Fare clic su .

   La scheda Attività viene visualizzata con la finestra di dialogo Crea attività.

   

3. Sostituire Aggiungi un nome per il processo con il nome del processo.

4. Nel campo Nome attività immettere un nome per l'attività, ad esempio retrieve-baby-names.

5. Nel menu a discesa Tipo selezionare Notebook.

6. Usare il browser file per trovare il primo notebook creato, fare clic sul nome del notebook e fare clic su Conferma.

7. Fare clic su Crea attività.

8. Fare clic sotto l'attività appena creata per aggiungere un'altra attività.

9. Nel campo Nome attività immettere un nome per l'attività, ad esempio filter-baby-names.

10. Nel menu a discesa Tipo selezionare Notebook.

11. Usare il browser file per trovare il secondo notebook creato, fare clic sul nome del notebook e fare clic su Conferma.

12. Fare clic su Aggiungi in Parametri. Nel campo Chiave immettere year. Nel campo Valore immettere 2014.

13. Fare clic su Crea attività.

Eseguire il processo

Per eseguire immediatamente il processo, fare clic nell'angolo superiore destro. È anche possibile eseguire il processo facendo clic sulla scheda Esecuzioni e facendo clic su Esegui ora nella tabella Esecuzioni attive.

Visualizzare i dettagli dell'esecuzione

1. Fare clic sulla scheda Esecuzioni e fare clic sul collegamento per l'esecuzione nella tabella Esecuzioni attive o nella tabella Esecuzioni completate (ultimi 60 giorni).

2. Fare clic su una delle due attività per visualizzare l'output e i dettagli. Ad esempio, fare clic sull'attività filter-baby-names per visualizzare l'output ed eseguire i dettagli per l'attività di filtro:

   

Eseguire con parametri diversi

Per rieseguare il processo e filtrare i nomi dei bambini per un anno diverso:

1. Fare clic accanto a Esegui ora e selezionare Esegui ora con parametri diversi oppure fare clic su Esegui ora con parametri diversi nella tabella Esecuzioni attive.
2. Nel campo Valore immettere 2015.
3. Fai clic su Esegui.