Esercitazione: Usare un notebook con Apache Spark per eseguire query su un database KQL

  • Articolo

I notebook sono entrambi documenti leggibili contenenti descrizioni e risultati dell'analisi dei dati, nonché documenti eseguibili che possono essere eseguiti per eseguire l'analisi dei dati. Questo articolo illustra come usare un notebook di Microsoft Fabric per leggere e scrivere dati in un database KQL usando Apache Spark. Questa esercitazione usa set di dati e notebook creati in modo preliminare sia in Analisi in tempo reale che negli ambienti Ingegneria dei dati in Microsoft Fabric. Per altre informazioni sui notebook, vedere Come usare i notebook di Microsoft Fabric.

In particolare, si apprenderà come:

  • Creare un database KQL
  • Importare un notebook
  • Scrivere dati in un database KQL usando Apache Spark
  • Eseguire query sui dati da un database KQL

Prerequisiti

1- Creare un database KQL

  1. Aprire il commutatore esperienza nella parte inferiore del riquadro di spostamento e selezionare Analisi in tempo reale.

  2. Selezionare il riquadro Database KQL.

    Screenshot of new KQL database tile in Real-Time Analytics.

  3. Nel campo Nome database KQL immettere nycGreenTaxi e quindi selezionare Crea.

    Il database KQL è stato creato nel contesto dell'area di lavoro selezionata.

  4. Copiare l'URI di query dalla scheda dei dettagli del database nel dashboard del database e incollarlo in un punto qualsiasi, ad esempio un Blocco note, da usare in un passaggio successivo.

    Screenshot of the database details card that shows the database details. The Query URI option titled Copy URI is highlighted.

2- Scaricare il notebook di Nyc GreenTaxi

È stato creato un notebook di esempio che illustra tutti i passaggi necessari per caricare i dati nel database usando il connettore Spark.

  1. Aprire il repository degli esempi di Infrastruttura in GitHub per scaricare il notebook KQL di New York GreenTaxi.

    Screenshot of GitHub repository showing the NYC GreenTaxi notebook. The Raw option is highlighted.

  2. Salvare il notebook in locale nel dispositivo.

    Nota

    Il notebook deve essere salvato nel .ipynb formato di file.

3- Importare il notebook

Il resto di questo flusso di lavoro si verifica nella sezione Ingegneria dei dati del prodotto e usa un notebook Spark per caricare ed eseguire query sui dati nel database KQL.

  1. Aprire il commutatore esperienza nella parte inferiore del riquadro di spostamento e selezionare Ingegneria dei dati.

  2. Selezionare Importa notebook.

    Screenshot of item options in Data Engineering. The item titled Import notebook is highlighted.

  3. Nella finestra Stato importazione selezionare Carica.

    Screenshot of Import status window. The button titled Upload is highlighted.

  4. Selezionare il notebook nyc GreenTaxi scaricato in un passaggio precedente.

  5. Al termine dell'importazione, tornare all'area di lavoro per aprire il notebook.

4- Ottenere dati

Per eseguire query sul database usando il connettore Spark, è necessario concedere l'accesso in lettura e scrittura al contenitore BLOB NYC GreenTaxi.

Selezionare il pulsante play per eseguire le celle seguenti oppure selezionare la cella e premere MAIUSC+ INVIO. Ripetere questo passaggio per ogni cella di codice.

Nota

Attendere che venga visualizzato il segno di spunta di completamento prima di eseguire la cella successiva.

  1. Eseguire la cella seguente per abilitare l'accesso al contenitore BLOB NYC GreenTaxi.

    Screenshot of first code cell showing storage access information.

  2. In KustoURI incollare l'URIdi query copiato in precedenza anziché il testo segnaposto.

  3. Modificare il nome del database segnaposto in nycGreenTaxi.

  4. Modificare il nome della tabella segnaposto in GreenTaxiData.

    Screenshot of second code cell showing the target database information. The Query URI, the database name, and the table name are highlighted.

  5. Eseguire la cella.

  6. Eseguire la cella successiva per scrivere dati nel database. Il completamento di questo passaggio potrebbe richiedere alcuni minuti.

    Screenshot of third code cell showing table mapping and ingestion command.

Il database include ora i dati caricati in una tabella denominata GreenTaxiData.

5- Eseguire il notebook

Eseguire le due celle rimanenti in sequenza per eseguire query sui dati dalla tabella. I risultati mostrano le prime 20 tariffe e distanze dei taxi più alte e più basse registrate per anno.

Screenshot of fourth and fifth code cell showing the query results.

6- Pulire le risorse

Pulire gli elementi creati passando all'area di lavoro in cui sono stati creati.

  1. Nell'area di lavoro passare il puntatore del mouse sul notebook che si vuole eliminare, selezionare il menu Altro [...] >Elimina.

    Screenshot of workspace showing the drop-down menu of the NYC GreenTaxi notebook. The option titled Delete is highlighted.

  2. Selezionare Elimina. Non è possibile recuperare il notebook dopo averlo eliminato.

Contenuto correlato