Condividi tramite

Esercitazione: Scrivere in una tabella Delta archiviata in Azure Data Lake Archiviazione Gen2

  • Articolo

Questa esercitazione illustra come creare un processo di Analisi di flusso per scrivere in una tabella Delta in Azure Data Lake Archiviazione Gen2. In questa esercitazione apprenderai a:

  • Distribuire un generatore di eventi che invia dati di esempio all'hub eventi
  • Creare un processo di Analisi di flusso.
  • Configurare Azure Data Lake Archiviazione Gen2 con una tabella delta
  • Eseguire il processo di Analisi di flusso

Prerequisiti

Prima di iniziare, completare i passaggi seguenti:

  • Se non hai una sottoscrizione di Azure, crea un account gratuito.
  • Distribuire il generatore di eventi TollApp in Azure, usare questo collegamento per distribuire il modello di Azure TollApp. Impostare il parametro 'interval' su 1. Creare e usare un nuovo gruppo di risorse per questo passaggio.
  • Creare un account Data Lake Archiviazione Gen2.

Creare un processo di Analisi di flusso.

  1. Accedere al portale di Azure.

  2. Scegliere Tutti i servizi dal menu a sinistra.

  3. Spostare il mouse sui processi di Analisi di flusso nella sezione Analisi e selezionare + (più).

    Screenshot che mostra la selezione dei processi di Analisi di flusso nella pagina Tutti i servizi.

  4. Selezionare Crea risorsa nell'angolo superiore sinistro del portale di Azure.

  5. Selezionare Analisi>Processo di Analisi di flusso nell'elenco risultati.

  6. Nella pagina Nuovo processo di Analisi di flusso seguire questa procedura:

    1. Per Sottoscrizione selezionare la sottoscrizione di Azure.
    2. Per Gruppo di risorse selezionare la stessa risorsa usata in precedenza nella distribuzione TollApp.
    3. In Nome immettere un nome per il processo. Il nome del processo di Analisi di flusso può contenere solo caratteri alfanumerici, trattini e caratteri di sottolineatura e deve avere una lunghezza compresa tra 3 e 63 caratteri.
    4. Per Ambiente di hosting verificare che Cloud sia selezionato.
    5. Per Unità di flusso selezionare 1. Le unità di streaming rappresentano le risorse di calcolo necessarie per eseguire un processo. Per informazioni sul ridimensionamento delle unità di streaming, vedere l'articolo Informazioni sulle unità di streaming.

    Screenshot che mostra la pagina Crea processo di Analisi di flusso.

  7. Selezionare Rivedi e crea nella parte inferiore della pagina.

  8. Nella pagina Rivedi e crea rivedere le impostazioni e selezionare Crea per creare una pagina di Analisi di flusso.

  9. Nella pagina di distribuzione selezionare Vai alla risorsa per passare alla pagina del processo di Analisi di flusso.

Configurare l'input del processo

Il passaggio successivo consiste nel definire un'origine di input per il processo per leggere i dati usando l'hub eventi creato nella distribuzione TollApp.

  1. Trovare il processo di Analisi di flusso creato nella sezione precedente.

  2. Nella sezione Topologia processo del processo di Analisi di flusso selezionare Input.

  3. Selezionare + Aggiungi input e Hub eventi.

    Screenshot che mostra la pagina Input.

  4. Compilare il modulo di input con i valori seguenti creati tramite il modello di Azure TollApp:

    1. Per Alias di input immettere entrystream.

    2. Scegliere Seleziona hub eventi dalle sottoscrizioni.

    3. Per Sottoscrizione selezionare la sottoscrizione di Azure.

    4. Per Spazio dei nomi dell'hub eventi selezionare lo spazio dei nomi dell'hub eventi creato nella sezione precedente.

    5. Usare le opzioni predefinite per le restanti impostazioni e selezionare Salva.

      Screenshot che mostra la selezione dell'hub eventi di input.

Configurare l'output del processo

Il passaggio successivo consiste nel definire un sink di output in cui il processo può scrivere dati. In questa esercitazione si scrive l'output in una tabella Delta in Azure Data Lake Archiviazione Gen2.

  1. Nella sezione Topologia processo del processo di Analisi di flusso selezionare l'opzione Output.

  2. Selezionare + Aggiungi archiviazione BLOB di output>/ADLS Gen2.

    Screenshot che mostra la pagina Output.

  3. Compilare il modulo di output con i dettagli seguenti e selezionare Salva:

    1. Per Alias di output immettere DeltaOutput.

    2. Scegliere Seleziona archiviazione BLOB/ADLS Gen2 dalle sottoscrizioni.

    3. Per Sottoscrizione selezionare la sottoscrizione di Azure.

    4. Per Archiviazione account, scegliere l'account ADLS Gen2 (quello che inizia con tollapp) creato.

    5. Per contenitore selezionare Crea nuovo e specificare un nome di contenitore univoco.

    6. Per Formato di serializzazione eventi selezionare Delta Lake. Anche se Delta Lake è elencato come una delle opzioni qui, non è un formato di dati. Delta Lake usa file Parquet con controllo delle versioni per archiviare i dati. Per altre informazioni su Delta Lake.

    7. Per Percorso tabella Delta immettere la cartella dell'esercitazione/la tabella delta.

    8. Usare le opzioni predefinite per le restanti impostazioni e selezionare Salva.

      Screenshot che mostra la configurazione dell'output.

Creare query

A questo punto il processo di Analisi di flusso è configurato per la lettura di un flusso di dati in ingresso. Il passaggio successivo consiste nel creare una query che analizzi i dati in tempo reale. Le query usano un linguaggio simile a SQL che include alcune estensioni specifiche di Analisi di flusso.

  1. Selezionare ora Query in Topologia processo nel menu a sinistra.

  2. Immettere la query seguente nella finestra di query. In questo esempio la query legge i dati da Hub eventi e copia i valori selezionati in una tabella Delta in ADLS Gen2.

     SELECT State, CarModel.Make, TollAmount
 INTO DeltaOutput
 FROM EntryStream TIMESTAMP BY EntryTime

  3. Selezionare Salva query sulla barra degli strumenti.

    Screenshot che mostra la query per il processo.

Avviare il processo di Analisi di flusso e controllare l'output

  1. Tornare alla pagina di panoramica del processo nella portale di Azure e selezionare Avvia.

    Screenshot che mostra la selezione del pulsante Avvia processo nella pagina Panoramica.

  2. Nella pagina Avvia processo verificare che l'opzione Ora sia selezionata per Ora di inizio dell'output del processo e quindi selezionare Avvia nella parte inferiore della pagina.

    Screenshot che mostra la selezione della pagina Avvia processo.

  3. Dopo alcuni minuti, nel portale trovare l'account di archiviazione e il contenitore configurato come output per il processo. È ora possibile visualizzare la tabella delta nella cartella specificata nel contenitore. L'avvio del processo richiede alcuni minuti per la prima volta, dopo l'avvio, continuerà a essere eseguito man mano che arrivano i dati.

    Screenshot che mostra i file di dati di output nel contenitore.

Pulire le risorse

Quando non sono più necessari, eliminare il gruppo di risorse, il processo di Analisi di flusso e tutte le risorse correlate. Eliminando il processo si evita di pagare per le unità di streaming usate dal processo. Se si prevede di usare il processo in futuro, è possibile arrestarlo e riavviarlo in un secondo momento, quando è necessario. Se non si intende continuare a usare questo processo, eliminare tutte le risorse create da questa esercitazione attenendosi alla procedura seguente:

  1. Scegliere Gruppi di risorse dal menu a sinistra del portale di Azure e quindi selezionare il nome della risorsa creata.
  2. Nella pagina del gruppo di risorse selezionare Elimina, digitare il nome della risorsa da eliminare nella casella di testo e quindi selezionare Elimina.

Passaggi successivi

In questa esercitazione è stato creato un semplice processo di Analisi di flusso, sono stati filtrati i dati in ingresso e sono stati scritti i risultati in una tabella Delta nell'account ADLS Gen2. Per altre informazioni sui processi di Analisi di flusso:

AsA scrive nell'output delta Lake