Avvio rapido: Spostare e trasformare i dati con flussi di dati e pipeline di dati

  • Articolo

In questa esercitazione si vedrà come l'esperienza del flusso di dati e della pipeline di dati può creare una soluzione data factory potente e completa.

Importante

Microsoft Fabric è attualmente in ANTEPRIMA. Queste informazioni si riferiscono a un prodotto di versione preliminare che può essere modificato sostanzialmente prima che venga rilasciato. Microsoft non garantisce alcuna garanzia, espressa o implicita, rispetto alle informazioni fornite qui. Vedere Azure Data Factory documentazione per il servizio in Azure.

Prerequisiti

Per iniziare, è necessario completare i prerequisiti seguenti:

Trasformare i dati con flussi di dati

Seguire questa procedura per configurare il flusso di dati.

Passaggio 1: Creare un flusso di dati

  1. Scegliere l'area di lavoro abilitata per Fabric e quindi selezionare Nuovo. Selezionare Quindi Dataflow Gen2.

    Screenshot che mostra dove iniziare a creare un flusso di dati gen2.

  2. Viene visualizzata la finestra dell'editor di flussi di dati. Selezionare la scheda Importa dalla scheda SQL Server.

    Screenshot che mostra la finestra dell'editor del flusso di dati.

Passaggio 2: Ottenere dati

  1. Nella finestra di dialogo Connetti all'origine dati visualizzata successivamente immettere i dettagli per connettersi al database Azure SQL, quindi selezionare Avanti. In questo esempio si usa il database di esempio AdventureWorksLT configurato quando si configura il database di Azure SQL nei prerequisiti.

    Screenshot che mostra come connettersi a un database Azure SQL.

  2. Selezionare i dati che si desidera trasformare e quindi selezionare Crea. Per questa guida introduttiva, selezionare SalesLT.Customer dai dati di esempio AdventureWorksLT forniti per Azure SQL DATABASE e quindi il pulsante Seleziona tabelle correlate per includere automaticamente due altre tabelle correlate.

    Screenshot che mostra dove scegliere tra i dati disponibili.

Passaggio 3: Trasformare i dati

  1. Se non è selezionata, selezionare il pulsante Visualizzazione diagramma lungo la barra di stato nella parte inferiore della pagina oppure selezionare Visualizzazione diagramma nel menu Visualizza nella parte superiore dell'editor di Power Query. Una di queste opzioni può attivare la visualizzazione diagramma.

    Screenshot che mostra dove selezionare la visualizzazione diagramma.

  2. Fare clic con il pulsante destro del mouse sulla query SalesLT Customer oppure selezionare i puntini di sospensione verticale a destra della query, quindi selezionare Merge query.

    Screenshot che mostra dove trovare l'opzione Merge query.

  3. Configurare l'unione selezionando la tabella SalesOrderHeader come tabella destra per l'unione, la colonna CustomerID da ogni tabella come colonna join e Sinistra come tipo di join. Selezionare Quindi Ok quando aggiungere la query di tipo merge.

    Screenshot della schermata Di configurazione merge.

  4. Selezionare il pulsante Aggiungi destinazione dati , simile a un simbolo di database con una freccia sopra di esso, dalla nuova query di unione appena creata. Selezionare quindi Azure SQL database come tipo di destinazione.

    Screenshot che evidenzia il pulsante Aggiungi destinazione dati nella query di unione appena creata.

  5. Specificare i dettagli per la connessione al database Azure SQL in cui verrà pubblicata la query di tipo merge. In questo esempio è possibile usare anche il database AdventureWorksLT usato come origine dati per la destinazione.

    Screenshot che mostra la finestra di dialogo Connetti alla destinazione dati con valori di esempio popolati.

  6. Scegliere un database per archiviare i dati e specificare un nome di tabella, quindi selezionare Avanti.

    Screenshot che mostra la finestra Scegli destinazione destinazione.

  7. È possibile lasciare le impostazioni predefinite nella finestra di dialogo Scegli impostazioni di destinazione e selezionare Salva impostazioni senza apportare modifiche qui.

    Screenshot che mostra la finestra di dialogo Scegli impostazioni di destinazione.

  8. Selezionare Pubblica nuovamente nella pagina dell'editor del flusso di dati per pubblicare il flusso di dati.

    Screenshot che evidenzia il pulsante Pubblica nell'editor dataflow gen2.

Spostare i dati con le pipeline di dati

Dopo aver creato un flusso di dati gen2, è possibile usarlo in una pipeline. In questo esempio verranno copiati i dati generati dal flusso di dati in formato di testo in un account Archiviazione BLOB di Azure.

Passaggio 1: Creare una nuova pipeline di dati

  1. Nell'area di lavoro selezionare Nuovo, quindi selezionare Pipeline di dati.

    Screenshot che mostra dove avviare una nuova pipeline di dati.

  2. Assegnare un nome alla pipeline e quindi selezionare Crea.

    Screenshot che mostra la nuova richiesta di creazione della pipeline con un nome della pipeline di esempio.

Passaggio 2: Configurare il flusso di dati

  1. Aggiungere una nuova attività di flusso di dati alla pipeline di dati selezionando Flusso di dati nella scheda Attività .

    Screenshot che mostra dove selezionare l'opzione Flusso di dati.

  2. Selezionare il flusso di dati nell'area di disegno della pipeline e quindi la scheda Impostazioni . Scegliere il flusso di dati creato in precedenza dall'elenco a discesa.

    Screenshot che mostra come scegliere il flusso di dati creato.

  3. Selezionare Salva e quindi Esegui per eseguire il flusso di dati per popolare inizialmente la tabella di query unita progettata nel passaggio precedente.

    Screenshot che mostra dove selezionare Esegui.

Passaggio 3: Usare l'assistente copia per aggiungere un'attività di copia

  1. Selezionare Copia dati nell'area di disegno per aprire lo strumento Copia assistente per iniziare. In alternativa, selezionare Usa assistente copia dall'elenco a discesa Copia dati nella scheda Attività sulla barra multifunzione.

    Screenshot che mostra i due modi per accedere all'assistente copia.

  2. Scegliere l'origine dati selezionando un tipo di origine dati. In questa esercitazione si userà il database Azure SQL usato in precedenza quando è stato creato il flusso di dati per generare una nuova query di merge. Scorrere verso il basso sotto le offerte di dati di esempio e selezionare la scheda Azure in Origini dati e quindi Azure SQL Database. Selezionare Quindi Avanti per continuare.

    Screenshot che mostra dove scegliere un'origine dati.

  3. Creare una connessione all'origine dati selezionando Crea nuova connessione. Compilare le informazioni di connessione necessarie nel pannello e immettere AdventureWorksLT per il database, in cui è stata generata la query di merge nel flusso di dati. Fare quindi clic su Avanti.

    Screenshot che mostra dove creare una nuova connessione.

  4. Selezionare la tabella generata nel passaggio precedente del flusso di dati e quindi selezionare Avanti.

    Screenshot che mostra come selezionare dalle tabelle disponibili.

  5. Per la destinazione scegliere Archiviazione BLOB di Azure e quindi selezionare Avanti.

    Screenshot che mostra la destinazione dati Archiviazione BLOB di Azure.

  6. Creare una connessione alla destinazione selezionando Crea nuova connessione. Specificare i dettagli per la connessione, quindi selezionare Avanti.

    Screenshot che mostra come creare una connessione.

  7. Selezionare il percorso della cartella e specificare un nome file, quindi selezionare Avanti.

    Screenshot che mostra come selezionare il percorso della cartella e il nome del file.

  8. Selezionare Di nuovo Avanti per accettare il formato di file predefinito, il delimitatore di colonne, il delimitatore di righe e il tipo di compressione, facoltativamente inclusa un'intestazione.

    Screenshot che mostra le opzioni di configurazione per il file in Archiviazione BLOB di Azure.

  9. Finalizzare le impostazioni. Esaminare quindi e selezionare OK per completare il processo.

    Screenshot che mostra come esaminare le impostazioni dei dati di copia.

Passaggio 5: Progettare la pipeline di dati e salvare per eseguire e caricare i dati

  1. Per eseguire l'attività Copia dopo l'attività Flusso di dati , trascinare da Successed nell'attività Flusso di dati all'attività Copy . L'attività Copia verrà eseguita solo dopo che l'attività Flusso di dati ha avuto esito positivo.

    Screenshot che mostra come eseguire il flusso di dati dopo l'attività di copia.

  2. Selezionare Salva per salvare la pipeline di dati. Selezionare Quindi Esegui per eseguire la pipeline di dati e caricare i dati.

    Screenshot che mostra dove selezionare Salva ed Esegui.

Pianificare l'esecuzione della pipeline

Dopo aver completato lo sviluppo e il test della pipeline, è possibile pianificarlo automaticamente.

  1. Nella scheda Home della finestra dell'editor della pipeline selezionare Pianifica.

    Screenshot del pulsante Pianificazione nel menu della scheda Home nell'editor della pipeline.

  2. Configurare la pianificazione in base alle esigenze. L'esempio seguente pianifica l'esecuzione giornaliera della pipeline alle 8:00 fino alla fine dell'anno.

    Screenshot che mostra la configurazione della pianificazione per l'esecuzione giornaliera di una pipeline alle 8:00 fino alla fine dell'anno.

Passaggi successivi

Questo esempio illustra come creare e configurare un flusso di dati gen2 per creare una query di tipo merge e archiviarla in un database Azure SQL, quindi copiare i dati dal database in un file di testo in Archiviazione BLOB di Azure. Si è appreso come:

  • Creare un flusso di dati.
  • Trasformare i dati con il flusso di dati.
  • Creare una pipeline di dati usando il flusso di dati.
  • Ordinare l'esecuzione di passaggi nella pipeline.
  • Copiare i dati con l'assistente copia.
  • Eseguire e pianificare la pipeline di dati.

Successivamente, passare per altre informazioni sul monitoraggio delle esecuzioni della pipeline.

Come monitorare le esecuzioni della pipeline in Microsoft Fabric