Creare un Collegamento ad Azure Synapse per Dataverse con Azure Data Lake

Puoi usare il servizio Collegamento ad Azure Synapse per connettere i dati Microsoft Dataverse a Azure Data Lake Storage Gen2 per abilitare vari scenari di analisi. Questo articolo mostra come eseguire le seguenti attività:

1. Connettere i dati di Dataverse all'account Azure Data Lake Storage Gen2 con il servizio Collegamento ad Azure Synapse.
2. Gestire le tabelle di Dataverse incluse nella Synapse Link di Azure.
3. Monitorare l'Synapse Link di Azure.
4. Scollegare l'Synapse Link di Azure.
5. Ricollegare il Synapse Link di Azure.
6. Visualizzare i dati in Azure Data Lake e comprendere la struttura dei file.

Note

In precedenza Azure Synapse Link per Dataverse era conosciuto come "Export to data lake." Il servizio è stato rinominato a partire da maggio 2021 e continuerà a esportare dati in Azure Data Lake nonché in Azure Synapse Analytics.

Prerequisiti

• Azure Data Lake Storage Gen2: devi avere un account Azure Data Lake Storage Gen2 e accedere con il ruolo Proprietario e Collaboratore dati BLOB di archiviazione. L'account di archiviazione deve abilitare Spazio dei nomi gerarchico sia per la configurazione iniziale che per la sincronizzazione delta. Consenti l'accesso alla chiave dell'account di archiviazione è obbligatorio solo per la configurazione iniziale. L'account di archiviazione deve avere l'ambito Consentito per le operazioni di copia impostato su Da qualsiasi account di archiviazione.

Note

• L'account di archiviazione deve essere creato nello stesso tenant Microsoft Entra tenant Power Apps.
• Per impostare Abilitato da reti virtuali selezionate e indirizzi IP per l'account di archiviazione collegato in modo da concedere l'accesso da indirizzi IP selezionati, è necessario creare Collegamento ad Azure Synapse con identità gestite.Utilizza identità gestite per Azure con Azure Data Lake Storage (senza identità gestite configurate, è necessario abilitare l'accesso alla rete pubblica per le risorse di Azure sia per la configurazione iniziale che per la sincronizzazione incrementale).
• È consigliabile abilitare la funzionalità di eliminazione temporanea nell'account di archiviazione selezionato a tale scopo. L'abilitazione dell'eliminazione temporanea consente di eseguire più rapidamente il ripristino da eliminazioni accidentali di dati.
• Devi avere il ruolo di Lettore per accedere al gruppo di risorse con l'account di archiviazione.
• Per collegare l'ambiente a Azure Data Lake Storage Gen2, devi disporre del ruolo di sicurezza Amministratore di sistema di Dataverse.
• Solo le tabelle con il rilevamento delle modifiche abilitato possono essere esportate.
• La creazione di profili Collegamento ad Azure Synapse in un singolo ambiente Dataverse è limitata a un massimo di 10.

Connettere Dataverse a Azure Data Lake Storage Gen2

1. Accedere a Power Apps e selezionare l'ambiente preferito.

2. Nel riquadro di spostamento sinistro selezionare Azure Synapse Link. Se Azure Synapse Link non è visibile nel pannello laterale, selezionare ... Altro e selezionare Scopri tutto. Collegamento ad Azure Synapse si trova nella sezione Gestione dati.

3. Nella barra dei comandi, seleziona + Nuovo collegamento a data lake.

4. Seleziona Sottoscrizione, Gruppo di risorse e Account di archiviazione. Assicurati che l'account di archiviazione soddisfi i requisiti specificati nella sezione Prerequisiti. Selezionare Avanti.

   Note

   Come parte del collegamento dell'ambiente a un data lake, si concede all'account di archiviazione l'accesso al servizio Azure Synapse Link. Assicurarsi di aver seguito i prerequisiti di creazione e configurazione dell'account di archiviazione Azure Data Lake e di essersi assegnati il ruolo di proprietario nell'account di archiviazione. Inoltre, concedi al servizio Flussi di dati di Power Platform l'accesso all'account di archiviazione. Ulteriori informazioni: Preparazione di dati self-service con flussi di dati.

5. Scegli le tabelle che desideri esportare selezionandole una per una o immettendo un elenco di tabelle separate da virgole nella casella di ricerca e quindi seleziona Salva. Solo le tabelle con la proprietà Rileva modifiche possono essere esportate. Altre informazioni: Opzioni avanzate per le tabelle.

   

Puoi seguire i passaggi in questo articolo per creare un collegamento da un ambiente a più data lake di Azure nella sottoscrizione di Azure. Analogamente, è possibile creare un collegamento da più ambienti allo stesso Azure Data Lake, tutti all'interno dello stesso tenant.

Note

L'Synapse Link di Azure per il servizio Dataverse è perfettamente integrato in Power Platform come funzionalità predefinita. Soddisfa gli standard di sicurezza e governance stabiliti per l'archiviazione e la governance dei dati Power Platform. Altre informazioni: Archiviazione e governance dei dati

I dati esportati dal servizio Collegamento ad Azure Synapse vengono crittografati durante il transito usando Transport Layer Security (TLS) versione 1.2 o superiore e crittografati a riposo in Azure Data Lake Storage Gen2. Anche i dati temporanei nell'archiviazione BLOB sono crittografati quando inattivi. La crittografia in Azure Data Lake Storage Gen2 consente di proteggere i dati, implementare criteri di sicurezza aziendali e soddisfare i requisiti di conformità alle normative. Per altre informazioni, vedere Crittografia dati a riposo di Azure.

Gestire l'esportazione di dati di tabella nel data lake

Dopo aver configurato l'Synapse Link di Azure, è possibile gestire le tabelle esportate in uno dei due modi seguenti:

• Nell'area Collegamento ad Azure Synapse di Power Apps Maker Portal, seleziona Gestisci tabelle nella barra dei comandi per aggiungere o rimuovere una o più tabelle collegate.

• Nell'area Power Apps Maker portal Tables selezionare ... accanto a una tabella e quindi selezionare il data lake collegato in cui si desidera esportare i dati della tabella.

  

Monitorare l'Synapse Link di Azure

Dopo aver configurato Collegamento ad Azure Synapse, puoi monitorarlo nella scheda Tabelle.

• Verrà visualizzato un elenco di tabelle che fanno parte del Synapse Link di Azure selezionato.
• Ci sono diverse fasi in cui passerà lo stato di sincronizzazione. Non iniziato indica che la tabella è in attesa di essere sincronizzata. Una volta che la sincronizzazione iniziale della tabella è stata Completata, ci sarà una fase di post-elaborazione in cui non si verificheranno aggiornamenti incrementali. A seconda delle dimensioni dei dati la fase potrebbe durare alcune ore. Quando gli aggiornamenti incrementali riprendono, la data dell'ultima sincronizzazione verrà aggiornata regolarmente.
• La colonna Conteggio mostra il numero di righe scritte. Quando Aggiungi solo è impostato su No, questo è il numero totale di record. Quando Aggiungi solo è impostato su Sì, questo è il numero totale di modifiche.
• Le colonne Solo aggiunta e Strategia di partizione mostrano l'utilizzo di diverse configurazioni avanzate.

Scollegamento di un Synapse Link di Azure

1. Selezionare il collegamento ad Azure Synapse da scollegare.

2. Seleziona Scollega data lake nella barra dei comandi.

3. Per eliminare entrambi i file system del data lake, seleziona Elimina file system data lake.

4. Seleziona Sì e attendi alcuni minuti per scollegare ed eliminare tutto.

Ricollegamento di un Synapse Link di Azure

Se il file system è stato eliminato durante l'scollegamento, seguire i passaggi precedenti per ricollegare lo stesso data lake. Se non hai eliminato il file system durante lo scollegamento, devi cancellare i dati per ricollegare:

1. Accedi ad Azure Data Lake.

2. Elimina il contenitore Dataverse.

3. Accedi a Power Apps e ricollega il data lake.

Visualizzare i dati in Azure Data Lake Storage Gen 2

1. Seleziona il servizio Collegamento ad Azure Synapse desiderato, quindi seleziona Vai ad Azure Data Lake nel pannello superiore.

2. Espandi File System, quindi seleziona dataverse-environmentName-organizationUniqueName.

Il file model.json, insieme al nome e alla versione, fornisce un elenco di tabelle che sono state esportate nel data lake. Il file model.json include anche lo stato di sincronizzazione iniziale e il tempo di completamento della sincronizzazione.

Una cartella che include file di snapshot delimitati da virgole (formato CSV) viene visualizzata per ogni tabella esportata nel data lake.

Collegare l'area di lavoro Synapse a un profilo Collegamento ad Azure Synapse esistente con solo Data Lake

1. Nella barra degli indirizzi di un Web browser aggiungere ?athena.updateLake=true all'indirizzo Web che termina con exporttodatalake.

2. Seleziona un profilo esistente dall'area Collegamento ad Azure Synapse, quindi seleziona l'opzione estesa.

3. Seleziona Collega all'area di lavoro Azure Synapse Analytics e attendi alcuni minuti per scollegare ed eliminare tutto.

Aggiornamenti continui degli snapshot

I dati di Microsoft Dataverse possono cambiare continuamente tramite le transazioni di creazione, aggiornamento ed eliminazione. Gli snapshot forniscono una copia di sola lettura dei dati che viene aggiornata a intervalli regolari, in questo caso ogni ora. Ciò garantisce che in qualsiasi momento un consumatore di analisi dei dati possa utilizzare in modo affidabile i dati nel data lake.

Quando le tabelle vengono aggiunte come parte dell'esportazione iniziale, i dati di tabella vengono scritti nei file table.csv che si trovano nelle cartelle corrispondenti nel data lake. Questo è l'intervallo T1, in cui viene creato un file di snapshot di sola lettura denominato tabella-T1.csv (ad esempio, Account-T1.csv o Contatti-T1.csv). Inoltre, il file model.json viene aggiornato per puntare a questi file di snapshot. Aprendo il file model.json, puoi visualizzare i dettagli dello snapshot.

Ecco un esempio di file partizionato Account.csv e cartella snapshot nel data lake.

Le modifiche in Dataverse vengono continuamente inviate ai file CSV corrispondenti utilizzando il motore di feed di afflusso. Questo è l'intervallo T2, in cui viene acquisito un altro snapshot. tabella-T2.csv, ad esempio, Account-T2.csv o Contatti-T2.csv (supponendo che siano presenti modifiche per la tabella), e model.json vengono aggiornati ai nuovi file di snapshot. Ogni nuova persona che visualizza i dati snapshot da T2 in poi viene indirizzata ai file di snapshot più recenti. In questo modo, il visualizzatore di snapshot originale potrebbe continuare a funzionare sui file T1 di snapshot meno recenti mentre i visualizzatori più recenti possono leggere gli ultimi aggiornamenti. Ciò è utile in scenari con processi a valle più lunghi.

Note

• Viene creato un nuovo file di snapshot solo quando è presente un aggiornamento dei dati.
• Vengono conservati solo gli ultimi cinque file di snapshot. I dati stagnanti vengono automaticamente rimossi dal tuo account Azure Data Lake Storage Gen 2.

Ecco un esempio del file model.json, che punta sempre all'ultimo file di snapshot dell'account con timestamp.

Cosa succede dopo?

Dopo aver usato correttamente azure Synapse Link per il servizio Dataverse, scoprire come analizzare e usare i dati con Discover Hub. Per accedere a Discover Hub, passare a Power Apps>Azure Synapse Link. Seleziona il tuo servizio collegato e quindi seleziona la scheda Scopri Hub. Qui puoi trovare strumenti consigliati e documentazione curata per aiutarti a ottenere il massimo valore dai tuoi dati.

Vedere anche

Analizzare dati Dataverse nel data lake con Power BI

Inserire dati nel data lake con Azure Data Factory

Collegamento ad Azure Synapse per la configurazione avanzata di Dataverse

Domande frequenti su Azure Synapse Link