Copiare i dati e trasformarli con parametri dinamici ogni ora
SI APPLICA A: Azure Data Factory Azure Synapse Analytics
Suggerimento
Provare Data Factory in Microsoft Fabric, una soluzione di analisi completa per le aziende. Microsoft Fabric copre tutti gli elementi, dallo spostamento dei dati all'analisi scientifica dei dati, all'analisi in tempo reale, alla business intelligence e alla creazione di report. Scopri come avviare gratuitamente una nuova versione di valutazione .
In questo scenario si vogliono copiare dati da AWS S3 all'archiviazione BLOB di Azure e trasformarli con Azure Databricks (con parametri dinamici nello script) in base a una pianificazione oraria per 8 ore ogni giorno su 30 giorni.
I prezzi utilizzati in questo esempio di seguito sono ipotetici e non sono destinati a implicare prezzi effettivi esatti. I costi di lettura/scrittura e monitoraggio non vengono visualizzati perché in genere sono trascurabili e non influiscono in modo significativo sui costi complessivi. Le esecuzioni di attività vengono arrotondate anche ai 1000 più vicini nelle stime del calcolatore dei prezzi.
Fare riferimento al Calcolatore prezzi di Azure per scenari più specifici e per stimare i costi futuri per l'uso del servizio.
Configurazione
Per eseguire lo scenario è necessario creare una pipeline con gli elementi seguenti:
- Una sola attività di copia con un set di dati di input per i dati da copiare da AWS S3 e un set di dati di output per i dati in Archiviazione di Azure.
- Una sola attività di ricerca per passare i parametri in modo dinamico allo script di trasformazione.
- Una sola attività di Azure Databricks per la trasformazione dei dati.
- Un trigger di pianificazione per eseguire la pipeline ogni ora per 8 ore al giorno. Quando si vuole eseguire una pipeline, è possibile attivarla immediatamente o pianificarla. Oltre alla pipeline stessa, ogni istanza del trigger viene conteggiato come singola esecuzione dell'attività.
Stima dei costi
Operazioni | Tipi e unità |
---|---|
Eseguire la pipeline | 4 Esecuzioni di attività per esecuzione (1 per l'esecuzione del trigger, 3 per le esecuzioni di attività) = 960 esecuzioni di attività, arrotondate per esaurire poiché il calcolatore consente solo incrementi di 1000. |
Presupposto copia dati: ore DIU per esecuzione = 10 min | 10 min \ 60 min * 4 Runtime di integrazione di Azure (impostazione predefinita DIU = 4) Per altre informazioni sulle unità di integrazione dei dati e sull'ottimizzazione delle prestazioni della copia, vedere questo articolo |
Presupposto dell'attività Esegui ricerca: ore di attività della pipeline per esecuzione = 1 min | 1 min/ 60 min esecuzione dell'attività della pipeline |
Presupposto dell'attività Execute Databricks: external execution hours per execution = 10 min | 10 min / 60 min Esecuzione dell'attività della pipeline esterna |
Esempio di prezzi: Esempio di calcolatore prezzi
Prezzi totali dello scenario per 30 giorni: $ 41,03
Contenuto correlato
- Esempio di prezzi: copiare dati da AWS S3 ad Archiviazione BLOB di Azure ogni ora per 30 giorni
- Esempio di prezzi: copiare dati e trasformare con Azure Databricks ogni ora per 30 giorni
- Esempio di prezzi: Eseguire pacchetti SSIS nel runtime di integrazione SSIS di Azure
- Esempio di determinazione dei prezzi: Uso del debug del flusso di dati di mapping per una giornata lavorativa normale
- Esempio di prezzi: Trasformare i dati nell'archivio BLOB con flussi di dati di mapping
- Esempio di prezzi: Integrazione dei dati nella rete virtuale gestita di Azure Data Factory
- Esempio di prezzi: Ottenere dati differenziali da SAP ECC tramite SAP CDC nei flussi di dati di mapping