Applicazione di FinOps ad Azure Data Factory

Questo articolo descrive come applicare FinOps in Azure Data Factory.

Che cos'è FinOps?

Il Consiglio di consulenza tecnica di FinOps Foundation definisce di conseguenza FinOps:

FinOps è una disciplina di gestione finanziaria e una pratica culturale cloud in continua evoluzione che consente alle organizzazioni di ottenere il massimo valore aziendale aiutando i team tecnici, finanziari, tecnologici e aziendali a collaborare alle decisioni di spesa basate sui dati.

Al suo centro, FinOps è una pratica culturale. È il modo in cui i team gestiscono i costi del cloud, in cui tutti acquisiscono la proprietà dell'utilizzo del cloud supportato da un gruppo centrale di procedure consigliate. I team interfunzionali in Engineering, Finance, Product e così via collaborano per consentire una distribuzione più rapida dei prodotti, ottenendo allo stesso tempo maggiore controllo finanziario e prevedibilità.

Come applicare FinOps ad Azure Data Factory

Azure Data Factory è il servizio ETL (extract, transform, load) di Microsoft Integrazione dei dati nel cloud. Per ottenere controlli di budget e costi efficaci nella data factory, viene prima esaminato come comprendere il modello di determinazione dei prezzi. È quindi importante analizzare la spesa a livello di factory e pipeline. A tale scopo, è possibile usare i report a consumo predefiniti della data factory e a livello di sottoscrizione di Azure usando le funzionalità di gestione dei costi e analisi dei costi di Azure. Infine, si parla dell'impostazione dei limiti di spesa per la sottoscrizione di Azure per fornire controlli dei costi.

Informazioni sui prezzi di Azure Data Factory

Il grafico seguente illustra il flusso generale del calcolo dei prezzi della data factory. Illustra come usare il Calcolatore prezzi di Azure per calcolare i prezzi. Nel complesso, le parti principali per comprendere la fatturazione della data factory comportano questi costi: orchestrazione, esecuzione, tipo di runtime di integrazione (IR), spostamento dei dati (copia) e flussi di dati.

1. Controllare se il runtime di integrazione dell'origine o del sink di data factory usa la rete virtuale gestita. In tal caso, l'orchestrazione e l'esecuzione vengono calcolate usando il runtime di integrazione della rete virtuale gestita di Azure. In caso contrario, procedere con il passaggio successivo.
2. Verificare se l'origine o il sink usa il runtime di integrazione self-hosted. In tal caso, l'orchestrazione e l'esecuzione vengono calcolate dal runtime di integrazione self-hosted e il costo totale è uguale alla somma dei costi per l'orchestrazione e l'esecuzione. In caso contrario, l'orchestrazione e l'esecuzione vengono calcolate dal runtime di integrazione di Azure.
3. Per Il runtime di integrazione di Azure e il runtime di integrazione di rete virtuale gestita di Azure, verificare se si usa il flusso di dati. In tal caso, il costo totale è uguale alla somma dei costi per il cluster del flusso di dati, l'orchestrazione e l'esecuzione. In caso contrario, il costo totale è semplicemente la somma dei costi per l'orchestrazione e l'esecuzione.

Scenari di esempio

Verranno ora esaminati diversi esempi di scenari comuni di data factory e costi stimati associati a ogni carico di lavoro. Durante l'esecuzione di ogni esempio, tenere presenti questi standard per i costi della data factory:

• Quando si esamina la fattura, tenere presente che la data factory arrotonda fino al minuto per ogni durata dell'attività, ovvero 1 min 1 sec = fatturazione di 2 minuti.
• Gli esempi seguenti sono basati su scenari comuni e mostrano i costi stimati.
• Altri costi possono essere sostenuti dagli archivi dati e dai servizi esterni in Azure usati.
• I costi effettivi possono variare leggermente rispetto a questi esempi in base alle condizioni del contratto di vendita disponibili con Microsoft.
• Questo collegamento fornisce altri esempi: Informazioni sui prezzi di Azure Data Factory tramite esempi.

Esempio: Copiare dati e trasformare con Azure Databricks ogni ora

In questo scenario si vogliono copiare dati da AWS S3 ad Archiviazione BLOB di Azure e trasformare i dati con Azure Databricks in base a una pianificazione oraria per 8 ore al giorno per 30 giorni.

I prezzi usati in questo esempio sono ipotetici e non sono destinati a implicare prezzi esatti effettivi. I costi di lettura/scrittura e monitoraggio non vengono visualizzati perché in genere sono trascurabili e non influiscono significativamente sui costi complessivi. Le esecuzioni di attività vengono arrotondate anche ai 1000 più vicini nelle stime del calcolatore dei prezzi.

Configurazione

Per eseguire lo scenario è necessario creare una pipeline con gli elementi seguenti:

1. Una sola attività di copia con un set di dati di input per i dati da copiare da AWS S3 e un set di dati di output per i dati in Archiviazione di Azure.
2. Una sola attività di Azure Databricks per la trasformazione dei dati.
3. Un trigger pianificato per eseguire la pipeline ogni ora. Quando si vuole eseguire una pipeline, è possibile attivarla immediatamente o pianificarla. Oltre alla pipeline stessa, ogni istanza del trigger viene conteggiato come singola esecuzione dell'attività.

Stima dei costi

Fare riferimento al Calcolatore prezzi di Azure e al flusso seguendo questa procedura:

1. Se sia l'origine che il sink non usano la rete virtuale gestita di Azure, passare al passaggio 2.
2. Se sia l'origine che il sink non usano runtime di integrazione self-hosted, l'orchestrazione e l'esecuzione vengono calcolate usando Il runtime di integrazione di Azure.
3. In questo caso viene usata solo l'attività di copia e un'attività esterna. Non usa l'attività del flusso di dati, quindi il costo totale è uguale alla somma dei costi per l'orchestrazione e l'esecuzione.

Prezzi stimati per un mese (8 ore al giorno per 30 giorni):

Tipi	Calcolo
Orchestrazione (numero di esecuzioni di attività in migliaia)	3 esecuzioni di attività per esecuzione (1 per l'esecuzione del trigger, 2 per le esecuzioni di attività). Conteggi delle esecuzioni di attività/mese = 3 * 8 * 30 = 720. Numero di esecuzioni di attività in migliaia/mese = 1
Esecuzione	1. Ore DIU (Data Integration Unit):    • Ore DIU per esecuzione = 10 min    • Impostazione DIU predefinita = 4    • Ore DIU al mese = (10 min / 60 min) * 4 * 8 * 30 = 160 2. Ore di esecuzione dell'attività della pipeline esterna:    • Tempo di esecuzione: 10 minuti    • Ore di esecuzione dell'attività della pipeline esterna = (10 min / 60 min) * 8 * 30 = 40

Esempio di calcolatore prezzi

Prezzi totali dello scenario per 30 giorni: $ 41,01

Esempio: uso del debug del flusso di dati di mapping per una giornata lavorativa normale

Questo esempio mostra i costi di debug del flusso di dati per una giornata lavorativa tipica per un data engineer. I prezzi usati nell'esempio seguente sono ipotetici e non sono destinati a implicare prezzi effettivi esatti. I costi di lettura/scrittura e monitoraggio non vengono visualizzati perché in genere sono trascurabili e non influiscono significativamente sui costi complessivi. Le esecuzioni di attività vengono arrotondate anche ai 1000 più vicini nelle stime del calcolatore dei prezzi.

Tecnico di Azure Data Factory

Un data factory engineer è responsabile della progettazione, della compilazione e del test dei flussi di dati di mapping ogni giorno. Il tecnico accede ad Azure Data Factory Studio al mattino e abilita la modalità di debug per i flussi di dati. La durata (TTL) predefinita per le sessioni di debug è di 60 minuti. Il tecnico lavora durante tutto il giorno per 8 ore, quindi la sessione di debug non scade mai. Pertanto, gli addebiti del tecnico per il giorno sono:

8 ore * 8 core ottimizzati per il calcolo * $ 0,193 all'ora per core = $ 12,35

Definizione del budget

Quando si pianifica un'implementazione di Azure Data Factory, è importante comprendere e prevedere i costi per creare un budget per i progetti ETL e di integrazione dei dati.

Selezionare il pulsante del report sull'utilizzo dalla visualizzazione di monitoraggio della pipeline per ottenere uno snapshot delle unità fatturate per ogni esecuzione.

Nella pagina di monitoraggio è possibile usare manualmente il report sull'utilizzo per qualsiasi esecuzione della pipeline da un'esecuzione di debug o attivata manualmente o anche da un'esecuzione automatica del trigger.

Il report sull'utilizzo della pipeline di data factory fornisce le unità stimate fatturate. È possibile eseguire questi test usando un'esecuzione di debug della pipeline in set di dati più piccoli e quindi estrapolare il budget di produzione da queste stime.

Il report sull'utilizzo fornisce valori in unità. Per derivare una stima monetaria da questo valore, moltiplicare il valore delle unità in questo report in base al prezzo nell'area in base al calcolatore prezzi di Azure. Ciò produce una stima per l'esecuzione della pipeline. Una procedura consigliata consiste nell'eseguire la pipeline più volte con set di dati diversi per ottenere un intervallo di costi di base e usare una media di queste esecuzioni per il budget.

Ottimizzazione dei costi di Azure

Questa sezione illustra l'ottimizzazione dei costi con gestione dei costi Microsoft, Azure Advisor e per le istanze riservate in Data Factory.

Gestione dei costi Microsoft

Microsoft Azure offre strumenti che consentono di tenere traccia, ottimizzare e controllare la spesa di Azure. Se la spesa per data factory è una priorità assoluta, è consigliabile creare un gruppo di risorse separato in Azure per ogni data factory. In questo modo, è facile creare budget, tenere traccia della spesa e applicare controlli dei costi usando Gestione costi Microsoft.

Oggi le organizzazioni lavorano più duramente che mai per controllare la spesa e fare di più con meno. È possibile usare la funzionalità Budget di Azure per impostare i limiti di spesa per l'utilizzo di Azure Data Factory v2 e il gruppo di risorse di Azure complessivo usato per data factory.

Nella finestra Crea budget usare i filtri per scegliere il servizio Azure Data Factory o un gruppo di risorse.

Azure Advisor

Un altro strumento utile per ottimizzare il budget di Azure è Azure Advisor. Con Azure Advisor è possibile ricevere raccomandazioni per ridurre la spesa complessiva di Azure. Ciò include l'utilizzo dei prezzi delle istanze riservate di Azure Data Factory per ridurre i costi dei flussi di dati di mapping. È anche possibile pagare gli addebiti di Azure Data Factory con il credito di pagamento anticipato di Azure.

Istanze riservate in Azure Data Factory

Le istanze riservate sono disponibili in Azure Data Factory per i flussi di dati di mapping, che è possibile usare per offrire risparmi rispetto al prezzo di listino normale dei flussi di dati. Con le istanze riservate, si pre-acquistano prenotazioni di 1 anno o 3 anni a livelli di sconto in base alla lunghezza della prenotazione. Per visualizzare una visualizzazione personalizzata dei risparmi sui costi usando le istanze riservate, passare al portale di Azure e scegliere Prenotazioni, quindi selezionare Data factory. Da qui si sceglierà il tipo di flussi di dati in genere usati e il portale di Azure stimarà quindi i risparmi futuri in base all'utilizzo precedente della data factory.

Riservare la capacità del flusso di dati di mapping usando istanze riservate può offrire uno sconto immediato sulla spesa complessiva della data factory correlata direttamente all'utilizzo del flusso di dati.

Rilevamento della spesa per la data factory

Quando si compila l'infrastruttura di integrazione dei dati in Azure, è importante tenere traccia della spesa nel tempo. Esistono diversi modi per tenere traccia del budget della data factory. Per impostazione predefinita, data factory fornisce un costo riepilogato predefinito per la factory in base ai diversi contatori di fatturazione utilizzati dal servizio.

Come usare la visualizzazione granulare della fatturazione della pipeline

È possibile chiedere alla data factory di fornire un rollup a livello di pipeline dei costi impostando la factory da usare per la fatturazione della pipeline come opzione nelle impostazioni factory.

Questa vista offre una suddivisione della spesa della data factory per ogni pipeline. Ciò può essere utile per attribuire i costi a un livello di elemento riga anziché a un rollup di factory (ovvero l'impostazione predefinita).

La vista a livello di pipeline della fattura della data factory è utile per attribuire i costi complessivi della data factory a ogni risorsa della pipeline. È anche utile fornire un meccanismo facile da usare per implementare il chargeback agli utenti della fabbrica, sia per l'utilizzo interno dell'organizzazione che per l'utilizzo di clienti esterni o partner.

Come usare i tag per l'attribuzione dei costi della pipeline

Un altro meccanismo per tenere traccia dei costi di attribuzione dei costi per la risorsa data factory consiste nell'usare l'assegnazione di tag nella factory. È possibile assegnare lo stesso tag alla data factory e ad altre risorse di Azure, inserendoli nella stessa categoria per visualizzare la fatturazione consolidata. Tutti gli IR SSIS (SQL Server Integration Services) all'interno della factory ereditano questo tag. Tenere presente che, se si modifica il tag della data factory, è necessario arrestare e riavviare tutti gli IR SSIS all'interno della factory per ereditare il nuovo tag. Per altri dettagli, vedere la sezione riconfigurare SSIS IR.

Contenuto correlato

• Pianificare la gestione dei costi per Azure Data Factory
• Informazioni sui prezzi di Azure Data Factory tramite esempi
• Calcolatore prezzi di Azure