Fornire un contratto di servizio per le pipeline di dati

SI APPLICA A: Azure Data Factory Azure Synapse Analytics

Suggerimento

Provare Data Factory in Microsoft Fabric, una soluzione di analisi all-in-one per le aziende. Microsoft Fabric copre tutto, dallo spostamento dati al data science, all'analisi in tempo reale, alla business intelligence e alla creazione di report. Vedere le informazioni su come iniziare una nuova prova gratuita!

Azure Data Factory è amato e attendibile dalle aziende in tutto il mondo. Poiché il servizio ETL cloud nativo di Azure per l'integrazione e la trasformazione dei dati senza server con scalabilità orizzontale, viene ampiamente usato per implementare pipeline di dati per preparare, elaborare e caricare i dati in data warehouse aziendale o data lake.

Dopo la pubblicazione delle pipeline di dati, tramite l'integrazione continua e il recapito (CI/CD) in modalità Git o direttamente in modalità dinamica, vengono in genere eseguiti in Autopilot. Possono essere eseguiti in base a un orario predefinito, con un trigger di pianificazione o un trigger di finestra a cascata oppure possono essere eseguiti in un'architettura basata su eventi, con un trigger di eventi di archiviazione o un trigger di eventi personalizzato. Sono affidate a carichi di lavoro cruciali, alla preparazione dei dati per report aziendali o analisi dei dati e progetti di Machine Learning.

Avvisi preemptive per i processi a esecuzione prolungata

Esistono due sfide principali che offrono contratti di servizio per queste pipeline di dati:

• L'ambiente di calcolo per le attività, ad esempio SQL per un'attività stored procedure, può limitare, rallentare l'intera pipeline di dati e compromettere il contratto di servizio della pipeline.
• Gli sviluppatori di pipeline non sempre monitorano attivamente la factory e cercano in modo proattivo pipeline a esecuzione prolungata che perderanno i contratti di servizio.

Per risolvere questi problemi, se configurati correttamente, le esecuzioni della pipeline generano metriche di esecuzione della pipeline di tempo trascorso in caso di contratto di servizio mancante. In combinazione con gli avvisi di Data Factory, gli sviluppatori di pipeline di dati offrono migliori contratti di servizio ai clienti: si indica quanto tempo deve essere eseguita una pipeline e si riceverà una notifica, in modo proattivo, quando la pipeline viene eseguita più a lungo del previsto.

Per ogni pipeline in cui si vogliono creare avvisi, durante la fase di creazione passare alle impostazioni della pipeline facendo clic sullo spazio vuoto nell'area di disegno della pipeline.

Nella scheda Impostazioni selezionare Metrica temporale trascorsa e specificare la durata prevista dell'esecuzione della pipeline con formato D.HH:MM:SS. È consigliabile impostarlo sul contratto di servizio aziendale, la quantità di tempo che la pipeline può richiedere per soddisfare le esigenze aziendali. Quando una durata della pipeline supera questa impostazione, Data Factory logrà una metrica di esecuzione della pipeline temporale trascorsa (ID metrica: PipelineElapsedTimeRuns) in Monitoraggio di Azure. In altre parole, si riceverà una notifica sulle pipeline a esecuzione prolungata prima del completamento della pipeline.

Alcune pipeline richiedono naturalmente più tempo per terminare rispetto ad altre, perché hanno più passaggi o spostano più dati. Non è disponibile alcuna definizione adatta alle dimensioni per le pipeline a esecuzione prolungata. È consigliabile definire la soglia per ogni pipeline in cui è necessario un contratto di servizio. Quando si registra la metrica per una determinata pipeline, si confronterà con l'impostazione definita dall'utente per la durata prevista dell'esecuzione.

Nota

Si tratta di una funzionalità per consenso esplicito della pipeline. Non verrà mai registrata alcuna metrica per una pipeline, se non viene specificata alcuna durata di esecuzione prevista per la pipeline indicata in precedenza.

Seguire la procedura per configurare gli avvisi di Data Factory nella metrica. I tecnici riceveranno una notifica per intervenire e adottare misure per soddisfare i contratti di servizio, tramite e-mail o SMS.

Contenuto correlato

Metriche e avvisi di Data Factory

Monitorare visivamente