Limiti di concorrenza e accodamento in Microsoft Fabric Spark

  • Articolo

Si applica a: Ingegneria dei dati e Data Science in Microsoft Fabric

Microsoft Fabric consente l'allocazione di unità di calcolo tramite capacità, ovvero un set dedicato di risorse disponibili in un determinato momento da usare. La capacità definisce la capacità di una risorsa di eseguire un'attività o di produrre output. Diversi elementi utilizzano capacità diversa in un determinato momento. Microsoft Fabric offre capacità tramite gli SKU e le versioni di valutazione di Fabric. Per altre informazioni, vedere Che cos'è la capacità?

Importante

Microsoft Fabric è disponibile in anteprima.

Quando gli utenti creano una capacità di Microsoft Fabric in Azure, possono scegliere una dimensione della capacità in base alle dimensioni del carico di lavoro di analisi. In Spark gli utenti ottengono due VCore Spark per ogni unità di capacità riservata come parte dello SKU.

Un'unità di capacità = due VCore Spark

Dopo aver acquistato la capacità, gli amministratori possono creare aree di lavoro all'interno della capacità in Microsoft Fabric. I VCore Spark associati alla capacità vengono condivisi tra tutti gli elementi basati su Spark, ad esempio notebook, definizioni di processi Spark e la lakehouse creata in queste aree di lavoro.

Limitazione e accodamento della concorrenza

La sezione seguente elenca vari limiti numerici per i carichi di lavoro Spark in base agli SKU di capacità di Microsoft Fabric:

SKU della capacità SKU di Power BI equivalente Unità di capacità VCore Spark equivalenti Numero massimo di processi simultanei Limite di coda
F2 - 2 4 1 4
F4 - 4 8 1 4
F8 - 8 16 2 8
F16 - 16 32 4 16
F32 - 32 64 8 32
F64 P1 64 128 16 64
Versione di valutazione di Fabric P1 64 128 5 -
F128 P2 128 256 32 128
F256 P3 256 512 64 256
F512 P4 512 1024 128 512

Il meccanismo di accodamento è una semplice coda basata su FIFO, che controlla gli slot di processo disponibili e ritenta automaticamente i processi dopo che la capacità è diventata disponibile. Poiché sono presenti elementi diversi, ad esempio notebook, definizione di processo Spark e lakehouse che gli utenti possono usare in qualsiasi area di lavoro. Poiché l'utilizzo varia in diversi team aziendali, gli utenti potrebbero eseguire scenari di fame in cui esiste una dipendenza solo dal tipo di elemento, ad esempio una definizione di processo Spark. Questa situazione può comportare la condivisione della capacità da parte degli utenti dall'esecuzione di un processo basato su notebook o da qualsiasi operazione basata su lakehouse, ad esempio il caricamento nella tabella.

Per evitare questi scenari di blocco, Microsoft Fabric applica una limitazione basata su riserva dinamica per i processi di questi elementi. I processi basati su notebook e lakehouse sono più interattivi e in tempo reale vengono classificati come interattivi. Mentre la definizione del processo Spark viene classificata come batch. Come parte di questa riserva dinamica, i limiti minimo e massimo di riserva vengono mantenuti per questi tipi di processo. Le riserve riguardano principalmente i casi d'uso in cui un team aziendale potrebbe riscontrare scenari di utilizzo di picco con tutta la capacità utilizzata tramite processi batch. Durante queste ore di punta, gli utenti non possono usare elementi interattivi come notebook o lakehouse. Con questo approccio, ogni capacità ottiene una riserva minima del 30% dei processi totali allocati per i processi interattivi (5% per lakehouse e 25% per notebook) e una riserva minima del 10% per i processi batch.

Tipo di processo Elemento % minima % massima
Batch Definizione di processo Spark 10 70
Interattività Interattivo min e max 30 90
Notebook 25 85
Lakehouse 5 65

Quando superano queste riserve e quando la capacità è al massimo utilizzo, i processi interattivi come notebook e lakehouse vengono limitati con il messaggio CODICE di risposta HTTP 430: Impossibile inviare questa richiesta perché è in uso tutta la capacità disponibile. Annullare un processo attualmente in esecuzione, aumentare la capacità disponibile o riprovare più tardi.

Con la coda abilitata, i processi batch come le definizioni dei processi Spark vengono aggiunti alla coda e vengono ritentati automaticamente quando la capacità viene liberata.

Nota

I processi hanno un periodo di scadenza della coda di 24 ore, dopo il quale vengono annullati e gli utenti devono inviarli di nuovo per l'esecuzione del processo.

Passaggi successivi