Accodamento di processi in Apache Spark per Microsoft Fabric

Si applica a: Ingegneria dei dati e data science in Microsoft Fabric

Microsoft Fabric supporta la coda di processi in background quando sono stati raggiunti i limiti di calcolo Spark per la capacità di Infrastruttura. Il sistema di accodamento dei processi offre nuovi tentativi automatici per i processi aggiunti alla coda fino a quando non raggiungono la scadenza della coda. Quando gli utenti creano una capacità di Microsoft Fabric in Azure, scelgono una dimensione della capacità in base alle dimensioni del carico di lavoro di analisi. Dopo aver acquistato la capacità, gli amministratori possono creare aree di lavoro all'interno della capacità in Microsoft Fabric. I processi Spark eseguiti all'interno di queste aree di lavoro possono usare fino ai core massimi allocati per una determinata capacità e, una volta raggiunto il limite massimo, i processi vengono limitati o accodati.

Altre informazioni sui limiti di concorrenza Spark in Microsoft Fabric

La coda dei processi è supportata per i processi notebook attivati da pipeline o tramite l'utilità di pianificazione, nonché per le definizioni dei processi Spark. La coda non è supportata per i processi notebook interattivi e i processi notebook attivati tramite l'API pubblica del notebook.

La coda opera in modo FIFO (First-In-First-Out), in cui i processi vengono aggiunti alla coda in base al tempo dell'invio e vengono continuamente ritentati e iniziano l'esecuzione quando la capacità viene liberata.

Nota

La coda dei processi Spark non è supportata quando la capacità di Fabric è nello stato limitato. Tutti i nuovi processi inviati verranno rifiutati.

Dopo aver aggiunto un processo alla coda, lo stato viene aggiornato a Non avviato nell'hub di monitoraggio. I notebook e le definizioni dei processi Spark quando vengono scelti dalla coda e iniziano l'esecuzione, il relativo stato viene aggiornato da Non avviato a In corso.

Nota

La scadenza della coda è di 24 ore per tutti i processi dal momento in cui sono stati ammessi nella coda. Una volta raggiunta la scadenza, i processi dovranno essere inviati di nuovo.

Dimensioni coda

Fabric Spark applica le dimensioni delle code in base alle dimensioni dello SKU di capacità associate a un'area di lavoro, fornendo un meccanismo di limitazione e accodamento in cui gli utenti possono inviare processi in base agli SKU di capacità di Fabric acquistati.

La sezione seguente elenca varie dimensioni della coda per i carichi di lavoro Spark basati su Microsoft Fabric in base agli SKU di capacità:

SKU della capacità dell'infrastruttura	SKU di Power BI equivalente	Limite di code
F2	-	4
F4	-	4
F8	-	8
F16	-	16
F32	-	32
F64	P1	64
F128	P2	128
F256	P3	256
F512	P4	512
F1024	-	1024
F2048	-	2048
Capacità di valutazione	P1	ND

Nota

La coda non è supportata per le capacità di valutazione di Fabric. Gli utenti devono passare a uno SKU F o P di Fabric a pagamento per usare la coda per i processi Spark.

Una volta raggiunto il limite massimo di coda per una capacità di Infrastruttura, i nuovi processi inviati verranno limitati con un messaggio di errore [TooManyRequestsForCapacity] Questo processo spark non può essere eseguito perché è stato raggiunto un limite di calcolo spark o di frequenza API. Per eseguire questo processo Spark, annullare un processo Spark attivo tramite l'hub di monitoraggio, scegliere uno SKU di capacità più grande o riprovare più tardi. Codice di stato HTTP: 430 {Altre informazioni} Codice di stato HTTP: 430.

Contenuto correlato

• Informazioni su Fatturazione e utilizzo per Spark in Microsoft Fabric.
• Informazioni sull'ambiente di calcolo Spark per l'ingegneria dei dati e le esperienze di data science di Fabric .