Configurare la modalità di concorrenza elevata per i notebook di Fabric nelle pipeline

Quando si esegue un passaggio del notebook all'interno di una pipeline, viene avviata una sessione di Apache Spark e viene usata per eseguire le query inviate dal notebook. Quando si abilita la modalità di concorrenza elevata per le pipeline, i notebook verranno automaticamente compressi nelle sessioni Spark esistenti.

In questo modo è possibile condividere le sessioni in tutti i notebook all'interno di un singolo limite utente. Il sistema comprime automaticamente tutti i notebook in una sessione di concorrenza elevata esistente.

Nota

La condivisione delle sessioni con modalità di concorrenza elevata si trova sempre all'interno di un singolo limite utente. Per condividere una singola sessione spark, i notebook devono avere configurazioni Spark corrispondenti, devono far parte della stessa area di lavoro e condividere le stesse librerie e lakehouse predefinite.

Condizioni per la condivisione delle sessioni

Per consentire ai notebook di condividere una singola sessione Spark, i notebook:

• Devono essere eseguiti dallo stesso utente.
• Devono avere lo stesso lakehouse predefinito. I notebook senza un lakehouse predefinito possono condividere sessioni con altri notebook che non hanno un lakehouse predefinito.
• Devono avere le stesse configurazioni di calcolo Spark.
• Devono avere gli stessi pacchetti di libreria. È possibile avere installazioni di librerie inline diverse come parte delle celle del notebook e condividere comunque la sessione con notebook aventi dipendenze di libreria diverse.

Configurare la modalità di concorrenza elevata

Gli amministratori dell'area di lavoro infrastruttura possono abilitare la modalità di concorrenza elevata per le pipeline usando le impostazioni dell'area di lavoro. Usare la procedura seguente per configurare la funzionalità di concorrenza elevata:

1. Selezionare l'opzione impostazioni dell'area di lavoro nell'area di lavoro Fabric.

2. Passare alla sezione Data Engineering/Science>Impostazioni Spark>Concorrenza Elevata.

3. Nella sezione concorrenza elevata, abilitare l'impostazione per l'esecuzione di più notebook nella pipeline.

   

4. L'abilitazione dell'opzione di concorrenza elevata consente a tutte le sessioni del notebook attivate dalle pipeline come sessione di concorrenza elevata.

5. Il sistema comprime automaticamente le sessioni del notebook in ingresso alle sessioni attive di concorrenza elevata. Se non sono presenti sessioni di concorrenza elevata attive, viene creata una nuova sessione di concorrenza elevata e i notebook simultanei inviati vengono compressi nella nuova sessione.

Usare il tag di sessione nel notebook per raggruppare le sessioni condivise

1. Passare all'area di lavoro, selezionare il pulsante Nuovo elemento e creare una nuova pipeline.

2. Passare alla scheda Attività nella barra multifunzione del menu e aggiungere un'attività Notebook.

3. In Impostazioni avanzate specificare qualsiasi valore stringa per la proprietà del tag di sessione.

4. Dopo aver aggiunto il tag di sessione, la condivisione del notebook usa questo tag come criteri corrispondenti che raggruppano tutti i notebook con lo stesso tag di sessione.

   

Nota

Per ottimizzare le prestazioni, una singola sessione di concorrenza elevata può condividere le risorse in un massimo di 5 notebook identificati dallo stesso tag di sessione. Quando vengono inviati più di 5 notebook con lo stesso tag, il sistema creerà automaticamente una nuova sessione di concorrenza elevata per ospitare i passaggi successivi del notebook. Ciò consente un ridimensionamento efficiente e il bilanciamento del carico distribuendo il carico di lavoro tra più sessioni.

Monitorare ed eseguire il debug dei notebook attivati dalle pipeline

Il monitoraggio e il debug possono risultare difficili quando più notebook sono in esecuzione all'interno di una sessione condivisa. In modalità di concorrenza elevata, viene fornita la separazione dei log, consentendo di tracciare i log dagli eventi Spark per ogni singolo notebook.

1. Quando la sessione è in corso o in stato completato, è possibile visualizzare lo stato della sessione passando al menu Esegui e selezionando l'opzione Tutte le esecuzioni .

2. Verrà aperta la cronologia di esecuzione del notebook con l'elenco delle sessioni Spark attive e storiche correnti.

   

3. Selezionando una sessione, è possibile accedere alla visualizzazione dettagli del monitoraggio, che visualizza un elenco di tutti i processi Spark eseguiti all'interno di tale sessione.

4. Per una sessione di concorrenza elevata, è possibile identificare i processi e i log associati da diversi notebook usando la scheda Blocco appunti correlato, che mostra il notebook da cui è stato eseguito il processo.

   

Contenuto correlato

• Per altre informazioni sulla modalità di concorrenza elevata in Microsoft Fabric, vedere modalità di concorrenza elevata in Apache Spark per Fabric.
• Per iniziare a usare la modalità a concorrenza elevata per i notebook, consultare Configurare la modalità di concorrenza elevata per i notebook Fabric.