Configurare pool live personalizzati in Microsoft Fabric

Si applica a:✅ Ingegneria dei dati e data science di Fabric

I pool live personalizzati sono cluster Spark preidratati che permettono un avvio quasi istantaneo delle sessioni per notebook in Fabric. Questo articolo illustra come creare, configurare e gestire pool live personalizzati per ottenere prestazioni ottimali.

Prerequisiti

Prima di configurare pool live personalizzati, assicurarsi di disporre di:

• Accesso a uno spazio di lavoro Fabric con uno SKU Fabric a pagamento (le capacità di prova Fabric non sono supportate).
• Ruolo amministrativo o membro nello spazio di lavoro.
• Una capacità Fabric attiva assegnata al tuo spazio di lavoro.
• Ambiente Fabric pubblicato da usare per la configurazione della libreria.
• Una piscina Spark personalizzata esistente. Solo gli amministratori di spazi di lavoro possono creare pool Spark personalizzati.

Se hai il ruolo Membro, un amministratore dell'area di lavoro deve attivare l'impostazione esistente dell'area di lavoro Personalizza la configurazione di calcolo per gli elementi.

Importante

I pool di avvio non sono supportati per i pool live personalizzati. Se l'area di lavoro usa un pool di avvio, è necessario creare un pool di Spark personalizzato prima di configurare un pool live personalizzato.

Usa l'impostazione di personalizzazione del calcolo esistente

I pool live personalizzati utilizzano l'impostazione dell'area di lavoro esistente Personalizza la configurazione di calcolo per gli elementi. Non hanno un'impostazione di delega separata. Prima che un membro dello spazio di lavoro possa creare o aggiornare una configurazione personalizzata di un pool live, un amministratore dello spazio deve attivare l'impostazione esistente:

1. Vai al tuo spazio di lavoro Fabric.

2. Selezionare Impostazioni area di lavoro dalla barra multifunzione principale dell'area di lavoro.

3. Espandere Ingegneria dati/Scienza e selezionare Impostazioni Spark.

4. Selezionare la scheda Pool .

5. Attiva Personalizza la configurazione di calcolo per gli oggetti.

   

6. Seleziona Salva.

Quando questa impostazione è attiva, i membri possono utilizzare un ambiente Fabric per selezionare un pool Spark personalizzato esistente, regolare i core driver a livello di sessione, la memoria driver, i core degli executor e la memoria degli executors, e creare o aggiornare la configurazione del pool live. I membri possono quindi salvare e pubblicare l'ambiente.

Questa impostazione non permette ai Membri di creare o gestire pool Spark personalizzati nelle impostazioni dello spazio di lavoro. Un amministratore di workspace deve creare il pool Spark personalizzato sottostante.

Quando Personalizza la configurazione di calcolo per gli elementi è disattivata, gli ambienti utilizzano il pool predefinito dello spazio di lavoro e la sua configurazione di calcolo. I membri non possono creare o aggiornare una configurazione personalizzata di live pool finché un amministratore dello spazio non attiva l'impostazione.

Per maggiori informazioni su questo controllo dello spazio di lavoro, consulta le impostazioni di amministrazione dello spazio di lavoro Data Engineering.

Crea un pool personalizzato per il pool live (solo Admin)

Questo compito richiede il ruolo di Amministratore dello spazio di lavoro. Se esiste già un pool Spark personalizzato, i membri dello spazio di lavoro possono saltare questo compito e configurare il calcolo del pool live sul pool esistente.

1. Passare all'area di lavoro Fabric.
2. Selezionare Impostazioni area di lavoro dalla barra multifunzione principale dell'area di lavoro.
3. Espandere Ingegneria dati/Scienza e selezionare Impostazioni Spark.
4. Selezionare la scheda Pool .
5. Nell'elenco a discesa Pool predefinito per l'area di lavoro selezionare Nuovo pool.
6. Immettere un nome per il pool. Questo nome è un identificatore univoco per il pool, ad esempio dev-team-pool o prod-daily-analytics.
7. Selezionare una famiglia di nodi e le dimensioni del nodo per il carico di lavoro.
8. Selezionare la casella di controllo Scalabilità automatica per abilitare la scalabilità automatica per il pool.

Configurare un pool in tempo reale

Gli amministratori e i membri dello spazio di lavoro possono creare o aggiornare una configurazione live pool tramite le impostazioni dell'ambiente . Per i membri, un amministratore dello spazio di lavoro deve prima abilitare la configurazione personalizzata dei calcoli per gli elementi. I membri devono selezionare un pool Spark personalizzato esistente creato da un amministratore dello spazio di lavoro.

1. Nel tuo area di lavoro Fabric, apri l'ambiente da collegare a un pool personalizzato live.

2. Nel riquadro sinistro selezionare Calcolo.

3. Selezionare il pool creato nel passaggio precedente dall'elenco a discesa.

4. In Pool live selezionare il pulsante di opzione per attivare il calcolo del pool live per questo ambiente.

   

5. In Pianificazione pool live, selezionare il pulsante di scelta per attivare questa funzione. Tutti i pool live personalizzati devono avere una pianificazione. I cluster vengono mantenuti idratati solo durante la finestra pianificata.

6. Specificare le impostazioni di pianificazione:

   • Se la programmazione è ricorrente
   • Inizio e fine giorno e ora
   • Fuso orario
   • Quando disattivare e riattivare il pool
   • Altre impostazioni applicabili

   Importante

   Fabric usa il provisioning Spark standard per l'attività all'esterno della finestra pianificata, con tempi di avvio più lenti. I cluster non vengono mantenuti caldi all'esterno della finestra pianificata.

   Per suggerimenti sulla pianificazione, vedere Pianificare le procedure consigliate.

7. Salvare le impostazioni di calcolo.

8. Selezionare il pulsante Pubblica nella barra multifunzione superiore.

Dopo la pubblicazione, il pool è attivo e Fabric inizia a idratare i cluster prima del periodo di pianificazione successivo.

Annotazioni

La pubblicazione può richiedere alcuni minuti.

Le modifiche apportate all'ambiente richiedono la ripubblicazione dell'ambiente e l'aggiornamento dei cluster idratati.

Comprendi la finestra di programmazione

Il programma definisce la finestra in cui Fabric mantiene i cluster idratati e può reidratare quelli che ha disattivato. Non mantiene la piscina viva calda fuori dalla finestra configurata.

Ad esempio, consideriamo un programma ricorrente che va ogni giorno dalle 8:00 alle 17:00:

• Alle 8:00 inizia la finestra di programma giornaliero e Fabric inizia o continua l'idratazione.
• Durante la finestra di programmazione, un cluster idle può essere disattivato dopo il timeout idle configurato. Fabric può reidratare una sostituzione in base all'intervallo di riattivazione configurato.
• Alle 17:00 termina la finestra di programmazione. Fabric non continua la reidratazione dei cluster tra le 17:00 e le 8:00 del mattino del giorno successivo.
• Un notebook inviato al di fuori della finestra di pianificazione utilizza il provisioning Spark standard e non beneficia dell’avvio a caldo del pool live.
• Lo stesso comportamento quotidiano si ripete fino alla data di fine programmazione configurata.

L'orario di inizio programmato non garantisce che un cluster sia già disponibile in quell'ora esatta. L'idratazione richiede tempo, specialmente dopo un aggiornamento dell'ambiente o quando Fabric deve fornire un nuovo cluster. Se un notebook pianificato deve iniziare alle 8:00 AM, avvia la pianificazione del pool live 60-90 minuti prima. Prima dell'esecuzione del notebook, usa l'hub di monitoraggio per confermare che i cluster disponibili sono maggiori di zero. Un quaderno in arrivo riceve una sessione calda solo quando è disponibile un cluster idratato compatibile.

Monitorare lo stato del pool

Per controllare lo stato del pool live personalizzato:

1. Nel portale Fabric, aprire l'hub di monitoraggio.

2. Trova l'ambiente che hai pubblicato e seleziona l'ellissi (...) per aprire il menu contestuale.

3. Selezionare Visualizza dettagli.

   

4. Nel riquadro destro, espandere Stato del pool live per visualizzare lo stato attuale del pool.

Lo stato del pool, in tempo reale, include dettagli come:

• Stato pool: ad esempio, Attivo, Idratazione, Inattivo o Fermato
• Cluster disponibili: numero di cluster pronti per le sessioni del notebook
• Cluster occupati: numero di cluster che attualmente gestiscono sessioni
• Pianificazione successiva: finestra attività imminente

Procedure consigliate

Per sfruttare al meglio i pool live personalizzati, prendere in considerazione le procedure consigliate seguenti per la configurazione e la gestione:

Ottimizzare i costi e le prestazioni

• Allinea conteggio con domanda: impostare il numero massimo di cluster in base alle sessioni simultanee previste. Il provisioning eccessivo aumenta i costi.
• Monitorare l'utilizzo: esaminare regolarmente le metriche del pool e regolare il numero di cluster, se necessario.
• Ridimensionare le pianificazioni in modo efficiente: evitare pianificazioni sovrapposte tra più pool, a meno che non sia necessario.
• Sfruttare il timeout di inattività: impostare i timeout di inattività appropriati per mantenere un equilibrio tra la disponibilità delle risorse ed evitare frequenti riavvii del cluster.

Ridimensionamento del cluster

Quando si configura il pool, prendere in considerazione le impostazioni e le raccomandazioni seguenti:

• Dimensioni del cluster: numero di istanze dell'executor per le sessioni del notebook (intervallo: 1-16).
• Numero massimo di cluster: numero massimo di cluster da mantenere idratati. Impostare in base alle sessioni simultanee previste.
• Timeout di inattività: per quanto tempo un cluster inutilizzato rimane allocato prima che Fabric lo termini.

Tipo di carico di lavoro	Dimensioni consigliate	Descrizione
Analisi esplorativa	2-4 core	Carichi di lavoro leggeri, esplorazione rapida dei dati
Calcolo medio	8-12 nuclei	Report giornalieri, set di dati di medie dimensioni
Calcolo intensivo	14-16 core	Set di dati di grandi dimensioni, trasformazioni complesse

Gestire le dipendenze della libreria

• Usare il raggruppamento dell'ambiente: pre-installare librerie comuni nell'ambiente invece dell'installazione in tempo reale.
• Versionamento dell'ambiente: l'aggiornamento di un ambiente collegato richiede la ripubblicazione e la rigenerazione di cluster idratati.
• Aggiornare i cluster idratati: dopo aver apportato modifiche all'ambiente, aggiornare il pool o attendere il successivo ciclo pianificato per applicare le modifiche.

Adattarsi ai modelli di carico di lavoro

• Monitorare il comportamento esterno: regolare i timeout di inattività in base ai modelli di utilizzo effettivi.
• Condividere tra sessioni: valutare la possibilità di condividere lo stesso ambiente tra più pool se sono disponibili modelli di carico di lavoro coerenti per migliorare l'utilizzo delle risorse.

Pianificare le procedure consigliate

• Allinearsi ai modelli di carico di lavoro: Pianificare i tempi di attività quando il team esegue notebook interattivi o programmati.
• Tempo di margine: Avvia la pianificazione 60-90 minuti prima della prima esecuzione prevista del notebook per consentire il completamento dell'idratazione.
• Verifica la disponibilità: prima di un'esecuzione programmata sensibile alla latenza, conferma che il pool live abbia almeno un cluster disponibile nell'hub di monitoraggio.
• Prendere in considerazione i fusi orari: se il team si estende su più fusi orari, estendere la pianificazione per coprire gli intervalli di tempo necessari.

Risoluzione dei problemi

La risoluzione dei problemi relativi ai pool live personalizzati comporta il controllo dello stato del pool, l'integrità dell'ambiente e la configurazione della pianificazione, come descritto negli scenari seguenti:

Il pool rimane non disponibile

Se il pool non riesce ad attivare o visualizzare lo stato "Non disponibile":

• Verificare che la capacità Fabric sia attiva e attualmente assegnata all'area di lavoro
• Verificare che l'ambiente collegato sia in stato "Pronto".
• Verificare che l'ambiente collegato sia pubblicato e non contenga errori.

L'idratazione richiede più tempo del previsto

Se l'idratazione è più lenta del previsto:

• Controllare le dipendenze dell'ambiente e lo stato della compilazione.
• Verificare che l'ambiente sia in stato "Pronto".
• Monitorare i dettagli del pool per ulteriori informazioni.

L'avvio di sessioni o notebook non riesce

Se le sessioni del notebook non si avviano anche con un pool attivo:

• Verificare che la sessione usi l'ambiente corretto.
• Verificare che la piscina sia in stato "Disponibile" e completamente idratata.

Le impostazioni per la piscina live non sono disponibili

Se non puoi creare o aggiornare la configurazione del live pool:

• Verifica di avere il ruolo di Amministratore o Membro dello spazio di lavoro.
• Se hai il ruolo Membro, chiedi a un amministratore dell'area di lavoro di abilitare Personalizza la configurazione di calcolo per gli elementi.
• Verifica che un amministratore dello spazio di lavoro abbia creato un pool Spark personalizzato che puoi selezionare nell'ambiente.

Contenuti correlati

• Panoramica dei pool live personalizzati
• Configurare i pool di avvio
• Creare pool di Spark personalizzati
• Creare e usare un ambiente