Impostazioni di configurazione del calcolo Spark in ambienti Fabric
Le esperienze di Ingegneria dei dati e di Data science operano su una piattaforma di calcolo Spark completamente gestita. Questa piattaforma è progettata per offrire velocità ed efficienza ineguagliabili. Include pool di avvio e pool personalizzati.
Un ambiente Fabric contiene una raccolta di configurazioni, incluse le proprietà di calcolo Spark che consentono agli utenti di configurare la sessione Spark dopo averla associata a notebook e processi Spark. Con un ambiente è disponibile un modo flessibile per personalizzare le configurazioni di calcolo per l'esecuzione dei processi Spark. In un ambiente, la sezione di calcolo consente di configurare le proprietà a livello di sessione Spark per personalizzare la memoria e i core degli executor in base ai requisiti del carico di lavoro.
Gli amministratori dell'area di lavoro possono abilitare o disabilitare le personalizzazioni di calcolo con l'opzione Personalizza configurazioni di calcolo per elementi nella scheda Pool della sezione Ingegneria dei dati/Data science nella schermata Impostazioni area di lavoro.
Gli amministratori dell'area di lavoro possono delegare i membri e i collaboratori a modificare le configurazioni di calcolo predefinite a livello di sessione nell'ambiente Fabric abilitando questa impostazione.
Se l'amministratore dell'area di lavoro disabilita questa opzione nelle impostazioni dell'area di lavoro, la sezione di calcolo dell'ambiente è disabilitata e le configurazioni di calcolo predefinite del pool per l'area di lavoro vengono usate per l'esecuzione di processi Spark.
Personalizzazione delle proprietà di calcolo a livello di sessione in un ambiente
Gli utenti possono selezionare un pool per l'ambiente dall'elenco dei pool disponibili nell'area di lavoro Fabric. L'amministratore dell'area di lavoro Fabric crea il pool di avvio predefinito e i pool personalizzati.
Dopo aver selezionato un pool nella sezione Calcolo, è possibile ottimizzare i core e la memoria per gli executor entro i vincoli delle dimensioni dei nodi e i limiti del pool selezionato.
Ad esempio: si seleziona un pool personalizzato con nodi di grandi dimensioni, ovvero 16 vCore Spark, come pool di ambienti. Pertanto, è possibile scegliere il core driver/executor in modo che sia 4, 8 o 16, in base ai requisiti a livello di processo. Per la memoria allocata a driver ed executor, è possibile scegliere 28 g, 56 g o 112 g, che rientrano tutti nei limiti di memoria con nodi di grandi dimensioni.
Per ulteriori informazioni sulle dimensioni di calcolo Spark e sulle relative opzioni di memoria o core, vedere Informazioni sul calcolo Spark in Microsoft Fabric.