Opciones de configuración de proceso de Spark en entornos de Fabric
Las experiencias de Ingeniería de datos y Ciencia de datos de Microsoft Fabric funcionan en una plataforma de proceso Spark totalmente administrada. Esta plataforma está diseñada para ofrecer una velocidad y eficiencia inigualables. Incluye grupos de inicio y grupos personalizados.
Un entorno de Fabric contiene una colección de configuraciones, incluidas las propiedades de proceso de Spark que permiten a los usuarios configurar la sesión de Spark después de que estén asociadas a cuadernos y trabajos de Spark. Un entorno le permite personalizar las configuraciones de proceso para ejecutar los trabajos de Spark de manera flexible. En un entorno, la sección de proceso le permite configurar las propiedades de nivel de sesión de Spark para personalizar la memoria y los núcleos de los ejecutores en función de los requisitos de carga de trabajo.
Los administradores del área de trabajo pueden habilitar o deshabilitar las personalizaciones de proceso con el conmutador Personalizar configuraciones de proceso para los elementos en la pestaña Grupo de la sección Ingeniería/Ciencia de datos en la pantalla configuración del área de trabajo.
Al habilitar esta configuración, los administradores del área de trabajo pueden delegar los miembros y colaboradores para cambiar las configuraciones de proceso de nivel de sesión predeterminadas en el entorno de Fabric.
Si el administrador del área de trabajo deshabilita esta opción en la configuración del área de trabajo, la sección de proceso del entorno está deshabilitada y las configuraciones de proceso de grupo predeterminadas para el área de trabajo se usan para ejecutar trabajos de Spark.
Personalizar las propiedades de proceso de nivel de sesión en un entorno
Como usuario, puede seleccionar un grupo para el entorno en la lista de grupos disponibles en el área de trabajo de Fabric. El administrador del área de trabajo de Fabric crea el grupo de inicio predeterminado y los grupos personalizados.
Después de seleccionar un grupo en la sección Proceso, puede ajustar los núcleos y la memoria de los ejecutores dentro de los límites de tamaño y del nodo del grupo seleccionado.
Por ejemplo, puede seleccionar un grupo personalizado con tamaño de nodo grande, que es 16 núcleos virtuales de Spark, como grupo de entornos. A continuación, puede elegir el núcleo controlador/ejecutor para que sea 4, 8 o 16, en función de los requisitos de nivel de trabajo. Para la memoria asignada a controladores y ejecutores, puede elegir entre 28, 56 o 112 g, todos ellos dentro de los límites de un límite de memoria de nodo grande.
Para obtener más información sobre los tamaños de proceso de Spark y sus núcleos u opciones de memoria, consulte ¿Qué es el proceso de Spark en Microsoft Fabric?.