Administración de la configuración de Apache Spark

Artículo
04/19/2023

En este tutorial, obtendrá información sobre cómo crear una configuración de Apache Spark para Synapse Studio. La configuración de Apache Spark creada se puede administrar de una manera estandarizada y, al crear un cuaderno o una definición de trabajo de Apache Spark, puede seleccionar la configuración de Apache Spark que quiere usar con el grupo de Apache Spark. Al seleccionarla, se muestran los detalles de la configuración.

Creación de una configuración de Apache Spark

Puede crear configuraciones personalizadas a partir de distintos puntos de entrada, por ejemplo, desde la página de configuraciones de Apache Spark o desde un grupo de Spark existente.

Creación de configuraciones personalizadas en Configuraciones de Apache Spark

Siga los pasos que se indican a continuación para crear una configuración de Apache Spark en Synapse Studio.

Seleccione Administrar>Configuraciones de Apache Spark.
Haga clic en el botón Nuevo para crear una nueva configuración de Apache Spark o haga clic en Importar para importar un archivo .json local en el área de trabajo.
Se abrirá la página Nueva configuración de Apache Spark después de hacer clic en el botón Nuevo.
En Nombre, puede escribir su nombre preferido y válido.
En Descripción, puede escribir alguna descripción.
En Anotaciones, puede agregar anotaciones al hacer clic en el botón Nuevo y también puede eliminar anotaciones existentes al seleccionar y hacer clic en el botón Eliminar.
En Propiedades de configuración, personalice la configuración mediante un clic en el botón Agregar para agregar propiedades. Si no agrega ninguna propiedad, Azure Synapse usará el valor predeterminado cuando corresponda.
Haga clic en el botón Continuar.
Haga clic en el botón Crear cuando la validación se haya realizado correctamente.
Publicar todo

Nota:

La característica Cargar configuración de Apache Spark se ha quitado, pero Synapse Studio mantendrá la configuración cargada anteriormente.

Creación de una configuración de Apache Spark en un grupo de Apache Spark ya existente

Siga los pasos que se indican a continuación para crear una configuración de Apache Spark en un grupo de Apache Spark existente.

Seleccione un grupo de Apache Spark existente y haga clic en el botón "..." de la acción.
Seleccione la configuración de Apache Spark en la lista de contenido.
Para la configuración de Apache Spark, puede seleccionar una configuración ya creada en la lista desplegable o hacer clic en +Nuevo para crear una nueva configuración.
- Si hace clic en +Nuevo, se abrirá la página Configuración de Apache Spark y puede crear una nueva configuración siguiendo los pasos descritos en Creación de configuraciones personalizadas en Configuraciones de Apache Spark.
- Si selecciona una configuración existente, los detalles de configuración se mostrarán en la parte inferior de la página; también puede hacer clic en el botón Editar para editar la configuración existente.
Haga clic en Ver configuraciones para abrir la página Seleccione una configuración. En esta página, se mostrarán todas las configuraciones. Puede seleccionar una configuración que quiera usar en este grupo de Apache Spark.
Haz clic en el botón Aplicar para guardar la acción.

Creación de una configuración de Apache Spark en la configuración de la sesión del cuaderno

Si tiene que usar una configuración personalizada de Apache Spark al crear un cuaderno, puede crearla y configurarla en Configurar sesión mediante los pasos que se indican a continuación.

Cree un cuaderno nuevo o abra uno existente.
Abra las Propiedades de este cuaderno.
Haga clic en Configurar sesión para abrir la página Configurar sesión.
Desplácese hacia abajo en la página Configurar sesión; para la configuración de Apache Spark, expanda el menú desplegable y haga clic en el botón Nuevo para crear una nueva configuración. O bien, seleccione una configuración existente; si selecciona una configuración existente, haga clic en el icono Editar para ir a la página Editar configuración de Apache Spark para editar la configuración.
Haga clic en Ver configuraciones para abrir la página Seleccione una configuración. En esta página, se mostrarán todas las configuraciones. Puede seleccionar una configuración que quiera usar.

Creación de una configuración de Apache Spark en definiciones de trabajos de Apache Spark

Al crear una definición de trabajo de Spark, debe usar la configuración de Apache Spark, que se puede crear siguiendo estos pasos:

Cree una nueva o abra una definición de trabajo de Apache Spark existente.
Para la configuración de Apache Spark, puede hacer clic en el botón Nuevo para crear una nueva configuración. O bien, seleccione una configuración existente en el menú desplegable; si selecciona una configuración existente, haga clic en el icono Editar para ir a la página Editar configuración de Apache Spark para editar la configuración.
Haga clic en Ver configuraciones para abrir la página Seleccione una configuración. En esta página, se mostrarán todas las configuraciones. Puede seleccionar una configuración que quiera usar.

Nota:

Si la configuración de Apache Spark en el cuaderno y la definición de trabajo de Apache Spark no hacen nada especial, se usará la configuración predeterminada al ejecutar el trabajo.

Importación y exportación de una configuración de Apache Spark

Puede importar la configuración .txt, .conf o .json en tres formatos y, luego, convertirla en artefacto y publicarla. Y también puede exportarse a uno de estos tres formatos.

Importe la configuración .txt, .conf o .json desde el entorno local.
Exporte la configuración .txt, .conf o .json al entorno local.

Para el archivo de configuración .txt y el archivo de configuración .conf, puede consultar los ejemplos siguientes:


spark.synapse.key1 sample
spark.synapse.key2 true
# spark.synapse.key3 sample2

Para el archivo de configuración .json, puede consultar los ejemplos siguientes:

{
 "configs": {
   "spark.synapse.key1": "hello world",
  "spark.synapse.key2": "true"
 },
 "annotations": [
   "Sample"
 ]
}