Configuración de los clústeres de macrodatos después de la implementación

Se aplica a: SQL Server 2019 (15.x)

Importante

El complemento Clústeres de macrodatos de Microsoft SQL Server 2019 se va a retirar. La compatibilidad con Clústeres de macrodatos de SQL Server 2019 finalizará el 28 de febrero de 2025. Todos los usuarios existentes de SQL Server 2019 con Software Assurance serán totalmente compatibles con la plataforma, y el software se seguirá conservando a través de actualizaciones acumulativas de SQL Server hasta ese momento. Para más información, consulte la entrada de blog sobre el anuncio y Opciones de macrodatos en la plataforma Microsoft SQL Server.

La configuración del ámbito del clúster, el servicio y el recurso para Clústeres de macrodatos de SQL Server se puede configurar después de la implementación mediante la CLI de azdata. Esta funcionalidad permite a los administradores de Clústeres de macrodatos de SQL Server ajustar las configuraciones para cumplir siempre los requisitos de la carga de trabajo. En este artículo se tratan escenarios de ejemplo sobre cómo configurar los requisitos de zona horaria y carga de trabajo de Spark. La funcionalidad de configuración posterior a la implementación sigue un flujo de establecimiento, comparación y aplicación.

Nota

La configuración posterior a la implementación solo está disponible en Clústeres de macrodatos de SQL Server CU9 y versiones posteriores. Además, no incluye la configuración de escalado, almacenamiento o puntos de conexión. Clústeres de macrodatos de SQL ServerAquí encontrará opciones e instrucciones para configurar versiones de anteriores a CU9.

Escenario paso a paso: configuración de la zona horaria en Clústeres de macrodatos de SQL Server

A partir de Clústeres de macrodatos de SQL Server CU13, es posible personalizar la configuración de zona horaria del clúster, por lo que las marcas de tiempo de los servicios se alinean con la zona horaria seleccionada. La configuración no se aplica al plano de control del clúster de macrodatos, establece la nueva configuración de zona horaria para todos los grupos de SQL Server (maestro, proceso y datos), componentes de Hadoop y Spark.

Nota

De forma predeterminada, Clústeres de macrodatos de SQL Server establece UTC como la zona horaria.

Use el comando siguiente para establecer la configuración de zona horaria:

azdata bdc settings set --settings bdc.timezone=America/Los_Angeles

Aplicación de las configuraciones pendientes en el clúster

El comando siguiente aplicará la configuración y reiniciará todos los servicios. Revise las últimas secciones de este artículo sobre cómo realizar un seguimiento de los cambios y controlar el proceso de configuración.

azdata bdc settings apply

Escenario paso a paso: configuración del clúster para cumplir los requisitos de las cargas de trabajo de Spark

Visualización de las configuraciones actuales del servicio Spark de clústeres de macrodatos

En el ejemplo siguiente se muestra cómo ver los valores de configuración del servicio Spark configurados por el usuario. Puede ver todos los valores de configuración posibles, los valores administrados por el sistema y todos los valores configurables, así como los cambios de configuración pendientes mediante parámetros opcionales. Para obtener más información, consulte el artículo sobre la instrucción azdata bdc spark.

azdata bdc spark settings show

Salida de ejemplo

Servicio Spark.

Parámetro	Valor actual
spark-defaults-conf.spark.driver.cores	1
spark-defaults-conf.spark.driver.memory	1664m

Cambio del número predeterminado de núcleos y de la memoria predeterminada del controlador de Spark

Actualice el número predeterminado de núcleos a dos y la memoria predeterminada a 7424 MB para el servicio Spark. Esto afecta a todos los recursos con Spark, para el servicio Spark.

azdata bdc spark settings set --settings spark-defaults-conf.spark.driver.cores=2,spark-defaults-conf.spark.driver.memory=7424m

Cambio del número predeterminado de núcleos y de la memoria predeterminada de los ejecutores de Spark en el bloque de almacenamiento

Actualice el número predeterminado de núcleos de los ejecutores a 4 para el bloque de almacenamiento.

azdata bdc spark settings set --settings spark-defaults-conf.spark.executor.cores=4 --resource=storage-0

Configuración de rutas de acceso adicionales a la ruta de acceso de clase predeterminada de las aplicaciones Spark

La ruta de acceso /opt/hadoop/share/hadoop/tools/lib/ contiene varias bibliotecas que las aplicaciones Spark usarán, pero la ruta de acceso a la que se hace referencia no se carga de forma predeterminada en la ruta de acceso de clase de las aplicaciones Spark. Para habilitar esta configuración, aplique el patrón de configuración siguiente.

azdata bdc hdfs settings set --settings hadoop-env.HADOOP_CLASSPATH="/opt/hadoop/share/hadoop/tools/lib/*"

Visualización de los cambios de configuración pendientes almacenados provisionalmente en el clúster de macrodatos

Vea los cambios de configuración pendientes para el servicio Spark únicamente y en todo el clúster de macrodatos.

Cambios de configuración pendientes del servicio Spark

azdata bdc spark settings show --filter-option=pending --include-details

Servicio Spark

Parámetro	Valor actual	Valor configurado	Configurable	Configurado	Última actualización
spark-defaults-conf.spark.driver.cores	1	2	true	true
spark-defaults-conf.spark.driver.memory	1664m	7424m	true	true

Todos los cambios de configuración pendientes

azdata bdc settings show --filter-option=pending --include-details --recursive

Cambios de configuración pendientes del servicio Spark

Parámetro	Valor actual	Valor configurado	Configurable	Configurado	Última actualización
spark-defaults-conf.spark.driver.cores	1	2	true	true
spark-defaults-conf.spark.driver.memory	1664m	7424m	true	true

Cambios de configuración pendientes del recurso storage-0 de Spark

Parámetro	Valor actual	Valor configurado	Configurable	Configurado	Última actualización
spark-defaults-conf.spark.executor.cores	1	4	true	true

Aplicación de las configuraciones pendientes en el clúster de macrodatos

azdata bdc settings apply

Supervisión del estado de la actualización de la configuración

azdata bdc status show

Pasos opcionales

Reversión de las configuraciones pendientes

Si determina que ya no quiere cambiar las configuraciones pendientes, puede dejar de almacenarlas provisionalmente. Esto revertirá las configuraciones pendientes en todos los ámbitos.

azdata bdc settings revert

Anulación de la actualización de la configuración

Si se produce un error en la actualización de la configuración para cualquiera de los componentes, puede cancelar el proceso de actualización y revertir el clúster a sus configuraciones anteriores. Las configuraciones almacenadas provisionalmente durante la actualización se volverán a mostrar como configuraciones pendientes.

azdata bdc settings cancel-apply

Pasos siguientes

Configuración de un clúster de macrodatos de SQL Server