Administración de la configuración del clúster
Importante
Azure HDInsight en AKS se retiró el 31 de enero de 2025. Conozca más a través de este anuncio.
Debe migrar las cargas de trabajo a microsoft Fabric o un producto equivalente de Azure para evitar la terminación repentina de las cargas de trabajo.
Importante
Esta característica está actualmente en versión preliminar. Los Términos de uso complementarios para las versiones preliminares de Microsoft Azure incluyen más términos legales que se aplican a las características de Azure que se encuentran en versión beta, en versión preliminar o, de lo contrario, aún no se han publicado en disponibilidad general. Para obtener información sobre esta versión preliminar específica, consulte información de la versión preliminar de Azure HDInsight en AKS. Para preguntas o sugerencias de características, envíe una solicitud en AskHDInsight con los detalles y síganos para obtener más actualizaciones sobre Comunidad de Azure HDInsight.
HDInsight en AKS permite ajustar las propiedades de configuración para mejorar el rendimiento del clúster con determinadas opciones de configuración. Por ejemplo, configuraciones de uso o de memoria. Puede realizar las siguientes acciones:
- Actualice las configuraciones existentes o agregue nuevas configuraciones.
- Exporte las configuraciones mediante la API REST.
Personalización de configuraciones
Puede personalizar las configuraciones mediante las siguientes opciones:
Uso de Azure Portal
Inicie sesión en Azure Portal.
En la barra de búsqueda de Azure Portal, escriba "HDInsight en el clúster de AKS" y seleccione "Azure HDInsight en clústeres de AKS" en la lista desplegable.
Seleccione el nombre del clúster en la página de lista.
Vaya a la hoja "Administración de configuración" en el menú izquierdo.
Según el tipo de clúster, se muestran los archivos de configuración. Para obtener más información, consulte de Trino, Flinky configuraciones de spark.
Agregue nuevo o actualice el par clave-valor existente para las configuraciones que desea modificar.
Seleccione Aceptar y haga clic en Guardar.
Nota
Es posible que algunos cambios de configuración necesiten reiniciar el servicio para reflejar los cambios.
Uso de una plantilla de ARM
Prerrequisitos
- de plantilla de ARM para el clúster.
- Familiaridad con creación e implementación de plantillas de ARM.
En la plantilla de ARM, puede editar serviceConfigsProfiles y especificar el nombre del archivo de configuración del sistema operativo con el valor que desea sobrescribir.
Si el archivo de configuración del sistema operativo está en formato JSON/XML/YAML, puede proporcionar el nombre del archivo de configuración del sistema operativo a través de fileName. Proporcione los pares clave-valor que desea sobrescribir en el campo "valores".
Estos son algunos ejemplos para cada carga de trabajo:
Ejemplo de configuración de Flink:
"serviceConfigsProfiles": [
{
"serviceName": "flink-operator",
"configs": [
{
"component": "flink-configs",
"files": [
{
"fileName": "flink-conf.yaml",
"values": {
"taskmanager.memory.process.size": "4096mb",
"classloader.check-leaked-classloader": "false",
"jobmanager.memory.process.size": "4096mb",
"classloader.parent-first-patterns.additional": "org.apache.parquet"
}
}
]
}
]
}
]
ejemplo de configuración de Spark:
"serviceConfigsProfiles": [
{
"serviceName": "spark-service",
"configs": [
{
"component": "livy-config",
"files": [
{
"fileName": "livy-client.conf",
"values": {
"livy.client.http.connection.timeout": "11s"
}
}
]
},
{
"component": "spark-config",
"files": [
{
"fileName": "spark-env.sh",
"content": "# - SPARK_HISTORY_OPTS, to set config properties only for the history server (e.g. \"-Dx=y\")\nexport HDP_VERSION=3.3.3.5.2-83515052\n"
}
]
}
]
}
]
ejemplo de configuración de Trino:
"serviceConfigsProfiles": [
{
"serviceName": "trino",
"configs": [
{
"component": "coordinator",
"files": [
{
"fileName": "config.properties",
"values": {
"query.cache.enabled": "true",
"query.cache.ttl": "1h",
"query.enable-multi-statement-set-session": "true",
"query.max-memory": "301GB"
}
},
{
"fileName": "log.properties",
"values": {
"io.trino": "INFO"
}
}
]
}
]
Para obtener más información sobre las opciones de configuración de Trino, consulte las plantillas de ARM de ejemplo.
Exportación de las configuraciones mediante la API REST
También puede exportar configuraciones de clúster para comprobar los valores predeterminados y actualizados. En este momento, solo puede exportar configuraciones a través de la API REST.
Obtención de configuraciones de clúster:
GET Request: /subscriptions/{{USER_SUB}}/resourceGroups/{{USER_RG}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSTERPOOL}}/clusters/{{CLUSTERNAME}}/serviceConfigs?api-version={{HDINSIGHTONAKS_API_VERSION}}
Si no está familiarizado con cómo enviar una llamada a la API REST, los pasos siguientes pueden ayudarle.
Haga clic en el botón siguiente en la parte superior derecha de Azure Portal para iniciar Azure Cloud Shell.
Captura de pantalla que muestra el icono de Cloud Shell.
Asegúrese de que Cloud Shell esté establecido en PowerShell en la parte superior izquierda. Ejecute el siguiente comando para obtener el token y establecer encabezados de solicitud HTTP.
$azContext = Get-AzContext $azProfile = [Microsoft.Azure.Commands.Common.Authentication.Abstractions.AzureRmProfileProvider]::Instance.Profile $profileClient = New-Object -TypeName Microsoft.Azure.Commands.ResourceManager.Common.RMProfileClient -ArgumentList ($azProfile) $token = $profileClient.AcquireAccessToken($azContext.Subscription.TenantId) $authHeader = @{ 'Content-Type'='application/json' 'Authorization'='Bearer ' + $token.AccessToken }Establezca la variable $restUri en la dirección URL de la solicitud Get.
$restUri = 'https://management.azure.com/subscriptions/{{USER_SUB}}/resourceGroups/{{USER_RG}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSTERPOOL}}/clusters/{{CLUSTERNAME}}/serviceConfigs?api-version={{HDINSIGHTONAKS_API_VERSION}}'Por ejemplo:
$restUri = 'https://management.azure.com/subscriptions/xxx-yyyy-zzz-00000/resourceGroups/contosoRG/providers/Microsoft.HDInsight/clusterpools/contosopool/clusters/contosocluster/serviceConfigs?api-version=2021-09-15-previewNota
Puede obtener el identificador de recurso y up-to-date api-version desde la "vista JSON" del clúster en Azure Portal.
Envíe la solicitud GET ejecutando el siguiente comando.
Invoke-RestMethod -Uri $restUri -Method Get -Headers $authHeader | ConvertTo-Json -Depth 10