Administrar la configuración del clúster
Nota:
Retiraremos Azure HDInsight en AKS el 31 de enero de 2025. Antes del 31 de enero de 2025, deberá migrar las cargas de trabajo a Microsoft Fabric o un producto equivalente de Azure para evitar la terminación repentina de las cargas de trabajo. Los clústeres restantes de la suscripción se detendrán y quitarán del host.
Solo el soporte técnico básico estará disponible hasta la fecha de retirada.
Importante
Esta funcionalidad actualmente está en su versión preliminar. En Términos de uso complementarios para las versiones preliminares de Microsoft Azure encontrará más términos legales que se aplican a las características de Azure que están en versión beta, en versión preliminar, o que todavía no se han lanzado con disponibilidad general. Para más información sobre esta versión preliminar específica, consulte la Información de Azure HDInsight sobre la versión preliminar de AKS. Para plantear preguntas o sugerencias sobre la característica, envíe una solicitud en AskHDInsight con los detalles y síganos para obtener más actualizaciones en la Comunidad de Azure HDInsight.
HDInsight en AKS permite ajustar las propiedades de configuración para mejorar el rendimiento del clúster con determinadas opciones de configuración. Por ejemplo, la configuración de uso o memoria. Puede realizar las siguientes acciones:
- Actualice las configuraciones existentes o agregue nuevas configuraciones.
- Exporte las configuraciones mediante la API REST.
Personalización de configuraciones
Puede personalizar las configuraciones mediante las siguientes opciones:
Mediante Azure Portal
Inicie sesión en Azure Portal.
En la barra de búsqueda de Azure Portal, escriba "clúster de HDInsight en AKS" y seleccione "clústeres de Azure HDInsight en AKS" en la lista desplegable.
Seleccione el nombre del clúster en la página de la lista.
Vaya a la hoja "Administración de configuración" en el menú izquierdo.
Según el tipo de clúster, se muestran los archivos de configuración. Para obtener más información, consulte Trino, Flink y configuraciones de Spark.
Agregue nuevo o actualice el par clave-valor existente para las configuraciones que desea modificar.
Seleccione Aceptar y haga clic en Guardar.
Nota:
Es posible que algunos cambios de configuración necesiten reiniciar el servicio para reflejar los cambios.
Uso de una plantilla de Resource Manager
Requisitos previos
- Plantilla de ARM para su clúster.
- Familiaridad con la creación e implementación de plantillas de ARM.
En la plantilla de ARM, puede editar serviceConfigsProfiles y especificar el nombre del archivo de configuración del sistema operativo con el valor que desea sobrescribir.
Si el archivo de configuración del sistema operativo está en formato JSON/XML/YAML, puede proporcionar el nombre del archivo de configuración del sistema operativo a través de fileName. Proporcione los pares clave-valor que desea sobrescribir en “valores.”
Estos son algunos ejemplos para cada carga de trabajo:
ejemplo de configuración de Flink:
"serviceConfigsProfiles": [
{
"serviceName": "flink-operator",
"configs": [
{
"component": "flink-configs",
"files": [
{
"fileName": "flink-conf.yaml",
"values": {
"taskmanager.memory.process.size": "4096mb",
"classloader.check-leaked-classloader": "false",
"jobmanager.memory.process.size": "4096mb",
"classloader.parent-first-patterns.additional": "org.apache.parquet"
}
}
]
}
]
}
]
ejemplo de configuración de Spark:
"serviceConfigsProfiles": [
{
"serviceName": "spark-service",
"configs": [
{
"component": "livy-config",
"files": [
{
"fileName": "livy-client.conf",
"values": {
"livy.client.http.connection.timeout": "11s"
}
}
]
},
{
"component": "spark-config",
"files": [
{
"fileName": "spark-env.sh",
"content": "# - SPARK_HISTORY_OPTS, to set config properties only for the history server (e.g. \"-Dx=y\")\nexport HDP_VERSION=3.3.3.5.2-83515052\n"
}
]
}
]
}
]
ejemplo de configuración de Trino:
"serviceConfigsProfiles": [
{
"serviceName": "trino",
"configs": [
{
"component": "coordinator",
"files": [
{
"fileName": "config.properties",
"values": {
"query.cache.enabled": "true",
"query.cache.ttl": "1h",
"query.enable-multi-statement-set-session": "true",
"query.max-memory": "301GB"
}
},
{
"fileName": "log.properties",
"values": {
"io.trino": "INFO"
}
}
]
}
]
Para obtener más información sobre las opciones de configuración de Trino, consulte las plantillas de ARM de ejemplo.
Exportación de las configuraciones mediante la API REST
También puede exportar configuraciones de clúster para comprobar los valores predeterminados y actualizados. En este momento, solo puede exportar configuraciones a través de la API REST.
Obtención de configuraciones de clúster:
GET Request: /subscriptions/{{USER_SUB}}/resourceGroups/{{USER_RG}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSTERPOOL}}/clusters/{{CLUSTERNAME}}/serviceConfigs?api-version={{HDINSIGHTONAKS_API_VERSION}}
Si no está familiarizado con cómo enviar una llamada a la API REST, los pasos siguientes pueden ayudarle.
Haga clic en el siguiente botón situado en la parte superior derecha de Azure Portal para iniciar Azure Cloud Shell.
Asegúrese de que Cloud Shell esté establecido en PowerShell en la parte superior izquierda. Ejecute el siguiente comando para obtener el token y establecer encabezados de solicitud HTTP.
$azContext = Get-AzContext $azProfile = [Microsoft.Azure.Commands.Common.Authentication.Abstractions.AzureRmProfileProvider]::Instance.Profile $profileClient = New-Object -TypeName Microsoft.Azure.Commands.ResourceManager.Common.RMProfileClient -ArgumentList ($azProfile) $token = $profileClient.AcquireAccessToken($azContext.Subscription.TenantId) $authHeader = @{ 'Content-Type'='application/json' 'Authorization'='Bearer ' + $token.AccessToken }Establezca la variable $restUri en la dirección URL de la solicitud Get.
$restUri = 'https://management.azure.com/subscriptions/{{USER_SUB}}/resourceGroups/{{USER_RG}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSTERPOOL}}/clusters/{{CLUSTERNAME}}/serviceConfigs?api-version={{HDINSIGHTONAKS_API_VERSION}}'Por ejemplo:
$restUri = 'https://management.azure.com/subscriptions/xxx-yyyy-zzz-00000/resourceGroups/contosoRG/providers/Microsoft.HDInsight/clusterpools/contosopool/clusters/contosocluster/serviceConfigs?api-version=2021-09-15-previewNota:
Puede obtener el identificador de recurso y la versión de API actualizada desde la "vista JSON" del clúster en Azure Portal.
Envíe la solicitud GET ejecutando el siguiente comando.
Invoke-RestMethod -Uri $restUri -Method Get -Headers $authHeader | ConvertTo-Json -Depth 10