Clusterconfiguratie beheren
Notitie
Op 31 januari 2025 wordt Azure HDInsight buiten gebruik gesteld op AKS. Vóór 31 januari 2025 moet u uw workloads migreren naar Microsoft Fabric of een gelijkwaardig Azure-product om te voorkomen dat uw workloads plotseling worden beëindigd. De resterende clusters in uw abonnement worden gestopt en verwijderd van de host.
Alleen basisondersteuning is beschikbaar tot de buitengebruikstellingsdatum.
Belangrijk
Deze functie is momenteel beschikbaar in preview. De aanvullende gebruiksvoorwaarden voor Microsoft Azure Previews bevatten meer juridische voorwaarden die van toepassing zijn op Azure-functies die bèta, in preview of anderszins nog niet beschikbaar zijn in algemene beschikbaarheid. Zie Azure HDInsight op AKS Preview-informatie voor meer informatie over deze specifieke preview. Voor vragen of suggesties voor functies dient u een aanvraag in op AskHDInsight met de details en volgt u ons voor meer updates in de Azure HDInsight-community.
Met HDInsight in AKS kunt u de configuratie-eigenschappen aanpassen om de prestaties van uw cluster met bepaalde instellingen te verbeteren. Bijvoorbeeld gebruiks- of geheugeninstellingen. U kunt de volgende acties uitvoeren:
- Werk de bestaande configuraties bij of voeg nieuwe configuraties toe.
- Exporteer de configuraties met behulp van REST API.
Configuraties aanpassen
U kunt configuraties aanpassen met behulp van de volgende opties:
Azure-portal gebruiken
Meld u aan bij het Azure Portal.
Typ 'HDInsight in AKS-cluster' in de zoekbalk van Azure Portal en selecteer 'Azure HDInsight op AKS-clusters' in de vervolgkeuzelijst.
Selecteer de clusternaam op de lijstpagina.
Ga naar de blade Configuratiebeheer in het linkermenu.
Afhankelijk van het clustertype worden configuratiebestanden weergegeven. Zie Trino-, Flink- en Spark-configuraties voor meer informatie.
Voeg het bestaande sleutel-waardepaar toe of werk het bestaande sleutel-waardepaar bij voor de configuraties die u wilt wijzigen.
Selecteer OK en klik vervolgens op Opslaan.
Notitie
Voor sommige configuratiewijzigingen moet de service mogelijk opnieuw worden opgestart om de wijzigingen weer te geven.
ARM-sjabloon gebruiken
Vereisten
- ARM-sjabloon voor uw cluster.
- Bekendheid met het ontwerpen en implementeren van ARM-sjablonen.
In de ARM-sjabloon kunt u serviceConfigsProfiles bewerken en de naam van het OSS-configuratiebestand opgeven met de waarde die u wilt overschrijven.
Als het OSS-configuratiebestand de JSON/XML/YAML-indeling heeft, kunt u de naam van het OSS-configuratiebestand opgeven via fileName. Geef de sleutelwaardeparen op die u wilt overschrijven in 'waarden'.
Hier volgen enkele voorbeelden voor elke workload:
Flink configuratievoorbeeld:
"serviceConfigsProfiles": [
{
"serviceName": "flink-operator",
"configs": [
{
"component": "flink-configs",
"files": [
{
"fileName": "flink-conf.yaml",
"values": {
"taskmanager.memory.process.size": "4096mb",
"classloader.check-leaked-classloader": "false",
"jobmanager.memory.process.size": "4096mb",
"classloader.parent-first-patterns.additional": "org.apache.parquet"
}
}
]
}
]
}
]
Voorbeeld van Spark-configuratie:
"serviceConfigsProfiles": [
{
"serviceName": "spark-service",
"configs": [
{
"component": "livy-config",
"files": [
{
"fileName": "livy-client.conf",
"values": {
"livy.client.http.connection.timeout": "11s"
}
}
]
},
{
"component": "spark-config",
"files": [
{
"fileName": "spark-env.sh",
"content": "# - SPARK_HISTORY_OPTS, to set config properties only for the history server (e.g. \"-Dx=y\")\nexport HDP_VERSION=3.3.3.5.2-83515052\n"
}
]
}
]
}
]
Voorbeeld van trino-configuratie:
"serviceConfigsProfiles": [
{
"serviceName": "trino",
"configs": [
{
"component": "coordinator",
"files": [
{
"fileName": "config.properties",
"values": {
"query.cache.enabled": "true",
"query.cache.ttl": "1h",
"query.enable-multi-statement-set-session": "true",
"query.max-memory": "301GB"
}
},
{
"fileName": "log.properties",
"values": {
"io.trino": "INFO"
}
}
]
}
]
Zie de ARM-voorbeeldsjablonen voor meer informatie over Trino-configuratieopties.
De configuraties exporteren met behulp van REST API
U kunt ook clusterconfiguraties exporteren om de standaard- en bijgewerkte waarden te controleren. Op dit moment kunt u alleen configuraties exporteren via de REST API.
Clusterconfiguraties ophalen:
GET Request: /subscriptions/{{USER_SUB}}/resourceGroups/{{USER_RG}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSTERPOOL}}/clusters/{{CLUSTERNAME}}/serviceConfigs?api-version={{HDINSIGHTONAKS_API_VERSION}}
Als u niet bekend bent met het verzenden van een REST API-aanroep, kunnen de volgende stappen u helpen.
Klik op de volgende knop rechtsboven in Azure Portal om Azure Cloud Shell te starten.
Zorg ervoor dat Cloud Shell is ingesteld op PowerShell linksboven. Voer de volgende opdracht uit om token op te halen en HTTP-aanvraagheaders in te stellen.
$azContext = Get-AzContext $azProfile = [Microsoft.Azure.Commands.Common.Authentication.Abstractions.AzureRmProfileProvider]::Instance.Profile $profileClient = New-Object -TypeName Microsoft.Azure.Commands.ResourceManager.Common.RMProfileClient -ArgumentList ($azProfile) $token = $profileClient.AcquireAccessToken($azContext.Subscription.TenantId) $authHeader = @{ 'Content-Type'='application/json' 'Authorization'='Bearer ' + $token.AccessToken }Stel de variabele $restUri in op de aanvraag-URL ophalen.
$restUri = 'https://management.azure.com/subscriptions/{{USER_SUB}}/resourceGroups/{{USER_RG}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSTERPOOL}}/clusters/{{CLUSTERNAME}}/serviceConfigs?api-version={{HDINSIGHTONAKS_API_VERSION}}'Bijvoorbeeld:
$restUri = 'https://management.azure.com/subscriptions/xxx-yyyy-zzz-00000/resourceGroups/contosoRG/providers/Microsoft.HDInsight/clusterpools/contosopool/clusters/contosocluster/serviceConfigs?api-version=2021-09-15-previewNotitie
U kunt de resource-id en de bijgewerkte API-versie ophalen uit de JSON-weergave van uw cluster in Azure Portal.
Verzend de GET-aanvraag door de volgende opdracht uit te voeren.
Invoke-RestMethod -Uri $restUri -Method Get -Headers $authHeader | ConvertTo-Json -Depth 10