Správa konfigurace clusteru
Důležité
Tato funkce je aktuálně dostupná jako ukázková verze. Doplňkové podmínky použití pro Microsoft Azure Preview obsahují další právní podmínky, které se vztahují na funkce Azure, které jsou v beta verzi, ve verzi Preview nebo ještě nejsou vydány v obecné dostupnosti. Informace o této konkrétní verzi Preview najdete v tématu Azure HDInsight o službě AKS ve verzi Preview. Pokud máte dotazy nebo návrhy funkcí, odešlete prosím žádost na AskHDInsight s podrobnostmi a sledujte nás o dalších aktualizacích v komunitě Azure HDInsight.
HDInsight v AKS umožňuje upravit vlastnosti konfigurace, aby se zlepšil výkon clusteru s určitými nastaveními. Například nastavení využití nebo paměti. Můžete provést následující akce:
- Aktualizujte existující konfigurace nebo přidejte nové konfigurace.
- Export konfigurací pomocí rozhraní REST API
Přizpůsobení konfigurací
Konfigurace můžete přizpůsobit pomocí následujících možností:
Pomocí webu Azure Portal
Přihlaste se na portál Azure.
Na panelu hledání na webu Azure Portal zadejte "HDInsight v clusteru AKS" a v rozevíracím seznamu vyberte Azure HDInsight v clusterech AKS.
Na stránce seznamu vyberte název clusteru.
V levé nabídce přejděte do okna Správa konfigurace.
V závislosti na typu clusteru jsou uvedené konfigurační soubory. Další informace najdete v tématu Konfigurace Trino, Flink a Spark .
Přidejte nový nebo aktualizujte existující dvojici klíč-hodnota pro konfigurace, které chcete upravit.
Vyberte OK a potom klepněte na tlačítko Uložit.
Poznámka:
Některé změny konfigurace můžou vyžadovat restartování služby, aby se projevily změny.
Použití šablony Resource Manageru
Požadavky
- Šablona ARM pro váš cluster
- Znalost vytváření a nasazování šablon ARM
V šabloně ARM můžete upravit serviceConfigsProfiles a zadat název konfiguračního souboru OSS s hodnotou, kterou chcete přepsat.
Pokud je konfigurační soubor OSS ve formátu JSON/XML/YAML, můžete zadat název konfiguračního souboru OSS prostřednictvím fileName. Zadejte páry klíč-hodnota, které chcete přepsat v "hodnotách".
Tady je několik ukázek pro každou úlohu:
Příklad konfigurace Flink:
"serviceConfigsProfiles": [
{
"serviceName": "flink-operator",
"configs": [
{
"component": "flink-configs",
"files": [
{
"fileName": "flink-conf.yaml",
"values": {
"taskmanager.memory.process.size": "4096mb",
"classloader.check-leaked-classloader": "false",
"jobmanager.memory.process.size": "4096mb",
"classloader.parent-first-patterns.additional": "org.apache.parquet"
}
}
]
}
]
}
]
Příklad konfigurace Sparku:
"serviceConfigsProfiles": [
{
"serviceName": "spark-service",
"configs": [
{
"component": "livy-config",
"files": [
{
"fileName": "livy-client.conf",
"values": {
"livy.client.http.connection.timeout": "11s"
}
}
]
},
{
"component": "spark-config",
"files": [
{
"fileName": "spark-env.sh",
"content": "# - SPARK_HISTORY_OPTS, to set config properties only for the history server (e.g. \"-Dx=y\")\nexport HDP_VERSION=3.3.3.5.2-83515052\n"
}
]
}
]
}
]
Příklad konfigurace Trino:
"serviceConfigsProfiles": [
{
"serviceName": "trino",
"configs": [
{
"component": "coordinator",
"files": [
{
"fileName": "config.properties",
"values": {
"query.cache.enabled": "true",
"query.cache.ttl": "1h",
"query.enable-multi-statement-set-session": "true",
"query.max-memory": "301GB"
}
},
{
"fileName": "log.properties",
"values": {
"io.trino": "INFO"
}
}
]
}
]
Další informace o možnostech konfigurace Trino najdete v ukázkových šablonách ARM.
Export konfigurací pomocí rozhraní REST API
Můžete také exportovat konfigurace clusteru a zkontrolovat výchozí a aktualizované hodnoty. V tuto chvíli můžete exportovat pouze konfigurace prostřednictvím rozhraní REST API.
Získání konfigurací clusteru:
GET Request: /subscriptions/{{USER_SUB}}/resourceGroups/{{USER_RG}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSTERPOOL}}/clusters/{{CLUSTERNAME}}/serviceConfigs?api-version={{HDINSIGHTONAKS_API_VERSION}}
Pokud nevíte, jak odeslat volání rozhraní REST API, následující kroky vám můžou pomoct.
Kliknutím na následující tlačítko v pravém horním rohu webu Azure Portal spusťte Azure Cloud Shell.
Ujistěte se, že je Cloud Shell nastavený na PowerShell v levém horním rohu. Spuštěním následujícího příkazu získejte token a nastavte hlavičky požadavku HTTP.
$azContext = Get-AzContext $azProfile = [Microsoft.Azure.Commands.Common.Authentication.Abstractions.AzureRmProfileProvider]::Instance.Profile $profileClient = New-Object -TypeName Microsoft.Azure.Commands.ResourceManager.Common.RMProfileClient -ArgumentList ($azProfile) $token = $profileClient.AcquireAccessToken($azContext.Subscription.TenantId) $authHeader = @{ 'Content-Type'='application/json' 'Authorization'='Bearer ' + $token.AccessToken }Nastavte proměnnou $restUri na adresu URL požadavku Get.
$restUri = 'https://management.azure.com/subscriptions/{{USER_SUB}}/resourceGroups/{{USER_RG}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSTERPOOL}}/clusters/{{CLUSTERNAME}}/serviceConfigs?api-version={{HDINSIGHTONAKS_API_VERSION}}'Příklad:
$restUri = 'https://management.azure.com/subscriptions/xxx-yyyy-zzz-00000/resourceGroups/contosoRG/providers/Microsoft.HDInsight/clusterpools/contosopool/clusters/contosocluster/serviceConfigs?api-version=2021-09-15-previewPoznámka:
ID prostředku a aktuální verzi rozhraní API můžete získat ze zobrazení JSON vašeho clusteru na webu Azure Portal.
Odešlete požadavek GET spuštěním následujícího příkazu.
Invoke-RestMethod -Uri $restUri -Method Get -Headers $authHeader | ConvertTo-Json -Depth 10