Fürtkonfiguráció kezelése
Fontos
Ez a szolgáltatás jelenleg előzetes kiadásban elérhető. A Microsoft Azure Előzetes verzió kiegészítő használati feltételei további jogi feltételeket tartalmaznak, amelyek a bétaverzióban, előzetes verzióban vagy egyébként még nem általánosan elérhető Azure-funkciókra vonatkoznak. Erről az adott előzetes verzióról az Azure HDInsight az AKS előzetes verziójában tájékozódhat. Ha kérdése vagy funkciójavaslata van, küldjön egy kérést az AskHDInsightban a részletekkel együtt, és kövessen minket további frissítésekért az Azure HDInsight-közösségről.
Az AKS-en futó HDInsight lehetővé teszi a konfigurációs tulajdonságok finomhangolását, hogy bizonyos beállításokkal javítsa a fürt teljesítményét. Például használati vagy memóriabeállítások. A következő műveleteket hajthatja végre:
- Frissítse a meglévő konfigurációkat, vagy adjon hozzá új konfigurációkat.
- Exportálja a konfigurációkat a REST API használatával.
Konfigurációk testreszabása
A konfigurációkat a következő beállításokkal szabhatja testre:
Az Azure Portal használata
Jelentkezzen be az Azure portálra.
Az Azure Portal keresősávjában írja be a "HDInsight az AKS-fürtön" kifejezést, és válassza az "Azure HDInsight az AKS-fürtökön" lehetőséget a legördülő listából.
Válassza ki a fürt nevét a listalapon.
Lépjen a bal oldali menü "Konfigurációkezelés" paneljére.
A fürt típusától függően a konfigurációs fájlok szerepelnek a listában. További információ: Trino, Flink és Spark-konfigurációk.
Adjon hozzá újat, vagy frissítse a módosítani kívánt konfigurációk meglévő kulcs-érték párját.
Válassza az OK gombot, majd kattintson a Mentés gombra.
Feljegyzés
Előfordulhat, hogy egyes konfigurációmódosítások a változásoknak megfelelően újra kell indítani a szolgáltatást.
ARM-sablon használata
Előfeltételek
- ARM-sablon a fürthöz.
- Az ARM-sablonok készítésének és üzembe helyezésének ismerete.
Az ARM-sablonban szerkesztheti a serviceConfigsProfiles szolgáltatást, és megadhatja az OSS konfigurációs fájl nevét az felülírni kívánt értékkel.
Ha az OSS-konfigurációs fájl JSON/XML/YAML formátumban van, az OSS konfigurációs fájl nevét a következővel fileNameadhatja meg: . Adja meg azokat a kulcsértékpárokat, amelyeket felül szeretne írni az "értékekben".
Íme néhány példa az egyes számítási feladatokhoz:
Példa kapcsolatkonfigurációra:
"serviceConfigsProfiles": [
{
"serviceName": "flink-operator",
"configs": [
{
"component": "flink-configs",
"files": [
{
"fileName": "flink-conf.yaml",
"values": {
"taskmanager.memory.process.size": "4096mb",
"classloader.check-leaked-classloader": "false",
"jobmanager.memory.process.size": "4096mb",
"classloader.parent-first-patterns.additional": "org.apache.parquet"
}
}
]
}
]
}
]
Példa Spark-konfigurációra:
"serviceConfigsProfiles": [
{
"serviceName": "spark-service",
"configs": [
{
"component": "livy-config",
"files": [
{
"fileName": "livy-client.conf",
"values": {
"livy.client.http.connection.timeout": "11s"
}
}
]
},
{
"component": "spark-config",
"files": [
{
"fileName": "spark-env.sh",
"content": "# - SPARK_HISTORY_OPTS, to set config properties only for the history server (e.g. \"-Dx=y\")\nexport HDP_VERSION=3.3.3.5.2-83515052\n"
}
]
}
]
}
]
Trinó konfigurációs példa:
"serviceConfigsProfiles": [
{
"serviceName": "trino",
"configs": [
{
"component": "coordinator",
"files": [
{
"fileName": "config.properties",
"values": {
"query.cache.enabled": "true",
"query.cache.ttl": "1h",
"query.enable-multi-statement-set-session": "true",
"query.max-memory": "301GB"
}
},
{
"fileName": "log.properties",
"values": {
"io.trino": "INFO"
}
}
]
}
]
A Trino konfigurációs beállításaival kapcsolatos további információkért tekintse meg az ARM-mintasablonokat.
Konfigurációk exportálása REST API használatával
A fürtkonfigurációkat az alapértelmezett és frissített értékek ellenőrzéséhez is exportálhatja. Jelenleg csak a REST API-n keresztül exportálhat konfigurációkat.
Fürtkonfigurációk lekérése:
GET Request: /subscriptions/{{USER_SUB}}/resourceGroups/{{USER_RG}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSTERPOOL}}/clusters/{{CLUSTERNAME}}/serviceConfigs?api-version={{HDINSIGHTONAKS_API_VERSION}}
Ha nem ismeri a REST API-hívások küldésének módját, az alábbi lépések segíthetnek.
Kattintson a következő gombra az Azure Portal jobb felső sarkában az Azure Cloud Shell elindításához.
Győződjön meg arról, hogy a Cloud Shell a bal felső sarokban a PowerShellre van állítva. Futtassa a következő parancsot a jogkivonat lekéréséhez és a HTTP-kérelem fejléceinek beállításához.
$azContext = Get-AzContext $azProfile = [Microsoft.Azure.Commands.Common.Authentication.Abstractions.AzureRmProfileProvider]::Instance.Profile $profileClient = New-Object -TypeName Microsoft.Azure.Commands.ResourceManager.Common.RMProfileClient -ArgumentList ($azProfile) $token = $profileClient.AcquireAccessToken($azContext.Subscription.TenantId) $authHeader = @{ 'Content-Type'='application/json' 'Authorization'='Bearer ' + $token.AccessToken }Állítsa a $restUri változót a Kérés URL-címének lekérésére.
$restUri = 'https://management.azure.com/subscriptions/{{USER_SUB}}/resourceGroups/{{USER_RG}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSTERPOOL}}/clusters/{{CLUSTERNAME}}/serviceConfigs?api-version={{HDINSIGHTONAKS_API_VERSION}}'Például:
$restUri = 'https://management.azure.com/subscriptions/xxx-yyyy-zzz-00000/resourceGroups/contosoRG/providers/Microsoft.HDInsight/clusterpools/contosopool/clusters/contosocluster/serviceConfigs?api-version=2021-09-15-previewFeljegyzés
Az erőforrás-azonosítót és a naprakész api-verziót a fürt "JSON nézetéből" szerezheti be az Azure Portalon.
Küldje el a GET kérést a következő parancs végrehajtásával.
Invoke-RestMethod -Uri $restUri -Method Get -Headers $authHeader | ConvertTo-Json -Depth 10