Udostępnij za pośrednictwem


Zarządzanie konfiguracją klastra

Uwaga

Wycofamy usługę Azure HDInsight w usłudze AKS 31 stycznia 2025 r. Przed 31 stycznia 2025 r. należy przeprowadzić migrację obciążeń do usługi Microsoft Fabric lub równoważnego produktu platformy Azure, aby uniknąć nagłego zakończenia obciążeń. Pozostałe klastry w ramach subskrypcji zostaną zatrzymane i usunięte z hosta.

Tylko podstawowa pomoc techniczna będzie dostępna do daty wycofania.

Ważne

Ta funkcja jest aktualnie dostępna jako funkcja podglądu. Dodatkowe warunki użytkowania dla wersji zapoznawczych platformy Microsoft Azure obejmują więcej warunków prawnych, które dotyczą funkcji platformy Azure, które znajdują się w wersji beta, w wersji zapoznawczej lub w inny sposób nie zostały jeszcze wydane w wersji ogólnodostępnej. Aby uzyskać informacje o tej konkretnej wersji zapoznawczej, zobacz Informacje o wersji zapoznawczej usługi Azure HDInsight w usłudze AKS. W przypadku pytań lub sugestii dotyczących funkcji prześlij żądanie w usłudze AskHDInsight , aby uzyskać szczegółowe informacje i postępuj zgodnie z nami, aby uzyskać więcej aktualizacji w społeczności usługi Azure HDInsight.

Usługa HDInsight w usłudze AKS umożliwia dostosowanie właściwości konfiguracji w celu zwiększenia wydajności klastra przy użyciu określonych ustawień. Na przykład ustawienia użycia lub pamięci. Możesz wykonać następujące czynności:

  • Zaktualizuj istniejące konfiguracje lub dodaj nowe konfiguracje.
  • Wyeksportuj konfiguracje przy użyciu interfejsu API REST.

Dostosowywanie konfiguracji

Konfiguracje można dostosować przy użyciu następujących opcji:

Przy użyciu witryny Azure Portal

  1. Zaloguj się do Portalu Azure.

  2. Na pasku wyszukiwania w witrynie Azure Portal wpisz ciąg "HDInsight on AKS cluster" (Klaster usługi HDInsight w usłudze Azure HDInsight w klastrach usługi AKS) z listy rozwijanej.

    Zrzut ekranu przedstawiający opcję wyszukiwania umożliwiającą rozpoczęcie pracy z usługą HDInsight w klastrze usługi AKS.

  3. Wybierz nazwę klastra na stronie listy.

    Zrzut ekranu przedstawiający wybieranie klastra usługi HDInsight w klastrze usługi AKS, którego potrzebujesz z listy.

  4. Przejdź do bloku "Zarządzanie konfiguracją" w menu po lewej stronie.

    Zrzut ekranu przedstawiający kartę Zarządzanie konfiguracją.

  5. W zależności od typu klastra są wyświetlane pliki konfiguracji. Aby uzyskać więcej informacji, zobacz Konfiguracje trino, Flink i Spark .

  6. Dodaj nową lub zaktualizuj istniejącą parę klucz-wartość dla konfiguracji, które chcesz zmodyfikować.

  7. Wybierz przycisk OK , a następnie kliknij przycisk Zapisz.

Uwaga

Niektóre zmiany konfiguracji mogą wymagać ponownego uruchomienia usługi, aby odzwierciedlić zmiany.

Korzystanie z szablonu usługi ARM

Wymagania wstępne

W szablonie usługi ARM możesz edytować plik serviceConfigsProfiles i określić nazwę pliku konfiguracji systemu operacyjnego o wartości, którą chcesz zastąpić.

Jeśli plik konfiguracji systemu operacyjnego jest w formacie JSON/XML/YAML, możesz podać nazwę pliku konfiguracji systemu operacyjnego za pomocą polecenia fileName. Podaj pary wartości klucza, które chcesz zastąpić w ciągu "wartości".

Oto kilka przykładów dla każdego obciążenia:

Przykład konfiguracji linku:

 "serviceConfigsProfiles": [
                {
                    "serviceName": "flink-operator",
                    "configs": [
                        {
                            "component": "flink-configs",
                            "files": [
                                {
                                    "fileName": "flink-conf.yaml",
                                    "values": {
                                        "taskmanager.memory.process.size": "4096mb",
                                        "classloader.check-leaked-classloader": "false",
                                        "jobmanager.memory.process.size": "4096mb",
                                        "classloader.parent-first-patterns.additional": "org.apache.parquet"
                                    }
                                }
                            ]
                        }
                    ]
                }
            ]

Przykład konfiguracji platformy Spark:

  "serviceConfigsProfiles": [
                {
                    "serviceName": "spark-service",
                    "configs": [
                        {
                            "component": "livy-config",
                            "files": [
                                {
                                    "fileName": "livy-client.conf",
                                    "values": {
                                        "livy.client.http.connection.timeout": "11s"
                                    }
                                }
                            ]
                        },
                        {
                            "component": "spark-config",
                            "files": [
                                {
                                    "fileName": "spark-env.sh",
                                    "content": "# - SPARK_HISTORY_OPTS, to set config properties only for the history server (e.g. \"-Dx=y\")\nexport HDP_VERSION=3.3.3.5.2-83515052\n"
                                }
                            ]
                        }
                    ]
                }
          ]

Przykład konfiguracji Trino:

 "serviceConfigsProfiles": [
                {
                    "serviceName": "trino",
                    "configs": [
                        {
                            "component": "coordinator",
                            "files": [
                                {
                                    "fileName": "config.properties",
                                    "values": {
                                        "query.cache.enabled": "true",
                                        "query.cache.ttl": "1h",
                                        "query.enable-multi-statement-set-session": "true",
                                        "query.max-memory": "301GB"
                                    }
                                },
                                {
                                    "fileName": "log.properties",
                                    "values": {
                                        "io.trino": "INFO"
                                    }
                                }
                            ]
                        }
          ]

Aby uzyskać więcej informacji na temat opcji konfiguracji trino, zobacz przykładowe szablony usługi ARM.

Eksportowanie konfiguracji przy użyciu interfejsu API REST

Możesz również wyeksportować konfiguracje klastra, aby sprawdzić wartości domyślne i zaktualizowane. Obecnie konfiguracje można eksportować tylko za pośrednictwem interfejsu API REST.

Pobieranie konfiguracji klastra:

GET Request: /subscriptions/{{USER_SUB}}/resourceGroups/{{USER_RG}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSTERPOOL}}/clusters/{{CLUSTERNAME}}/serviceConfigs?api-version={{HDINSIGHTONAKS_API_VERSION}}

Jeśli nie znasz sposobu wysyłania wywołania interfejsu API REST, poniższe kroki mogą Ci pomóc.

  1. Kliknij poniższy przycisk w prawym górnym rogu witryny Azure Portal, aby uruchomić usługę Azure Cloud Shell.

    Zrzut ekranu przedstawiający ikonę usługi Cloud Shell.

  2. Upewnij się, że usługa Cloud Shell jest ustawiona na program PowerShell w lewym górnym rogu. Uruchom następujące polecenie, aby pobrać token i ustawić nagłówki żądań HTTP.

    $azContext = Get-AzContext
    $azProfile = [Microsoft.Azure.Commands.Common.Authentication.Abstractions.AzureRmProfileProvider]::Instance.Profile
    
    $profileClient = New-Object -TypeName Microsoft.Azure.Commands.ResourceManager.Common.RMProfileClient -ArgumentList ($azProfile)
    $token = $profileClient.AcquireAccessToken($azContext.Subscription.TenantId)
    $authHeader = @{
        'Content-Type'='application/json'
        'Authorization'='Bearer ' + $token.AccessToken
    }
    
  3. Ustaw zmienną $restUri na adres URL pobierania żądania.

    $restUri = 
    'https://management.azure.com/subscriptions/{{USER_SUB}}/resourceGroups/{{USER_RG}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSTERPOOL}}/clusters/{{CLUSTERNAME}}/serviceConfigs?api-version={{HDINSIGHTONAKS_API_VERSION}}'
    

    Przykład: $restUri = 'https://management.azure.com/subscriptions/xxx-yyyy-zzz-00000/resourceGroups/contosoRG/providers/Microsoft.HDInsight/clusterpools/contosopool/clusters/contosocluster/serviceConfigs?api-version=2021-09-15-preview

    Uwaga

    Identyfikator zasobu i aktualna wersja interfejsu API można pobrać z widoku JSON klastra w witrynie Azure Portal.

    Zrzut ekranu przedstawiający przyciski Widoku kosztów JSON.

  4. Wyślij żądanie GET, wykonując następujące polecenie.

    Invoke-RestMethod -Uri $restUri -Method Get -Headers $authHeader | ConvertTo-Json -Depth 10