Mengelola konfigurasi kluster

Artikel
04/16/2024

Penting

Fitur ini masih dalam mode pratinjau. Ketentuan Penggunaan Tambahan untuk Pratinjau Microsoft Azure mencakup lebih banyak persyaratan hukum yang berlaku untuk fitur Azure yang dalam versi beta, dalam pratinjau, atau belum dirilis ke ketersediaan umum. Untuk informasi tentang pratinjau khusus ini, lihat Azure HDInsight pada informasi pratinjau AKS. Untuk pertanyaan atau saran fitur, kirimkan permintaan di AskHDInsight dengan detail dan ikuti kami untuk pembaruan lebih lanjut di Komunitas Azure HDInsight.

HDInsight di AKS memungkinkan Anda mengubah properti konfigurasi untuk meningkatkan performa kluster Anda dengan pengaturan tertentu. Misalnya, pengaturan penggunaan atau memori. Anda dapat melakukan tindakan berikut:

Perbarui konfigurasi yang ada atau tambahkan konfigurasi baru.
Ekspor konfigurasi menggunakan REST API.

Menyesuaikan konfigurasi

Anda dapat menyesuaikan konfigurasi menggunakan opsi berikut:

Menggunakan portal Azure
Menggunakan templat ARM

Menggunakan portal Azure

Masuk ke portal Microsoft Azure.
Di bilah pencarian portal Azure, ketik "HDInsight di kluster AKS" dan pilih "Azure HDInsight pada kluster AKS" dari daftar drop-down.
Pilih nama kluster Anda dari halaman daftar.
Buka bilah "Manajemen konfigurasi" di menu sebelah kiri.
Bergantung pada jenis kluster, file konfigurasi dicantumkan. Untuk informasi selengkapnya, lihat Konfigurasi Trino, Flink, dan Spark .
Tambahkan baru atau perbarui pasangan kunci-nilai yang ada untuk konfigurasi yang ingin Anda ubah.
Pilih OK lalu klik Simpan.

Catatan

Beberapa perubahan konfigurasi mungkin memerlukan hidupkan ulang layanan untuk mencerminkan perubahan.

Menggunakan templat ARM

Prasyarat

Templat ARM untuk kluster Anda.
Keakraban dengan penulisan dan penyebaran templat ARM.

Dalam templat ARM, Anda dapat mengedit serviceConfigsProfiles dan menentukan nama file konfigurasi OSS dengan nilai yang ingin Anda timpa.

Jika file konfigurasi OSS dalam format JSON/XML/YAML, Anda dapat memberikan nama file konfigurasi OSS melalui fileName. Berikan pasangan nilai kunci yang ingin Anda timpa dalam "nilai."

Berikut adalah beberapa sampel untuk setiap beban kerja:

Contoh konfigurasi flink:

 "serviceConfigsProfiles": [
                {
                    "serviceName": "flink-operator",
                    "configs": [
                        {
                            "component": "flink-configs",
                            "files": [
                                {
                                    "fileName": "flink-conf.yaml",
                                    "values": {
                                        "taskmanager.memory.process.size": "4096mb",
                                        "classloader.check-leaked-classloader": "false",
                                        "jobmanager.memory.process.size": "4096mb",
                                        "classloader.parent-first-patterns.additional": "org.apache.parquet"
                                    }
                                }
                            ]
                        }
                    ]
                }
            ]

Contoh konfigurasi Spark:

  "serviceConfigsProfiles": [
                {
                    "serviceName": "spark-service",
                    "configs": [
                        {
                            "component": "livy-config",
                            "files": [
                                {
                                    "fileName": "livy-client.conf",
                                    "values": {
                                        "livy.client.http.connection.timeout": "11s"
                                    }
                                }
                            ]
                        },
                        {
                            "component": "spark-config",
                            "files": [
                                {
                                    "fileName": "spark-env.sh",
                                    "content": "# - SPARK_HISTORY_OPTS, to set config properties only for the history server (e.g. \"-Dx=y\")\nexport HDP_VERSION=3.3.3.5.2-83515052\n"
                                }
                            ]
                        }
                    ]
                }
          ]

Contoh konfigurasi Trino:

 "serviceConfigsProfiles": [
                {
                    "serviceName": "trino",
                    "configs": [
                        {
                            "component": "coordinator",
                            "files": [
                                {
                                    "fileName": "config.properties",
                                    "values": {
                                        "query.cache.enabled": "true",
                                        "query.cache.ttl": "1h",
                                        "query.enable-multi-statement-set-session": "true",
                                        "query.max-memory": "301GB"
                                    }
                                },
                                {
                                    "fileName": "log.properties",
                                    "values": {
                                        "io.trino": "INFO"
                                    }
                                }
                            ]
                        }
          ]

Untuk informasi selengkapnya tentang opsi konfigurasi Trino, lihat contoh templat ARM.

arm-trino-config-sample.json

Mengekspor konfigurasi menggunakan REST API

Anda juga dapat mengekspor konfigurasi kluster untuk memeriksa nilai default dan yang diperbarui. Saat ini, Anda hanya dapat mengekspor konfigurasi melalui REST API.

Dapatkan konfigurasi kluster:

GET Request: /subscriptions/{{USER_SUB}}/resourceGroups/{{USER_RG}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSTERPOOL}}/clusters/{{CLUSTERNAME}}/serviceConfigs?api-version={{HDINSIGHTONAKS_API_VERSION}}

Jika Anda tidak terbiasa dengan cara mengirim panggilan REST API, langkah-langkah berikut dapat membantu Anda.

Klik tombol berikut di kanan atas di portal Azure untuk meluncurkan Azure Cloud Shell.

Pastikan Cloud Shell diatur ke PowerShell di kiri atas. Jalankan perintah berikut untuk mendapatkan token dan mengatur header permintaan HTTP.

$azContext = Get-AzContext
$azProfile = [Microsoft.Azure.Commands.Common.Authentication.Abstractions.AzureRmProfileProvider]::Instance.Profile

$profileClient = New-Object -TypeName Microsoft.Azure.Commands.ResourceManager.Common.RMProfileClient -ArgumentList ($azProfile)
$token = $profileClient.AcquireAccessToken($azContext.Subscription.TenantId)
$authHeader = @{
    'Content-Type'='application/json'
    'Authorization'='Bearer ' + $token.AccessToken
}

Atur variabel $restUri ke URL Dapatkan permintaan.
```
$restUri = 
'https://management.azure.com/subscriptions/{{USER_SUB}}/resourceGroups/{{USER_RG}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSTERPOOL}}/clusters/{{CLUSTERNAME}}/serviceConfigs?api-version={{HDINSIGHTONAKS_API_VERSION}}'
```
Misalnya: $restUri = 'https://management.azure.com/subscriptions/xxx-yyyy-zzz-00000/resourceGroups/contosoRG/providers/Microsoft.HDInsight/clusterpools/contosopool/clusters/contosocluster/serviceConfigs?api-version=2021-09-15-preview

Catatan

Anda bisa mendapatkan id sumber daya dan versi api terbaru dari "Tampilan JSON" kluster Anda di portal Azure.
Kirim permintaan GET dengan menjalankan perintah berikut.

Invoke-RestMethod -Uri $restUri -Method Get -Headers $authHeader | ConvertTo-Json -Depth 10

Bagikan melalui