Mengelola konfigurasi kluster
Penting
Azure HDInsight di AKS dihentikan pada 31 Januari 2025. Pelajari lebih lanjut melalui pengumuman ini.
Anda perlu memigrasikan beban kerja Anda untuk Microsoft Fabric atau produk Azure yang setara untuk menghindari penghentian beban kerja Anda yang mendadak.
Penting
Fitur ini saat ini dalam pratinjau. Ketentuan Penggunaan Tambahan untuk Pratinjau Microsoft Azure menyertakan lebih banyak persyaratan hukum yang berlaku untuk fitur Azure yang dalam versi beta, dalam pratinjau, atau belum dirilis ke ketersediaan umum. Untuk informasi tentang pratinjau khusus ini, lihat Azure HDInsight pada informasi pratinjau AKS. Untuk pertanyaan atau saran fitur, silakan kirimkan permintaan di AskHDInsight dengan rincian detail, dan ikuti kami untuk mendapatkan pembaruan lebih lanjut tentang Komunitas Azure HDInsight.
HDInsight di AKS memungkinkan Anda mengubah properti konfigurasi untuk meningkatkan performa kluster Anda dengan pengaturan tertentu. Misalnya, pengaturan penggunaan atau memori. Anda dapat melakukan tindakan berikut:
- Perbarui konfigurasi yang ada atau tambahkan konfigurasi baru.
- Ekspor konfigurasi menggunakan REST API.
Menyesuaikan konfigurasi
Anda dapat menyesuaikan konfigurasi menggunakan opsi berikut:
Menggunakan portal Microsoft Azure
Di bilah pencarian portal Microsoft Azure, ketik "HDInsight di kluster AKS" dan pilih "Azure HDInsight pada kluster AKS" dari daftar drop-down.
Pilih nama kluster Anda dari halaman daftar.
Buka bilah "Manajemen konfigurasi" di menu sebelah kiri.
Cuplikan layar
Bergantung pada jenis kluster, file konfigurasi dicantumkan. Untuk informasi selengkapnya, lihat konfigurasi Trino, Flink, dan Spark.
Tambahkan baru atau perbarui pasangan kunci-nilai yang ada untuk konfigurasi yang ingin Anda ubah.
Pilih OK lalu klik Simpan.
Nota
Beberapa perubahan konfigurasi mungkin memerlukan hidupkan ulang layanan untuk mencerminkan perubahan.
Menggunakan templat ARM
Prasyarat
Dalam templat ARM, Anda dapat mengedit serviceConfigsProfiles dan menentukan nama file konfigurasi OSS dengan nilai yang ingin Anda timpa.
Jika file konfigurasi OSS dalam format JSON/XML/YAML, Anda dapat memberikan nama file konfigurasi OSS melalui fileName. Berikan pasangan nilai kunci yang ingin Anda ganti pada "nilai."
Berikut adalah beberapa sampel untuk setiap beban kerja:
contoh pengaturan konfigurasi Flink:
"serviceConfigsProfiles": [
{
"serviceName": "flink-operator",
"configs": [
{
"component": "flink-configs",
"files": [
{
"fileName": "flink-conf.yaml",
"values": {
"taskmanager.memory.process.size": "4096mb",
"classloader.check-leaked-classloader": "false",
"jobmanager.memory.process.size": "4096mb",
"classloader.parent-first-patterns.additional": "org.apache.parquet"
}
}
]
}
]
}
]
contoh konfigurasi Spark:
"serviceConfigsProfiles": [
{
"serviceName": "spark-service",
"configs": [
{
"component": "livy-config",
"files": [
{
"fileName": "livy-client.conf",
"values": {
"livy.client.http.connection.timeout": "11s"
}
}
]
},
{
"component": "spark-config",
"files": [
{
"fileName": "spark-env.sh",
"content": "# - SPARK_HISTORY_OPTS, to set config properties only for the history server (e.g. \"-Dx=y\")\nexport HDP_VERSION=3.3.3.5.2-83515052\n"
}
]
}
]
}
]
contoh konfigurasi Trino:
"serviceConfigsProfiles": [
{
"serviceName": "trino",
"configs": [
{
"component": "coordinator",
"files": [
{
"fileName": "config.properties",
"values": {
"query.cache.enabled": "true",
"query.cache.ttl": "1h",
"query.enable-multi-statement-set-session": "true",
"query.max-memory": "301GB"
}
},
{
"fileName": "log.properties",
"values": {
"io.trino": "INFO"
}
}
]
}
]
Untuk informasi selengkapnya tentang opsi konfigurasi Trino, lihat contoh templat ARM.
Mengekspor konfigurasi menggunakan REST API
Anda juga dapat mengekspor konfigurasi kluster untuk memeriksa nilai default dan yang diperbarui. Saat ini, Anda hanya dapat mengekspor konfigurasi melalui REST API.
Dapatkan konfigurasi kluster:
GET Request: /subscriptions/{{USER_SUB}}/resourceGroups/{{USER_RG}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSTERPOOL}}/clusters/{{CLUSTERNAME}}/serviceConfigs?api-version={{HDINSIGHTONAKS_API_VERSION}}
Jika Anda tidak terbiasa dengan cara mengirim panggilan REST API, langkah-langkah berikut dapat membantu Anda.
Klik tombol berikut di kanan atas di portal Microsoft Azure untuk meluncurkan Azure Cloud Shell.
cuplikan layar
Pastikan bahwa Cloud Shell diatur ke PowerShell di bagian kiri atas. Jalankan perintah berikut untuk mendapatkan token dan mengatur header permintaan HTTP.
$azContext = Get-AzContext $azProfile = [Microsoft.Azure.Commands.Common.Authentication.Abstractions.AzureRmProfileProvider]::Instance.Profile $profileClient = New-Object -TypeName Microsoft.Azure.Commands.ResourceManager.Common.RMProfileClient -ArgumentList ($azProfile) $token = $profileClient.AcquireAccessToken($azContext.Subscription.TenantId) $authHeader = @{ 'Content-Type'='application/json' 'Authorization'='Bearer ' + $token.AccessToken }Atur variabel $restUri ke URL permintaan GET.
$restUri = 'https://management.azure.com/subscriptions/{{USER_SUB}}/resourceGroups/{{USER_RG}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSTERPOOL}}/clusters/{{CLUSTERNAME}}/serviceConfigs?api-version={{HDINSIGHTONAKS_API_VERSION}}'Misalnya:
$restUri = 'https://management.azure.com/subscriptions/xxx-yyyy-zzz-00000/resourceGroups/contosoRG/providers/Microsoft.HDInsight/clusterpools/contosopool/clusters/contosocluster/serviceConfigs?api-version=2021-09-15-previewNota
Anda bisa mendapatkan id sumber daya dan up-to-date api-version dari "Tampilan JSON" kluster Anda di portal Microsoft Azure.
Kirim permintaan GET dengan menjalankan perintah berikut.
Invoke-RestMethod -Uri $restUri -Method Get -Headers $authHeader | ConvertTo-Json -Depth 10