Mengelola konfigurasi kluster
Catatan
Kami akan menghentikan Azure HDInsight di AKS pada 31 Januari 2025. Sebelum 31 Januari 2025, Anda harus memigrasikan beban kerja anda ke Microsoft Fabric atau produk Azure yang setara untuk menghindari penghentian tiba-tiba beban kerja Anda. Kluster yang tersisa pada langganan Anda akan dihentikan dan dihapus dari host.
Hanya dukungan dasar yang akan tersedia hingga tanggal penghentian.
Penting
Fitur ini masih dalam mode pratinjau. Ketentuan Penggunaan Tambahan untuk Pratinjau Microsoft Azure mencakup lebih banyak persyaratan hukum yang berlaku untuk fitur Azure yang dalam versi beta, dalam pratinjau, atau belum dirilis ke ketersediaan umum. Untuk informasi tentang pratinjau khusus ini, lihat Azure HDInsight pada informasi pratinjau AKS. Untuk pertanyaan atau saran fitur, kirimkan permintaan di AskHDInsight dengan detail dan ikuti kami untuk pembaruan lebih lanjut di Komunitas Azure HDInsight.
HDInsight di AKS memungkinkan Anda mengubah properti konfigurasi untuk meningkatkan performa kluster Anda dengan pengaturan tertentu. Misalnya, pengaturan penggunaan atau memori. Anda dapat melakukan tindakan berikut:
- Perbarui konfigurasi yang ada atau tambahkan konfigurasi baru.
- Ekspor konfigurasi menggunakan REST API.
Menyesuaikan konfigurasi
Anda dapat menyesuaikan konfigurasi menggunakan opsi berikut:
Menggunakan portal Azure
Masuk ke portal Microsoft Azure.
Di bilah pencarian portal Azure, ketik "HDInsight di kluster AKS" dan pilih "Azure HDInsight pada kluster AKS" dari daftar drop-down.
Pilih nama kluster Anda dari halaman daftar.
Buka bilah "Manajemen konfigurasi" di menu sebelah kiri.
Bergantung pada jenis kluster, file konfigurasi dicantumkan. Untuk informasi selengkapnya, lihat Konfigurasi Trino, Flink, dan Spark .
Tambahkan baru atau perbarui pasangan kunci-nilai yang ada untuk konfigurasi yang ingin Anda ubah.
Pilih OK lalu klik Simpan.
Catatan
Beberapa perubahan konfigurasi mungkin memerlukan hidupkan ulang layanan untuk mencerminkan perubahan.
Menggunakan templat ARM
Prasyarat
- Templat ARM untuk kluster Anda.
- Keakraban dengan penulisan dan penyebaran templat ARM.
Dalam templat ARM, Anda dapat mengedit serviceConfigsProfiles dan menentukan nama file konfigurasi OSS dengan nilai yang ingin Anda timpa.
Jika file konfigurasi OSS dalam format JSON/XML/YAML, Anda dapat memberikan nama file konfigurasi OSS melalui fileName. Berikan pasangan nilai kunci yang ingin Anda timpa dalam "nilai."
Berikut adalah beberapa sampel untuk setiap beban kerja:
Contoh konfigurasi flink:
"serviceConfigsProfiles": [
{
"serviceName": "flink-operator",
"configs": [
{
"component": "flink-configs",
"files": [
{
"fileName": "flink-conf.yaml",
"values": {
"taskmanager.memory.process.size": "4096mb",
"classloader.check-leaked-classloader": "false",
"jobmanager.memory.process.size": "4096mb",
"classloader.parent-first-patterns.additional": "org.apache.parquet"
}
}
]
}
]
}
]
Contoh konfigurasi Spark:
"serviceConfigsProfiles": [
{
"serviceName": "spark-service",
"configs": [
{
"component": "livy-config",
"files": [
{
"fileName": "livy-client.conf",
"values": {
"livy.client.http.connection.timeout": "11s"
}
}
]
},
{
"component": "spark-config",
"files": [
{
"fileName": "spark-env.sh",
"content": "# - SPARK_HISTORY_OPTS, to set config properties only for the history server (e.g. \"-Dx=y\")\nexport HDP_VERSION=3.3.3.5.2-83515052\n"
}
]
}
]
}
]
Contoh konfigurasi Trino:
"serviceConfigsProfiles": [
{
"serviceName": "trino",
"configs": [
{
"component": "coordinator",
"files": [
{
"fileName": "config.properties",
"values": {
"query.cache.enabled": "true",
"query.cache.ttl": "1h",
"query.enable-multi-statement-set-session": "true",
"query.max-memory": "301GB"
}
},
{
"fileName": "log.properties",
"values": {
"io.trino": "INFO"
}
}
]
}
]
Untuk informasi selengkapnya tentang opsi konfigurasi Trino, lihat contoh templat ARM.
Mengekspor konfigurasi menggunakan REST API
Anda juga dapat mengekspor konfigurasi kluster untuk memeriksa nilai default dan yang diperbarui. Saat ini, Anda hanya dapat mengekspor konfigurasi melalui REST API.
Dapatkan konfigurasi kluster:
GET Request: /subscriptions/{{USER_SUB}}/resourceGroups/{{USER_RG}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSTERPOOL}}/clusters/{{CLUSTERNAME}}/serviceConfigs?api-version={{HDINSIGHTONAKS_API_VERSION}}
Jika Anda tidak terbiasa dengan cara mengirim panggilan REST API, langkah-langkah berikut dapat membantu Anda.
Klik tombol berikut di kanan atas di portal Azure untuk meluncurkan Azure Cloud Shell.
Pastikan Cloud Shell diatur ke PowerShell di kiri atas. Jalankan perintah berikut untuk mendapatkan token dan mengatur header permintaan HTTP.
$azContext = Get-AzContext $azProfile = [Microsoft.Azure.Commands.Common.Authentication.Abstractions.AzureRmProfileProvider]::Instance.Profile $profileClient = New-Object -TypeName Microsoft.Azure.Commands.ResourceManager.Common.RMProfileClient -ArgumentList ($azProfile) $token = $profileClient.AcquireAccessToken($azContext.Subscription.TenantId) $authHeader = @{ 'Content-Type'='application/json' 'Authorization'='Bearer ' + $token.AccessToken }Atur variabel $restUri ke URL Dapatkan permintaan.
$restUri = 'https://management.azure.com/subscriptions/{{USER_SUB}}/resourceGroups/{{USER_RG}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSTERPOOL}}/clusters/{{CLUSTERNAME}}/serviceConfigs?api-version={{HDINSIGHTONAKS_API_VERSION}}'Misalnya:
$restUri = 'https://management.azure.com/subscriptions/xxx-yyyy-zzz-00000/resourceGroups/contosoRG/providers/Microsoft.HDInsight/clusterpools/contosopool/clusters/contosocluster/serviceConfigs?api-version=2021-09-15-previewCatatan
Anda bisa mendapatkan id sumber daya dan versi api terbaru dari "Tampilan JSON" kluster Anda di portal Azure.
Kirim permintaan GET dengan menjalankan perintah berikut.
Invoke-RestMethod -Uri $restUri -Method Get -Headers $authHeader | ConvertTo-Json -Depth 10