Manajemen konfigurasi Trino
Catatan
Kami akan menghentikan Azure HDInsight di AKS pada 31 Januari 2025. Sebelum 31 Januari 2025, Anda harus memigrasikan beban kerja anda ke Microsoft Fabric atau produk Azure yang setara untuk menghindari penghentian tiba-tiba beban kerja Anda. Kluster yang tersisa pada langganan Anda akan dihentikan dan dihapus dari host.
Hanya dukungan dasar yang akan tersedia hingga tanggal penghentian.
Penting
Fitur ini masih dalam mode pratinjau. Ketentuan Penggunaan Tambahan untuk Pratinjau Microsoft Azure mencakup lebih banyak persyaratan hukum yang berlaku untuk fitur Azure yang dalam versi beta, dalam pratinjau, atau belum dirilis ke ketersediaan umum. Untuk informasi tentang pratinjau khusus ini, lihat Azure HDInsight pada informasi pratinjau AKS. Untuk pertanyaan atau saran fitur, kirimkan permintaan di AskHDInsight dengan detail dan ikuti kami untuk pembaruan lebih lanjut di Komunitas Azure HDInsight.
Kluster Trino dengan HDInsight di AKS hadir dengan sebagian besar konfigurasi default Trino sumber terbuka. Artikel ini menjelaskan cara memperbarui file konfigurasi, dan menambahkan file konfigurasi tambahan Anda sendiri ke kluster.
Anda dapat menambahkan/memperbarui konfigurasi dengan dua cara:
Catatan
Trino dengan HDInsight di AKS memberlakukan konfigurasi tertentu dan melarang modifikasi beberapa file dan/atau properti. Ini dilakukan untuk memastikan keamanan/konektivitas yang tepat melalui konfigurasi. Contoh file/properti yang dilarang termasuk, tetapi tidak terbatas pada:
- file jvm.config dengan pengecualian pengaturan ukuran Heap.
- Node.properties: node.id, node.data-dir, log.path, dll.
Config.properties: http-server.authentication.*, http-server.https.* etc.
Menggunakan portal Azure
Dalam portal Azure, Anda dapat memodifikasi tiga set konfigurasi Trino standar:
- log.properties
- config.properties
- node.properties
Ikuti langkah-langkah untuk mengubah konfigurasi:
Masuk ke portal Microsoft Azure.
Di bilah pencarian portal Azure, ketik "HDInsight di kluster AKS" dan pilih "Azure HDInsight pada kluster AKS" dari daftar drop-down.
Pilih nama kluster Anda dari halaman daftar.
Navigasikan ke bilah "Manajemen Konfigurasi".
Tambahkan baru atau perbarui pasangan nilai kunci yang ada untuk konfigurasi yang ingin Anda ubah. Misalnya, config.properties -> Konfigurasi kustom -> klik "Tambahkan" untuk menambahkan pengaturan konfigurasi baru lalu klik Ok.
Klik "Simpan" untuk menyimpan konfigurasi.
Menggunakan templat ARM
Prasyarat
- Kluster Trino operasional dengan HDInsight di AKS.
- Buat templat ARM untuk kluster Anda.
- Tinjau sampel templat ARM kluster lengkap.
- Keakraban dengan penulisan dan penyebaran templat ARM.
Manajemen klaster
Semua konfigurasi Trino dapat ditentukan di serviceConfigsProfiles.serviceName[“trino”] bawah properties.clusterProfile.
Contoh berikut berfokus pada coordinator/worker/miscfiles. Untuk katalog, lihat Menambahkan katalog ke kluster yang sudah ada:
"serviceConfigsProfiles": [
{
"serviceName": "trino",
"configs": [
{
"component": "catalogs",
"files": [<file-spec>,…]
},
{
"component": "coordinator",
"files": [<file-spec>,…]
},
{
"component": "worker",
"files": [<file-spec>,…]
},
{
"component": " miscfiles",
"files": [<file-spec>,…]
},
]
}
]
Ada beberapa komponen yang mengontrol aspek konfigurasi yang berbeda:
| Nama komponen | Properti yang diperlukan/diizinkan untuk setiap spesifikasi file | Deskripsi |
|---|---|---|
| biasa | filename, values |
Berisi file konfigurasi untuk koordinator dan pekerja. |
| koordinator | filename, values |
Berisi file konfigurasi untuk koordinator saja, ambil alih umum jika ada. |
| pekerja | filename, values |
Berisi file konfigurasi untuk pekerja saja, ambil alih umum jika ada. |
miscfiles |
filename, content |
Berisi file konfigurasi lain-lain yang disediakan oleh pengguna untuk seluruh kluster. |
| catalogs | filename, baik konten atau nilai |
Berisi file katalog untuk seluruh kluster. |
Contoh berikut menunjukkan:
- Ambil alih node.environment default untuk kluster (ditampilkan di Trino UI).
- Ambil alih nilai default config.properties untuk koordinator dan pekerja.
- Tambahkan contoh grup sumber daya json dan konfigurasikan koordinator untuk menggunakannya.
"serviceConfigsProfiles": [
{
"serviceName": "trino",
"configs": [
{
"component": "common",
"files": [
{
"fileName": "node.properties",
"values": {
"node.environment": "preview"
}
},
{
"fileName": "config.properties",
"values": {
"join-distribution-type": "AUTOMATIC",
"query.max-execution-time": "5d",
"shutdown.grace-period": "5m"
}
}
]
},
{
"component": "coordinator",
"files": [
{
"fileName": "resource-groups.properties",
"values": {
"resource-groups.configuration-manager": "file",
"resource-groups.config-file": "${MISC:resource-groups}"
}
}
]
},
{
"component": "miscfiles",
"files": [
{
"fileName": "resource-groups",
"path": "/customDir/resource-groups.json",
"content": "{\"rootGroups\":[{\"name\":\"global\",\"softMemoryLimit\":\"80%\",\"hardConcurrencyLimit\":100,\"maxQueued\":1000,\"schedulingPolicy\":\"weighted\",\"jmxExport\":true,\"subGroups\":[{\"name\":\"data_definition\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":5,\"maxQueued\":100,\"schedulingWeight\":1},{\"name\":\"adhoc\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":50,\"maxQueued\":1,\"schedulingWeight\":10,\"subGroups\":[{\"name\":\"other\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":2,\"maxQueued\":1,\"schedulingWeight\":10,\"schedulingPolicy\":\"weighted_fair\",\"subGroups\":[{\"name\":\"${USER}\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":1,\"maxQueued\":100}]}]}]},{\"name\":\"admin\",\"softMemoryLimit\":\"100%\",\"hardConcurrencyLimit\":50,\"maxQueued\":100,\"schedulingPolicy\":\"query_priority\",\"jmxExport\":true}],\"selectors\":[{\"group\":\"global.adhoc.other.${USER}\"}],\"cpuQuotaPeriod\":\"1h\"}"
}
]
}
]
}
Sebarkan templat ARM yang diperbarui untuk mencerminkan perubahan di kluster Anda. Pelajari cara menyebarkan templat ARM.