Apa yang baru dalam HDInsight di AKS? (Pratinjau)
Catatan
Kami akan menghentikan Azure HDInsight di AKS pada 31 Januari 2025. Sebelum 31 Januari 2025, Anda harus memigrasikan beban kerja anda ke Microsoft Fabric atau produk Azure yang setara untuk menghindari penghentian tiba-tiba beban kerja Anda. Kluster yang tersisa pada langganan Anda akan dihentikan dan dihapus dari host.
Hanya dukungan dasar yang akan tersedia hingga tanggal penghentian.
Penting
Fitur ini masih dalam mode pratinjau. Ketentuan Penggunaan Tambahan untuk Pratinjau Microsoft Azure mencakup lebih banyak persyaratan hukum yang berlaku untuk fitur Azure yang dalam versi beta, dalam pratinjau, atau belum dirilis ke ketersediaan umum. Untuk informasi tentang pratinjau khusus ini, lihat Azure HDInsight pada informasi pratinjau AKS. Untuk pertanyaan atau saran fitur, kirimkan permintaan di AskHDInsight dengan detail dan ikuti kami untuk pembaruan lebih lanjut di Komunitas Azure HDInsight.
Dalam HDInsight di AKS, semua manajemen dan operasi kluster memiliki dukungan asli untuk manajemen layanan pada portal Azure untuk kluster individual.
Dalam HDInsight di AKS, dua konsep baru diperkenalkan:
- Kumpulan Kluster digunakan untuk mengelompokkan dan mengelola kluster.
- Kluster digunakan untuk komputasi sumber terbuka, mereka dihosting dalam kumpulan kluster.
Kumpulan Kluster
HDInsight pada AKS berjalan pada Azure Kubernetes Service (AKS). Sumber daya tingkat atas adalah Kumpulan Kluster dan mengelola semua kluster yang berjalan pada kluster AKS yang sama. Saat Anda membuat Kumpulan Kluster, kluster AKS yang mendasar dibuat pada saat yang sama untuk menghosting semua kluster di kumpulan. Kumpulan kluster adalah pengelompokan kluster logis, yang membantu dalam membangun interoperabilitas yang kuat di beberapa jenis kluster dan memungkinkan perusahaan untuk memiliki kluster dalam jaringan virtual yang sama. Kumpulan kluster menyediakan akses cepat dan hemat biaya ke semua jenis kluster yang dibuat sesuai permintaan dan dalam skala besar. Satu kumpulan kluster sesuai dengan satu kluster dalam infrastruktur AKS.
Kluster
Kluster adalah beban kerja komputasi sumber terbuka individual, seperti Apache Spark, Apache Flink, dan Trino, yang dapat dibuat dengan cepat dalam beberapa menit dengan konfigurasi prasetel dan beberapa klik. Meskipun berjalan pada kumpulan kluster yang sama, setiap kluster dapat memiliki konfigurasinya sendiri, seperti jenis kluster, versi, ukuran VM simpul, jumlah simpul. Kluster berjalan pada sumber daya komputasi yang dipisahkan dengan DNS dan titik akhirnya sendiri.
Fitur yang saat ini berada dalam pratinjau
Daftar tabel berikut ini memperlihatkan fitur HDInsight pada AKS yang saat ini dalam pratinjau. Fitur pratinjau diurutkan menurut abjad.
| Luas | Fitur |
|---|---|
| Fundamental | Membuat Kumpulan dan kluster menggunakan portal, dukungan shell aman web (ssh), Kemampuan Untuk Memilih jumlah simpul pekerja selama pembuatan kluster |
| Penyimpanan | Dukungan Penyimpanan ADLS Gen2 |
| Metastore | Dukungan Metastore Eksternal untuk Trino, Spark dan Flink, Terintegrasi dengan HDInsight |
| Keamanan | Dukungan untuk ARM RBAC, Dukungan untuk autentikasi berbasis MSI, Opsi untuk menyediakan akses kluster ke pengguna lain |
| Pembuatan Log dan Pemantauan | Agregasi log di analitik log Azure, untuk log server, metrik Kluster, dan Layanan melalui Prometheus terkelola dan Grafana, Metrik server dukungan di azure monitor, halaman Status Layanan untuk memantau Kondisi layanan |
| Penskalaan Otomatis | Skala Otomatis berbasis beban, dan Skala Otomatis berbasis Jadwal |
| Menyesuaikan dan Mengonfigurasi Kluster | Dukungan untuk tindakan skrip selama pembuatan kluster, Dukungan untuk manajemen pustaka, Pengaturan konfigurasi layanan setelah pembuatan kluster |
| Trino | Dukungan untuk katalog Trino, Dukungan Trino CLI, dukungan DBeaver untuk pengiriman kueri, Menambahkan atau menghapus plugin dan konektor, Dukungan untuk peristiwa kueri pengelogan, Dukungan untuk memindai statistik kueri untuk setiap Konektor di dasbor Trino, Dukungan untuk dasbor Trino untuk memantau kueri, Penembolokan Kueri, Integrasi dengan Power BI, Integrasi dengan Apache Superset, Redash, Dukungan untuk beberapa konektor |
| Flink | Dukungan untuk UI web asli Flink, dukungan Flink dengan HMS untuk DStream, Kirim pekerjaan ke kluster menggunakan REST API dan portal Azure, Jalankan program yang dikemas sebagai file JAR melalui Flink CLI, Dukungan untuk Titik Penyimpanan persisten, Dukungan untuk memperbarui opsi konfigurasi saat pekerjaan berjalan, Menyambungkan ke beberapa layanan Azure: Azure Cosmos DB, Azure Databricks, Azure Data Explorer, Azure Event Hubs, Azure IoT Hub, Azure Pipelines, Azure Data Factory Workflow Orchestration Manager, HDInsight Kafka, Kirim pekerjaan ke kluster menggunakan Flink CLI dan CDC dengan Flink |
| Spark | Jupyter Notebook, Dukungan untuk Delta lake 2.0, Dukungan Zeppelin, ATS Dukungan, Dukungan untuk antarmuka server Riwayat Yarn, Pengiriman pekerjaan menggunakan SSH, Pengiriman pekerjaan menggunakan SDK dan Pembelajaran Mesin Notebook |
Peta Strategi Fitur
| Fitur | Estimasi garis waktu rilis | Status |
|---|---|---|
| Skala Otomatis - Berbasis Beban - Trino | Q1 2024 | Selesai |
| Mengacak skala otomatis berbasis beban sadar untuk Spark | Q2 2024 | Dalam Proses |
| Pemutakhiran Di Tempat | Q2 2024 | Selesai |
| Dukungan Instans Yang Dipesan | Q2 2024 | Dalam Proses |
| Autentikasi berbasis MSI untuk Metastore (SQL) | Q1 2024 | Dalam Proses |
| Spark 3.4 | Q2 2024 | Dalam Proses |
| Trino 426 | Q1 2024 | Selesai |
| Ranger untuk RBAC | Q2 2024 | Dalam Proses |
| Dukungan mode aplikasi untuk Flink | Q1 2024 | Selesai |
| Flink 1.17 | Q1 2024 | Selesai |
| Dukungan Spark ACID | Q1 2024 | Dalam Proses |
| SKU yang dapat dikonfigurasi untuk Headnode, SSH | Q2 2024 | Dalam Proses |
| Dukungan Flink SQL Gateway | Q1 2024 | Selesai |
| Kluster Privat untuk HDInsight di AKS | Q1 2024 | Selesai |
| Dukungan Ranger untuk Spark SQL | Q4 2024 | Dalam Proses |
| ACL Ranger pada Lapisan Penyimpanan | Q4 2024 | Dalam Proses |
| Dukungan untuk One lake sebagai kontainer utama | Q2 2024 | Dalam Proses |