Bagikan melalui

Azure HDInsight pada catatan rilis AKS

  • Artikel

Artikel ini menyediakan informasi tentang Azure HDInsight terbaru tentang pembaruan rilis AKS. Untuk informasi tentang rilis sebelumnya, lihat Azure HDInsight pada catatan rilis yang diarsipkan AKS. Jika Anda ingin berlangganan catatan rilis, tonton rilis di repositori GitHub ini.

Ringkasan

HDInsight di AKS adalah Platform as a Service (PaaS) modern, andal, aman, dan dikelola sepenuhnya yang berjalan di Azure Kubernetes Service (AKS). HDInsight di AKS memungkinkan Anda menyebarkan beban kerja Open-Source Analytics populer seperti Apache Spark™, Apache Flink®️, dan Trino tanpa overhead mengelola dan memantau kontainer.

Anda dapat membangun aplikasi Big Data skala petabyte end-to-end yang mencakup streaming melalui Apache Flink, rekayasa data, dan pembelajaran mesin menggunakan Apache Spark, dan mesin kueri Trino yang canggih.

Semua kemampuan ini dikombinasikan dengan HDInsight pada fokus pengembang AKS yang kuat memungkinkan perusahaan dan native digital dengan keahlian teknis yang mendalam untuk membangun dan mengoperasikan aplikasi yang sesuai dengan kebutuhan mereka. HDInsight di AKS memungkinkan pengembang untuk mengakses semua konfigurasi kaya yang disediakan oleh perangkat lunak sumber terbuka dan ekstensibilitas untuk menyertakan penawaran ekosistem lainnya dengan lancar. Penawaran ini memberdayakan pengembang untuk menguji dan menyetel aplikasi mereka untuk mengekstrak performa terbaik dengan biaya optimal.

Catatan

Untuk memahami tentang HDInsight pada penerapan versi dan dukungan AKS, lihat skema penerapan versi.

Anda dapat merujuk ke halaman Apa yang baru untuk semua detail fitur yang saat ini ada di pratinjau publik untuk rilis ini.

Penting

HDInsight di AKS menggunakan praktik penyebaran yang aman, yang melibatkan penyebaran wilayah bertahap. Mungkin perlu waktu hingga 10 hari kerja agar rilis baru atau versi baru tersedia di semua wilayah.

Informasi Rilis

Tanggal rilis: 20 Maret 2024

Rilis ini berlaku untuk berikut ini

  • Versi Kumpulan Kluster: 1.1
  • Versi Kluster: 1.1.1
  • Versi AKS: 1.27

Fitur baru

Kluster Mode Aplikasi Apache Flink

Kluster mode aplikasi dirancang untuk mendukung sumber daya khusus untuk pekerjaan besar dan jangka panjang. Ketika Anda memiliki tugas pemrosesan data intensif sumber daya atau ekstensif, Anda dapat menggunakan Kluster Mode Aplikasi. Mode ini memungkinkan Anda mengalokasikan sumber daya khusus untuk aplikasi Apache Flink tertentu, memastikan bahwa mereka memiliki daya komputasi dan memori yang diperlukan untuk menangani beban kerja besar secara efektif.

Untuk informasi selengkapnya, lihat kluster Mode Aplikasi Apache Flink di HDInsight di AKS.

Kluster Privat untuk HDInsight di AKS

Dengan kluster privat, dan pengaturan kluster keluar, Anda sekarang dapat mengontrol lalu lintas masuk dan keluar dari HDInsight pada kumpulan kluster dan kluster AKS.

  • Gunakan Azure Firewall atau Network Security Groups (NSG) untuk mengontrol lalu lintas keluar, saat Anda memilih untuk menggunakan kumpulan kluster keluar dengan load balancer.
  • Gunakan Kumpulan kluster keluar dengan perutean yang ditentukan Pengguna untuk mengontrol lalu lintas keluar di tingkat subnet.
  • Gunakan fitur kluster AKS Privat - Untuk memastikan sarana kontrol AKS, atau server API memiliki alamat IP internal. Lalu lintas jaringan antara AKS Control plane / API server dan HDInsight pada kumpulan node AKS (kluster) tetap berada di jaringan privat saja.
  • Hindari membuat IP publik untuk kluster. Gunakan fitur masuk privat pada kluster Anda.

Untuk informasi selengkapnya, lihat Mengontrol lalu lintas jaringan dari HDInsight pada kumpulan dan kluster Kluster AKS.

Peningkatan di tempat

Tingkatkan kluster dan kumpulan kluster Anda dengan pembaruan perangkat lunak terbaru. Ini berarti Anda dapat menikmati perbaikan paket kluster terbaru, pembaruan keamanan, dan patch AKS, tanpa membuat ulang kluster. Untuk informasi selengkapnya, lihat Meningkatkan HDInsight Anda pada kluster AKS dan kumpulan kluster.

Penting

Untuk memanfaatkan semua fitur terbaru ini, Anda diharuskan membuat kumpulan kluster baru dengan 1.1 dan kluster versi 1.1.1.

Masalah umum

  • Batasan identitas beban kerja:
    • Ada batasan yang diketahui saat beralih ke identitas beban kerja. Batasan ini disebabkan oleh sifat operasi FIC yang sensitif terhadap izin. Pengguna tidak dapat melakukan penghapusan kluster dengan menghapus grup sumber daya. Permintaan penghapusan kluster harus dipicu oleh aplikasi/pengguna/prinsipal dengan izin FIC/hapus. Jika, penghapusan FIC gagal, penghapusan kluster tingkat tinggi juga gagal.
    • Dukungan User Assigned Managed Identities (UAMI) - Ada batas 20 FIC per UAMI. Anda hanya dapat membuat 20 Kredensial Federasi pada identitas. Dalam HDInsight pada kluster AKS, FIC (Federated Identity Credential) dan SA memiliki pemetaan satu-ke-satu dan hanya 20 SAs yang dapat dibuat terhadap MSI. Jika Anda ingin membuat lebih banyak kluster, maka Anda diharuskan untuk menyediakan MSI yang berbeda untuk mengatasi batasan.
    • Pembuatan kredensial identitas federasi saat ini tidak didukung pada identitas terkelola yang ditetapkan pengguna yang dibuat di wilayah ini

Versi Sistem Operasi

  • Mariner OS 2.0

Versi beban kerja

Beban kerja Versi
Trino 426
Flink 1.17.0
Apache Spark 3.3.1

Versi Java dan Scala yang didukung

Beban kerja Java Scala
Trino Buka JDK 17.0.7 - 
Flink Buka JDK 11.0.21 2.12.7
Spark Buka JDK 1.8.0_345 2.12.15

Pratinjau tersedia di wilayah berikut.

Jika Anda memiliki pertanyaan lain, hubungi Dukungan Azure atau lihat halaman Opsi dukungan. Jika Anda memiliki umpan balik khusus produk, tulis kami di aka.ms/askhdinsight.

Langkah berikutnya