Pengantar penyimpanan kluster
Catatan
Kami akan menghentikan Azure HDInsight di AKS pada 31 Januari 2025. Sebelum 31 Januari 2025, Anda harus memigrasikan beban kerja anda ke Microsoft Fabric atau produk Azure yang setara untuk menghindari penghentian tiba-tiba beban kerja Anda. Kluster yang tersisa pada langganan Anda akan dihentikan dan dihapus dari host.
Hanya dukungan dasar yang akan tersedia hingga tanggal penghentian.
Penting
Fitur ini masih dalam mode pratinjau. Ketentuan Penggunaan Tambahan untuk Pratinjau Microsoft Azure mencakup lebih banyak persyaratan hukum yang berlaku untuk fitur Azure yang dalam versi beta, dalam pratinjau, atau belum dirilis ke ketersediaan umum. Untuk informasi tentang pratinjau khusus ini, lihat Azure HDInsight pada informasi pratinjau AKS. Untuk pertanyaan atau saran fitur, kirimkan permintaan di AskHDInsight dengan detail dan ikuti kami untuk pembaruan lebih lanjut di Komunitas Azure HDInsight.
Azure HDInsight di AKS dapat dengan mulus berintegrasi dengan Azure Storage, yang merupakan solusi penyimpanan tujuan umum yang berfungsi dengan baik dengan banyak layanan Azure lainnya. Azure Data Lake Storage Gen2 (ADLS Gen 2) adalah sistem file default untuk kluster.
Akun penyimpanan dapat digunakan sebagai lokasi default untuk data, log kluster, dan output lain yang dihasilkan selama operasi kluster. Ini juga bisa menjadi penyimpanan default untuk katalog Apache Hive yang bergantung pada jenis kluster.
Untuk informasi selengkapnya, lihat Pengenalan Azure Data Lake Storage Gen2.
Identitas terkelola untuk akses file aman
Azure HDInsight di AKS menggunakan identitas terkelola (MSI) untuk mengamankan akses kluster ke file di Azure Data Lake Storage Gen2. Identitas terkelola adalah fitur ID Microsoft Entra yang menyediakan layanan Azure dengan serangkaian kredensial yang dikelola secara otomatis. Info masuk ini dapat digunakan untuk mengautentikasi ke layanan apa pun yang mendukung autentikasi Active Directory. Selain itu, identitas terkelola tidak mengharuskan Anda untuk menyimpan kredensial dalam file kode atau konfigurasi.
Di Azure HDInsight di AKS, setelah Anda memilih identitas dan penyimpanan terkelola selama pembuatan kluster, identitas terkelola dapat bekerja dengan lancar dengan penyimpanan untuk manajemen data, asalkan peran Pemilik Data Blob Penyimpanan ditetapkan ke MSI yang ditetapkan pengguna.
Tabel berikut menguraikan opsi penyimpanan yang didukung untuk Azure HDInsight di AKS (pratinjau publik):
| Jenis Kluster | Penyimpanan yang Didukung | Connection | Peran di Penyimpanan |
|---|---|---|---|
| Trino, Apache Flink, dan Apache Spark | ADLS Gen2 | Identitas terkelola yang ditetapkan pengguna kluster (MSI) | MSI yang ditetapkan pengguna harus memiliki peran Pemilik Data Blob Penyimpanan di akun penyimpanan. |
Catatan
Untuk berbagi akun penyimpanan di beberapa kluster, Anda hanya dapat menetapkan MSI yang ditetapkan pengguna kluster terkait "Pemilik Data Blob Penyimpanan" di akun penyimpanan bersama. Pelajari cara menetapkan peran.
Setelah itu, Anda dapat menggunakan jalur penyimpanan abfs:// lengkap untuk mengakses data melalui aplikasi Anda.
Untuk informasi selengkapnya, lihat identitas terkelola untuk sumber daya Azure.
Pelajari cara membuat akun ADLS Gen2.
Azure HDInsight pada arsitektur penyimpanan AKS
Diagram berikut menyediakan tampilan abstrak Azure HDInsight pada arsitektur AKS Azure Storage.
Manajemen penyimpanan
Saat ini, Azure HDInsight di AKS tidak mendukung akun penyimpanan dengan penghapusan sementara diaktifkan, pastikan Anda menonaktifkan penghapusan sementara untuk akun penyimpanan Anda.
