Pengantar penyimpanan kluster

Penting

Fitur ini masih dalam mode pratinjau. Ketentuan Penggunaan Tambahan untuk Pratinjau Microsoft Azure mencakup lebih banyak persyaratan hukum yang berlaku untuk fitur Azure yang dalam versi beta, dalam pratinjau, atau belum dirilis ke ketersediaan umum. Untuk informasi tentang pratinjau khusus ini, lihat Azure HDInsight pada informasi pratinjau AKS. Untuk pertanyaan atau saran fitur, kirimkan permintaan di AskHDInsight dengan detail dan ikuti kami untuk pembaruan lebih lanjut di Komunitas Azure HDInsight.

Azure HDInsight di AKS dapat dengan mulus berintegrasi dengan Azure Storage, yang merupakan solusi penyimpanan tujuan umum yang berfungsi dengan baik dengan banyak layanan Azure lainnya. Azure Data Lake Storage Gen2 (ADLS Gen 2) adalah sistem file default untuk kluster.

Akun penyimpanan dapat digunakan sebagai lokasi default untuk data, log kluster, dan output lain yang dihasilkan selama operasi kluster. Ini juga bisa menjadi penyimpanan default untuk katalog Apache Hive yang bergantung pada jenis kluster.

Untuk informasi selengkapnya, lihat Pengenalan Azure Data Lake Storage Gen2.

Identitas terkelola untuk akses file aman

Azure HDInsight di AKS menggunakan identitas terkelola (MSI) untuk mengamankan akses kluster ke file di Azure Data Lake Storage Gen2. Identitas terkelola adalah fitur ID Microsoft Entra yang menyediakan layanan Azure dengan serangkaian kredensial yang dikelola secara otomatis. Info masuk ini dapat digunakan untuk mengautentikasi ke layanan apa pun yang mendukung autentikasi Active Directory. Selain itu, identitas terkelola tidak mengharuskan Anda untuk menyimpan kredensial dalam file kode atau konfigurasi.

Di Azure HDInsight di AKS, setelah Anda memilih identitas dan penyimpanan terkelola selama pembuatan kluster, identitas terkelola dapat bekerja dengan lancar dengan penyimpanan untuk manajemen data, asalkan peran Pemilik Data Blob Penyimpanan ditetapkan ke MSI yang ditetapkan pengguna.

Tabel berikut menguraikan opsi penyimpanan yang didukung untuk Azure HDInsight di AKS (pratinjau publik):

Jenis Kluster	Penyimpanan yang Didukung	Connection	Peran di Penyimpanan
Trino, Apache Flink, dan Apache Spark	ADLS Gen2	Identitas terkelola yang ditetapkan pengguna kluster (MSI)	MSI yang ditetapkan pengguna harus memiliki peran Pemilik Data Blob Penyimpanan di akun penyimpanan.

Catatan

Untuk berbagi akun penyimpanan di beberapa kluster, Anda hanya dapat menetapkan MSI yang ditetapkan pengguna kluster terkait "Pemilik Data Blob Penyimpanan" di akun penyimpanan bersama. Pelajari cara menetapkan peran.

Setelah itu, Anda dapat menggunakan jalur penyimpanan abfs:// lengkap untuk mengakses data melalui aplikasi Anda.

Untuk informasi selengkapnya, lihat identitas terkelola untuk sumber daya Azure.
Pelajari cara membuat akun ADLS Gen2.

Azure HDInsight pada arsitektur penyimpanan AKS

Diagram berikut menyediakan tampilan abstrak Azure HDInsight pada arsitektur AKS Azure Storage.

Manajemen penyimpanan

Saat ini, Azure HDInsight di AKS tidak mendukung akun penyimpanan dengan penghapusan sementara diaktifkan, pastikan Anda menonaktifkan penghapusan sementara untuk akun penyimpanan Anda.