Cara menggunakan metastore Apache Hive dengan kluster Apache Spark™

Catatan

Kami akan menghentikan Azure HDInsight di AKS pada 31 Januari 2025. Sebelum 31 Januari 2025, Anda harus memigrasikan beban kerja anda ke Microsoft Fabric atau produk Azure yang setara untuk menghindari penghentian tiba-tiba beban kerja Anda. Kluster yang tersisa pada langganan Anda akan dihentikan dan dihapus dari host.

Hanya dukungan dasar yang akan tersedia hingga tanggal penghentian.

Penting

Fitur ini masih dalam mode pratinjau. Ketentuan Penggunaan Tambahan untuk Pratinjau Microsoft Azure mencakup lebih banyak persyaratan hukum yang berlaku untuk fitur Azure yang dalam versi beta, dalam pratinjau, atau belum dirilis ke ketersediaan umum. Untuk informasi tentang pratinjau khusus ini, lihat Azure HDInsight pada informasi pratinjau AKS. Untuk pertanyaan atau saran fitur, kirimkan permintaan di AskHDInsight dengan detail dan ikuti kami untuk pembaruan lebih lanjut di Komunitas Azure HDInsight.

Penting untuk berbagi data dan metastore di beberapa layanan. Salah satu metastore yang umum digunakan di metastore HIVE. HDInsight di AKS memungkinkan pengguna untuk terhubung ke metastore eksternal. Langkah ini memungkinkan pengguna HDInsight untuk terhubung dengan mulus ke layanan lain dalam ekosistem.

Azure HDInsight di AKS mendukung penyimpanan meta kustom, yang direkomendasikan untuk kluster produksi. Langkah-langkah utama yang terlibat adalah

1. Buat database Azure SQL
2. Membuat brankas kunci untuk menyimpan kredensial
3. Mengonfigurasi Metastore saat Anda membuat HDInsight pada kluster AKS dengan Apache Spark™
4. Beroperasi di Metastore Eksternal (Menampilkan database dan melakukan batas pilih 1).

Saat Anda membuat kluster, layanan HDInsight perlu terhubung ke metastore eksternal dan memverifikasi kredensial Anda.

Buat database Azure SQL

1. Buat atau miliki Azure SQL Database yang sudah ada sebelum menyiapkan metastore Apache Hive kustom untuk kluster HDInsight.

   Catatan

   Saat ini, kami hanya mendukung Azure SQL Database untuk metastore HIVE. Karena keterbatasan Apache Hive, karakter "-" (tanda hubung) dalam nama database metastore tidak didukung.

Membuat brankas kunci untuk menyimpan kredensial

1. Membuat Azure Key Vault.

   Tujuan dari Key Vault adalah untuk memungkinkan Anda menyimpan set kata sandi admin SQL Server selama pembuatan database SQL. HDInsight pada platform AKS tidak berurusan dengan kredensial secara langsung. Oleh karena itu, perlu untuk menyimpan kredensial penting Anda di Azure Key Vault. Pelajari langkah-langkah untuk membuat Azure Key Vault.

2. Posting pembuatan Azure Key Vault menetapkan peran berikut

   Objek	Peran	Keterangan
   Identitas Terkelola yang Ditetapkan Pengguna (UAMI yang sama seperti yang digunakan oleh kluster HDInsight)	Pengguna Rahasia Key Vault	Pelajari cara Menetapkan peran ke UAMI
   Pengguna(yang membuat rahasia di Azure Key Vault)	Administrator Key Vault	Pelajari cara Menetapkan peran kepada pengguna.

   Catatan

   Tanpa peran ini, pengguna tidak dapat membuat rahasia.

3. Buat rahasia

   Langkah ini memungkinkan Anda untuk menyimpan kata sandi admin server SQL Anda sebagai rahasia di Azure Key Vault. Tambahkan kata sandi Anda (kata sandi yang sama seperti yang disediakan di SQL DB untuk admin) di bidang "Nilai" sambil menambahkan rahasia.

   

   

   Catatan

   Pastikan untuk mencatat nama rahasia, karena Anda akan membutuhkannya selama pembuatan kluster.

Mengonfigurasi Metastore saat Anda membuat kluster HDInsight Spark

1. Navigasikan ke HDInsight di kumpulan Kluster AKS untuk membuat kluster.

   

2. Aktifkan tombol alih untuk menambahkan metastore apache hive eksternal dan isi detail berikut.

   

3. Detail lainnya akan diisi sesuai aturan pembuatan kluster untuk kluster Apache Spark di HDInsight pada AKS.

4. Klik Tinjau dan Buat.

   

   Catatan

   • Siklus hidup metastore tidak terikat dengan siklus hidup kluster, sehingga Anda dapat membuat dan menghapus kluster tanpa kehilangan metadata. Metadata seperti skema Apache Hive Anda tetap ada bahkan setelah Anda menghapus dan membuat ulang kluster HDInsight.
   • Sebuah metastore kustom memungkinkan Anda melampirkan beberapa kluster dan jenis kluster ke metastore tersebut.

Beroperasi di Metastore Eksternal

1. Buat tabel

   >> spark.sql("CREATE TABLE sampleTable (number Int, word String)")

   

2. Menambahkan data pada tabel

   >> spark.sql("INSERT INTO sampleTable VALUES (123, \"HDIonAKS\")");\

   

3. Membaca tabel

   >> spark.sql("select * from sampleTable").show()

   

Referensi

• Apache, Apache Spark, Spark, dan nama proyek sumber terbuka terkait adalah merek dagang dari Apache Software Foundation (ASF).