Membuat kluster Spark di HDInsight di AKS (Pratinjau)
Catatan
Kami akan menghentikan Azure HDInsight di AKS pada 31 Januari 2025. Sebelum 31 Januari 2025, Anda harus memigrasikan beban kerja anda ke Microsoft Fabric atau produk Azure yang setara untuk menghindari penghentian tiba-tiba beban kerja Anda. Kluster yang tersisa pada langganan Anda akan dihentikan dan dihapus dari host.
Hanya dukungan dasar yang akan tersedia hingga tanggal penghentian.
Penting
Fitur ini masih dalam mode pratinjau. Ketentuan Penggunaan Tambahan untuk Pratinjau Microsoft Azure mencakup lebih banyak persyaratan hukum yang berlaku untuk fitur Azure yang dalam versi beta, dalam pratinjau, atau belum dirilis ke ketersediaan umum. Untuk informasi tentang pratinjau khusus ini, lihat Azure HDInsight pada informasi pratinjau AKS. Untuk pertanyaan atau saran fitur, kirimkan permintaan di AskHDInsight dengan detail dan ikuti kami untuk pembaruan lebih lanjut di Komunitas Azure HDInsight.
Setelah prasyarat langganan dan langkah-langkah prasyarat sumber daya selesai, dan Anda memiliki kumpulan kluster yang disebarkan, terus gunakan portal Azure untuk membuat kluster Spark. Anda dapat menggunakan portal Azure untuk membuat kluster Apache Spark di kumpulan kluster. Anda kemudian dapat membuat Jupyter Notebook dan menggunakannya untuk menjalankan kueri Spark SQL terhadap tabel Apache Hive.
Di portal Azure, ketik kumpulan kluster, dan pilih kumpulan kluster untuk masuk ke halaman kumpulan kluster. Pada halaman kumpulan kluster, pilih kumpulan kluster tempat Anda dapat menambahkan kluster Spark baru.
Pada halaman kumpulan kluster tertentu, klik + Kluster baru.
Langkah ini membuka halaman pembuatan kluster.
Properti Deskripsi Langganan Langganan Azure yang terdaftar untuk digunakan dengan HDInsight di AKS di bagian Prasyarat dengan telah diisi sebelumnya Grup Sumber Daya Grup sumber daya yang sama dengan kumpulan kluster akan diisi sebelumnya Wilayah Wilayah yang sama dengan kumpulan kluster dan virtual akan diisi sebelumnya Kumpulan kluster Nama kumpulan kluster akan diisi sebelumnya Versi Kumpulan HDInsight Versi kumpulan kluster akan diisi sebelumnya dari pilihan pembuatan kumpulan HDInsight pada versi AKS Tentukan HDI pada versi AKS Jenis kluster Dari daftar drop-down, pilih Spark Versi Kluster Pilih versi gambar yang akan digunakan Nama kluster Masukkan nama kluster baru Identitas terkelola yang ditetapkan pengguna Pilih identitas terkelola yang ditetapkan pengguna yang akan berfungsi sebagai string koneksi dengan penyimpanan Akun Penyimpanan Pilih akun penyimpanan yang telah dibuat sebelumnya yang akan digunakan sebagai penyimpanan utama untuk kluster Nama kontainer Pilih nama kontainer(unik) jika sudah dibuat atau buat kontainer baru Katalog Apache Hive (opsional) Pilih metastore Apache Hive yang telah dibuat sebelumnya (Azure SQL DB) SQL Database untuk Apache Hive Dari daftar drop-down, pilih SQL Database untuk menambahkan tabel hive-metastore. nama pengguna administrator SQL Masukkan nama pengguna admin SQL Brankas kunci Dari daftar drop-down, pilih Key Vault, yang berisi rahasia dengan kata sandi untuk nama pengguna admin SQL Nama rahasia kata sandi SQL Masukkan nama rahasia dari Key Vault tempat kata sandi SQL DB disimpan Catatan
- Saat ini HDInsight hanya mendukung database MS SQL Server.
- Karena keterbatasan Apache Hive, karakter "-" (tanda hubung) dalam nama database metastore tidak didukung.
Pilih Berikutnya: Konfigurasi + harga untuk melanjutkan.
Properti Deskripsi Ukuran simpul Pilih ukuran simpul yang akan digunakan untuk simpul Spark Jumlah node pekerja Pilih jumlah simpul untuk kluster Spark. Dari jumlah tersebut, tiga simpul dicadangkan untuk layanan koordinator dan sistem, simpul yang tersisa didedikasikan untuk pekerja Spark, satu pekerja per simpul. Misalnya, dalam kluster lima node ada dua pekerja Skala Otomatis Klik tombol alih untuk mengaktifkan Skala Otomatis Jenis Skala Otomatis Pilih dari skala otomatis berbasis beban atau jadwal Batas waktu pendekomisian yang anggun Tentukan batas waktu penonaktifan yang anggun Tidak ada simpul pekerja default Pilih jumlah simpul untuk skala otomatis Zona Waktu Pilih zona waktu Aturan Skala Otomatis Pilih hari, waktu mulai, waktu selesai, tidak. node pekerja Aktifkan SSH Jika diaktifkan, memungkinkan Anda menentukan Awalan dan Jumlah simpul SSH Klik Berikutnya : Integrasi untuk mengaktifkan dan memilih Analitik Log untuk Pengelogan.
Azure Prometheus untuk pemantauan dan metrik dapat diaktifkan pasca pembuatan kluster.
Klik Berikutnya: Tag untuk melanjutkan ke halaman berikutnya.
Pada halaman Tag , masukkan tag apa pun yang ingin Anda tambahkan ke sumber daya Anda.
Properti Deskripsi Nama Opsional. Masukkan nama seperti HDInsight pada Pratinjau Privat AKS untuk dengan mudah mengidentifikasi semua sumber daya yang terkait dengan sumber daya Anda Nilai Biarkan kosong ini Sumber daya Pilih Semua sumber daya yang dipilih Klik Berikutnya: Tinjau + buat.
Pada halaman Tinjau + buat, cari pesan Validasi berhasil di bagian atas halaman lalu klik Buat.
Halaman Penyebaran sedang dalam proses ditampilkan tempat kluster dibuat. Dibutuhkan 5-10 menit untuk membuat kluster. Setelah kluster dibuat, pesan penyebaran Anda selesai ditampilkan. Jika Anda menavigasi jauh dari halaman, Anda dapat memeriksa Pemberitahuan anda untuk status tersebut.
Buka halaman gambaran umum kluster, Anda dapat melihat tautan titik akhir di sana.
