Membuat kluster Spark di HDInsight di AKS (Pratinjau)
Penting
Azure HDInsight di AKS dihentikan pada 31 Januari 2025. Pelajari lebih lanjut dengan pengumuman ini.
Anda perlu memigrasikan beban kerja Anda untuk Microsoft Fabric atau produk Azure yang setara untuk menghindari penghentian beban kerja Anda yang mendadak.
Penting
Fitur ini saat ini dalam pratinjau. Ketentuan Penggunaan Tambahan untuk Pratinjau Microsoft Azure menyertakan lebih banyak persyaratan hukum yang berlaku untuk fitur Azure yang dalam versi beta, dalam pratinjau, atau belum dirilis ke ketersediaan umum. Untuk informasi tentang pratinjau khusus ini, lihat Azure HDInsight pada informasi pratinjau AKS. Untuk pertanyaan atau saran fitur, silakan kirimkan permintaan di AskHDInsight dengan detailnya dan ikuti kami untuk mendapatkan pembaruan terbaru mengenai Komunitas Azure HDInsight.
Setelah prasyarat langganan dan prasyarat sumber daya langkah-langkah selesai, dan Anda memiliki kumpulan kluster yang disebarkan, terus gunakan portal Microsoft Azure untuk membuat kluster Spark. Anda dapat menggunakan portal Microsoft Azure untuk membuat kluster Apache Spark di kumpulan kluster. Anda kemudian dapat membuat Jupyter Notebook dan menggunakannya untuk menjalankan kueri Spark SQL terhadap tabel Apache Hive.
Di portal Microsoft Azure, ketik kumpulan kluster, dan pilih kumpulan kluster untuk masuk ke halaman kumpulan kluster. Pada halaman kumpulan kluster, pilih kumpulan kluster tempat Anda dapat menambahkan kluster Spark baru.
Pada halaman kumpulan kluster tertentu, klik + Kluster baru.
Langkah ini membuka halaman pembuatan kluster.
Harta benda Deskripsi Abonemen Langganan Azure yang terdaftar untuk digunakan dengan HDInsight di AKS di bagian Prasyarat akan diisi secara otomatis. Grup Sumber Daya Grup sumber daya yang sama dengan kumpulan kluster akan diisi sebelumnya Wilayah Wilayah yang sama dengan kumpulan kluster dan virtual akan diisi sebelumnya dengan data. Kelompok kluster Nama kumpulan kluster akan diisi sebelumnya Versi Kumpulan HDInsight Versi kumpulan kluster akan diisi sebelumnya dari pilihan pembuatan kumpulan HDInsight pada versi AKS Tentukan HDI pada versi AKS Jenis kluster Dari daftar drop-down, pilih Spark Versi Kluster Pilih versi gambar yang akan digunakan Nama kluster Masukkan nama kluster baru Identitas terkelola yang ditetapkan pengguna Pilih identitas terkelola yang ditetapkan pengguna yang akan berfungsi sebagai string koneksi dengan penyimpanan Akun Penyimpanan Pilih akun penyimpanan yang telah dibuat sebelumnya yang akan digunakan sebagai penyimpanan utama untuk kluster Nama kontainer Pilih nama kontainer(unik) jika sudah dibuat atau buat kontainer baru Katalog Hive (opsional) Pilih metastore Apache Hive yang telah dibuat sebelumnya (Azure SQL DB) Basis Data SQL untuk Apache Hive Dari daftar drop-down, pilih SQL Database untuk menambahkan tabel hive-metastore. Nama pengguna admin SQL Masukkan nama pengguna admin SQL Brankas kunci Dari daftar drop-down, pilih Key Vault, yang berisi rahasia dengan kata sandi untuk nama pengguna admin SQL Nama rahasia kata sandi SQL Masukkan nama rahasia dari Key Vault tempat kata sandi SQL DB disimpan Nota
- Saat ini HDInsight hanya mendukung database MS SQL Server.
- Karena keterbatasan Hive, karakter "-" (tanda hubung) dalam nama database metastore tidak didukung.
Pilih Berikut: Konfigurasi + penentuan harga untuk melanjutkan.
Harta benda Deskripsi Ukuran simpul Pilih ukuran simpul yang akan digunakan untuk simpul Spark Jumlah node pekerja Pilih jumlah simpul untuk kluster Spark. Dari jumlah tersebut, tiga simpul dicadangkan untuk koordinator dan layanan sistem, simpul-simpul yang tersisa didedikasikan untuk pekerja Spark, satu pekerja per simpul. Misalnya, dalam kluster lima node ada dua pekerja Skala otomatis Klik tombol alih untuk mengaktifkan Skala Otomatis Jenis Skala Otomatis Pilih dari skala otomatis berbasis beban atau jadwal Batas waktu penonaktifan yang anggun Tentukan batas waktu penonaktifan yang anggun Jumlah simpul pekerja default Pilih jumlah simpul untuk skala otomatis Zona Waktu Pilih zona waktu Aturan Skala Otomatis Pilih hari, waktu mulai, waktu selesai, jumlah node pekerja Aktifkan SSH Jika diaktifkan, memungkinkan Anda menentukan Awalan dan Jumlah simpul SSH Klik Berikutnya : Integrasi untuk mengaktifkan dan memilih Analitik Log untuk Pengelogan.
Azure Prometheus untuk pemantauan dan metrik dapat diaktifkan pasca pembuatan kluster.
Klik Berikutnya: Tag untuk melanjutkan ke halaman berikutnya.
Pada halaman Tag, masukkan tag apa pun yang ingin Anda tambahkan ke sumber daya Anda.
Harta benda Deskripsi Nama Fakultatif. Masukkan nama seperti HDInsight pada Pratinjau Privat AKS untuk dengan mudah mengidentifikasi semua sumber daya yang terkait dengan sumber daya Anda Nilai Biarkan kosong ini Sumber daya Pilih Semua sumber daya yang dipilih Klik Berikutnya: Tinjau dan buat.
Pada halaman Tinjau + buat, cari pesan Validasi berhasil di bagian atas halaman lalu klik Buat.
Halaman Deployment sedang dalam proses ditampilkan tempat kluster dibuat. Dibutuhkan 5-10 menit untuk membuat kluster. Setelah kluster dibuat, Penyebaran Anda selesai pesan ditampilkan. Jika Anda menavigasi jauh dari halaman, Anda dapat memeriksa Pemberitahuan anda untuk status tersebut.
Buka halaman gambaran umum kluster , Anda dapat melihat tautan titik akhir di sana.