Bagikan melalui

Membuat kluster Spark di HDInsight di AKS (Pratinjau)

  • Artikel

Penting

Azure HDInsight di AKS dihentikan pada 31 Januari 2025. Pelajari lebih lanjut dengan pengumuman ini.

Anda perlu memigrasikan beban kerja Anda untuk Microsoft Fabric atau produk Azure yang setara untuk menghindari penghentian beban kerja Anda yang mendadak.

Penting

Fitur ini saat ini dalam pratinjau. Ketentuan Penggunaan Tambahan untuk Pratinjau Microsoft Azure menyertakan lebih banyak persyaratan hukum yang berlaku untuk fitur Azure yang dalam versi beta, dalam pratinjau, atau belum dirilis ke ketersediaan umum. Untuk informasi tentang pratinjau khusus ini, lihat Azure HDInsight pada informasi pratinjau AKS. Untuk pertanyaan atau saran fitur, silakan kirimkan permintaan di AskHDInsight dengan detailnya dan ikuti kami untuk mendapatkan pembaruan terbaru mengenai Komunitas Azure HDInsight.

Setelah prasyarat langganan dan prasyarat sumber daya langkah-langkah selesai, dan Anda memiliki kumpulan kluster yang disebarkan, terus gunakan portal Microsoft Azure untuk membuat kluster Spark. Anda dapat menggunakan portal Microsoft Azure untuk membuat kluster Apache Spark di kumpulan kluster. Anda kemudian dapat membuat Jupyter Notebook dan menggunakannya untuk menjalankan kueri Spark SQL terhadap tabel Apache Hive.

  1. Di portal Microsoft Azure, ketik kumpulan kluster, dan pilih kumpulan kluster untuk masuk ke halaman kumpulan kluster. Pada halaman kumpulan kluster, pilih kumpulan kluster tempat Anda dapat menambahkan kluster Spark baru.

  2. Pada halaman kumpulan kluster tertentu, klik + Kluster baru.

    Cuplikan layar memperlihatkan cara membuat kluster spark baru.

    Langkah ini membuka halaman pembuatan kluster.

    Cuplikan layar memperlihatkan halaman dasar buat kluster.

    Harta benda Deskripsi
    Abonemen Langganan Azure yang terdaftar untuk digunakan dengan HDInsight di AKS di bagian Prasyarat akan diisi secara otomatis.
    Grup Sumber Daya Grup sumber daya yang sama dengan kumpulan kluster akan diisi sebelumnya
    Wilayah Wilayah yang sama dengan kumpulan kluster dan virtual akan diisi sebelumnya dengan data.
    Kelompok kluster Nama kumpulan kluster akan diisi sebelumnya
    Versi Kumpulan HDInsight Versi kumpulan kluster akan diisi sebelumnya dari pilihan pembuatan kumpulan
    HDInsight pada versi AKS Tentukan HDI pada versi AKS
    Jenis kluster Dari daftar drop-down, pilih Spark
    Versi Kluster Pilih versi gambar yang akan digunakan
    Nama kluster Masukkan nama kluster baru
    Identitas terkelola yang ditetapkan pengguna Pilih identitas terkelola yang ditetapkan pengguna yang akan berfungsi sebagai string koneksi dengan penyimpanan
    Akun Penyimpanan Pilih akun penyimpanan yang telah dibuat sebelumnya yang akan digunakan sebagai penyimpanan utama untuk kluster
    Nama kontainer Pilih nama kontainer(unik) jika sudah dibuat atau buat kontainer baru
    Katalog Hive (opsional) Pilih metastore Apache Hive yang telah dibuat sebelumnya (Azure SQL DB)
    Basis Data SQL untuk Apache Hive Dari daftar drop-down, pilih SQL Database untuk menambahkan tabel hive-metastore.
    Nama pengguna admin SQL Masukkan nama pengguna admin SQL
    Brankas kunci Dari daftar drop-down, pilih Key Vault, yang berisi rahasia dengan kata sandi untuk nama pengguna admin SQL
    Nama rahasia kata sandi SQL Masukkan nama rahasia dari Key Vault tempat kata sandi SQL DB disimpan

    Nota

    • Saat ini HDInsight hanya mendukung database MS SQL Server.
    • Karena keterbatasan Hive, karakter "-" (tanda hubung) dalam nama database metastore tidak didukung.

  3. Pilih Berikut: Konfigurasi + penentuan harga untuk melanjutkan.

    Cuplikan layar memperlihatkan tab harga 1.

    Cuplikan layar memperlihatkan tab harga 2.

    cuplikan layar memperlihatkan tab ssh.

    Harta benda Deskripsi
    Ukuran simpul Pilih ukuran simpul yang akan digunakan untuk simpul Spark
    Jumlah node pekerja Pilih jumlah simpul untuk kluster Spark. Dari jumlah tersebut, tiga simpul dicadangkan untuk koordinator dan layanan sistem, simpul-simpul yang tersisa didedikasikan untuk pekerja Spark, satu pekerja per simpul. Misalnya, dalam kluster lima node ada dua pekerja
    Skala otomatis Klik tombol alih untuk mengaktifkan Skala Otomatis
    Jenis Skala Otomatis Pilih dari skala otomatis berbasis beban atau jadwal
    Batas waktu penonaktifan yang anggun Tentukan batas waktu penonaktifan yang anggun
    Jumlah simpul pekerja default Pilih jumlah simpul untuk skala otomatis
    Zona Waktu Pilih zona waktu
    Aturan Skala Otomatis Pilih hari, waktu mulai, waktu selesai, jumlah node pekerja
    Aktifkan SSH Jika diaktifkan, memungkinkan Anda menentukan Awalan dan Jumlah simpul SSH

  4. Klik Berikutnya : Integrasi untuk mengaktifkan dan memilih Analitik Log untuk Pengelogan.

    Azure Prometheus untuk pemantauan dan metrik dapat diaktifkan pasca pembuatan kluster.

    cuplikan layar memperlihatkan tab integrasi.

  5. Klik Berikutnya: Tag untuk melanjutkan ke halaman berikutnya.

    cuplikan layar menampilkan tab tag.

  6. Pada halaman Tag, masukkan tag apa pun yang ingin Anda tambahkan ke sumber daya Anda.

    Harta benda Deskripsi
    Nama Fakultatif. Masukkan nama seperti HDInsight pada Pratinjau Privat AKS untuk dengan mudah mengidentifikasi semua sumber daya yang terkait dengan sumber daya Anda
    Nilai Biarkan kosong ini
    Sumber daya Pilih Semua sumber daya yang dipilih

  7. Klik Berikutnya: Tinjau dan buat.

  8. Pada halaman Tinjau + buat, cari pesan Validasi berhasil di bagian atas halaman lalu klik Buat.

  9. Halaman Deployment sedang dalam proses ditampilkan tempat kluster dibuat. Dibutuhkan 5-10 menit untuk membuat kluster. Setelah kluster dibuat, Penyebaran Anda selesai pesan ditampilkan. Jika Anda menavigasi jauh dari halaman, Anda dapat memeriksa Pemberitahuan anda untuk status tersebut.

  10. Buka halaman gambaran umum kluster , Anda dapat melihat tautan titik akhir di sana.

    Cuplikan layar memperlihatkan halaman gambaran umum kluster.