Bagikan melalui

Membuat kumpulan kluster dan kluster

  • Artikel

HDInsight di AKS memiliki konsep kumpulan kluster dan kluster.

  • Kumpulan kluster adalah pengelompokan kluster yang logis dan mempertahankan sekumpulan kluster dalam kumpulan yang sama, yang membantu membangun interoperabilitas yang kuat di beberapa jenis kluster. Ini dapat dibuat dalam jaringan virtual yang ada atau di luar jaringan virtual.

    Kumpulan kluster di HDInsight pada AKS sesuai dengan satu kluster dalam infrastruktur AKS.

  • Kluster adalah beban kerja komputasi individual, seperti Apache Spark, Apache Flink, atau Trino, yang dapat dibuat di kumpulan kluster yang sama.

Untuk membuat kluster Apache Spark, Apache Flink, atau Trino, Anda harus terlebih dahulu membuat kumpulan kluster.

Prasyarat

Pastikan Anda telah menyelesaikan prasyarat langganan dan prasyarat sumber daya sebelum membuat kumpulan kluster.

Membuat kumpulan kluster

  1. Masuk ke portal Microsoft Azure.

  2. Di bilah pencarian portal Azure, ketik "HDInsight di kumpulan kluster AKS" dan pilih "Azure HDInsight di kumpulan kluster AKS" dari daftar drop-down.

    Diagram memperlihatkan bilah pencarian di portal Azure.

  3. Klik + Buat.

    Diagram memperlihatkan tombol buat.

  4. Di tab Dasar -dasar, masukkan informasi berikut:

    Diagram memperlihatkan tab dasar pembuatan kumpulan kluster.

    Properti Deskripsi
    Langganan Dari daftar drop-down, pilih langganan Azure tempat Anda ingin membuat HDInsight di kumpulan kluster AKS.
    Grup sumber daya Dari daftar drop-down, pilih grup sumber daya yang sudah ada, atau pilih Buat baru.
    Nama kumpulan Masukkan nama kumpulan kluster yang akan dibuat. Panjang nama kumpulan kluster tidak boleh lebih dari 26 karakter. Ini harus dimulai dengan alfabet, diakhir dengan karakter alfanumerik, dan hanya boleh berisi karakter alfanumerik dan tanda hubung.
    Wilayah Dari daftar drop-down, pilih wilayah untuk kumpulan kluster. Periksa ketersediaan wilayah. Untuk kumpulan kluster dalam jaringan virtual, wilayah untuk jaringan virtual dan kumpulan kluster harus sama.
    Versi kumpulan kluster Dari daftar drop-down, pilih HDInsight pada versi kumpulan kluster AKS.
    Mesin virtual Dari daftar drop-down, pilih ukuran komputer virtual untuk kumpulan kluster berdasarkan kebutuhan Anda.
    Grup sumber daya terkelola (Opsional) Berikan nama untuk grup sumber daya terkelola. Ini menyimpan sumber daya tambahan yang dibuat oleh HDInsight di AKS.

    Pilih Berikutnya: Keamanan + jaringan untuk melanjutkan.

  5. Pada halaman Keamanan + jaringan , berikan informasi berikut:

    Diagram memperlihatkan jaringan pembuatan kumpulan kluster dan tab keamanan.

    Properti Deskripsi
    Jaringan virtual (VNet) Dari daftar drop-down, pilih jaringan virtual, yang berada di wilayah yang sama dengan kumpulan kluster.
    Subnet Dari daftar drop-down, pilih nama subnet yang Anda rencanakan untuk dikaitkan dengan kumpulan kluster.

    Pilih Berikutnya: Integrasi untuk melanjutkan.

  6. Pada halaman Integrasi , berikan informasi berikut ini:

    Diagram memperlihatkan tab integrasi pembuatan kumpulan kluster.

    Properti Deskripsi
    Log Analytics (Opsional) Pilih opsi ini untuk mengaktifkan analitik Log untuk melihat wawasan dan log langsung di kluster Anda dengan mengirim metrik dan log ke Ruang Kerja Analitik Log.
    Azure Prometheus Anda dapat mengaktifkan opsi ini setelah pembuatan kumpulan kluster selesai.

    Pilih Berikutnya: Tag untuk melanjutkan.

  7. Pada halaman Tag , masukkan tag apa pun (opsional) yang ingin Anda tetapkan ke kumpulan kluster.

    Diagram memperlihatkan tab tag pembuatan kumpulan kluster.

    Properti Deskripsi
    Nama Masukkan nama (kunci) yang membantu Anda mengidentifikasi sumber daya berdasarkan pengaturan yang relevan dengan organisasi Anda. Misalnya, "Lingkungan" untuk melacak lingkungan penyebaran untuk sumber daya Anda.
    Nilai Masukkan nilai yang membantu berhubungan dengan sumber daya. Misalnya, "Produksi" untuk mengidentifikasi sumber daya yang disebarkan ke produksi.
    Sumber daya Pilih jenis sumber daya yang berlaku.

    Pilih Berikutnya: Tinjau + buat untuk melanjutkan.

  8. Pada halaman Tinjau + buat , cari pesan Validasi berhasil di bagian atas halaman lalu klik Buat.

    Halaman Penyebaran sedang dalam proses ditampilkan saat kumpulan kluster sedang dibuat, dan halaman Penyebaran Anda selesai ditampilkan setelah kumpulan kluster sepenuhnya disebarkan dan siap digunakan.

    Diagram memperlihatkan tinjauan kumpulan kluster dan tab buat.

    Jika Anda menavigasi menjauh dari halaman, Anda dapat memeriksa status penyebaran dengan mengklik ikon Pemberitahuan.

    Tip

    Untuk memecahkan masalah kesalahan penyebaran, Anda dapat merujuk halaman ini.

Setelah penyebaran kumpulan kluster selesai, terus gunakan portal Azure untuk membuat kluster Trino, Flink, dan Spark.

Membuat kluster

Ada tiga cara untuk membuat Azure HDInsight pada kluster AKS dari portal Azure:

  • Cari dan buat "Azure HDInsight di kluster AKS" dari marketplace.
  • Cari dan pilih "Azure HDInsight pada kluster AKS" di portal Azure untuk membuat kluster dari halaman yang mencantumkan semua HDInsight pada kluster AKS.
  • Buat kluster dengan memilih Baru di halaman Gambaran Umum kumpulan kluster yang ada. Dalam opsi ini Anda memiliki dua cara untuk membuat kluster.

    • Buat kluster dengan menyediakan jumlah minimum input dengan tidak menggunakan konfigurasi tingkat lanjut. Opsi ini mengisi bidang konfigurasi prasyarat dengan default cerdas dan membuat otomatis sumber daya wajib.

      Ukuran SKU Komputer Virtual telah diisi sebelumnya dengan SKU yang direkomendasikan dengan biaya paling murah. Dengan tidak adanya SKU yang direkomendasikan, SKU diisi sebelumnya dengan SKU dengan vCore paling sedikit dan kuota maksimum yang tersedia pada saat pembuatan kluster. Kluster akan dibuat dengan jumlah konstanta default lima simpul. Kluster Flink dan Trino akan memiliki dua simpul kepala sementara kluster Spark akan memiliki tiga simpul kepala.

      Identitas terkelola dan akun penyimpanan yang ditetapkan pengguna akan dibuat secara otomatis di grup sumber daya terkelola. Anda dapat meninjau konfigurasi kluster, yang akan dibuat pada tab Tinjau+buat. Setelah Anda mengklik Buat, halaman "Penyebaran sedang berlangsung" ditampilkan saat kluster sedang dibuat. Pesan bahwa "Penyebaran Anda selesai" akan ditampilkan setelah kluster sepenuhnya disebarkan dan siap digunakan.

      Diagram memperlihatkan mode dasar pembuatan kluster.

    • Jika Anda ingin memiliki lebih banyak fleksibilitas untuk menyesuaikan konfigurasi kluster, alihkan "Gunakan konfigurasi tingkat lanjut" ke Aktif.

Penting

Untuk membuat kluster di kumpulan kluster baru, tetapkan peran AKS agentpool MSI "Managed Identity Operator" pada identitas terkelola yang ditetapkan pengguna yang dibuat sebagai bagian dari prasyarat sumber daya. Saat pengguna memiliki izin untuk menetapkan peran Azure RBAC, peran tersebut ditetapkan secara otomatis.

Identitas terkelola agentpool AKS dibuat selama pembuatan kumpulan kluster. Anda dapat mengidentifikasi identitas terkelola agentpool AKS dengan (nama clusterpool Anda)-agentpool. Ikuti langkah-langkah ini untuk menetapkan peran.

Untuk mulai cepat, lihat langkah-langkah berikut.

  1. Saat pembuatan kumpulan kluster selesai, klik Buka sumber daya dari halaman Penyebaran Anda selesai atau area Pemberitahuan . Jika opsi Buka sumber daya tidak tersedia, ketik HDInsight pada kumpulan kluster AKS di bilah pencarian di portal Azure, lalu pilih kumpulan kluster yang Anda buat.

  2. Klik + Kluster baru dari lalu berikan informasi berikut:

    Cuplikan layar memperlihatkan opsi buat kluster baru.

    Diagram memperlihatkan cara membuat kluster baru.

    Properti Deskripsi
    Langganan Secara default, langganan diisi dengan langganan yang digunakan untuk kumpulan kluster.
    Grup sumber daya Secara default, grup sumber daya diisi dengan grup sumber daya yang digunakan untuk kumpulan kluster.
    Kumpulan kluster Mewakili kumpulan kluster tempat kluster harus dibuat. Untuk membuat kluster di kumpulan yang berbeda, temukan kumpulan kluster tersebut di portal dan klik + Kluster baru.
    Wilayah Secara default, wilayah tersebut diisi dengan wilayah yang digunakan untuk kumpulan kluster.
    Versi kumpulan kluster Secara default, ini diisi dengan versi yang digunakan untuk kumpulan kluster.
    HDInsight pada versi AKS Dari daftar drop-down, pilih HDInsight pada versi AKS. Untuk informasi selengkapnya, lihat penerapan versi.
    Jenis kluster Dari daftar drop-down, pilih jenis Kluster yang ingin Anda buat: Trino, Flink, atau Spark.
    Paket kluster Pilih paket kluster dengan versi komponen yang tersedia untuk jenis kluster yang dipilih.
    Nama kluster Masukkan nama kluster baru.
    Identitas terkelola yang ditetapkan pengguna Pilih identitas terkelola yang akan digunakan dengan kluster.
    Akun penyimpanan (ADLS Gen2) Pilih akun penyimpanan dan kontainer yang merupakan lokasi default untuk log kluster dan output lainnya. Ini wajib untuk jenis kluster Apache Flink dan Spark.
    Jaringan virtual (VNet) Jaringan virtual untuk kluster. Ini berasal dari kumpulan kluster.
    Subnet Subnet jaringan virtual untuk kluster. Ini berasal dari kumpulan kluster.

    Klik Berikutnya: Konfigurasi untuk melanjutkan.

  3. Pada halaman Konfigurasi , berikan informasi berikut:

    Diagram memperlihatkan tab konfigurasi.

    Properti Deskripsi
    Ukuran node head Nilai ini sama dengan ukuran simpul pekerja.
    Jumlah simpul kepala Nilai ini diatur secara default berdasarkan jenis kluster.
    Ukuran simpul pekerja Dari daftar drop-down, pilih SKU yang direkomendasikan atau Anda dapat memilih SKU yang tersedia di langganan Anda dengan mengklik Pilih ukuran VM.
    Jumlah node pekerja Pilih jumlah simpul pekerja yang diperlukan untuk kluster Anda.
    Skala Otomatis (Opsional) Pilih opsi ini untuk mengaktifkan kemampuan skala otomatis
    Konfigurasi secure shell (SSH) (Opsional) Pilih opsi ini untuk mengaktifkan simpul SSH. Dengan mengaktifkan SSH, lebih banyak simpul VM dibuat.

    Catatan

    Anda akan melihat bagian tambahan untuk menyediakan konfigurasi layanan untuk kluster Apache Flink.

    Klik Berikutnya: Integrasi untuk melanjutkan.

  4. Pada halaman Integrasi , berikan informasi berikut ini:

    Diagram memperlihatkan tab integrasi.

    Properti Deskripsi
    Log Analytics (Opsional) Pilih opsi ini untuk mengaktifkan analitik Log untuk melihat wawasan dan log langsung di kluster Anda dengan mengirim metrik dan log ke Ruang Kerja Analitik Log.
    Azure Prometheus (Opsional) Pilih opsi ini untuk mengaktifkan Azure Managed Prometheus untuk melihat Insight dan Log langsung di kluster Anda dengan mengirim metrik dan log ke ruang kerja Azure Monitor.

    Catatan

    Untuk mengaktifkan Analitik Log dan Azure Prometheus, harus diaktifkan terlebih dahulu di tingkat kumpulan kluster.

    Klik Berikutnya: Tag untuk melanjutkan.

  5. Pada halaman Tag , masukkan tag apa pun (opsional) yang ingin Anda tetapkan ke kluster.

    Cuplikan layar memperlihatkan halaman tag.

    Properti Deskripsi
    Nama Masukkan nama (kunci) yang membantu Anda mengidentifikasi sumber daya berdasarkan pengaturan yang relevan dengan organisasi Anda. "Lingkungan" untuk melacak lingkungan penyebaran untuk sumber daya Anda.
    Nilai Masukkan nilai yang membantu berhubungan dengan sumber daya. "Produksi" untuk mengidentifikasi sumber daya yang disebarkan ke produksi.
    Sumber daya Pilih jenis sumber daya yang berlaku.

    Pilih Berikutnya: Tinjau + buat untuk melanjutkan.

  6. Pada halaman Tinjau + buat , cari pesan Validasi berhasil di bagian atas halaman lalu klik Buat.

    Diagram memperlihatkan tinjauan kluster dan tab buat.

    Halaman Penyebaran sedang dalam proses ditampilkan saat kluster sedang dibuat, dan halaman "Penyebaran Anda selesai" ditampilkan setelah kluster sepenuhnya disebarkan dan siap digunakan.

    Tip

    Untuk memecahkan masalah kesalahan penyebaran apa pun, Anda dapat merujuk ke halaman ini.