Membuat klaster berbasis Linux di HDInsight dengan menggunakan portal Azure

Portal Microsoft Azure adalah alat manajemen berbasis web untuk layanan dan sumber daya yang diselenggarakan di cloud Microsoft Azure. Dalam artikel ini, Anda akan mempelajari cara membuat kluster Azure HDInsight berbasis Linux dengan menggunakan portal. Rincian tambahan disediakan dari Buat kluster HDInsight.

Peringatan

Tagihan untuk kluster HDInsight dirata-rata per menit, baik Anda menggunakannya maupun tidak. Pastikan untuk menghapus kluster Anda setelah selesai menggunakannya. Lihat cara menghapus kluster HDInsight.

Portal Microsoft Azure mengekspos sebagian besar properti kluster. Dengan menggunakan templat Azure Resource Manager, Anda bisa menyembunyikan banyak rincian. Untuk informasi selengkapnya, lihat Membuat kluster Apache Hadoop di HDInsight dengan menggunakan templat Resource Manager.

Jika Anda tidak memiliki langganan Azure, buat akun gratis sebelum Anda memulai.

Buat kluster

Catatan

Fitur yang memerlukan transfer aman memberlakukan semua permintaan ke akun Anda melalui koneksi yang aman. Hanya kluster HDInsight versi 3.6 atau yang lebih baru yang mendukung fitur ini. Untuk mengetahui informasi selengkapnya, lihat Membuat kluster Apache Hadoop dengan akun penyimpanan transfer aman di Azure HDInsight.

  1. Masuk ke portal Azure.

  2. Dari menu di bagian atas, pilih + Buat sumber daya.

    Create a new cluster in the Azure portal.

  3. Pilih Analitik>Azure HDInsight untuk masuk ke halaman Buat kluster HDInsight.

Dasar

Screenshot showing HDInsight 4.0 create cluster basics.

Pada tab Dasar, berikan informasi berikut ini:

Properti Deskripsi
Langganan Dari daftar dropdown, pilih langganan Azure yang digunakan untuk kluster.
Grup sumber daya Dari daftar dorp-down, pilih grup sumber daya yang sudah ada, atau pilih Buat baru.
Nama kluster Masukkan nama yang unik secara global.
Wilayah Dari daftar drop-down, pilih wilayah tempat kluster dibuat.
Zona ketersediaan Secara opsional tentukan zona ketersediaan untuk menyebarkan kluster Anda.
Jenis kluster Klik Pilih jenis kluster untuk membuka daftar. Dari daftar, pilih jenis kluster yang diinginkan. Kluster HDInsight hadir dalam berbagai jenis. Kluster disesuaikan dengan beban kerja atau teknologi yang disetel untuk kluster. Tidak ada metode yang didukung untuk membuat kluster yang menggabungkan beberapa jenis.
Versi Dari daftar dropdown, pilih versi. Gunakan versi default jika Anda tidak tahu versi mana yang harus dipilih. Untuk informasi selengkapnya, lihat Versi kluster HDInsight.
Nama pengguna login kluster Berikan nama pengguna, nama default adalah admin.
Sandi login kluster Berikan kata sandi.
Konfirmasi sandi login kluster Masukkan kembali sandi
Nama pengguna Secure Shell (SSH) Berikan nama pengguna, nama default adalah sshuser
Menggunakan sandi login kluster untuk SSH Jika Anda menginginkan sandi SSH yang sama dengan sandi admin yang Anda tentukan sebelumnya, pilih kotak centang Menggunakan sandi login kluster untuk SSH. Jika tidak, berikan SANDI atau KUNCI PUBLIK untuk mengautentikasi pengguna SSH. Kunci publik adalah pendekatan yang kami sarankan. Pilih Pilih di bagian bawah untuk menyimpan konfigurasi kredensial. Untuk informasi selengkapnya, lihat Terhubung ke HDInsight (Apache Hadoop) dengan menggunakan SSH.

Pilih Berikutnya: Penyimpanan >> untuk melanjutkan ke tab selanjutnya.

Penyimpanan

Peringatan

Mulai 15 Juni 2020 pelanggan tidak akan dapat membuat perwakilan layanan baru menggunakan HDInsight. Lihat Membuat Perwakilan Layanan dan Sertifikat menggunakan ID Microsoft Entra.

HDInsight create cluster storage.

Penyimpanan utama

Dari daftar dropdown untuk Jenis penyimpanan utama, pilih jenis penyimpanan default Anda. Bidang yang akan diselesaikan nanti akan bervariasi tergantung dari pilihan Anda. Untuk Azure Storage:

  1. Untuk Metode pemilihan, pilih Pilih dari daftar, atau Gunakan kunci akses.

    • Untuk Pilih dari daftar, lanjutkan dengan memilih Akun penyimpanan utama Anda dari daftar dropdown, atau pilih Buat baru.
    • Untuk Gunakan kunci akses, masukkan Nama akun penyimpanan Anda. Lalu berikan Kunci akses.
  2. Untuk Kontainer, terima nilai default, atau masukkan yang baru.

Azure Storage tambahan

Opsional: Pilih Tambahkan Azure Storage untuk penyimpanan kluster tambahan. Penggunaan akun penyimpanan tambahan di region yang berbeda dari kluster HDInsight tidak didukung.

Pengaturan Metastore

Opsional: Tentukan SQL Database yang ada untuk menyimpan metadata Apache Hive, Apache Oozie, dan/atau Apache Ambari di luar kluster. Azure SQL Database yang digunakan untuk metastore harus memungkinkan konektivitas ke layanan Azure lainnya, termasuk Azure HDInsight. Saat Anda membuat metastore, jangan memberi nama database dengan tanda hubung kalimat atau tanda hubung kata. Karakter-karakter ini dapat menyebabkan proses pembuatan kluster gagal.

Penting

Untuk bentuk kluster yang mendukung metastores, metastore default menyediakan Azure SQL Database dengan batas DTU tingkat 5 dasar (tidak dapat ditingkatkan)! Cocok untuk tujuan pengujian dasar. Untuk beban kerja besar atau produksi, sebaiknya migrasi ke metastore eksternal.

Pilih Berikutnya: Keamanan + jaringan >> untuk melanjutkan ke tab selanjutnya.

Keamanan + jaringan

HDInsight create cluster security networking.

Dari tab Keamanan + jaringan, berikan informasi berikut:

Properti Deskripsi
Paket Keamanan Enterprise Opsional: Pilih kotak centang untuk menggunakan Enterprise Security Package. Untuk informasi selengkapnya, lihat Mengonfigurasi kluster HDInsight dengan Paket Keamanan Perusahaan dengan menggunakan Microsoft Entra Domain Services.
TLS Opsional: Pilih versi TLS dari daftar dropdown. Untuk informasi selengkapnya, lihat Transport Layer Security.
Jaringan virtual Opsional: Pilih jaringan virtual dan subnet yang ada dari daftar dropdown. Untuk informasi, lihat Merencanakan penyebaran jaringan virtual untuk kluster Azure HDInsight. Artikel ini mencakup persyaratan konfigurasi khusus untuk jaringan virtual.
Pengaturan enkripsi disk Opsional: Pilih kotak centang untuk menggunakan enkripsi. Untuk informasi selengkapnya, lihat Enkripsi disk kunci yang dikelola konsumen.
Proksi Kafka REST Pengaturan ini hanya tersedia untuk jenis klaster Kafka. Untuk informasi selengkapnya, lihat Penggunaan proksi REST.
Identitas Opsional: Pilih identitas layanan yang ditetapkan pengguna yang sudah ada dari daftar dropdown. Untuk informasi selengkapnya, lihat Mengelola identitas di Azure HDInsight.

Pilih Berikutnya: Konfigurasi + harga >> untuk melanjutkan ke tab selanjutnya.

Konfigurasi + harga

HDInsight create cluster configuration.

Dari tab Konfigurasi + harga, berikan informasi berikut:

Properti Deskripsi
+ Tambahkan aplikasi Opsional: Pilih aplikasi apa pun yang Anda inginkan. Microsoft, vendor perangkat lunak independen (ISV), atau Anda dapat mengembangkan aplikasi ini. Untuk informasi selengkapnya, lihat Memasang aplikasi selama pembuatan kluster.
Ukuran simpul Opsional: Pilih simpul berukuran berbeda.
Jumlah node Opsional: Masukkan jumlah simpul untuk jenis simpul yang ditentukan. Jika Anda merencanakan lebih dari 32 simpul pekerja, pilih ukuran headnode dengan setidaknya delapan inti dan RAM 14 GB. Rencanakan simpul baik pada pembuatan kluster atau dengan menskalakan kluster setelah pembuatan.
Mengaktifkan skala otomatis Opsional: Pilih kotak centang untuk mengaktifkan fitur. Untuk informasi selengkapnya, lihat Menskalakan kluster Azure HDInsight secara otomatis.
+ Tambahkan tindakan skrip Opsional: Opsi ini berfungsi jika Anda ingin menggunakan skrip kustom untuk kustomisasi kluster, karena kluster sedang dibuat. Untuk informasi selengkapnya tentang tindakan skrip, lihat Kustomisasi kluster HDInsight berbasis Linux dengan menggunakan tindakan skrip.

Pilih Tinjau + buat >> untuk memvalidasi konfigurasi kluster dan lanjutkan ke tab terakhir.

Tag

Pada halaman Tag , berikan informasi berikut ini:

Properti Deskripsi
Nama Opsional. Masukkan nama pilihan Anda untuk mengidentifikasi semua sumber daya dengan mudah.
Nilai Biarkan kosong.
Sumber daya Pilih Semua sumber daya yang dipilih.

Tinjau + buat

Screenshot showing HDInsight 4.0 create cluster summary.

Tinjau pengaturan. Pilih Buat untuk membuat kluster.

Dibutuhkan beberapa waktu untuk membuat kluster, biasanya sekitar 20 menit. Pantau Pemberitahuan untuk memeriksa penyediaan proses.

Pasca pembuatan

Setelah proses pembuatan selesai, pilih Buka Resource dari pemberitahuan Penyebaran berhasil. Jendela kluster memberikan informasi berikut.

Screenshot showing Azure HDInsight portal cluster overview.

Beberapa ikon di jendela dijelaskan sebagai berikut:

Properti Deskripsi
Gambaran Umum Menyediakan semua informasi penting tentang kluster. Contohnya berupa nama, grup sumber daya miliknya, lokasi, sistem operasi, dan URL untuk dasbor kluster.
Dasbor kluster Mengarahkan Anda ke portal Ambari yang terkait dengan kluster.
Login Kluster + SSH Menyediakan informasi yang diperlukan untuk mengakses kluster dengan menggunakan SSH.
Hapus Menghapus kluster HDInsight.

Menghapus kluster

Lihat Menghapus kluster HDInsight menggunakan browser, PowerShell, atau Azure Classic CLI Anda.

Pecahkan masalah

Jika Anda mengalami masalah dengan pembuatan kluster HDInsight, lihat persyaratan kontrol akses.

Langkah berikutnya

Anda berhasil membuat kluster HDInsight. Sekarang pelajari cara menggunakan kluster Anda.