Gunakan simpul tepi kosong pada kluster Apache Hadoop di MIcrosoft Azure HDInsight

Artikel
06/15/2024

Pelajari cara menambahkan simpul tepi kosong ke kluster Azure HDInsight. Simpul tepi kosong adalah komputer virtual Linux dengan alat klien yang sama dipasang dan dikonfigurasi seperti pada headnodes. Tetapi tanpa layanan Apache Hadoop berjalan. Anda dapat menggunakan simpul tepi untuk mengakses kluster, menguji aplikasi klien Anda, dan menghosting aplikasi klien Anda.

Anda dapat menambahkan simpul tepi kosong kluster Azure HDInsight yang ada ke kluster baru saat membuat kluster. Menambahkan simpul tepi kosong dilakukan menggunakan templat Azure Resource Manager. Sampel berikut menunjukkan cara kerjanya menggunakan templat:

"resources": [
    {
        "name": "[concat(parameters('clusterName'),'/', variables('applicationName'))]",
        "type": "Microsoft.HDInsight/clusters/applications",
        "apiVersion": "2015-03-01-preview",
        "dependsOn": [ "[concat('Microsoft.HDInsight/clusters/',parameters('clusterName'))]" ],
        "properties": {
            "marketPlaceIdentifier": "EmptyNode",
            "computeProfile": {
                "roles": [{
                    "name": "edgenode",
                    "targetInstanceCount": 1,
                    "hardwareProfile": {
                        "vmSize": "{}"
                    }
                }]
            },
            "installScriptActions": [{
                "name": "[concat('emptynode','-' ,uniquestring(variables('applicationName')))]",
                "uri": "[parameters('installScriptAction')]",
                "roles": ["edgenode"]
            }],
            "uninstallScriptActions": [],
            "httpsEndpoints": [],
            "applicationType": "CustomApplication"
        }
    }
],

Seperti yang ditunjukkan dalam sampel, Anda dapat secara opsional memanggil tindakan skrip untuk melakukan konfigurasi tambahan. Seperti memasang Apache Hue di simpul tepi. Skrip aksi skrip harus dapat diakses publik di web. Misalnya, jika skrip disimpan di Azure Storage, gunakan kontainer publik atau blob publik.

Ukuran komputer virtual simpul tepi harus memenuhi persyaratan ukuran simpul vm pekerja kluster Azure HDInsight. Untuk ukuran simpul vm pekerja yang direkomendasikan, lihat Membuat kluster Apache Hadoop di Azure HDInsight.

Setelah simpul tepi dibuat, Anda dapat terhubung ke simpul tepi menggunakan SSH, dan menjalankan alat klien untuk mengakses kluster Hadoop di Azure HDInsight.

Peringatan

Komponen kustom yang dipasang pada simpul tepi menerima dukungan yang wajar secara komersial dari Microsoft. Hal ini dapat mengakibatkan penyelesaian masalah yang Anda temui. Atau, Anda dapat dirujuk ke sumber daya komunitas untuk bantuan lebih lanjut. Berikut ini adalah beberapa situs paling aktif untuk mendapatkan bantuan dari komunitas:

Jika Anda menggunakan teknologi Apache, Anda mungkin dapat menemukan bantuan melalui situs proyek Apache di https://apache.org, seperti situs Apache Hadoop.

Penting

Gambar Ubuntu dibuat tersedia untuk pembuatan kluster Azure HDInsight baru dalam waktu 3 bulan setelah diterbitkan. Pada Januari 2019, kluster yang berjalan (termasuk simpul tepi) tidak auto-patch. Pelanggan harus menggunakan tindakan skrip atau mekanisme lain untuk melakukan patch pada kluster yang sedang berjalan. Untuk informasi selengkapnya, lihat artikel: Patching OS untuk Azure HDInsight.

Menambahkan simpul tepi ke kluster yang ada

Di bagian ini, Anda menggunakan templat Azure Resource Manager untuk menambahkan simpul tepi ke kluster Azure HDInsight yang ada. Templat Resource Manager dapat ditemukan di GitHub. Templat Resource Manager memanggil tindakan skrip yang terletak di https://raw.githubusercontent.com/Azure/azure-quickstart-templates/master/quickstarts/microsoft.hdinsight/hdinsight-linux-add-edge-node/scripts/EmptyNodeSetup.sh. Skrip tidak melakukan tindakan apa pun. Hal ini untuk menunjukkan tindakan skrip panggilan dari templat Azure Resource Manager.

Pilih gambar berikut untuk masuk ke Azure dan buka templat Azure Resource Manager di portal Microsoft Azure.

Mengonfigurasi properti berikut:

Properti	Deskripsi
Langganan	Pilih langganan Azure yang digunakan untuk membuat kluster.
Grup sumber daya	Pilih grup sumber daya yang digunakan untuk kluster Azure HDInsight yang ada.
Lokasi	Pilih lokasi kluster Azure HDInsight yang ada.
Nama kluster	Masukkan nama kluster Azure HDInsight yang ada.

Lalu, pilih Saya menyetujui syarat dan ketentuan yang dinyatakan di atas, lalu pilih Pembelian untuk membuat node tepi.

Penting

Pastikan untuk memilih grup sumber daya Azure untuk kluster Azure HDInsight yang ada. Jika tidak, Anda mendapatkan pesan kesalahan "Tidak dapat melakukan operasi yang diminta pada sumber daya berlapis. Sumber daya induk '<ClusterName>' tidak ditemukan."

Menambahkan simpul tepi saat membuat kluster

Di bagian ini, Anda menggunakan templat Azure Resource Manager untuk membuat kluster Azure HDInsight dengan simpul tepi. Templat Azure Resource Manager dapat ditemukan di galeri templat mulai cepat Azure. Templat Resource Manager memanggil tindakan skrip yang terletak di https://raw.githubusercontent.com/Azure/azure-quickstart-templates/master/quickstarts/microsoft.hdinsight/hdinsight-linux-with-edge-node/scripts/EmptyNodeSetup.sh. Skrip tidak melakukan tindakan apa pun. Hal ini untuk menunjukkan tindakan skrip panggilan dari templat Azure Resource Manager.

Buat kluster Azure HDInsight jika Anda belum memilikinya. Lihat Mulai menggunakan Hadoop di Azure HDInsight.
Pilih gambar berikut untuk masuk ke Azure dan buka templat Azure Resource Manager di portal Microsoft Azure.

Mengonfigurasi properti berikut:

Properti	Deskripsi
Langganan	Pilih langganan Azure yang digunakan untuk membuat kluster.
Grup sumber daya	Buat grup sumber daya baru yang digunakan untuk kluster.
Lokasi	Pilih lokasi untuk grup sumber daya.
Nama kluster	Masukkan nama untuk kluster baru yang akan dibuat.
Nama Pengguna Masuk Kluster	Masukkan nama pengguna HTTP Hadoop. Nama defaultnya adalah admin.
Kata Sandi Masuk Kluster	Masukkan kata sandi pengguna HTTP Hadoop.
Nama Pengguna Ssh	Masukkan nama pengguna SSH. Nama defaultnya adalah sshuser.
Kata Sandi Ssh	Masukkan kata sandi pengguna SSH.
Memasang Tindakan Skrip	Pertahankan nilai default untuk menelusuri artikel ini.

Beberapa properti telah di-hardcode dalam templat: Tipe kluster, Jumlah simpul pekerja kluster, Ukuran simpul Azure Stack Edge, dan Nama simpul Azure Stack Edge.

Periksa Saya menyetujui syarat dan ketentuan yang dinyatakan di atas, dan kemudian pilih Beli untuk membuat kluster dengan node tepi.

Menambahkan beberapa simpul tepi

Anda dapat menambahkan beberapa simpul tepi ke kluster Azure HDInsight. Konfigurasi beberapa simpul tepi hanya dapat dilakukan menggunakan Templat Azure Resource Manager. Lihat sampel templat di awal artikel ini. Perbarui targetInstanceCount untuk mencerminkan jumlah simpul tepi yang ingin Anda buat.

Mengakses simpul tepi

Titik akhir ssh node tepi adalah <EdgeNodeName>.<ClusterName>-ssh.azurehdinsight.net:22. Misalnya, new-edgenode.myedgenode0914-ssh.azurehdinsight.net:22.

Simpul tepi muncul sebagai aplikasi di portal Microsoft Azure. Portal memberi Anda informasi untuk mengakses simpul tepi menggunakan SSH.

Untuk memverifikasi titik akhir SSH simpul tepi

Masuk ke portal Microsoft Azure.
Buka kluster Azure HDInsight dengan simpul tepi.
Pilih Aplikasi. Anda akan melihat simpul tepi. Nama default adalah new-edgenode.
Pilih simpul tepi. Anda akan melihat titik akhir SSH.

Untuk menggunakan Apache Hive pada simpul tepi

Gunakan SSH untuk terhubung ke simpul tepi. Untuk informasi, lihat Menggunakan SSH dengan HDInsight.
Setelah terhubung ke simpul tepi menggunakan SSH, gunakan perintah berikut untuk membuka konsol Apache Hive:
```
hive
```
Jalankan perintah berikut untuk memperlihatkan tabel Apache Hive di kluster:
```
show tables;
```

Menghapus simpul tepi

Anda dapat menghapus simpul tepi dari portal Microsoft Azure.

Masuk ke portal Microsoft Azure.
Buka kluster Azure HDInsight dengan simpul tepi.
Pilih Aplikasi. Anda akan melihat daftar simpul tepi.
Klik kanan simpul tepi yang ingin Anda hapus, lalu pilih Hapus.
Pilih Ya untuk mengonfirmasi.

Langkah berikutnya

Dalam artikel ini, Anda telah mempelajari cara menambahkan simpul tepi dan cara mengakses simpul tepi. Untuk mempelajari selengkapnya, lihat artikel berikut ini:

Memasang aplikasi Azure HDInsight: Pelajari cara memasang aplikasi Azure HDInsight ke kluster Anda.
Pasang aplikasi HDInsight kustom: pelajari cara menggunakan aplikasi Azure HDInsight yang tidak diterbitkan ke Azure HDInsight.
Terbitkan aplikasi Azure HDInsight: Pelajari cara menerbitkan aplikasi Azure HDInsight kustom Anda ke Marketplace Azure.
MSDN: Pasang aplikasi Azure HDInsight: Pelajari cara menentukan aplikasi Azure HDInsight.
Sesuaikan kluster Azure HDInsight berbasis Linux menggunakan Tindakan Skrip: pelajari cara menggunakan Tindakan Skrip untuk memasang aplikasi tambahan.
Buat kluster Apache Hadoop berbasis Linux di Azure HDInsight menggunakan templat Azure Resource Manager: pelajari cara memanggil templat Azure Resource Manager untuk membuat kluster Azure HDInsight.

Bagikan melalui