Share via

Memasang dan menggunakan Hue pada kluster HDInsight Hadoop

  • Artikel

Pelajari cara memasang Hue pada kluster HDInsight dan menggunakan penerowongan untuk merutekan permintaan ke Hue.

Catatan

Hue tidak didukung di HDInsight 4.0 dan yang lebih baru.

Apa yang dimaksud dengan Hue?

Hue adalah set aplikasi Web yang digunakan untuk berinteraksi dengan kluster Apache Hadoop. Anda dapat menggunakan Hue untuk menelusuri penyimpanan yang terkait dengan kluster Hadoop (WASB, dalam hal kluster HDInsight), menjalankan pekerjaan Apache Hive dan skrip Pig, dan sebagainya. Komponen berikut tersedia dengan penginstalan Hue pada kluster HDInsight Hadoop.

  • Beeswax Apache Hive Editor
  • Apache Babi
  • Manajer Metastore
  • Apache Oozie
  • FileBrowser (yang berkomunikasi dengan kontainer default WASB)
  • Penelusur Kerja

Peringatan

Komponen yang disediakan dengan kluster HDInsight didukung penuh dan Microsoft Support akan membantu mengisolasi dan menyelesaikan masalah yang terkait dengan komponen ini.

Komponen kustom menerima dukungan yang wajar secara komersial untuk membantu Anda memecahkan masalah lebih lanjut. Hal ini dapat mengakibatkan penyelesaian masalah ATAU meminta Anda untuk melibatkan saluran yang tersedia untuk teknologi sumber terbuka di mana keahlian mendalam untuk teknologi tersebut ditemukan. Misalnya, ada banyak situs komunitas yang dapat digunakan, seperti: Halaman pertanyaan Microsoft Q&A untuk HDInsight, https://stackoverflow.com. Proyek Apache juga memiliki situs proyek pada https://apache.org, contohnya: Hadoop.

Memasang Hue menggunakan Tindakan Skrip

Gunakan informasi dalam tabel di bawah ini untuk Tindakan Skrip Anda. Lihat Kustomisasi kluster HDInsight dengan Tindakan Skrip untuk instruksi spesifik tentang penggunaan Tindakan Skrip.

Catatan

Untuk memasang Hue pada kluster HDInsight, ukuran headnode yang direkomendasikan setidaknya A4 (8 inti, memori 14 GB).

Properti Nilai
Jenis skrip: - Kustom
Nama Memasang Hue
URI skrip bash https://hdiconfigactions.blob.core.windows.net/linuxhueconfigactionv02/install-hue-uber-v02.sh
Jenis node: Head

Menjalankan kueri Apache Hive

  1. Dari portal Hue, pilih Editor Kueri, lalu pilih Apache Hive untuk membuka editor Apache Hive.

    HDInsight hue portal use hive editor.

  2. Pada tab Bantuan, di bawah Database,Anda akan melihat hivesampletable. Ini adalah tabel sampel yang dikirim dengan semua kluster Hadoop pada HDInsight. Masukkan kueri sampel di panel kanan dan lihat output pada tab Hasil di panel di bawah ini, seperti yang diperlihatkan dalam tangkapan layar.

    HDInsight hue portal hive query.

    Anda juga bisa menggunakan tab Bagan untuk melihat representasi visual hasilnya.

Menelusuri penyimpanan kluster

  1. Dari portal Hue, pilih Browser File di sudut kanan atas bilah menu.

  2. Secara default browser file membuka direktori /user/myuser. Pilih garis miring tepat sebelum direktori pengguna di jalur menuju ke akar kontainer penyimpanan Azure yang terkait dengan kluster.

    HDInsight hue portal file browser.

  3. Klik kanan pada file atau folder untuk melihat operasi yang tersedia. Gunakan tombol Unggah di sudut kanan untuk mengunggah file ke direktori saat ini. Gunakan tombol Baru untuk membuat file atau direktori baru.

Catatan

Browser file Hue hanya dapat menampilkan konten kontainer default yang terkait dengan kluster HDInsight. Setiap akun/kontainer penyimpanan tambahan yang mungkin telah Anda kaitkan dengan kluster tidak akan dapat diakses menggunakan browser file. Akan tetapi, kontainer tambahan yang terkait dengan kluster akan selalu dapat diakses untuk pekerjaan Apache Hive. Contohnya, jika Anda memasukkan perintah dfs -ls wasbs://newcontainer@mystore.blob.core.windows.net di editor Apache Hive, Anda juga dapat melihat konten kontainer tambahan. Dalam perintah ini, newcontainer bukan kontainer default yang terkait dengan kluster.

Pertimbangan penting

  1. Skrip yang digunakan untuk memasang Hue hanya memasang pada headnode primer kluster.

  2. Selama penginstalan, beberapa layanan Hadoop (HDFS, YARN, MR2, Oozie) dimulai ulang untuk memperbarui konfigurasi. Setelah skrip selesai memasang Hue, mungkin perlu waktu bagi layanan Hadoop lainnya untuk memulai. Hal ini mungkin memengaruhi kinerja Hue pada awalnya. Setelah semua layanan dimulai, Hue akan berfungsi penuh.

  3. Hue tidak mengerti pekerjaan Apache Tez, yang merupakan default saat ini untuk Apache Hive. Jika Anda ingin menggunakan MapReduce sebagai mesin eksekusi Apache Hive, perbarui skrip untuk menggunakan perintah berikut dalam skrip Anda:

    set hive.execution.engine=mr;

  4. Dengan kluster Linux, Anda dapat memiliki skenario di mana layanan Anda berjalan pada headnode primer sementara Resource Manager dapat berjalan di sekunder. Skenario seperti itu dapat mengakibatkan kesalahan (ditunjukkan di bawah) saat menggunakan Hue untuk melihat detail pekerjaan RUNNING pada kluster. Akan tetapi, Anda dapat melihat detail pekerjaan ketika pekerjaan telah selesai.

    Hue portal error sample message.

    Ini disebabkan masalah umum. Sebagai solusinya, lakukan modifikasi pada Ambari agar Resource Manager aktif juga berjalan pada headnode primer.

  5. Hue memahami WebHDFS meski kluster HDInsight menggunakan Azure Storage menggunakan wasbs://. Jadi, skrip kustom yang digunakan dengan tindakan skrip memasang WebWasb, yang merupakan layanan yang kompatibel dengan WebHDFS untuk berkomunikasi dengan WASB. Jadi, meskipun portal Hue mengatakan HDFS berada di beberapa tempat (seperti ketika Anda menggerakkan mouse Anda di Browser File), itu harus ditafsirkan sebagai WASB.

Langkah berikutnya

Menyesuaikan kluster HDInsight dengan Tindakan Skrip