Pahami dan Atasi kesalahan yang diterima dari WebHCat di HDInsight
Pelajari tentang kesalahan yang diterima saat menggunakan WebHCat dengan HDInsight serta cara mengatasinya. WebHCat digunakan secara internal oleh alat pada sisi klien seperti Azure PowerShell dan Alat Data Lake untuk Visual Studio.
Apa itu WebHCat
WebHCat adalah REST API untuk HCatalog, tabel, dan lapisan manajemen penyimpanan untuk Apache Hadoop. WebHCat diaktifkan secara default pada kluster HDInsight, dan digunakan oleh berbagai alat untuk mengirimkan pekerjaan, mendapatkan status pekerjaan, dan sebagainya, tanpa masuk ke kluster.
Memodifikasi konfigurasi
Beberapa kesalahan yang tercantum dalam dokumen ini terjadi karena maksimum yang dikonfigurasi telah terlampaui. Ketika langkah resolusi menyebutkan bahwa Anda dapat mengubah nilai, gunakan Apache Ambari (web atau REST API) untuk memodifikasi nilai. Untuk informasi selengkapnya, lihat Kelola HDInsight menggunakan Apache Ambari
Konfigurasi default
Jika nilai default berikut terlampaui, nilai tersebut dapat menurunkan kinerja WebHCat atau menyebabkan kesalahan:
| Pengaturan | Apa fungsinya | Nilai default |
|---|---|---|
| [yarn.scheduler.capacity.maximum-applications] [aplikasi maksimum] | Jumlah maksimum pekerjaan yang dapat aktif secara bersamaan (tertunda atau sedang berjalan) | 10,000 |
templeton.exec.max-procs |
Jumlah maksimum permintaan yang dapat dilayani secara bersamaan | 20 |
| [mapreduce.jobhistory.max-age-ms] [max-age-ms] | Jumlah hari riwayat pekerjaan tersimpan | tujuh hari |
Terlalu banyak permintaan
Kode status HTTP: 429
| Penyebab | Resolusi |
|---|---|
| Anda telah melampaui permintaan bersamaan maksimum yang dilayani oleh WebHCat per menit (default 20) | Kurangi beban kerja Anda untuk memastikan bahwa Anda tidak mengirimkan lebih dari jumlah maksimum permintaan secara bersamaan atau meningkatkan batas permintaan bersamaan dengan memodifikasi templeton.exec.max-procs. Untuk informasi selengkapnya, lihat Mengubah konfigurasi |
Server tidak tersedia
Kode Status HTTP: 503
| Penyebab | Resolusi |
|---|---|
| Kode status ini biasanya terjadi selama kegagalan antara HeadNode primer dan sekunder untuk kluster | Tunggu dua menit, lalu coba lagi operasi ini |
Konten permintaan buruk: Tidak dapat menemukan pekerjaan
Kode Status HTTP: 400
| Penyebab | Resolusi |
|---|---|
| Detail pekerjaan telah dibersihkan oleh pembersih riwayat pekerjaan | Periode retensi default untuk riwayat pekerjaan adalah tujuh hari. Periode retensi default dapat diubah dengan memodifikasi mapreduce.jobhistory.max-age-ms. Untuk informasi selengkapnya, lihat Mengubah konfigurasi |
| Pekerjaan dimatikan karena failover | Coba lagi pengajuan pekerjaan hingga dua menit |
| ID pekerjaan tidak sah digunakan | Periksa apakah ID pekerjaan sudah benar |
Gateway buruk
Kode Status HTTP: 502
| Penyebab | Resolusi |
|---|---|
| Pengumpulan sampah internal terjadi dalam proses WebHCat | Tunggu pengumpulan sampah selesai atau mulai ulang layanan WebHCat |
| Waktu habis menunggu respons dari layanan Resource Manager. Kesalahan ini dapat terjadi ketika jumlah aplikasi aktif mencapai maksimum yang dikonfigurasi (default 10.000) | Tunggu hingga pekerjaan yang sedang berjalan selesai atau tingkatkan batas pekerjaan yang bersamaan dengan memodifikasi yarn.scheduler.capacity.maximum-applications. Untuk informasi selengkapnya, lihat bagian Mengubah konfigurasi. |
Mencoba untuk mengambil semua pekerjaan melalui panggilan GET/pekerjaan ketika diatur ke Fields diatur ke * |
Jangan mengambil semua rincian pekerjaan. Melainkan, gunakan jobid untuk mengambil detail untuk pekerjaan hanya yang lebih besar dari ID pekerjaan tertentu. Atau, jangan gunakan Fields |
| Layanan WebHCat mati selama kegagalan HeadNode | Tunggu selama dua menit dan coba lagi operasinya |
| Ada lebih dari 500 pekerjaan yang tertunda yang dikirimkan melalui WebHCat | Tunggu hingga pekerjaan yang tertunda saat ini selesai sebelum mengirimkan lebih banyak pekerjaan |
Langkah berikutnya
Jika Anda tidak melihat masalah atau tidak dapat memecahkan masalah, kunjungi salah satu saluran berikut untuk mendapatkan dukungan lebih lanjut:
Dapatkan jawaban dari para ahli Azure melalui Dukungan Komunitas Azure.
Hubungi @AzureSupport - akun Microsoft Azure resmi untuk meningkatkan pengalaman pelanggan. Menghubungkan komunitas Microsoft Azure ke sumber daya yang tepat: jawaban, dukungan, dan pakar.
Jika Anda memerlukan bantuan lainnya, Anda dapat mengirimkan permintaan dukungan dari portal Microsoft Azure. Pilih Dukungan dari bilah menu atau buka hub Bantuan + Dukungan. Untuk informasi selengkapnya, tinjau Cara membuat permintaan dukungan Microsoft Azure. Akses ke Manajemen Langganan dan dukungan tagihan disertakan dengan langganan Microsoft Azure, dan Dukungan Teknis disediakan melalui salah satu Paket Dukungan Azure.