Memecahkan masalah komputasi

Artikel ini memberi Anda sumber daya yang dapat Anda gunakan jika Anda perlu memecahkan masalah perilaku komputasi di ruang kerja Anda. Topik dalam artikel ini berkaitan dengan masalah start-up komputasi.

Untuk artikel pemecahan masalah lainnya, lihat:

• Debugging dengan Spark UI
• Mendiagnosis masalah biaya dan performa menggunakan antarmuka pengguna Spark
• Menangani kueri besar dalam alur kerja interaktif.

Menggunakan Kode Genie untuk men-debug kesalahan lingkungan komputasi

Kode Genie dapat membantu mendiagnosis dan menyarankan perbaikan untuk kesalahan penginstalan pustaka.

Pada halaman Pustaka komputasi, Tombol Diagnostik kesalahan muncul di samping nama paket yang gagal dan pada modal detail yang muncul ketika Anda mengklik pada paket yang gagal. Klik Mendiagnosis kesalahan untuk menggunakan Kode Genie untuk membantu Anda men-debug. Kode Genie akan mendiagnosis kesalahan dan menyarankan kemungkinan solusi.

Anda juga dapat menggunakan Kode Genie untuk men-debug kesalahan lingkungan komputasi dalam buku catatan. Lihat Kesalahan lingkungan debug.

Komputer baru tidak merespons atau kesalahan log berupa "jaringan pesawat komputasi salah dikonfigurasi".

Masalah: Setelah apa yang tampak seperti penyebaran ruang kerja yang berhasil, komputasi pengujian pertama Anda tidak merespons. Setelah sekitar 20-30 menit, jika Anda memeriksa log peristiwa komputasi, Anda akan melihat pesan kesalahan seperti berikut ini:

The compute plane network is misconfigured. Please verify that the network for your compute plane is configured correctly. Error message: Node daemon ping timeout in 600000 ms …

Penyebab: Pesan kesalahan sebelumnya menunjukkan bahwa perutean atau firewall salah. Azure Databricks meminta instans mesin virtual (VM) untuk komputasi baru, tetapi mengalami penundaan panjang menunggu instans VM untuk diinisialisasi dan terhubung ke lapisan kontrol. Manajer komputasi mengakhiri instans dan melaporkan kesalahan ini.

Perbaikan yang disarankan: Konfigurasi jaringan Anda harus memungkinkan instans simpul komputasi berhasil terhubung ke sarana kontrol Databricks. Untuk teknik pemecahan masalah yang lebih cepat daripada menggunakan komputasi, Anda dapat menyebarkan instans VM ke salah satu subnet ruang kerja dan melakukan langkah-langkah pemecahan masalah jaringan umum seperti nc, ping, telnet, atau traceroute.

Lihat Alamat IP dan domain untuk layanan dan aset Azure Databricks untuk domain akses, IP, dan CNAME relai menurut wilayah. Untuk Penyimpanan Artefak, pastikan jalur jaringan ke penyimpanan blob Azure berfungsi dengan baik.

Contoh berikut menggunakan wilayah westusAzure :

# Verify access to the web application
nc -zv 40.118.174.12 443
nc -zv 20.42.129.160 443

# Verify access to the secure compute connectivity relay
nc -zv tunnel.westus.azuredatabricks.net 443

# Verify Artifact Blob storage access
nc -zv dbartifactsprodwestus.blob.core.windows.net 443
nc -zv arprodwestusa1.blob.core.windows.net 443
..
nc -zv arprodwestusa15.blob.core.windows.net 443
nc -zv dbartifactsprodwestus2.blob.core.windows.net 443

# Verify Metastore Database access
nc -zv consolidated-westus-prod-metastore.mysql.database.azure.com 3306
nc -zv consolidated-westus-prod-metastore-addl-1.mysql.database.azure.com 3306
nc -zv consolidated-westus-prod-metastore-addl-2.mysql.database.azure.com 3306
nc -zv consolidated-westus-prod-metastore-addl-3.mysql.database.azure.com 3306
nc -zv consolidated-westus2c2-prod-metastore-addl-1.mysql.database.azure.com 3306

# Verify Log Blob storage access
nc -zv dblogprodwestus.blob.core.windows.net 443

Jika perintah sebelumnya kembali dengan benar, jalur jaringan mungkin dikonfigurasi dengan benar tetapi mungkin ada masalah lain jika Anda menggunakan firewall. Firewall mungkin memiliki inspeksi paket mendalam, inspeksi SSL, atau hal lain yang menyebabkan perintah Azure Databricks gagal. Menggunakan instans VM di subnet Azure Databricks, jalankan perintah berikut, ganti <token> dengan token akses pribadi Anda dan <workspace-url> dengan URL untuk ruang kerja Anda:

curl -X GET -H 'Authorization: Bearer <token>' [https://](https://):re[workspace-url]/api/2.0/clusters/spark-versions

Jika permintaan sebelumnya gagal, jalankan perintah lagi dengan opsi -k untuk menghapus verifikasi SSL. Jika ini berhasil, firewall menyebabkan masalah dengan sertifikat SSL.

Lihat sertifikat SSL dengan menjalankan perintah berikut, mengganti <workspace-url> dengan URL untuk ruang kerja Anda:

openssl s_client -showcerts -connect <workspace-url>:443

Perintah sebelumnya memperlihatkan kode pengembalian dan sertifikat Azure Databricks. Jika menampilkan kesalahan, firewall Anda mungkin salah dikonfigurasi.

Perhatikan bahwa masalah SSL bukan masalah lapisan jaringan. Melihat lalu lintas di firewall tidak menunjukkan masalah SSL ini. Melihat permintaan sumber dan tujuan berjalan sesuai dengan harapan.

Masalah yang terjadi saat menggunakan metastore atau log kejadian komputasi Anda mencakup kejadian METASTORE_DOWN.

Masalah: Ruang kerja Anda tampaknya disiapkan dan Anda dapat menyiapkan komputasi, tetapi Anda memiliki METASTORE_DOWN peristiwa di log peristiwa komputasi Anda, atau metastore Anda tampaknya tidak berfungsi.

Perbaikan yang disarankan: Konfirmasi apakah Anda menggunakan Web Application Firewall (WAF) seperti proksi Squid. Anggota komputasi harus terhubung ke beberapa layanan yang tidak berfungsi melalui WAF.