İşlem sorunlarını giderme

Bu makale, çalışma alanınızdaki işlem davranışı sorunlarını gidermeniz gerektiğinde kullanabileceğiniz kaynaklar sağlar. Bu makaledeki konular, bilgisayar başlatma sorunlarıyla ilgilidir.

Diğer sorun giderme makaleleri için bkz:

• Spark kullanıcı arabirimiyle hata ayıklama
• Spark kullanıcı arabirimini kullanarak maliyet ve performans sorunlarını tanılama
• Etkileşimli iş akışlarında büyük sorguları işleme.

İşlem ortamı hatalarını ayıklamak için Yardımcı'yı kullanın.

Databricks Yardımcısı , kitaplık yükleme hataları için düzeltmeleri tanılamaya ve önermeye yardımcı olabilir.

Hesaplamanın Kitaplıklar sayfasında, başarısız paket adının yanında ve başarısız pakete tıkladığınızda açılan detaylar modalinde bir Hata teşhisi düğmesi görüntülenir. Sparkle simgesine tıklayın. Hata tanılama için Yardımcı'yı kullanarak hata ayıklayın. Yardımcı hatayı tanılar ve olası çözümler önerir.

Not defteri içerisindeki hesaplama ortamı hatalarını ayıklamak için Asistan'ı da kullanabilirsiniz. Bkz. Ortam hatalarını ayıklama.

Yeni bir işlem yanıt vermiyor veya "işlem düzlemi ağı yanlış yapılandırılmış" olay günlüğü hatası

Sorun: Başarılı bir çalışma alanı dağıtımı gibi görünen işlemden sonra ilk test işleminiz yanıt vermiyor. Yaklaşık 20-30 dakika sonra işlem olay günlüğünüzü denetlerseniz aşağıdakine benzer bir hata iletisi görürsünüz:

The compute plane network is misconfigured. Please verify that the network for your compute plane is configured correctly. Error message: Node daemon ping timeout in 600000 ms …

Neden: Önceki hata iletisi, yönlendirmenin veya güvenlik duvarının yanlış olduğunu gösterir. Azure Databricks, yeni bir hesaplama için VM örnekleri talep etti, ancak VM örneğinin önyükleme yapmasını ve denetim düzlemine bağlanmasını beklerken uzun bir gecikmeyle karşılaştı. İşlem yöneticisi örnekleri sonlandırır ve bu hatayı bildirir.

Önerilen düzeltme: Ağ yapılandırmanız işlem düğümü örneklerinin Databricks denetim düzlemine başarıyla bağlanmasına izin vermelidir. İşlem kullanmaktan daha hızlı bir sorun giderme tekniği için, bir VM örneğini çalışma alanı alt ağlarından birine dağıtabilir ve , , ncpingveya telnetgibi traceroutetipik ağ sorun giderme adımlarını uygulayabilirsiniz.

Bölgeye göre erişim etki alanları, IP'ler ve geçiş CNAME'leri için Azure Databricks denetim düzlemi adreslerine bakın. Artifact Depolama için Azure blob depolamaya başarılı bir ağ bağlantısı olduğundan emin olun.

Aşağıdaki örnekte Azure bölgesi westuskullanılır:

# Verify access to the web application
nc -zv 40.118.174.12 443
nc -zv 20.42.129.160 443

# Verify access to the secure compute connectivity relay
nc -zv tunnel.westus.azuredatabricks.net 443

# Verify Artifact Blob storage access
nc -zv dbartifactsprodwestus.blob.core.windows.net 443
nc -zv arprodwestusa1.blob.core.windows.net 443
..
nc -zv arprodwestusa15.blob.core.windows.net 443
nc -zv dbartifactsprodwestus2.blob.core.windows.net 443

# Verify Metastore Database access
nc -zv consolidated-westus-prod-metastore.mysql.database.azure.com 3306
nc -zv consolidated-westus-prod-metastore-addl-1.mysql.database.azure.com 3306
nc -zv consolidated-westus-prod-metastore-addl-2.mysql.database.azure.com 3306
nc -zv consolidated-westus-prod-metastore-addl-3.mysql.database.azure.com 3306
nc -zv consolidated-westus2c2-prod-metastore-addl-1.mysql.database.azure.com 3306

# Verify Log Blob storage access
nc -zv dblogprodwestus.blob.core.windows.net 443

Önceki komutlar doğru döndürüldüyse, ağ yolu doğru yapılandırılabilir, ancak güvenlik duvarı kullanıyorsanız başka bir sorun olabilir. Güvenlik duvarında derin paket denetimi, SSL incelemesi veya Azure Databricks komutlarının başarısız olmasına neden olan başka bir şey olabilir. Azure Databricks alt ağındaki bir VM örneğini kullanarak, <token> öğesini kişisel erişim belirtecinizle ve <workspace-url> öğesini çalışma alanınızın URL'si ile değiştirerek aşağıdaki komutu çalıştırın:

curl -X GET -H 'Authorization: Bearer <token>' [https://](https://):re[workspace-url]/api/2.0/clusters/spark-versions

Önceki istek başarısız olursa SSL doğrulamasını kaldırma seçeneğiyle -k komutu yeniden çalıştırın. Bu işe yararsa, güvenlik duvarı SSL sertifikalarıyla ilgili bir soruna neden oluyor demektir.

Aşağıdaki komutu çalıştırarak <workspace-url> öğesini kendi çalışma alanınızın URL'si ile değiştirin ve SSL sertifikalarına bakın.

openssl s_client -showcerts -connect <workspace-url>:443

Önceki komut dönüş kodunu ve Azure Databricks sertifikalarını gösterir. Hata döndürürse, güvenlik duvarınız yanlış yapılandırılmış olabilir.

SSL sorunlarının ağ katmanı sorunları olmadığını unutmayın. Güvenlik duvarında trafiğin görüntülenmesi bu SSL sorunlarını göstermez. Kaynak ve hedef isteklerine bakmak beklendiği gibi çalışır.

Meta veri deponuzu veya hesaplama olay günlüğünüzü kullanırken yaşanan sorunlar METASTORE_DOWN olaylarını içerir.

Sorun: Çalışma alanınız ayarlanmış gibi görünüyor ve işlem ayarlayabilirsiniz, ancak METASTORE_DOWN olaylar var veya meta veri deponuz çalışmıyor gibi görünüyor.

Önerilen düzeltme: Mürekkep balığı proxy'si gibi bir Web Uygulaması Güvenlik Duvarı (WAF) kullanıp kullanmadığınızdan emin olun. Hesaplama üyelerinin WAF aracılığıyla çalışmayan çeşitli hizmetlere bağlanması gerekir.