Delta Paylaşımı'nda sık karşılaşılan paylaşım sorunlarını giderme

Aşağıdaki bölümlerde, bir paylaşımdaki verilere erişmeye çalıştığınızda oluşabilecek yaygın hatalar açıklanmaktadır.

Kaynak sınırı aşıldı hataları

Sorun: Paylaşılan tablodaki sorgunuz hatasını RESOURCE_LIMIT_EXCEEDEDdöndürür.

• "RESOURCE_LIMIT_EXCEEDED","message":"The table metadata size exceeded limits"
• "RESOURCE_LIMIT_EXCEEDED","message":"The number of files in the table to return exceeded limits, consider contact your provider to optimize the table"

Olası nedenler: Paylaşılan tablo için meta verilerde izin verilen dosya sayısıyla ilgili sınırlamalar vardır.

Önerilen düzeltme: Bu sorunlardan herhangi birinin nasıl çözüleceğini öğrenmek için bkz . Databricks Bilgi Bankası'nda Delta Sharing tablosunu sorgularken oluşan RESOURCE_LIMIT_EXCEEDED hata.

Vakumlanmış veri dosyası sorunu

Sorun: "404 Belirtilen [yol|anahtar] yok" özel durumu oluşturan bir hata iletisi görürsünüz.

Spark hata örnekleri:

java.lang.Throwable: HTTP request failed with status: HTTP/1.1 404 The specified path does not exist.

veya

HTTP request failed with status: HTTP/1.1 404 Not Found <?xml version="1.0" encoding="UTF-8"?>
<Error><Code>NoSuchKey</Code><Message>The specified key does not exist.</Message>

Olası neden: Genellikle bu hatayı görürsünüz çünkü önceden imzalanmış URL'ye karşılık gelen veri dosyası paylaşılan tabloda vakumlanır ve veri dosyası geçmiş tablo sürümüne aittir.

Geçici çözüm: En son anlık görüntüyü sorgula.

Açık Kaynak Spark ile şema uyuşmazlığı hatası

Sorun: Açık Kaynak Spark (OSS) kullanırken Delta Sharing tablolarını okurken şema uyuşmazlığı hatasıyla karşılaşırsınız.

Hata örneği:

py4j.protocol.Py4JJavaError: An error occurred while calling o85.count.: org.apache.spark.SparkException: The schema or partition columns of your Delta table has changed since your DataFrame was created. Please redefine your DataFrame

Olası neden: Delta tablosunun şema veya bölüm sütunları DataFrame oluşturulduktan sonra değiştirildi.

Önerilen düzeltme: Spark yapılandırma bayrağını spark.delta.sharing.client.useStructuralSchemaMatch olarak trueayarlayın:

spark.conf.set("spark.delta.sharing.client.useStructuralSchemaMatch", "true")

Depolama ağı yapılandırma sorunu

Sorun: bir oluşturan SSLCertVerificationErrorbir hata iletisi görürsünüz.

Spark hata örneği:

ssl.SSLCertVerificationError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1006)

Olası neden: Genellikle bu hatayı görürsünüz çünkü paylaşılan tablonun veya birimin depolama konumu üzerinde bir ağ kısıtlaması vardır.

Önerilen düzeltme: Depolama sağlayıcısı arabiriminde, depolama hesabı güvenlik duvarı ayarlarında istemci IP'sine izin vererek depolama konumuna erişime izin verin.

Paylaşılan somutlaştırma varlık erişimi sorunu

Sorun: Paylaşılan görünüm, materyalize edilmiş görünüm veya akış tablosundaki sorgunuz, DS_MATERIALIZATION_QUERY_FAILED hatasını döndürür.

"DS_MATERIALIZATION_QUERY_FAILED": "The shared asset could not be materialized due to the asset not being accessible in the materialization workspace. Please ask data provider to contact :re[DB] support to override the materialization workspace."

Olası nedenler: Sağlayıcının paylaşmaya çalıştığı varlığa okuma-yazma erişimi yoktur.

Önerilen düzeltme: Paylaşılan veri varlığına okuma-yazma erişimi olduğundan emin olmak için veri sağlayıcınıza başvurun.

Veri gerçekleştirme sırasında ağ erişimi hatası

Sorun: Paylaşılan veri varlığındaki sorgunuz, veri sağlayıcısının bulut depolama alanına erişmeyle ilgili bir hata döndürür.

There was an issue accessing the data provider's cloud storage. Shared view materialization uses the Serverless compute of data provider's region to perform the materialization. Please contact the data provider to allowlist Serverless compute IPs of their corresponding region to access the view's dependent tables storage location.

Olası nedenler: Gerçekleştirilmiş verilerin depolama konumu, Azure Databricks sunucusuz işlemin bunlara erişmesini engelleyen ağ kısıtlamalarına (güvenlik duvarı veya özel bağlantı gibi) sahiptir. Görünümler, maddeleşmiş görünümler veya akış tablosu paylaşılırken, veri sağlayıcının tarafında geçici olarak maddeleşir. Gerçekleştirme depolama konumu, varlığın üst şeması veya katalog depolama konumudur.

Önerilen düzeltme: Veri sağlayıcısının, görünümün bağımlı tablo depolama konumuna erişmek için ilgili bölgenin sunucusuz işlem IP'lerini izin verilenler listesine eklemesi gerekir. Güvenlik duvarınızı yapılandırmak için bkz. Sunucusuz işlem erişimi için güvenlik duvarı yapılandırma.