OpenSharing'de sık karşılaşılan paylaşım sorunlarını giderme

Aşağıdaki bölümlerde, bir paylaşımdaki verilere erişmeye çalıştığınızda oluşabilecek yaygın hatalar açıklanmaktadır.

Sınırı aşılmış kaynak hataları

Sorun: Paylaşılan tablodaki sorgunuz hatasını RESOURCE_LIMIT_EXCEEDEDdöndürür.

• "RESOURCE_LIMIT_EXCEEDED","message":"The table metadata size exceeded limits"
• "RESOURCE_LIMIT_EXCEEDED","message":"The number of files in the table to return exceeded limits, consider contact your provider to optimize the table"

Olası nedenler: Paylaşılan tablo için izin verilen meta verilerdeki dosya sayısıyla ilgili sınırlamalar vardır:

• Etkin dosyalar: Paylaşılan tablo en fazla 400.000 etkin dosyayı (AddFile eylemleri) destekler. Etkin dosya sayısı bu sınırı aşarsa, sorgular "dosya sayısı aşıldı" hatasını döndürür.
• Dosya eylemlerini kaldırma: Paylaşılan tablo Delta günlüğünde en fazla 100.000 RemoveFile eylemini destekler. RemoveFile eylemlerinin sayısı bu sınırı aşarsa, sorgular "meta veri boyutu aşıldı" hatasını döndürür.

Etkin dosyalar sınırı için bir sınır artışı isteyebilirsiniz. Bkz. Kaynak sınırları.

Önerilen düzeltme: Veri sağlayıcınıza başvurun ve küçük dosyaları sıkıştırmak için OPTIMIZE ve VACUUM komutlarını çalıştırarak eski RemoveFile girdilerini Delta günlüğünden kaldırmalarını ve paylaşılan tabloyu optimize etmelerini isteyin. Ek yönergeler için bkz. Databricks Bilgi Bankası'nda Delta Sharing tablosunu sorgularken oluşan RESOURCE_LIMIT_EXCEEDED hata .

Vakumlanmış veri dosyası sorunu

Sorun: "404 Belirtilen [yol|anahtar] yok" özel durumu oluşturan bir hata iletisi görürsünüz.

Spark hata örnekleri:

java.lang.Throwable: HTTP request failed with status: HTTP/1.1 404 The specified path does not exist.

veya

HTTP request failed with status: HTTP/1.1 404 Not Found <?xml version="1.0" encoding="UTF-8"?>
<Error><Code>NoSuchKey</Code><Message>The specified key does not exist.</Message>

Olası neden: Genellikle bu hatayı görürsünüz çünkü önceden imzalanmış URL'ye karşılık gelen veri dosyası paylaşılan tabloda vakumlanır ve veri dosyası geçmiş tablo sürümüne aittir.

Geçici çözüm: En son anlık görüntüyü sorgula.

Açık Kaynak Spark ile şema uyuşmazlığı hatası

Sorun: Açık Kaynak Spark (OSS) kullanırken OpenSharing tablolarını okurken şema uyuşmazlığı hatasıyla karşılaşırsınız.

Hata örneği:

py4j.protocol.Py4JJavaError: An error occurred while calling o85.count.: org.apache.spark.SparkException: The schema or partition columns of your Delta table has changed since your DataFrame was created. Please redefine your DataFrame

Olası neden: Delta tablosunun şema veya bölüm sütunları DataFrame oluşturulduktan sonra değiştirildi.

Önerilen düzeltme: Spark yapılandırma bayrağını spark.delta.sharing.client.useStructuralSchemaMatch olarak trueayarlayın.

Note

spark.delta.sharing.client.useStructuralSchemaMatch yapılandırması yalnızca, Apache Spark 4.0.0 veya üzerini gerektiren delta-sharing-client 1.2.3 ve üzeri sürümlerde kullanılabilir.

spark.conf.set("spark.delta.sharing.client.useStructuralSchemaMatch", "true")

Depolama ağı yapılandırma sorunu

Sorun: Bir SSLCertVerificationError oluşturduğunu belirten bir hata iletisi görürsünüz.

Spark hata örneği:

ssl.SSLCertVerificationError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1006)

Olası neden: Genellikle bu hatayı görürsünüz çünkü paylaşılan tablonun veya birimin depolama konumu üzerinde bir ağ kısıtlaması vardır.

Önerilen düzeltme: Depolama sağlayıcısı arabiriminde, depolama hesabı güvenlik duvarı ayarlarında istemci IP'sine izin vererek depolama konumuna erişime izin verin.

Paylaşılan somutlaştırma varlık erişimi sorunu

Sorun: Paylaşılan görünümde, gerçekleştirilmiş görünümde veya akış tablosundaki sorgunuz hatasını DS_MATERIALIZATION_QUERY_FAILEDdöndürür.

"DS_MATERIALIZATION_QUERY_FAILED": "The shared asset could not be materialized due to the asset not being accessible in the materialization workspace. Please ask data provider to contact :re[DB] support to override the materialization workspace."

Olası nedenler: Sağlayıcının paylaşmaya çalıştığı varlığa okuma-yazma erişimi yoktur.

Önerilen düzeltme: Paylaşılan veri varlığına okuma-yazma erişimi olduğundan emin olmak için veri sağlayıcınıza başvurun.

Veri gerçekleştirme sırasında ağ erişimi hatası

Sorun: Paylaşılan veri varlığındaki sorgunuz, veri sağlayıcısının bulut depolama alanına erişmeyle ilgili bir hata döndürür.

There was an issue accessing the data provider's cloud storage. Shared view materialization uses the Serverless compute of data provider's region to perform the materialization. Please contact the data provider to allowlist Serverless compute IPs of their corresponding region to access the view's dependent tables storage location.

Olası Nedenler: Şekillendirilmiş verilerin depolama konumu, Azure Databricks sunucusuz işlem erişimini engelleyen ağ kısıtlamalarına (güvenlik duvarı veya özel bağlantı gibi) sahiptir. Görünümler, maddeleşmiş görünümler veya akış tablosu paylaşılırken, veri sağlayıcının tarafında geçici olarak maddeleşir. Gerçekleştirme depolama konumu, varlığın üst şeması veya katalog depolama konumudur.

Önerilen düzeltme: Veri sağlayıcısının, görünümün bağımlı tablo depolama konumuna erişmek için ilgili bölgenin sunucusuz işlem IP'lerini izin verilenler listesine eklemesi gerekir. Güvenlik duvarınızı yapılandırmak için bkz. Azure kaynakları için bir Azure ağ güvenlik çevresi (NSP) yapılandırma.

Veri varlığı "yok" hatası

Paylaşılan bir kaynağa tıklar ve varlık 'yok' hatasıyla karşılaşırsanız, sağlayıcı tarafındaki paylaşımı yapan kişi, kaynak üzerinde yeterli izinlere sahip olmayabilir. Veri sağlayıcınıza başvurun ve paylaşım sahibinin tüm paylaşılan varlıklar üzerinde gerekli izinlere sahip olduğunu doğrulamasını isteyin. Paylaşım sahibinin veri varlığını paylaşması için gereken izinler hakkında daha fazla bilgi için bkz . Gereksinimler ve Alıcıya paylaşım erişimi verme.