Řešení běžných problémů se sdílením v OpenSharingu

Následující části popisují běžné chyby, ke kterým může dojít při pokusu o přístup k datům ve sdílené složce.

Chyby překročení limitu prostředků

Problém: Dotaz na sdílenou tabulku vrátí chybu RESOURCE_LIMIT_EXCEEDED.

• "RESOURCE_LIMIT_EXCEEDED","message":"The table metadata size exceeded limits"
• "RESOURCE_LIMIT_EXCEEDED","message":"The number of files in the table to return exceeded limits, consider contact your provider to optimize the table"

Možné příčiny: Existuje omezení počtu souborů v metadatech povolených pro sdílenou tabulku:

• Aktivní soubory: Sdílená tabulka podporuje maximálně 400 000 aktivních souborů (akce AddFile). Pokud počet aktivních souborů překročí tento limit, vrátí dotazy chybu "Počet souborů překročen".
• Akce odebrání souboru: Sdílená tabulka podporuje v protokolu Delta maximálně 100 000 akcí RemoveFile. Pokud počet akcí odstranění souborů překročí tento limit, dotazy vrátí chybu „překročena velikost metadat“.

Můžete požádat o navýšení limitu počtu aktivních souborů. Viz Omezení prostředků.

Doporučená oprava: Obraťte se na poskytovatele dat a požádejte ho, aby optimalizoval sdílenou tabulku spuštěním OPTIMIZE a VACUUM komprimací malých souborů a odebrání zastaralých položek RemoveFile z protokolu Delta. Další pokyny najdete v tématu RESOURCE_LIMIT_EXCEEDED chyba při dotazování tabulky Delta Sharing ve znalostní bázi Databricks.

Problém s vysátým datovým souborem

Problém: Zobrazí se chybová zpráva, která vyvolá výjimku 404 Zadaná výjimka [cesta|klíč] neexistuje.

Příklady chyb Sparku:

java.lang.Throwable: HTTP request failed with status: HTTP/1.1 404 The specified path does not exist.

nebo

HTTP request failed with status: HTTP/1.1 404 Not Found <?xml version="1.0" encoding="UTF-8"?>
<Error><Code>NoSuchKey</Code><Message>The specified key does not exist.</Message>

Možná příčina: Obvykle se zobrazí tato chyba, protože datový soubor odpovídající předepsané adrese URL se ve sdílené tabulce vakuuje a datový soubor patří do historické verze tabulky.

Alternativní řešení: Zadejte dotaz na nejnovější snímek.

Chyba neshody schématu s Open Source Sparkem

Problém: Při použití Open Source Sparku (OSS) se při čtení tabulek OpenSharing zobrazí chyba neshody schématu.

Příklad chyby:

py4j.protocol.Py4JJavaError: An error occurred while calling o85.count.: org.apache.spark.SparkException: The schema or partition columns of your Delta table has changed since your DataFrame was created. Please redefine your DataFrame

Možná příčina: Po vytvoření datového rámce se změnily sloupce schématu nebo oddílu tabulky Delta.

Doporučená oprava: Nastavte konfigurační příznak Sparku spark.delta.sharing.client.useStructuralSchemaMatch na true.

Note

Konfigurace spark.delta.sharing.client.useStructuralSchemaMatch je dostupná pouze ve delta-sharing-client verzi 1.2.3 nebo vyšší, která vyžaduje Apache Spark 4.0.0 nebo vyšší.

spark.conf.set("spark.delta.sharing.client.useStructuralSchemaMatch", "true")

Problém s konfigurací sítě úložiště

Problém: Zobrazí se chybová zpráva, která vyvolá SSLCertVerificationError.

Příklad chyby Sparku:

ssl.SSLCertVerificationError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1006)

Možná příčina: Obvykle se zobrazí tato chyba, protože existuje omezení sítě na umístění úložiště sdílené tabulky nebo svazku.

Doporučená oprava: V rozhraní poskytovatele úložiště umožněte přístup k umístění úložiště tím, že povolíte IP adresu klienta v nastavení brány firewall účtu úložiště.

Problém s přístupem k prostředku sdílené materializace

Problém: Dotaz na sdílené zobrazení, materializované zobrazení nebo tabulku streamování vrátí chybu DS_MATERIALIZATION_QUERY_FAILED.

"DS_MATERIALIZATION_QUERY_FAILED": "The shared asset could not be materialized due to the asset not being accessible in the materialization workspace. Please ask data provider to contact :re[DB] support to override the materialization workspace."

Možné příčiny: Poskytovatel nemá k prostředku, který se pokouší sdílet, přístup pro čtení i zápis.

Doporučená oprava: Obraťte se na poskytovatele dat a ujistěte se, že má ke sdílenému datovému prostředku přístup pro čtení i zápis.

Chyba přístupu k síti během materializace dat

Problém: Dotaz na sdílený datový prostředek vrátí chybu týkající se přístupu ke cloudovému úložišti poskytovatele dat.

There was an issue accessing the data provider's cloud storage. Shared view materialization uses the Serverless compute of data provider's region to perform the materialization. Please contact the data provider to allowlist Serverless compute IPs of their corresponding region to access the view's dependent tables storage location.

Možné příčiny: Umístění úložiště materializovaných dat má omezení sítě (například brána firewall nebo privátní propojení), která brání bezserverovému výpočetnímu výkonu Azure Databricks v přístupu. Při sdílení zobrazení, materializovaných zobrazení nebo streamovaných tabulek se data dočasně materializují na straně poskytovatele. Umístění úložiště materializace je umístění úložiště nadřazeného schématu nebo katalogu aktiva.

Doporučená oprava: Poskytovatel dat musí povolit seznam bezserverových výpočetních IP adres odpovídající oblasti pro přístup k umístění úložiště závislých tabulek zobrazení. Pokud chcete nakonfigurovat bránu firewall, viz Konfigurace obvodu zabezpečení sítě Azure (NSP) pro prostředky Azure.

Chyba "datový asset neexistuje"

Pokud kliknete na sdílený prostředek a dojde k chybě objektu "neexistuje", vlastník sdílené složky na straně poskytovatele nemusí mít dostatečná oprávnění k prostředku. Obraťte se na svého poskytovatele dat a požádejte ho, aby ověřil, že vlastník sdílené složky má požadovaná oprávnění ke všem sdíleným prostředkům. Další informace o oprávněních požadovaných pro vlastníka sdílené složky ke sdílení datového prostředku najdete v tématech Požadavky a Udělení přístupu příjemcům ke sdílení prostředků.