Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
In den folgenden Abschnitten werden häufig auftretende Fehler beschrieben, die bei dem Versuch, auf Daten in einer Freigabe zuzugreifen, auftreten können.
Fehler wegen überschrittenem Ressourcenlimit
Problem: Ihre Abfrage in einer gemeinsamen Tabelle gibt den Fehler RESOURCE_LIMIT_EXCEEDEDzurück.
"RESOURCE_LIMIT_EXCEEDED","message":"The table metadata size exceeded limits""RESOURCE_LIMIT_EXCEEDED","message":"The number of files in the table to return exceeded limits, consider contact your provider to optimize the table"
Mögliche Ursachen: Es gibt Beschränkungen für die Anzahl der Dateien in Metadaten, die für eine gemeinsame Tabelle erlaubt ist:
- Aktive Dateien: Eine freigegebene Tabelle unterstützt maximal 400.000 aktive Dateien (AddFile-Aktionen). Wenn die Anzahl der aktiven Dateien diesen Grenzwert überschreitet, geben Abfragen den Fehler "Anzahl der Dateien überschritten" zurück.
- Dateiaktionen entfernen: Eine geteilte Tabelle unterstützt maximal 100.000 RemoveFile-Aktionen im Delta-Protokoll. Wenn die Anzahl der RemoveFile-Aktionen diesen Grenzwert überschreitet, geben Abfragen den Fehler "Metadatengröße überschritten" zurück.
Sie können eine Beschränkungserhöhung für den Grenzwert für aktive Dateien anfordern. Sie Ressourceneinschränkungen.
Empfohlene Lösung: Kontaktieren Sie Ihren Datenanbieter und bitten Sie ihn, die freigegebene Tabelle durch Ausführen von OPTIMIZE und VACUUM zu optimieren, um kleine Dateien zu verdichten und veraltete RemoveFile-Einträge aus dem Delta-Log zu entfernen. Weitere Anleitungen finden Sie unter RESOURCE_LIMIT_EXCEEDED-Fehler beim Abfragen einer Delta Sharing-Tabelle in der Databricks-Wissensdatenbank.
Problem mit vakuumierter Datei
Problem: Sie sehen eine Fehlermeldung, die eine Ausnahme "404 Der angegebene [path|key] existiert nicht" auslöst.
Spark-Fehlerbeispiele:
java.lang.Throwable: HTTP request failed with status: HTTP/1.1 404 The specified path does not exist.
oder
HTTP request failed with status: HTTP/1.1 404 Not Found <?xml version="1.0" encoding="UTF-8"?>
<Error><Code>NoSuchKey</Code><Message>The specified key does not exist.</Message>
Mögliche Ursache: Typischerweise sehen Sie diesen Fehler, weil die Datendatei, die der vorsignierten URL entspricht, in der freigegebenen Tabelle bereinigt wurde und die Datei zu einer historischen Tabellenversion gehört.
Workaround: Den neuesten Snapshot abfragen.
Schema-Mismatch-Fehler mit Open Source Spark
Problem: Bei der Verwendung von Open Source Spark (OSS) sehen Sie beim Lesen von OpenSharing-Tabellen einen Schema-Mismatch-Fehler.
Fehlerbeispiel:
py4j.protocol.Py4JJavaError: An error occurred while calling o85.count.: org.apache.spark.SparkException: The schema or partition columns of your Delta table has changed since your DataFrame was created. Please redefine your DataFrame
Mögliche Ursache: Die Schema- oder Partitionsspalten der Delta-Tabelle haben sich nach der Erstellung des DataFrame geändert.
Empfohlene Lösung: Setzen Sie das Spark-Konfigurationsflag spark.delta.sharing.client.useStructuralSchemaMatch auf true.
Note
Die spark.delta.sharing.client.useStructuralSchemaMatch Konfiguration ist nur in delta-sharing-client 1.2.3 oder höher verfügbar, was Apache Spark 4.0.0 oder höher erfordert.
spark.conf.set("spark.delta.sharing.client.useStructuralSchemaMatch", "true")
Fehler bei der Einrichtung von Spark-Connector mit Open-Source-Spark
Die folgenden Fehler können auftreten, wenn Sie PySpark oder spark-shell mit dem OpenSharing Spark-Connector starten oder erstmals einer freigegebenen Tabelle lesen. Für Einrichtungsanweisungen und kompatible Versionskombinationen siehe Apache Spark: Read shared data.
Die Java-Version ist zu alt
Problem: PySpark startet nicht und meldet einen UnsupportedClassVersionError.
Error: LinkageError occurred while loading main class org.apache.spark.launcher.Main
java.lang.UnsupportedClassVersionError: org/apache/spark/launcher/Main has been compiled by a more recent version of the Java Runtime (class file version 61.0), this version of the Java Runtime only recognizes class file versions up to 55.0
Mögliche Ursache: Ihre Java-Version ist älter, als Ihre Version von Apache Spark erfordert. Apache Spark 4.x benötigt Java 17 oder höher. Die Version der Klassendatei 61.0 entspricht Java 17.
Empfohlene Lösung: Installieren Sie Java 17 oder höher und setzen Sie die JAVA_HOME Umgebungsvariable auf die neue Java-Installation. Dann führen Sie java -version aus, um die Version zu bestätigen.
Spark-Connector, der für eine andere Scala-Version gebaut wurde
Problem: Das Lesen einer geteilten Tabelle mit einem NoClassDefFoundError für eine scala.collection-Klasse fehlschlägt.
java.util.ServiceConfigurationError: org.apache.spark.sql.sources.DataSourceRegister: io.delta.sharing.spark.DeltaSharingDataSource Unable to get public no-arg constructor
Caused by: java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce
Die Zeile Caused by könnte auch lauten:
Caused by: java.lang.NoClassDefFoundError: scala/collection/IterableOnce
Mögliche Ursache: Die Scala-Version in der Maven-Koordinate des Spark-Connectors stimmt nicht mit der Scala-Version deiner Apache Spark-Installation überein. Die fehlende Klasse sagt dir, in welche Richtung sie nicht zusammenpassen:
-
scala/collection/GenTraversableOnce: Sie verwenden einendelta-sharing-spark_2.12Connector mit einer Scala 2.13-Version von Apache Spark, wie zum Beispiel PySpark 4.x. -
scala/collection/IterableOnce: Sie verwenden einendelta-sharing-spark_2.13Connector mit einer Scala 2.12-Version von Apache Spark, zum Beispiel PySpark 3.5.
Empfohlene Lösung: Führen Sie pyspark --version aus, um Ihre Scala-Version zu finden. Dann starten Sie PySpark mit einem Spark-Connector für diese Scala-Version neu: delta-sharing-spark_2.13 für Scala 2.13 oder delta-sharing-spark_2.12 für Scala 2.12. Siehe Eine Spark-Connector-Version auswählen.
Spark-Connector, der für eine andere Spark-Version gebaut wurde
Problem: Das Lesen einer freigegebenen Tabelle schlägt mit einem NoSuchMethodError fehl.
Caused by: java.lang.NoSuchMethodError: 'org.apache.spark.sql.SparkSession$implicits$ org.apache.spark.sql.SparkSession.implicits()'
Mögliche Ursache: Die Spark-Connector-Version wurde für eine andere Hauptversion von Apache Spark entwickelt. Zum Beispiel ist Spark Connector 3.3.3 für Apache Spark 3.5 gebaut und funktioniert daher nicht mit Apache Spark 4.x.
Empfohlene Lösung: Starte PySpark mit einer Spark-Connector-Version neu, die zu deiner Apache Spark-Version passt. Siehe Eine Spark-Connector-Version auswählen.
Spark-Connector kann nicht heruntergeladen werden
Problem: PySpark startet mit einem unresolved dependency Fehler nicht.
:: UNRESOLVED DEPENDENCIES ::
Exception in thread "main" java.lang.RuntimeException: [unresolved dependency: io.delta#delta-sharing-spark_2.13;4.4.1: not found]
Mögliche Ursachen:
- Dein Netzwerk blockiert den Zugang zu Maven Central.
- Die Maven-Koordinate in der
--packagesOption enthält einen Tippfehler oder eine Version, die nicht existiert.
Empfohlene Lösung: Prüfen Sie die Maven-Koordinate anhand von Spark-Connector-Version auswählen. Wenn Ihr Netzwerk den Zugriff auf Maven Central blockiert, fügen Sie die --repositories Option mit der URL eines Maven-Repository-Spiegels hinzu, das Ihre Organisation bereitstellt.
SQL-Anweisung schlägt mit einem Syntaxfehler in der PySpark-Shell fehl
Problem: Das Ausführen einer SQL-Anweisung in der PySpark-Shell schlägt mit SyntaxError: invalid syntax fehl.
Mögliche Ursache: Die PySpark-Shell läuft mit Python. Es kann SQL-Anweisungen nicht direkt ausführen.
Empfohlene Lösung: Führen Sie SQL-Anweisungen mit spark.sql() aus. Siehe Freigegebene Daten mit SQL abfragen.
Problem mit der Speichernetzwerkkonfiguration
Problem: Sie sehen eine Fehlermeldung, die einen Fehler auslöst SSLCertVerificationError.
Spark-Fehlerbeispiel:
ssl.SSLCertVerificationError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1006)
Mögliche Ursache: Typischerweise sehen Sie diesen Fehler, weil es eine Netzwerkbeschränkung für den Speicherplatz der freigegebenen Tabelle oder des Volumes gibt.
Empfohlene Lösung: Erlauben Sie in der Speicheranbieter-Oberfläche den Zugriff auf den Speicherstandort, indem Sie die Client-IP in den Firewall-Einstellungen des Speicherkontos einlassen.
Problem des Zugangs zum geteilten Materialisierungsasset
Problem: Ihre Abfrage in einer gemeinsamen Ansicht, einer materialisierten Ansicht oder einer Streaming-Tabelle gibt den Fehler DS_MATERIALIZATION_QUERY_FAILEDzurück.
"DS_MATERIALIZATION_QUERY_FAILED": "The shared asset could not be materialized due to the asset not being accessible in the materialization workspace. Please ask data provider to contact :re[DB] support to override the materialization workspace."
Mögliche Ursachen: Der Anbieter hat keinen Lese-Schreib-Zugriff auf das Assets, das er teilen möchte.
Empfohlene Lösung: Kontaktieren Sie Ihren Datenanbieter, um sicherzustellen, dass er Lese-Schreib-Zugriff auf das gemeinsame Datenasset hat.
Netzwerkzugriffsfehler während der Datenmaterialisierung
Problem: Ihre Abfrage zu einem gemeinsamen Datenasset liefert einen Fehler bezüglich des Zugriffs auf den Cloud-Speicher des Datenanbieters.
There was an issue accessing the data provider's cloud storage. Shared view materialization uses the Serverless compute of data provider's region to perform the materialization. Please contact the data provider to allowlist Serverless compute IPs of their corresponding region to access the view's dependent tables storage location.
Mögliche Ursachen: Der Speicherort der materialisierten Daten hat Netzwerkbeschränkungen (wie eine Firewall oder eine private Verbindung), die verhindern, dass Azure Databricks serverloser Computer darauf zugreifen kann. Beim Freigeben von Ansichten, materialisierten Ansichten oder Streamingtabellen werden die Daten vorübergehend auf der Seite des Anbieters materialisiert. Der Speicherort der Materialisierung ist das übergeordnete Schema des Objekts oder der Speicherort des Katalogs.
Empfohlene Lösung: Der Datenanbieter muss serverlose Rechen-IPs seiner entsprechenden Region auflisten, um auf den Speicherort der abhängigen Tabellen der Ansicht zuzugreifen. Informationen zum Konfigurieren Ihrer Firewall finden Sie unter Konfigurieren einer Firewall für serverlosen Computezugriff.
Datenasset "existiert nicht"-Fehler
Wenn Sie auf ein freigegebenes Objekt klicken und auf einen Objektfehler "nicht vorhanden" stoßen, verfügt der Freigabebesitzer auf Anbieterseite möglicherweise nicht über ausreichende Berechtigungen für das Objekt. Wenden Sie sich an Ihren Datenlieferant und bitten Sie ihn zu überprüfen, ob der Anteilseigner über die erforderlichen Berechtigungen für alle freigegebenen Ressourcen verfügt. Weitere Informationen zu den Berechtigungen, die für einen Freigabebesitzer erforderlich sind, um ein Datenobjekt freizugeben, finden Sie unter Anforderungen und Gewähren des Zugriffs des Empfängers auf die Freigabe.
Kann keine freigegebene Tabelle, Ansicht, Volume oder Schema löschen
Problem: Ein DROP TABLE-, DROP VIEW-, DROP VOLUME-, DROP SCHEMA- oder CREATE OR REPLACE VIEW-Befehl schlägt mit einem Fehler wie dem folgenden fehl:
[INVALID_STATE.DELTA_SHARING_SECURABLE_DELETE_BLOCKED.BY_SHARES] TABLE <catalog>.<schema>.<name> cannot be deleted because it is being shared via OpenSharing. It is shared through the following shares: <share-names>. If you just want to update a shared view, please use ALTER VIEW instead. SQLSTATE: 55006
Ursache: Der Unity-Katalog blockiert das Löschen eines Assets, das Sie zu einer Freigabe oder einem Cleanroom hinzugefügt haben, unabhängig davon, ob ein Empfänger Zugriff auf die Freigabe hat oder nicht. Dies gilt für gemeinsam genutzte Assets wie Tabellen, Ansichten, Volumes, Schemata, Funktionen und Modelle. Ein gemeinsames Schema wird blockiert, selbst wenn Sie ausführen DROP SCHEMA ... CASCADE. Das Löschen einer geteilten Funktion oder eines Modells schlägt mit einer anderen Fehlermeldung fehl.
CREATE OR REPLACE VIEW Außerdem schlägt es auch bei einer freigegebenen Ansicht fehl, weil die Ansicht entfernt wird, bevor sie neu erstellt wird. Um die Definition einer gemeinsamen Ansicht zu ändern, verwenden ALTER VIEW <view-name> AS <query> Sie stattdessen. Siehe ALTER VIEW.
Die Prüfung gilt nicht für ein Asset, das nur deshalb geteilt wird, weil Sie das übergeordnete Schema zum Share hinzugefügt haben. Es gilt auch nicht, wenn ein Asset durch eine Kaskadenlöschung seines übergeordneten Katalogs oder Schemas entfernt wird. Siehe Löschweitergaben umgehen den Freigabeschutz.
Empfohlene Lösung:
- Um das Asset zu löschen, entfernen Sie es zunächst aus jeder im Fehler genannten Freigabe. Weitere Informationen finden Sie unter Aktualisieren von Freigaben. Entfernen Sie für die
BY_CLEAN_ROOMS-Variante das Asset aus dem Reinraum. Siehe Clean Rooms verwalten. - Wenn Sie Daten migrieren, Assets aus den Shares entfernen oder die View-Updates auf
ALTER VIEWumstellen, bevor die Schritte ausgeführt werden, die sie entfernen.