Importieren eines Anbieters und Lesen freigegebener Daten in Azure Databricks

Als Azure Databricks Empfänger können Sie eine Anmeldeinformationsdatei aus einem geöffneten Anbieter importieren und die freigegebenen Datenressourcen lesen. Sie können die freigegebenen Daten im Katalog-Explorer abfragen oder ein Python Notizbuch verwenden.

Hinweis

Wenn Daten für Sie mit Databricks-to-Databricks OpenSharing geteilt wurden, benötigen Sie keine Anmeldeinformationsdatei für den Zugriff auf Daten, und diese Seite gilt nicht für Sie. Stattdessen finden Sie weitere Informationen unter Lesen von Daten, die über Databricks-zu-Databricks Open Sharing freigegeben werden (für Empfänger).

Anforderungen

Ein Mitglied Ihres Teams muss die Anmeldeinformationsdatei herunterladen, die der Datenanbieter teilt, und einen sicheren Kanal verwenden, um diese Datei oder diesen Dateispeicherort für Sie freigeben zu können. Siehe Zugriff erhalten im Open-to-Databricks-Modell.

Hinweis

Der Speicher-Bucket und die Berechtigungen der Anmeldedaten (Gültigkeitsbereich, Ablaufzeit, Lese- oder Lese-/Schreibzugriff) werden vom jeweiligen Anbieter festgelegt. Wenn der Anbieter ein Azure-Databricks-Anbieter ist, fügt das Bereitstellen eines Open Share in einem Secure-Egress-Gateway-(SEG)-Arbeitsbereich den Bucket des Anbieters automatisch zur Zulassungsliste für den ausgehenden Zugriff hinzu. Bei offenen Anbietern, die nicht von Databricks stammen, wird der Bucket nicht automatisch auf die Zulassungsliste gesetzt. Überprüfen Sie den Anbieter vor der Montage.

Importieren eines Anbieters und Abfragen freigegebener Daten

In diesem Abschnitt wird das Importieren eines Anbieters und das Abfragen der freigegebenen Daten im Katalog-Explorer oder in einem Python-Notizbuch beschrieben:

  • Wenn Ihr Azure Databricks Arbeitsbereich für Unity-Katalog aktiviert ist, verwenden Sie die Benutzeroberfläche des Importanbieters im Katalog-Explorer. Sie können die folgenden Schritte ausführen, ohne eine Anmeldeinformationsdatei speichern oder angeben zu müssen:

    • Erstellen Sie Kataloge aus freigegebenen Ordnern per Knopfdruck.
    • Verwenden Sie Die Zugriffssteuerungen des Unity-Katalogs, um den Zugriff auf freigegebene Tabellen zu gewähren.
    • Abfragen freigegebener Daten mithilfe der standardmäßigen Unity-Katalogsyntax.
    • Wenden Sie auf das vorhandene Anbieterobjekt eine aktualisierte Anmeldeinformation an, ohne den Katalog neu zu erstellen. Siehe Rotieren von Anmeldeinformationen für offene Empfänger.

  • Wenn Ihr Azure Databricks-Arbeitsbereich nicht für Unity Catalog aktiviert ist, folgen Sie stattdessen den Anweisungen für das Python-Notebook.

Katalog-Explorer

Erforderliche Berechtigungen: Ein Metastore-Administrator oder ein Benutzer mit den CREATE PROVIDER Berechtigungen für Ihren Unity-Katalog-Metastore. Um Kataloge aus einer Freigabe zu erstellen, benötigen Sie die CREATE CATALOG Berechtigung.

  1. Klicken Sie im Azure Databricks-Arbeitsbereich auf das Datensymbol.Katalog zum Öffnen des Katalog-Explorers.

  2. Klicken Sie oben im Katalogbereich auf das Zahnradsymbol, und wählen Sie "OpenSharing" aus. Alternativ klicken Sie oben rechts auf Freigeben > OpenSharing.

  3. Klicken Sie auf der Registerkarte "Für mich freigegeben" auf "Freigabe installieren".

  4. Geben Sie den Anbieternamen ein. Der Name darf keine Leerzeichen enthalten.

  5. Laden Sie die Anmeldeinformationsdatei hoch, die der Anbieter für Sie freigegeben hat. Viele Anbieter haben eigene OpenSharing-Netzwerke, von denen Sie Freigaben empfangen können. Weitere Informationen finden Sie unter anbieterspezifische Konfigurationen.

  6. (Optional) Geben Sie einen Kommentar ein.

    Importieren Sie die Anmeldeinformationsdatei eines Anbieters direkt von einem Anbieter

  7. Klicken Sie auf Importieren.

  8. Klicken Sie auf der Registerkarte " Freigaben " auf " Katalog erstellen" in der Zeile "Freigeben", um Kataloge aus freigegebenen Daten zu erstellen.

    Weitere Informationen zum Verwenden von SQL oder der Databricks CLI zum Erstellen eines Katalogs aus einer Freigabe finden Sie unter Erstellen eines Katalogs aus einer Freigabe.

  9. Gewähren des Zugriffs auf die Kataloge. Erfahren Sie , wie kann ich freigegebene Daten für mein Team verfügbar machen? Und verwalten Sie Berechtigungen für die Schemas, Tabellen und Volumes in einem OpenSharing-Katalog.

  10. Lesen Sie die freigegebenen Datenobjekte genau wie jedes Datenobjekt, das im Unity-Katalog registriert ist.

    Ausführliche Informationen und Beispiele finden Sie unter Datenzugriff in einer freigegebenen Tabelle oder einem freigegebenen Volume.

Python

Lesen Sie freigegebene Daten mithilfe eines Notizbuchs in Ihrem Azure Databricks Arbeitsbereich, wenn Ihr Arbeitsbereich nicht für Unity-Katalog aktiviert ist. Speichern Sie die Anmeldeinformationsdatei in Azure Databricks, und verwenden Sie sie dann, um sich beim Datenanbieter zu authentifizieren und die freigegebenen Daten zu lesen.

Hinweis

In diesen Anweisungen wird davon ausgegangen, dass Ihr Azure Databricks-Arbeitsbereich für Unity-Katalog nicht aktiviert ist. Wenn Sie Unity Catalog verwenden, müssen Sie nicht auf die Anmeldeinformationsdatei verweisen, wenn Sie aus der Freigabe lesen. Sie können aus freigegebenen Tabellen genau wie aus einer beliebigen Tabelle lesen, die im Unity-Katalog registriert ist. Databricks empfiehlt, die Benutzeroberfläche des Importanbieters im Katalog-Explorer anstelle der hier angegebenen Anweisungen zu verwenden.

Speichern Sie zuerst die Anmeldeinformationsdatei als Azure Databricks-Arbeitsbereichsdatei, damit Benutzer in Ihrem Team auf freigegebene Daten zugreifen können.

  1. Informationen zum Importieren der Anmeldeinformationsdatei in Ihrem Azure Databricks-Arbeitsbereich finden Sie unter Importieren einer Datei.
  2. Sie können anderen Benutzern die Berechtigung für den Zugriff auf die Datei erteilen, indem Sie auf das Kebab-Menüsymbol klicken. Neben der Datei und dann freigeben (Berechtigungen). Geben Sie die Azure Databricks-Identitäten ein, die Zugriff auf die Datei haben sollen. Weitere Informationen zu Dateiberechtigungen finden Sie unter Datei-ACLs.

Nachdem die Anmeldeinformationsdatei gespeichert wurde, erstellen Sie ein Notizbuch zum Auflisten und Lesen freigegebener Tabellen.

  1. Klicken Sie in Ihrem Azure Databricks Arbeitsbereich auf Neues > Notizbuch. Weitere Informationen zu Azure Databricks-Notizbüchern finden Sie unter Databricks-Notizbücher.

  2. Installieren Sie den delta-sharing Connector, und verwenden Sie Python, pandasoder Apache Spark, um die freigegebenen Tabellen auflisten und lesen zu können. Verwenden Sie den Pfad im Arbeitsbereich zu Ihrer Anmeldedatendatei (z. B. /Workspace/Users/user.name@email.com/config.share) als Profilpfad. Codebeispiele finden Sie unter Pandas: Lesen freigegebener Daten und Apache Spark: Lesen freigegebener Daten.

  3. Zusätzlich zu den Befehlen Python und Apache Spark können Sie freigegebene Daten mit SQL abfragen. Erstellen Sie eine lokale Tabelle im Arbeitsbereich aus der freigegebenen Tabelle, und fragen Sie dann die lokale Tabelle ab. Die freigegebenen Daten werden nicht in der lokalen Tabelle gespeichert oder zwischengespeichert. Jedes Mal, wenn Sie die lokale Tabelle abfragen, wird der aktuelle Status der freigegebenen Daten angezeigt.

    Ersetzen Sie die Variablen folgendermaßen:

    • <local-table-name>: Name der lokalen Tabelle
    • <profile-path>: Speicherort der Anmeldeinformationsdatei
    • <share-name>: Wert von share= für die Tabelle
    • <schema-name>: Wert von schema= für die Tabelle
    • <table-name>: Wert von name= für die Tabelle
    %sql
DROP TABLE IF EXISTS <local-table-name>;

CREATE TABLE <local-table-name> USING deltaSharing LOCATION "<profile-path>#<share-name>.<schema-name>.<table-name>";

SELECT * FROM <local-table-name> LIMIT 10;

  4. Wenn Sie den Befehl ausführen, werden die freigegebenen Daten direkt abgefragt. Die Tabelle wird testweise abgefragt, und die ersten zehn Ergebnisse werden zurückgegeben.

  5. Wenn die Ausgabe leer ist oder die erwarteten Daten nicht enthält, wenden Sie sich an den Datenanbieter.

Es gelten die Einschränkungen des OpenSharing-Python-Connectors. Siehe OpenSharing-Python Connectorbeschränkungen.

Limitations

Die Open-to-Databricks-Freigabe basiert auf dem OpenSharing-Protokoll. Die folgende Unterstützung gilt, wenn Sie einen offenen Anbieter in Azure Databricks importieren:

  • Nur Delta-Tabellen, die das Delta Sharing-Protokoll unterstützen. Reine Iceberg-Tabellen werden nicht unterstützt.
  • Sowohl vorsignierte URL- als auch Cloudtokenzugriff (verzeichnisbasiert) werden unterstützt. Azure Databricks bevorzugt den Cloudtokenzugriff, wenn der Anbieter ihn verfügbar macht.
  • Nur die folgenden Cloudtoken-Speicherschemas werden unterstützt: s3, , s3a, s3n, abfss, wasbs, und gsr2.

Verwenden Sie stattdessen Lakehouse Federation, um Nicht-Delta-Daten wie Iceberg, CSV, Parkett oder JSON aus einer externen Quelle zu lesen. Siehe Verbinden mit externen Datenbanken und Katalogen.

  • Last updated on