Was ist das OpenSharing Databricks-to-Databricks-Protokoll?

Diese Seite bietet eine Übersicht über die Verwendung von Databricks-to-Databricks OpenSharing, um Daten sicher mit jedem Databricks-Benutzer zu teilen, unabhängig von Konto oder Cloudhost, solange dieser Benutzer Zugriff auf einen Arbeitsbereich hat, der für Unity-Katalog aktiviert ist.

Wer sollte Databricks-to-Databricks OpenSharing verwenden?

Es gibt drei Möglichkeiten zum Freigeben von Daten mithilfe von OpenSharing.

  1. Mit dem Databricks-zu-Databricks-Freigabeprotokoll, das in diesem Artikel besprochen wurde, können Sie Daten aus Ihrem Unity Catalog-fähigen Arbeitsbereich für Benutzer freigeben, die ebenfalls Zugriff auf einen Unity Catalog-fähigen Databricks-Arbeitsbereich haben.

    Dieser Ansatz verwendet den in Azure Databricks integrierten OpenSharing-Server und bietet Unterstützung für die Notebook-Freigabe, Unity Catalog Data Governance, Überwachung und Nutzungsnachverfolgung für Anbieter und Empfänger. Die Integration in Unity Catalog vereinfacht die Einrichtung und Governance für Anbieter und Empfänger und verbessert die Leistung.

  2. Das Databricks-to-Open-Sharing-Protokoll ermöglicht es Ihnen, Daten, die Sie in einem Unity Catalog-fähigen Databricks-Arbeitsbereich verwalten, mit Benutzern auf jeder beliebigen Computerplattform zu teilen.

    Siehe Was ist das Databricks-to-Open-Sharing-Protokoll?.

  3. Eine vom Kunden verwaltete Implementierung des Open-Source-Servers OpenSharing ermöglicht es Ihnen, Daten von jeder Plattform auf jede andere Plattform zu übertragen, unabhängig davon, ob es sich um Databricks handelt oder nicht.

    Siehe das Open-Source-Projekt.

Eine Einführung in OpenSharing und weitere Informationen zu diesen drei Ansätzen finden Sie unter What is OpenSharing?.

Databricks-to-Databricks OpenSharing-Workflow

Dieser Abschnitt bietet eine allgemeine Übersicht über den Databricks-zu-Databricks-Freigabeworkflow mit Links zu ausführlichen Dokumentationen für jeden Schritt.

Im Databricks-to-Databricks OpenSharing-Modell:

  1. Der Datenanbieter erstellt eine Freigabe im Unity Catalog-Metastore des Anbieters. Dieses benannte Objekt enthält eine Sammlung von im Metastore registrierten Tabellen, Ansichten, Volumes, Notizbüchern und Unity Catalog-Agentskills.

    Ausführliche Informationen finden Sie unter Erstellen von Freigaben für OpenSharing.

  2. Der Datenanbieter erstellt ein Empfängerobjekt im Unity Catalog Metastore des Anbieters, das den Benutzer oder die Gruppe von Benutzern repräsentiert, die auf die im Share enthaltenen Daten zugreifen. Der Anbieter kann den Empfänger entweder per E-Mail einladen oder ihn mit der Sharing-Kennung des Unity Catalog Metastores identifizieren, der dem Arbeitsbereich zugeordnet ist, den der Empfänger zum Zugriff auf die Freigabe nutzt.

    Details finden Sie unter Create a recipient object for Azure Databricks users.

  3. Der Datenanbieter gewährt dem Empfänger Zugriff auf die Freigabe.

    Ausführliche Informationen finden Sie unter Verwalten des Zugriffs auf OpenSharing-Datenfreigaben (für Anbieter).

  4. Die Freigabe ist im Databricks-Arbeitsbereich des Empfängers verfügbar, und der Empfänger kann mithilfe des Katalog-Explorers, der Databricks CLI oder von SQL-Befehlen in einem Azure Databricks-Notebook oder dem Databricks SQL-Abfrage-Editor darauf zugreifen.

    Um auf die Tabellen, Ansichten, Volumes, Notizbücher und Agentenfähigkeiten in einer Freigabe zuzugreifen, muss ein Metastore-Administrator oder privilegierter Benutzer aus der Freigabe einen Katalog erstellen. Anschließend können die Benutzer*innen oder andere Benutzer*innen, denen die entsprechenden Berechtigungen gewährt werden, anderen Benutzer*innen Zugriff auf den Katalog und die Objekte im Katalog gewähren. Das Erteilen von Berechtigungen für freigegebene Kataloge und Datenressourcen funktioniert genauso wie bei allen anderen Ressourcen, die im Unity-Katalog registriert sind, mit dem wichtigen Unterschied, dass Benutzern nur Lesezugriff auf Objekte in Katalogen gewährt werden kann, die aus OpenSharing-Freigaben erstellt werden.

    Freigegebene Notebooks befinden sich auf Katalogebene, und jeder Benutzer mit den USE CATALOG-Berechtigungen für den Katalog kann darauf zugreifen.

    Ausführliche Informationen finden Sie unter Lesen von Daten, die mithilfe von Databricks-to-Databricks OpenSharing (für Empfänger) freigegeben wurden.

Verbesserung der Tabellenleseleistung durch Historie-Sharing

Tabellenfreigaben von Databricks zu Databricks können die Leistung verbessern, indem die Verlaufsfreigabe aktiviert wird. Die gemeinsame Nutzung von Sicherheitsinformationen verbessert die Leistung, indem temporäre Sicherheitsanmeldeinformationen aus Ihrem Cloud-Speicher verwendet werden. Diese sind auf das Stammverzeichnis der freigegebenen Delta-Tabelle des Anbieters beschränkt, was zu einer Leistung führt, die mit dem direkten Zugriff auf Quelltabellen vergleichbar ist.

  • Geben Sie für neue Tabellenfreigaben WITH HISTORY beim Erstellen der Tabellenfreigabe an. Weitere Informationen finden Sie unter Hinzufügen von Tabellen zu einer Freigabe. Wenn Sie eine Tabelle mithilfe der Berechnung für Databricks Runtime 16.2 und höher freigeben, ist WITH HISTORY die Standardeinstellung.
  • Bei vorhandenen Tabellenfreigaben müssen Sie die Freigabe ändern, um den Tabellenverlauf freizugeben. Weitere Informationen finden Sie unter Aktualisieren von Freigaben. Wenn Sie eine Tabelle mithilfe der Berechnung für Databricks Runtime 16.2 und höher freigeben, ist WITH HISTORY die Standardeinstellung.

Wenn Sie ein gesamtes Schema freigeben, werden alle Tabellen im Schema standardmäßig mit Verlaufshistorie freigegeben.

Hinweis

Tabellen mit aktivierter Partitionierung profitieren nicht von den Leistungsvorteilen der Verlaufsfreigabe. Siehe Angeben der freizugebenden Tabellenpartitionen.

Wenn du eine Streaming-Tabelle teilst, hat WITH HISTORY keine Wirkung. Catalog Explorer zeigt einen leeren Historienwert für die Streaming-Tabelle an, und die Sharing-API gibt DISABLED als history_data_sharing_status zurück. Das ist zu erwarten und deutet nicht auf eine Fehlkonfiguration hin. Empfänger lesen die Streamingtabelle über serverloses Computing, das auf die zugrunde liegenden Verlaufsdaten zugreift, die es benötigt. Siehe Hinzufügen von Streaming-Tabellen zu einer Freigabe.

Informationen zu Anforderungen an die Berechtigung von Cloudtoken und Datenschutzaspekten finden Sie unter Cloudtokenberechtigung.

Databricks-to-Databricks OpenSharing-Unterstützungsmatrix für Cloud-Umgebungen

Databricks-to-Databricks OpenSharing unterstützt das Teilen innerhalb desselben Umgebungstyps und über regulatorische Domänen hinweg, wie in der folgenden Matrix dargestellt. Kommerzielle Clouds umfassen Arbeitsbereiche mit aktivierten Compliancesteuerelementen, z. B. FedRAMP Moderate. Das Teilen mit Azure Government-Umgebungen wird nicht unterstützt.

In dieser Matrix stellt jede Zeile die Anbieterumgebung (die Metastorefreigabedaten) dar, und jede Spalte stellt die Empfängerumgebung (den Metastore, der freigegebene Daten empfängt) dar.

Provider Empfänger: Kommerzielle Cloud-Dienste Empfänger: AWS GovCloud Empfänger: AWS GovCloud DoD Empfänger: Azure China
Kommerzielle Cloud-Dienste ✓ ✓ ✓ ✓
AWS GovCloud ✓ ✓ ✓
AWS GovCloud DoD ✓ ✓ ✓
Azure China ✓ ✓

Einschränkungen

Die folgenden Einschränkungen gelten für die domänenübergreifende Freigabe zwischen Regulierungsbereichen:

  • Cloudtoken werden verwendet, es sei denn, eine Freigabe überschreitet die Grenzen von AWS GovCloud oder AWS GovCloud DoD. In den folgenden Fällen werden Tabellen stattdessen mit vorsignierten URLs gemeinsam verwendet:
    • Eine kommerzielle Cloud gibt entweder Freigaben für AWS GovCloud oder AWS GovCloud DoD frei oder empfängt Freigaben von AWS GovCloud oder AWS GovCloud DoD.
    • AWS GovCloud und AWS GovCloud DoD teilen miteinander.