Externe Geheimnisse im Unity-Katalog

Important

Dieses Feature befindet sich in der Betaversion.

Externe Geheimnisse verbinden ein Unity-Catalog-Schema mit einem externen Secret-Manager. Anstatt dass Azure Databricks die Geheimniswerte speichert, bleiben die Geheimnisse im Cloud-Geheimnmanager und erscheinen im Unity-Katalog als sichere Objekte, die du verwalten und referenzieren kannst.

Wie externe Geheimnisse funktionieren

Du konfigurierst das geheime Backend nach Schema. Standardmäßig speichert und verwaltet Azure Databricks jedes Geheimnis in einem Schema, es sei denn, ein externer Secret-Manager unterstützt es. Ein Schema kann nicht beides mischen.

Wenn ein Schema von einem externen Secret-Manager unterstützt wird, macht Azure Databricks Folgendes:

  • Zeigt die Geheimnisse, die die Verbindung auflisten kann: Jedes Geheimnis, das die Verbindung auflisten darf, dbutilserscheint als Unity-Katalog-Geheimnis im Catalog Explorer und in der Unity Catalog REST API. Es gelten Namensbeschränkungen. Siehe Namensbeschränkungen.
  • Liest Werte auf Abruf: Azure Databricks speichert den geheimen Wert nicht im Unity-Katalog. Jede Abfrage liest den aktuellen Wert direkt aus dem externen Secret-Manager, was die Latenz erhöht und Kosten für Cloud-Anbieter verursachen kann. Abgerufene Werte können wie bei anderen Geheimnissen auf dem berechneten Algorithmus zwischengespeichert werden, der sie angefordert hat.
  • Der Zugriff wird durch Unity Catalog-Privilegien geregelt: READ SECRET und REFERENCE SECRET sowie die Vererbung von Berechtigungen gelten auf dieselbe Weise wie für Azure Databricks-verwaltete Secrets. Da externe Geheimnisse schreibgeschützt sind, lehnt Unity Catalog CREATE SECRET, WRITE SECRET und Löschvorgänge ab. Informationen finden Sie unter Einschränkungen. Jeder Zugriff auf den externen Secret-Manager erfolgt über die Serviceanmeldeinformation der Verbindung, sodass cloudseitige Audit-Logs den Zugriff dieser Identität zuschreiben, während die Audit-Logs von Unity Catalog weiterhin den Azure-Databricks-Benutzer protokollieren.

Das Auflisten der Geheimnisse eines Schemas löst den Import aus. Es handelt sich nicht um eine kontinuierliche Hintergrundsynchronisierung. Der Import wird asynchron ausgeführt, sodass Unity Catalog ein im externen Secret Manager hinzugefügtes oder daraus entferntes Geheimnis erst widerspiegelt, nachdem ein nachfolgender Listenvorgang einen Import ausgelöst hat; bei Secretspeichern mit vielen Geheimnissen kann dies bis zu einigen Minuten dauern. Das Lesen eines bestimmten Geheimnisses importiert oder aktualisiert nur dieses Geheimnis, und jede Lektüre holt den neuesten Wert. Wenn Sie ein Geheimnis im externen Geheimnismanager dauerhaft löschen, entfernt Azure Databricks das entsprechende Unity-Catalog-Geheimnis, einschließlich seiner Metadaten, Berechtigungen und Tags.

Benennungseinschränkungen

Externe Geheimnisnamen müssen den Namenskonventionen des Unity-Katalogs entsprechen, um importiert zu werden:

  • Unity Catalog importiert keine Namen, die länger als 248 Zeichen sind.
  • Die Geheimnamen des Unity-Katalogs sind nicht groß- und kleinschreibungsabhängig. Wenn sich zwei externe Geheimnisse nur nach Fall unterscheiden, verwendet Unity Catalog nur das erste importierte und ignoriert den Rest.
  • Unity Catalog ersetzt Zeichen, die er nicht unterstützt: . wird : zu und / wird |. Azure Databricks empfiehlt, diese Zeichen in externen Geheimnamen zu vermeiden.

Verwalten Sie geheime Quoten

Unity Catalog begrenzt, wie viele Geheimnisse ein Schema und Metastore enthalten können. Informationen finden Sie unter Einschränkungen. Wenn ein Schema mehr Geheimnisse enthält, als die Quote erlaubt, importiert Azure Databricks die ältesten Geheimnisse zuerst nach Erstellungsdatum im externen Geheimnismanager bis zur Quote und importiert den Rest nicht. Stellen Sie nur die Geheimnisse frei, die Sie in Azure Databricks benötigen, damit das Schema innerhalb der Quote bleibt:

Richten Sie die Verbindung auf einen dedizierten Key Vault, der nur die Geheimnisse enthält, die Sie in Azure Databricks verfügbar haben möchten.

Limitations

Zusätzlich zu den Einschränkungen, die für alle Unity-Catalog-Geheimnisse gelten, haben extern gesicherte Geheimnisse folgende Einschränkungen:

  • Schreibgeschützt im Unity Catalog: Sie können in Azure Databricks keine Geheimnisse in einem extern angebundenen Schema erstellen, aktualisieren, umbenennen oder löschen. Verwalten Sie diese Geheimnisse im externen Secret-Manager.
  • Ein Backend pro Schema: Alle Geheimnisse in einem Schema verwenden dasselbe Backend. Ein Schema kann keine von Azure Databricks verwalteten und extern gesicherten Geheimnisse vermischen.
  • Das Wechseln des Backends entfernt importierte Geheimnisse: Das Ändern des Backends eines Schemas oder das Ausweisen auf eine andere Verbindung entfernt die zuvor importierten externen Geheimnisse aus dem Schema, einschließlich ihrer Unity-Katalog-Metadaten, Berechtigungen und Tags.
  • Cloud-übergreifender Zugriff wird nicht unterstützt: Sichern Sie Schemas mit dem Secret Manager, der nativ in der Cloud des Arbeitsbereichs verfügbar ist.
  • Lese-Latenz und Kosten: Jeder Read holt den Wert vom externen Secret-Manager, was die Latenz erhöht und Kosten für Cloud-Anbieter verursachen kann.
  • Schließlich konsistente Auflistung: Geheimnisse, die zum externen Geheimnismanager hinzugefügt oder entfernt werden, können einige Minuten benötigen, um im Unity Catalog zu erscheinen, besonders bei großen Geheimnisspeichern.
  • Keine Tag-Filterung: Azure Key Vault unterstützt das Filtern importierter Geheimnisse nach Tag nicht.
  • Deaktivierte und gelöschte Geheimnisse: Ein deaktiviertes Key Vault-Geheimnis erscheint im Unity-Katalog, aber das Lesen seines Werts schlägt fehl, bis man es wieder aktiviert. Unity Catalog zeigt kein vorübergehend gelöschtes Geheimnis mehr an. Stelle sie in Key Vault wieder her, um sie verfügbar zu machen.

Note

Datenresidenz. Wenn sich der externe Secret-Manager, der hinter einem Schema steht, in einer anderen Region befindet als das Metastore oder der Arbeitsbereich, der darauf zugreift, werden Secret-Werte und ihre Metadaten regionsübergreifend übertragen. Azure Databricks garantiert keine Verarbeitung externer Geheimnisse innerhalb der Region.

Note

Persönliche Daten in Geheimnissen. Externe geheime Namen und Werte können persönliche Daten enthalten. Du bist dafür verantwortlich, persönliche Daten von ihnen fernzuhalten, es sei denn, dein Anwendungsfall erfordert es.

Weitere Ressourcen

Funktion Description
Konfiguration externer Geheimnisse im Unity-Katalog Sichern Sie ein Schema mit AWS Secrets Manager oder Azure Key Vault und lesen Sie die importierten Geheimnisse.
Geheimnisse im Unity-Katalog Erstellen, organisieren und verwalten Sie Geheimnisse, die Azure Databricks im Unity Catalog speichert.
  • Zuletzt aktualisiert um