Erstellen von Speicheranmeldeinformationen zum Herstellen einer Verbindung mit Azure Data Lake Storage Gen2

In diesem Artikel wird beschrieben, wie Sie Speicheranmeldeinformationen in Unity Catalog erstellen, um eine Verbindung mit Azure Data Lake Storage Gen2 herzustellen.

Um den Zugriff auf den zugrunde liegenden Cloudspeicher zu verwalten, der Tabellen und Volumes enthält, verwendet Unity Catalog die folgenden Objekttypen:

• Speicheranmeldeinformationen kapseln langfristige Cloudanmeldeinformationen, die Zugriff auf Cloudspeicher ermöglichen.
• Externe Speicherorte enthalten einen Verweis auf Speicheranmeldeinformationen und einen Cloudspeicherpfad.

Weitere Informationen finden Sie unter Herstellen einer Verbindung mit Cloudobjektspeichern mithilfe von Unity Catalog.

Unity Catalog unterstützt zwei Cloudspeicheroptionen für Azure Databricks: Azure Data Lake Storage Gen2-Container und Cloudflare R2-Buckets. Cloudflare R2 ist in erster Linie für Delta Sharing-Anwendungsfälle vorgesehen, in denen Sie Datenausgangsgebühren vermeiden möchten. Azure Data Lake Storage Gen2 eignet sich für die meisten anderen Anwendungsfälle. Dieser Artikel konzentriert sich auf das Erstellen von Speicheranmeldeinformationen für Azure Data Lake Storage Gen2-Container. Informationen zu Cloudflare R2 finden Sie unter Erstellen von Speicheranmeldeinformationen zum Herstellen einer Verbindung mit Cloudflare R2.

Um eine Speicheranmeldeinformation für den Zugriff auf einen Azure Data Lake Storage Gen2-Container zu erstellen, erstellen Sie einen Azure Databricks-Zugriffsconnector, der auf eine von Azure verwaltete Identität verweist und ihm Berechtigungen für den Speichercontainer zuweist. Anschließend verweisen Sie in der Definition der Speicheranmeldeinformationen auf diesen Zugriffsconnector.

Anforderungen

In Azure Databricks:

• Azure Databricks-Arbeitsbereich, der für Unity Catalog aktiviert ist.

• CREATE STORAGE CREDENTIAL-Berechtigungen für den Unity Catalog-Metastore, der an den Arbeitsbereich angefügt ist. Kontoadministratoren und Metastoreadministratoren verfügen standardmäßig über diese Berechtigung.

  Hinweis

  Dienstvorgesetzte müssen über die Rolle Kontoadministrator verfügen, um eine Speicherberechtigung zu erstellen, die eine verwaltete Identität verwendet. Sie können CREATE STORAGE CREDENTIAL nicht an einen Dienstprinzipal delegieren. Dies gilt sowohl für Azure Databricks-Dienstprinzipale als auch für Microsoft Entra ID (früher Azure Active Directory)-Dienstprinzipale.

In Ihrem Azure-Mandanten:

• Ein Azure Data Lake Storage Gen2-Container, der sich in derselben Region befindet wie der Arbeitsbereich, den Sie zum Zugriff auf die Daten verwenden möchten.

  Das Azure Data Lake Storage Gen2-Speicherkonto muss über einen hierarchischem Namespace verfügen.

• Mitwirkender oder Besitzer einer Azure-Ressourcengruppe.

• Besitzer oder Benutzer mit der Azure RBAC-Rolle „Benutzerzugriffsadministrator“ für das Speicherkonto.

Erstellen von Speicheranmeldeinformationen mithilfe einer verwalteten Identität

Sie können entweder eine verwaltete Azure-Identität oder einen Dienstprinzipal als Identität verwenden, die den Zugriff auf Ihren Speichercontainer autorisiert. Verwaltete Identitäten werden dringend empfohlen. Sie haben den Vorteil, dass Unity Catalog auf durch Netzwerkregeln geschützte Speicherkonten zugreifen kann, was mit Dienstprinzipalen nicht möglich ist, und es entfällt die Notwendigkeit, Geheimnisse zu verwalten und weiterzugeben. Wenn Sie einen Dienstprinzipal verwenden möchten, lesen Sie Erstellen von verwaltetem Speicher in Unity Catalog mithilfe eines Dienstprinzipals (Legacy).

1. Erstellen Sie im Azure-Portal einen Azure Databricks Access Connector und weisen Sie ihm Rechte für den Speichercontainer zu, auf den Sie zugreifen möchten, indem Sie die Anweisungen in Konfigurieren einer verwalteten Identität für Unity Catalog befolgen.

   Ein Azure Databricks Access Connector ist eine Azure-Ressource der ersten Stunde, mit der Sie verwaltete Identitäten mit einem Azure Databricks-Konto verbinden können. Nur Benutzer*innen mit der Rolle Mitwirkender oder höher für die Zugriffsconnectorressource in Azure können die Speicheranmeldeinformationen hinzufügen.

   Notieren Sie sich die Ressourcen-ID des Zugriffsconnectors.

2. Melden Sie sich bei Ihrem Azure Databricks-Arbeitsbereich mit Unity Catalog-Unterstützung als Benutzer*in an, der/die über die Berechtigung CREATE STORAGE CREDENTIAL verfügt.

   Die Rollen für Metastore-Administrator*in und Kontoadministrator*in umfassen diese Berechtigungen. Wenn Sie als Dienstprinzipal angemeldet sind (unabhängig davon, ob eine Microsoft Entra-ID oder ein systemeigener Azure Databricks-Dienstprinzipal), müssen Sie über die Kontoadministratorrolle verfügen, um eine Speicheranmeldeinformationen zu erstellen, die eine verwaltete Identität verwenden.

3. Klicken Sie auf Katalog.

4. Klicken Sie auf die Schaltfläche +Add (+Hinzufügen), und wählen Sie Add a storage credential (Speicheranmeldeinformationen hinzufügen) aus dem Menü aus.

   Diese Option wird nicht angezeigt, wenn Sie nicht über die Berechtigung CREATE STORAGE CREDENTIAL verfügen.

5. Wählen Sie unter Credential Type (Anmeldeinformationstyp) die Option Azure Managed Identity (Von Azure verwaltete Identität) aus.

6. Geben Sie einen Namen für die Anmeldeinformationen ein, und geben Sie die Ressourcen-ID des Zugriffsconnectors im folgenden Format ein:

   /subscriptions/<subscription-id>/resourceGroups/<resource-group>/providers/Microsoft.Databricks/accessConnectors/<connector-name>
   

7. (Optional) Wenn Sie den Zugriffsconnector mithilfe einer benutzerseitig zugewiesenen verwalteten Identität erstellt haben, geben Sie die Ressourcen-ID der verwalteten Identität im Feld Benutzerseitig zugewiesene verwaltete Identitäts-ID im folgenden Format ein:

   /subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<managed-identity-name>
   

8. (Optional) Wenn Sie möchten, dass Benutzer*innen schreibgeschützten Zugriff auf die externen Speicherorte haben, die diese Speicheranmeldeinformationen verwenden, wählen Sie Schreibgeschützt aus. Weitere Informationen finden Sie unter Markieren von Speicheranmeldeinformationen als schreibgeschützt.

9. Klicken Sie auf Speichern.

10. Erstellen Sie einen externen Speicherort, der auf diese Speicheranmeldeinformationen verweist.

Nächste Schritte

Sie können Speicheranmeldeinformationen anzeigen, aktualisieren, löschen und anderen Benutzern die Berechtigung zur Nutzung erteilen. Siehe Verwalten von Speicheranmeldeinformationen.

Sie können externe Speicherorte mithilfe von Speicheranmeldeinformationen definieren. Weitere Informationen finden Sie unter Erstellen eines externen Speicherorts zum Verbinden des Cloudspeichers mit Azure Databricks.