Dela via

Unity Catalog tillhandahållande av autentiseringsuppgifter för åtkomst till externa system

Viktig

Den här funktionen finns i offentlig förhandsversion.

Tips

Information om hur du läser Azure Databricks-data med Microsoft Fabric finns i Använda Microsoft Fabric för att läsa data som är registrerade i Unity Catalog.

Den här sidan beskriver hur funktioner för autentiseringsuppgifter i Unity Catalog stöder åtkomst till data i Azure Databricks från externa bearbetningsmotorer.

Distribution av autentiseringsuppgifter stöder externa system som ansluter till Unity Catalog med hjälp av Unity REST API:et och Apache Iceberg REST-katalogen. Se Läsa Databricks-tabeller från Delta-klienter och Komma åt Databricks-data med hjälp av externa system.

Vad är autentiseringsuppgiftsförsäljning för Unity Catalog?

Utfärdande av autentiseringsuppgifter ger kortlivade autentiseringsuppgifter med hjälp av Unity Catalog REST-API. De beviljade autentiseringsuppgifterna ärver behörigheterna för Azure Databricks-huvudkontot som används för att konfigurera integrationen.

Varuautomater för tabellautentiseringsuppgifter ger åtkomst till data som registrerats i ditt Unity Catalog-metaarkiv.

Path credential vending ger åtkomst till externa platser i ditt Unity Catalog-metaarkiv.

Varuautomater för tabellautentiseringsuppgifter

För att få en tillfällig autentiseringsuppgift för en tabell måste det begärande Azure Databricks-huvudnamnet (användare, grupp eller tjänstens huvudnamn) ha behörigheten EXTERNAL USE SCHEMA för schemat som innehåller tabellen. Unity Catalog-metaarkivet måste också uttryckligen aktiveras för extern åtkomst. Se Aktivera extern dataåtkomst till Unity Catalog.

Autentiseringsuppgifterna omfattar en kortlivad åtkomsttokensträng och webbadress till molnlagringsplats som den externa motorn kan använda för att komma åt tabelldata och metadata från molnlagringsplatsen.

Anteckning

Table Unity Catalog-autentiseringsuppgifter stöder följande:

  • Skrivskyddad åtkomst till hanterade Delta-tabeller i Unity Catalog.
  • Läs- och skrivåtkomst till hanterade Iceberg-tabeller i Unity Catalog.
  • Skrivskyddad åtkomst till Delta-tabeller som konfigurerats för Iceberg-läsningar.
  • Skapa externa tabeller för Åtkomst till Unity Catalog.
  • Läs- och skrivåtkomst till externa Unity Catalog-tabeller.

Vissa klienter stöder åtkomst till tabeller som backas upp av Delta Lake, medan andra kräver att du aktiverar Iceberg-läsningar (UniForm) på tabeller. Se Läsa Delta-tabeller med Iceberg-klienter.

Krav

  • Du måste konfigurera extern åtkomst för metaarkivet och bevilja EXTERNAL USE SCHEMA till den huvudprincip som konfigurerar anslutningen. Se Aktivera extern dataåtkomst till Unity Catalog.
  • För att få åtkomst till Azure Databricks-arbetsytan med öppna API:er för Unity Catalog eller Iceberg REST-API:er måste arbetsytans URL vara tillgänglig för motorn som utför begäran. Detta omfattar arbetsytor som använder IP-åtkomstlistor eller Azure Private Link-.
  • För att få åtkomst till den underliggande molnlagringsplatsen för Unity Catalog-registrerade dataobjekt måste de lagrings-URL:er som genereras av API:et för tillfälliga autentiseringsuppgifter i Unity Catalog vara tillgängliga för motorn som utför begäran. Det innebär att motorn måste tillåtas i brandväggs- och nätverksåtkomstkontrollistorna för de underliggande molnlagringskontona.

Begära en tillfällig tabellautentiseringsuppgift för extern dataåtkomst

Stöd för distribution av autentiseringsuppgifter varierar beroende på extern klient. Där det stöds bör klienten automatiskt utnyttja utdelade autentiseringsuppgifter när en anslutning har konfigurerats.

Det här avsnittet innehåller ett exempel på hur du uttryckligen anropar API-slutpunkten för autentiseringsuppgifter. Vissa externa klienter kan kräva att du uttryckligen anger konfigurationer för åtkomst till data och metadata i molnobjektlagring som stöder dina Unity Catalog-tabeller. Du kan använda värden som returneras av en autentiseringsautomat för att konfigurera åtkomst.

Anteckning

Du kan hämta en lista över tabeller som stöder hantering av autentiseringsuppgifter genom att anropa ListTables-API:et med include_manifest_capabilities-alternativet aktiverat. Endast tabeller som är markerade HAS_DIRECT_EXTERNAL_ENGINE_READ_SUPPORT eller HAS_DIRECT_EXTERNAL_ENGINE_WRITE_SUPPORT är berättigade till referens i API:et för tillfälliga autentiseringsuppgifter. Se GET /api/2.1/unity-catalog/tables.

Följande curl exempel begär uttryckligen en tillfällig autentiseringsuppgift för extern dataåtkomst. Den här begäran måste slutföras av en arbetsyteansvarig med tillräckliga privilegier.

curl -X POST -H "Authorization: Bearer $OAUTH_TOKEN" \
https://<workspace-instance>/api/2.1/unity-catalog/temporary-table-credentials \
-d '{"table_id": "<string>", "operation_name": "<READ|READ_WRITE>"}'

Mer information finns i POST /api/2.1/unity-catalog/temporary-table-credentials i AZURE Databricks REST API-referensen.

Begränsningar

Följande begränsningar finns:

  • Alla externa klienter stöder inte utdelning av autentiseringsuppgifter, och stödet kan variera beroende på vilken underliggande molnobjektlagring som används.
  • Endast hanterade Unity Catalog-tabeller och externa Unity Catalog-tabeller stöds.
  • Följande tabelltyper eller tabeller med aktiverade funktioner stöds inte:
    • Tabeller med radfilter eller kolumnmasker.
    • Tabeller som delas med Delta Sharing.
    • Federerade Lakehouse-tabeller (utländska tabeller).
    • Visningar.
    • Materialiserade vyer.
    • Strömningstabeller för Lakeflow Spark Declarative Pipelines.
    • Onlinetabeller.
    • Index för vektorsökning.
  • Uppdatering av autentiseringsuppgifter stöds inte på Iceberg 1.9.0. Använd den senaste Iceberg-versionen för uppdatering av autentiseringsuppgifter.

Utdelning av autentiseringsuppgifter via sökväg

För att få en tillfällig autentiseringsuppgift för en sökväg måste det begärande Azure Databricks-huvudkontot beviljas:

  • Behörighet EXTERNAL USE LOCATION för den externa platsen.
  • Behörigheten EXTERNAL USE SCHEMA på schemat, vid åtkomst till en extern tabell.

Precis som med autentiseringsuppgifter för tabeller måste metaarkivet för Unity Catalog uttryckligen aktiveras för extern åtkomst. Se Aktivera extern dataåtkomst till Unity Catalog.

De utfärdade autentiseringsuppgifterna tillåter direkt åtkomst till molnlagringsplatsen, som är begränsad till den relevanta sökvägen. De är giltiga under en begränsad tid och ger inte bredare åtkomst utöver den definierade platsen eller tabellen.

Krav

  • Unity Catalog-metaarkivet måste ha extern åtkomst aktiverad, och huvudprincipalen som begär åtkomst måste beviljas EXTERNAL USE LOCATION. De måste också beviljas EXTERNAL USE SCHEMA om de får åtkomst till en extern tabell. Se Aktivera extern dataåtkomst till Unity Catalog.
  • Den externa motorn måste kunna nå URL:en för Azure Databricks-arbetsytan. Detta gäller för arbetsytor med hjälp av IP-åtkomstlistor eller Azure Private Link.
  • URL:erna för molnlagring som genereras av autentiserings-API:et måste vara tillgängliga för det externa systemet. Kontrollera att motorn tillåts av brandväggs- och nätverksåtkomstkontroller på de underliggande molnlagringskontona.

Be om en tillfällig vägbehörighet för extern dataåtkomst

Stöd för distribution av autentiseringsuppgifter varierar beroende på extern klient. Där det stöds bör klienten automatiskt utnyttja utdelade autentiseringsuppgifter när en anslutning har konfigurerats.

Det här avsnittet innehåller ett exempel på hur du uttryckligen anropar API-slutpunkten för autentiseringsuppgifter. Vissa externa klienter kan kräva att du uttryckligen anger konfigurationer för åtkomst till data och metadata i molnobjektlagring som stöder dina Unity Catalog-tabeller. Du kan använda värden som returneras av en autentiseringsautomat för att konfigurera åtkomst.

Följande curl exempel begär uttryckligen en tillfällig autentiseringsuppgift för extern dataåtkomst. Den här begäran måste slutföras av en arbetsyteansvarig med tillräckliga privilegier.

curl -X POST -H "Authorization: Bearer $OAUTH_TOKEN" \
https://<workspace-instance>/api/2.1/unity-catalog/temporary-path-credentials \
-d '{"url": "<string>", "operation": <PATH_READ|PATH_READ_WRITE|PATH_CREATE_TABLE>"}'

Mer information finns i Generera en tillfällig sökvägsautentiseringsuppgifter i REST API-referensen för Azure Databricks.

  • Last updated on