Share via


Konfigurera och använda Azure-hanterad identitetsautentisering för Azure Databricks-automatisering

Följ den här artikelns steg för att autentisera hanterade identiteter för Azure-resurser (tidigare hanterade tjänstidentiteter (MSI)) för att automatisera dina Azure Databricks-konton och arbetsytor.

Azure hanterar automatiskt identiteter i Microsoft Entra-ID (tidigare Azure Active Directory) för program som ska användas vid anslutning till resurser som stöder Microsoft Entra-ID-autentisering. Dessa resurser omfattar Azure Databricks-konton och arbetsytor. Azure-hanterad identitetsautentisering för Azure Databricks använder hanterade identiteter för att hämta Microsoft Entra-ID-token utan att behöva hantera några autentiseringsuppgifter.

Kommentar

Hanterade identiteter för Azure-resurser skiljer sig från tjänstens huvudnamn i Microsoft Entra ID, som Azure Databricks också stöder för autentisering. Information om hur du använder Microsoft Entra ID managed service principals för Azure Databricks-autentisering i stället för hanterade identiteter för Azure-resurser finns i:

Den här artikeln visar hur du konfigurerar och använder autentisering med hanterade Azure-identiteter på följande sätt:

  • Skapa en användartilldelad hanterad identitet. Azure stöder systemtilldelade och användartilldelade hanterade identiteter. Databricks rekommenderar att du använder användartilldelade hanterade identiteter för Azure-hanterad identitetsautentisering med Azure Databricks.
  • Tilldela din hanterade identitet till ditt Azure Databricks-konto och till en Azure Databricks-arbetsyta i det kontot.
  • Skapa och logga in på en virtuell Azure-dator (Virtuell Azure-dator). Du måste använda en resurs som stöder hanterade identiteter, till exempel en virtuell Azure-dator, med en hanterad identitet tilldelad till den virtuella Azure-datorn, för att programmässigt anropa Azure Databricks-konto- och arbetsyteåtgärder.
  • Tilldela din användartilldelade hanterade identitet till den virtuella Azure-datorn.
  • Installera Databricks CLI på din virtuella Azure-dator och konfigurera sedan Databricks CLI för Azure-hanterad identitetsautentisering för Azure Databricks med hjälp av den tilldelade hanterade identiteten.
  • Kör kommandon med Databricks CLI för att automatisera ditt Azure Databricks-konto och din arbetsyta med hjälp av Azure-hanterad identitetsautentisering för Azure Databricks med den tilldelade hanterade identiteten.

Krav

Steg 1: Skapa en användartilldelad hanterad identitet

I det här steget skapar du en användartilldelad hanterad identitet för Azure-resurser. Azure stöder systemtilldelade och användartilldelade hanterade identiteter. Databricks rekommenderar att du använder användartilldelade hanterade identiteter för Azure-hanterad identitetsautentisering med Azure Databricks. Se även Hantera användartilldelade hanterade identiteter.

  1. Logga in på Azure-portalen.

    Kommentar

    Portalen som ska användas skiljer sig beroende på om du använder det offentliga Azure-molnet eller ett nationellt eller nationellt moln. Mer information finns i Nationella moln.

  2. Om du har åtkomst till flera klienter, prenumerationer eller kataloger klickar du på kugghjulsikonen (Inställningar) på den översta menyn för att växla till den katalog där du vill skapa den hanterade identiteten.

  3. I Sök efter resurser, tjänster och dokument söker du efter och väljer Azure-tjänsten med namnet Hanterade identiteter.

  4. Klicka på + Skapa.

  5. På fliken Grundinställningar för Resursgrupp väljer du en befintlig resursgrupp som du vill lägga till den hanterade identiteten i, eller klickar på Skapa ny för att skapa en ny resursgrupp som du vill lägga till den hanterade identiteten i. Information om resursgrupper finns i Hantera Azure-resursgrupper med hjälp av Azure-portalen.

  6. För Region väljer du den region som den hanterade identiteten ska läggas till i. Information om regioner finns i Välj rätt Azure-region åt dig.

  7. Som Namn anger du ett unikt namn för den hanterade identiteten som är lätt att komma ihåg.

  8. På fliken Granska + skapa klickar du på Skapa.

  9. Klicka på Gå till resurs.

  10. Kopiera värdet för fältet Klient-ID eftersom du behöver det senare för steg 2, 3 och 8:

    Om du glömmer att kopiera det här värdet kan du gå tillbaka till översiktssidan för den hanterade identiteten senare för att hämta det här värdet. Gå tillbaka till översiktssidan för den hanterade identiteten genom att söka efter och välja namnet på din hanterade identitet i Sök efter resurser, tjänster och dokument. Klicka sedan på Översikt i sidofältet på sidan för den hanterade identitetens inställningar.

Steg 2: Tilldela din hanterade identitet till ditt Azure Databricks-konto

I det här steget ger du din hanterade identitet åtkomst till ditt Azure Databricks-konto. Om du inte vill ge din hanterade identitet åtkomst till ditt Azure Databricks-konto går du vidare till steg 3.

  1. På din Azure Databricks-arbetsyta klickar du på ditt användarnamn i det övre fältet och klickar på Hantera konto.

    Du kan också gå direkt till Azure Databricks-kontokonsolen på https://accounts.azuredatabricks.net.

  2. Logga in på ditt Azure Databricks-konto om du uppmanas att göra det.

  3. Klicka på Användarhantering i sidofältet.

  4. Klicka på fliken Tjänstens huvudnamn.

    Kommentar

    Även om den här fliken är märkt med tjänstens huvudnamn fungerar den här fliken även med hanterade identiteter. Azure Databricks behandlar hanterade identiteter som tjänstens huvudnamn i ditt Azure Databricks-konto.

  5. Klicka på Lägg till tjänstens huvudnamn.

  6. Ange ett unikt namn för tjänstens huvudnamn som är enkelt att komma ihåg.

  7. För UUID anger du värdet för klient-ID för din hanterade identitet från steg 1.

  8. Klicka på Lägg till. Din hanterade identitet läggs till som tjänstens huvudnamn i ditt Azure Databricks-konto.

  9. Tilldela behörigheter på kontonivå som du vill att tjänstens huvudnamn ska ha:

    1. På fliken Tjänsthuvudnamn klickar du på namnet på tjänstens huvudnamn.
    2. På fliken Roller växlar du till att aktivera eller inaktivera varje målroll som du vill att tjänstens huvudnamn ska ha.
    3. På fliken Behörigheter beviljar du åtkomst till alla Azure Databricks-användare, tjänsthuvudnamn och kontogrupproller som du vill hantera och använda tjänstens huvudnamn. Se Hantera roller på ett huvudnamn för tjänsten.

Steg 3: Tilldela din hanterade identitet till din Azure Databricks-arbetsyta

I det här steget ger du din hanterade identitet åtkomst till din Azure Databricks-arbetsyta.

Om din arbetsyta är aktiverad för identitetsfederation:

  1. I din Azure Databricks-arbetsyta klickar du på ditt användarnamn i det övre fältet och klickar på Inställningar.

  2. Klicka på Tjänstens huvudnamn.

    Kommentar

    Även om den här fliken är märkt med tjänstens huvudnamn fungerar den här fliken även med hanterade identiteter. Azure Databricks behandlar hanterade identiteter som tjänstens huvudnamn i ditt Azure Databricks-konto.

  3. Klicka på Lägg till tjänstens huvudnamn.

  4. Välj tjänstens huvudnamn från steg 2 och klicka på Lägg till. Tjänstens huvudnamn läggs till som tjänstens huvudnamn på din Azure Databricks-arbetsyta.

  5. Tilldela alla behörigheter på arbetsytans nivå som du vill att tjänstens huvudnamn ska ha:

    1. På fliken Tjänsthuvudnamn klickar du på namnet på tjänstens huvudnamn.
    2. På fliken Konfigurationer väljer eller avmarkerar du för att bevilja eller återkalla varje målstatus eller berättigande som du vill att tjänstens huvudnamn ska ha.
    3. På fliken Behörigheter beviljar du åtkomst till alla Azure Databricks-användare, tjänsthuvudnamn och kontogrupproller som du vill hantera och använda tjänstens huvudnamn. Se Hantera roller på ett huvudnamn för tjänsten.

Gå vidare till steg 4.

Om din arbetsyta inte är aktiverad för identitetsfederation:

  1. I din Azure Databricks-arbetsyta klickar du på ditt användarnamn i det övre fältet och klickar på Inställningar.

  2. Klicka på Tjänstens huvudnamn.

    Kommentar

    Även om den här fliken är märkt tjänsthuvudnamn fungerar den här fliken även med hanterade identiteter. Azure Databricks behandlar hanterade identiteter som tjänstens huvudnamn på din Azure Databricks-arbetsyta.

  3. Klicka på Lägg till tjänstens huvudnamn.

  4. I listan Tjänsthuvudnamn väljer du Lägg till nytt huvudnamn för tjänsten.

  5. För ApplicationId anger du klient-IDför din hanterade identitet från steg 1.

  6. Ange ett visningsnamn som är enkelt att komma ihåg för det nya tjänstens huvudnamn och klicka på Lägg till. Din hanterade identitet läggs till som tjänstens huvudnamn på din Azure Databricks-arbetsyta.

  7. Tilldela alla behörigheter på arbetsytans nivå som du vill att tjänstens huvudnamn ska ha:

    1. På fliken Tjänsthuvudnamn klickar du på namnet på tjänstens huvudnamn.
    2. På fliken Konfigurationer väljer eller avmarkerar du för att bevilja eller återkalla varje målstatus eller berättigande som du vill att tjänstens huvudnamn ska ha.
    3. På fliken Behörigheter beviljar du åtkomst till alla Azure Databricks-användare, tjänsthuvudnamn och kontogrupproller som du vill hantera och använda tjänstens huvudnamn. Se Hantera roller på ett huvudnamn för tjänsten.

Steg 4: Hämta Azure-resurs-ID:t för din Azure Databricks-arbetsyta

I det här steget får du det resurs-ID som Azure tilldelar din Azure Databricks-arbetsyta. Du behöver det här Azure-resurs-ID:t senare för att hjälpa Azure-hanterade identiteter att fastställa den specifika Azure-resurs som Azure associerar med din Azure Databricks-arbetsyta.

  1. I din Azure Databricks-arbetsyta klickar du på ditt användarnamn i det övre fältet och klickar på Azure-portalen.

  2. I sidofönstret i avsnittet Inställningar klickar du på Egenskaper.

  3. I avsnittet Essentials kopierar du ID-värdet , eftersom du behöver det senare i steg 8. Det bör se ut ungefär så här:

    /subscriptions/<subscription-id>/resourceGroups/<resource-group-id>/providers/Microsoft.Databricks/workspaces/<workspace-id>
    

Steg 5: Skapa och logga in på en virtuell Azure-dator

I det här steget skapar och loggar du in på en virtuell Azure-dator (Virtuell Azure-dator). Virtuella Azure-datorer är en av de resurstyper som stöder hanterade identiteter. Se även Snabbstart: Skapa en virtuell Linux-dator i Azure-portalen.

Den här virtuella Azure-datorn är endast avsedd för demonstration. Den här virtuella Azure-datorn använder inställningar som inte nödvändigtvis är optimerade för dina pågående användningsbehov. När du har experimenterat klart med den här virtuella Azure-datorn bör du ta bort den som du ser senare i steg 11.

  1. I Azure-portalen som du loggade in på i steg 1 söker du efter och väljer Azure-tjänsten med namnet Virtuella datorer i Sök efter resurser, tjänster och dokument.

  2. Klicka på + Skapa > en virtuell Azure-dator.

  3. På fliken Grundinställningar väljer du en befintlig resursgrupp för att lägga till den här virtuella Azure-datorn i resursgruppen eller klickar på Skapa ny för att skapa en ny resursgrupp som du vill lägga till den virtuella Azure-datorn i. Information om resursgrupper finns i Hantera Azure-resursgrupper med hjälp av Azure-portalen.

  4. För Namn på virtuell dator anger du ett unikt namn för den här virtuella Azure-datorn som är lätt att komma ihåg.

  5. För Region väljer du den region som du vill lägga till den här virtuella Azure-datorn i. Information om regioner finns i Välj rätt Azure-region åt dig.

  6. För Bild väljer du Ubuntu Server 22.04 LTS – x64 Gen 2.

  7. Välj Offentlig SSH-nyckel som Autentiseringstyp.

  8. Som Användarnamn anger du azureuser.

  9. För den offentliga SSH-nyckelkällan lämnar du standardvärdet Generera nytt nyckelpar.

  10. Som Nyckelparnamn anger du myKey.

  11. För Offentliga inkommande portar väljer du Tillåt valda portar.

  12. För Välj inkommande portar väljer du HTTP (80) och SSH (22).

  13. Låt de återstående standardvärdena vara kvar.

  14. På fliken Granska + skapa klickar du på Skapa.

  15. Klicka på Ladda ned privat nyckel och skapa resurs. Din nyckelfil laddas ned till din lokala utvecklingsdator som myKey.pem. Anteckna var den här myKey.pem filen laddas ned eftersom du behöver den för att logga in på den virtuella Azure-datorn senare i det här steget.

    Om du förlorar din nyckelfil kan du gå tillbaka till inställningssidan för den virtuella Azure-datorn senare för att hämta en ersättningsnyckelfil. Om du vill återgå till den virtuella Azure-datorns inställningssida söker du efter och väljer namnet på den virtuella Azure-datorn i Sök efter resurser, tjänster och dokument. Om du vill hämta en ersättningsnyckelfil från den virtuella Azure-datorns inställningssida gör du följande:

    1. I avsnittet Hjälp i sidofönstret klickar du på Återställ lösenord.
    2. Välj Lägg till offentlig SSH-nyckel.
    3. För Nyckelparnamn anger du ett unikt namn.
    4. Klicka på Uppdatera.
    5. Klicka på Ladda ned + skapa. Nyckelfilen laddas ned med ett .pem tillägg. Anteckna var den här .pem filen laddas ned eftersom du behöver den för att logga in på den virtuella Azure-datorn senare i det här steget.
  16. När den virtuella Azure-datorn har skapats klickar du på Gå till resurs.

  17. Kopiera värdet för fältet Offentlig IP-adress eftersom du behöver det för att logga in på den virtuella Azure-datorn senare i det här steget.

    Om du glömmer att kopiera det här värdet kan du gå tillbaka till översiktssidan för den virtuella Azure-datorn senare för att hämta det här värdet. Gå tillbaka till översiktssidan för den virtuella Azure-datorn genom att söka efter och välja namnet på den virtuella Azure-datorn i Sök efter resurser, tjänster och dokument. Klicka sedan på Översikt i sidofältet på den virtuella Azure-datorns inställningssida och leta efter fältet Offentlig IP-adress .

  18. Om din lokala utvecklingsdator kör Linux, macOS eller WSL i Windows kontrollerar du att du har skrivskyddad åtkomst till den privata nyckel som du nyss laddade ned. Det gör du genom att köra följande kommando från den lokala utvecklingsdatorns terminal eller kommandotolk. Ersätt följande värden i det här kommandot:

    • Ersätt </path/to> med sökvägen till den nedladdade .pem filen.
    • myKey.pem Ersätt med filnamnet för den nedladdade .pem filen.
    chmod 400 </path/to>/myKey.pem
    
  19. Logga in på den virtuella Azure-datorn. Det gör du genom att köra följande kommando från den lokala utvecklingsdatorns terminal eller kommandotolk. Ersätt följande värden i det här kommandot:

    • Ersätt </path/to> med sökvägen till den nedladdade .pem filen.
    • myKey.pem Ersätt med filnamnet för den nedladdade .pem filen.
    • Ersätt <public-ip-address> med värdet för fältet Offentlig IP-adress som du kopierade tidigare i det här steget.
    ssh -i </path/to>/myKey.pem azureuser@<public-ip-address>
    

    Till exempel:

    ssh -i ./myKey.pem azureuser@192.0.2.0
    
  20. Om du aldrig har anslutit till den här virtuella Azure-datorn tidigare uppmanas du att verifiera värdens fingeravtryck. Gör detta genom att följa anvisningarna på skärmen. Databricks rekommenderar att du alltid verifierar värdens fingeravtryck.

  21. Terminalen eller kommandotolken ändras till azureuser@<your-azure-vm-name>:~$.

  22. Om du vill avsluta den virtuella Azure-datorn när som helst kör du kommandot logout eller exit. Terminalen eller kommandotolken ändras sedan tillbaka till det normala.

Steg 6: Tilldela din hanterade identitet till din virtuella Azure-dator

I det här steget associerar du din hanterade identitet med din virtuella Azure-dator. På så sätt kan Azure använda den hanterade identiteten för autentisering efter behov medan den virtuella Azure-datorn körs. Se även Tilldela en användartilldelad hanterad identitet till en befintlig virtuell dator.

  1. I Azure-portalen som du loggade in på i steg 1 går du till sidan Inställningar för den virtuella Azure-datorn och klickar på Identitet i avsnittet Inställningar i sidofönstret.

    Om du vill gå tillbaka till översiktssidan för den virtuella Azure-datorn om du stängde den tidigare söker du efter och väljer namnet på den virtuella Azure-datorn i Sök efter resurser, tjänster och dokument.

  2. På fliken Användartilldelade klickar du på + Lägg till.

  3. Välj den användartilldelade hanterade identitet som du skapade i steg 1 och klicka på Lägg till.

Steg 7: Installera Databricks CLI på din virtuella Azure-dator

I det här steget installerar du Databricks CLI så att du kan använda det för att köra kommandon som automatiserar dina Azure Databricks-konton och arbetsytor.

Dricks

Du kan också använda Databricks Terraform-providern eller Databricks SDK för Go tillsammans med Azure-hanterad identitetsautentisering för att automatisera dina Azure Databricks-konton och -arbetsytor genom att köra HCL- eller Go-kod. Se autentiseringen för Databricks SDK för Go - och Azure-hanterade identiteter.

  1. När terminalen eller kommandotolken fortfarande är öppen och inloggad på din virtuella Azure-dator från steg 5 installerar du Databricks CLI genom att köra följande två kommandon:

    sudo apt install unzip
    curl -fsSL https://raw.githubusercontent.com/databricks/setup-cli/main/install.sh | sudo sh
    
  2. Bekräfta att Databricks CLI har installerats genom att köra följande kommando, som skriver ut den installerade Databricks CLI-versionen:

    databricks -v
    

Steg 8: Konfigurera Databricks CLI för autentisering av hanterade Azure-identiteter

I det här steget konfigurerar du Databricks CLI för att använda Azure-autentisering för hanterade identiteter för Azure Databricks med inställningarna för den hanterade identiteten. För att göra detta skapar du en fil med ett standardfilnamn på en standardplats där Databricks CLI förväntar sig att hitta de autentiseringsinställningar som krävs.

  1. När terminalen eller kommandotolken fortfarande är öppen och inloggad på den virtuella Azure-datorn från steg 5 använder du vi textredigeraren för att skapa och öppna en fil med namnet .databrickscfg för redigering i den inloggade användarens hemkatalog genom att köra följande kommando:

    vi ~/.databrickscfg
    
  2. Börja redigera .databrickscfg filen genom att trycka på redigeringsnyckelkombinationen Esc följt av i. Kommandotolken försvinner, redigeraren vi startar och ordet -- INSERT -- visas längst ned i redigeraren för att indikera att .databrickscfg filen är i redigeringsläge.

  3. Ange följande innehåll. Ersätt följande värden i det här innehållet:

    • Ersätt <account-console-url> med azure Databricks-kontokonsolens URL, till exempel https://accounts.azuredatabricks.net.
    • Ersätt <account-id> med ditt Azure Databricks-konto-ID. Se Hitta ditt konto-ID.
    • Ersätt <azure-managed-identity-application-id> med klient-ID-värde för din hanterade identitet från steg 1.
    • Ersätt <workspace-url> med url:en per arbetsyta, till exempel https://adb-1234567890123456.7.azuredatabricks.net.
    • Ersätt <azure-workspace-resource-id> med Azure-resurs-ID:t från steg 4.
    • Du kan ersätta de föreslagna konfigurationsprofilnamnen AZURE_MI_ACCOUNT och AZURE_MI_WORKSPACE med olika namn på konfigurationsprofilen om du vill. Dessa specifika namn krävs inte.

    Om du inte vill köra åtgärder på kontonivå kan du utelämna avsnittet [AZURE_MI_ACCOUNT] i följande innehåll.

    [AZURE_MI_ACCOUNT]
    host            = <account-console-url>
    account_id      = <account-id>
    azure_client_id = <azure-managed-identity-application-id>
    azure_use_msi   = true
    
    [AZURE_MI_WORKSPACE]
    host                        = <workspace-url>
    azure_workspace_resource_id = <azure-workspace-resource-id>
    azure_client_id             = <azure-managed-identity-application-id>
    azure_use_msi               = true
    
  4. Spara dina redigeringar i .databrickscfg filen genom att trycka på kombination Escav redigeringsnyckel , följt av att ange :wq, följt av Enter. Redigeraren vi stängs och kommandotolken visas igen.

Steg 9: Kör ett kommando på kontonivå

I det här steget använder du Databricks CLI för att köra ett kommando som automatiserar Azure Databricks-kontot som konfigurerades i steg 8.

Om du inte vill köra kommandon på kontonivå går du vidare till steg 10.

När terminalen eller kommandotolken fortfarande är öppen och inloggad på din virtuella Azure-dator från steg 5 kör du följande kommando för att visa en lista över alla tillgängliga användare i ditt Azure Databricks-konto. Om du bytte AZURE_MI_ACCOUNT namn i steg 8 måste du ersätta det här.

databricks account users list -p AZURE_MI_ACCOUNT

Steg 10: Kör ett kommando på arbetsytenivå

I det här steget använder du Databricks CLI för att köra ett kommando som automatiserar Azure Databricks-arbetsytan som konfigurerades i steg 8.

När terminalen eller kommandotolken fortfarande är öppen och inloggad på din virtuella Azure-dator från steg 5 kör du följande kommando för att visa en lista över alla tillgängliga användare på din Azure Databricks-arbetsyta. Om du bytte AZURE_MI_WORKSPACE namn i steg 8 måste du ersätta det här.

databricks users list -p AZURE_MI_WORKSPACE

Steg 11: Rensa

Steget är valfritt. Den tar bort den virtuella Azure-datorn för att spara kostnader och den tar bort den hanterade identiteten om du inte längre vill fortsätta använda den. Det här steget tar också bort den borttagna hanterade identiteten från ditt Azure Databricks-konto och din arbetsyta för fullständighet.

Ta bort den virtuella Azure-datorn

  1. Om terminalen eller kommandotolken fortfarande är öppen och inloggad på den virtuella Azure-datorn från steg 5 avslutar du den virtuella Azure-datorn genom att köra kommandot logout eller exit. Terminalen eller kommandotolken ändras sedan tillbaka till det normala.
  2. I Azure-portalen som du loggade in på i steg 1 går du tillbaka till översiktssidan för den virtuella Azure-datorn om du stängde den tidigare. Det gör du genom att söka efter och välja namnet på den virtuella Azure-datorn i Sök efter resurser, tjänster och dokument.
  3. På den virtuella Azure-datorns menyrad för översiktssidan klickar du på Ta bort.
  4. Markera kryssrutan Jag har läst och förstått och klicka på Ta bort.

Ta bort den hanterade identiteten från din Azure-prenumeration

  1. I Azure-portalen som du loggade in på i steg 1 går du tillbaka till översiktssidan för den hanterade identiteten om du stängde den tidigare. Det gör du genom att söka efter och välja namnet på den hanterade identiteten i Sök efter resurser, tjänster och dokument.
  2. På den hanterade identitetens översiktssidas menyrad klickar du på Ta bort.
  3. Markera kryssrutan Jag har läst och förstått och klicka på Ta bort.

Ta bort den hanterade identiteten från ditt Azure Databricks-konto

  1. I ditt Azure Databricks-konto klickar du på Användarhantering i sidofältet.
  2. Klicka på fliken Tjänstens huvudnamn.
  3. Klicka på namnet på tjänstens huvudnamn som du lade till i steg 2. Om tjänstens huvudnamn inte visas använder du Filter-tjänstens huvudnamn för att hitta det.
  4. Klicka på ellipsknappen och klicka sedan på Ta bort.
  5. Klicka på Bekräfta borttagning.

Ta bort den hanterade identiteten från din Azure Databricks-arbetsyta

  1. I din Azure Databricks-arbetsyta klickar du på ditt användarnamn i det övre fältet och klickar på Inställningar.
  2. Klicka på fliken Tjänstens huvudnamn.
  3. Klicka på namnet på tjänstens huvudnamn som du lade till i steg 3. Om tjänstens huvudnamn inte visas använder du Filter-tjänstens huvudnamn för att hitta det.
  4. Klicka på Ta bort.
  5. I bekräftelsedialogrutan klickar du på Ta bort.