Share via

Distribuera ett flöde för slutsatsdragning i realtid

  • Artikel

Viktigt!

Vissa av de funktioner som beskrivs i den här artikeln kanske bara är tillgängliga i förhandsversionen. Den här förhandsversionen tillhandahålls utan ett serviceavtal och vi rekommenderar det inte för produktionsarbetsbelastningar. Vissa funktioner kanske inte stöds eller kan vara begränsade. Mer information finns i Kompletterande villkor för användning av Microsoft Azure-förhandsversioner.

När du har skapat ett promptflöde och testat det korrekt kanske du vill distribuera det som en onlineslutpunkt. Distributioner hanteras inom en slutpunkt och kan ta emot data från klienter och skicka svar tillbaka i realtid.

Du kan anropa slutpunkten för slutsatsdragning i realtid för chatt, copilot eller något annat generativt AI-program. Prompt flow stöder slutpunktsdistribution från ett flöde eller från en masstestkörning.

I den här artikeln får du lära dig hur du distribuerar ett flöde som en hanterad onlineslutpunkt för realtidsinferens. De steg du utför är:

  • Testa flödet och gör det redo för distribution.
  • Skapa en onlinedistribution.
  • Bevilja behörigheter till slutpunkten.
  • Testa slutpunkten.
  • Förbruka slutpunkten.

Förutsättningar

Om du vill distribuera ett promptflöde som en onlineslutpunkt behöver du:

  • En Azure-prenumeration Om du inte har ett konto kan du skapa ett kostnadsfritt konto innan du börjar.
  • Ett Azure AI Studio-projekt.

Skapa en onlinedistribution

Nu när du har skapat ett flöde och testat det korrekt är det dags att skapa din onlineslutpunkt för realtidsinferens.

Följ stegen nedan för att distribuera ett promptflöde som en onlineslutpunkt i Azure AI Studio.

  1. Ha ett promptflöde redo för distribution. Om du inte har något kan du se hur du skapar ett promptflöde.

  2. Valfritt: Välj Chatt för att testa om flödet fungerar korrekt. Vi rekommenderar att du testar flödet före distributionen.

  3. Välj Distribuera i flödesredigeraren.

    Skärmbild av distributionsknappen från en redigeringsprogram för fråga.

  4. Ange den begärda informationen på sidan Grundläggande Inställningar i distributionsguiden.

    Skärmbild av sidan grundläggande inställningar i distributionsguiden.

  5. Välj Granska + Skapa för att granska inställningarna och skapa distributionen. Annars kan du välja Nästa för att gå vidare till de avancerade inställningssidorna.

  6. Välj Skapa för att distribuera promptflödet.

    Skärmbild av sidan granskningsinställningar.

  7. Om du vill visa status för distributionen väljer du Distributioner i det vänstra navigeringsfältet. När distributionen har skapats kan du välja distributionen för att visa informationen.

    Skärmbild av distributionstillståndet som pågår.

  8. Välj fliken Förbruka för att se kodexempel som kan användas för att använda den distribuerade modellen i ditt program.

    Kommentar

    På den här sidan kan du också se slutpunkts-URL:en som du kan använda för att använda slutpunkten.

    Skärmbild av sidan med distributionsinformation.

  9. Du kan använda REST-slutpunkten direkt eller komma igång med något av exemplen som visas här.

    Skärmbild av distributionens slutpunkt och kodexempel.

Mer information finns i avsnitten nedan.

Dricks

En guide om hur du distribuerar en basmodell finns i Distribuera modeller med Azure AI Studio.

Inställningar och konfigurationer

Textfil för krav

Du kan också ange extra paket som du behövde i requirements.txt. Du hittar requirements.txt i rotmappen i flödesmappen. När du distribuerar promptflöde till hanterad onlineslutpunkt i användargränssnittet använder distributionen som standard miljön som skapats baserat på basavbildningen som anges i flow.dag.yaml och beroenden som anges i requirements.txt flödet.

Kommentar

Basavbildningen som anges i måste skapas baserat på basavbildningen mcr.microsoft.com/azureml/promptflow/promptflow-runtime-stable:<newest_version>flow.dag.yaml för promptflöde och du hittar den senaste versionen här. Om du inte anger basavbildningen flow.dag.yamli använder distributionen standardbasavbildningen mcr.microsoft.com/azureml/promptflow/promptflow-runtime-stable:latest.

Skärmbild av att ange basavbildningen i yaml-råfilen för flödet.

Skärmbild av textfilen för ett flödes krav.

Grundläggande inställningar

Med det här steget kan du konfigurera de grundläggande inställningarna för distributionen.

Property beskrivning
Slutpunkt Du kan välja om du vill distribuera en ny slutpunkt eller uppdatera en befintlig slutpunkt.
Om du väljer Ny måste du ange slutpunktsnamnet.
Distributionsnamnet – Inom samma slutpunkt ska distributionsnamnet vara unikt.
– Om du väljer en befintlig slutpunkt och anger ett befintligt distributionsnamn skrivs distributionen över med de nya konfigurationerna.
Virtuell maskin Den VM-storlek som ska användas för distributionen.
Antal instanser Antalet instanser som ska användas för distributionen. Ange värdet för den arbetsbelastning som du förväntar dig. För hög tillgänglighet rekommenderar vi att du anger värdet till minst 3. Vi reserverar ytterligare 20 % för att utföra uppgraderingar.
Insamling av slutsatsdragningsdata Om du aktiverar detta samlas flödesindata och utdata in automatiskt i en Azure Machine Learning-datatillgång och kan användas för senare övervakning.
Application Insights-diagnostik Om du aktiverar detta samlas systemmått under inferenstid (till exempel antal token, flödesfördröjning och flödesbegäran) in i Standard application insights för Azure AI Studio Hub.

När du har slutfört de grundläggande inställningarna kan du granska + skapa direkt för att slutföra skapandet, eller så kan du välja Nästa för att konfigurera avancerade inställningar.

Avancerade inställningar – Slutpunkt

Du kan ange följande inställningar för slutpunkten.

Skärmbild av avancerade slutpunktsinställningar.

I arbetsflödet för avancerade inställningar kan du också ange distributionstaggar och välja en anpassad miljö.

Skärmbild av de avancerade distributionsinställningarna.

Authentication type

Autentiseringsmetoden för slutpunkten. Nyckelbaserad autentisering ger en primär och sekundär nyckel som inte upphör att gälla. Tokenbaserad autentisering i Azure Machine Learning tillhandahåller en token som uppdateras automatiskt med jämna mellanrum.

Identitetstyp

Slutpunkten måste komma åt Azure-resurser, till exempel Azure Container Registry eller dina AI Studio Hub-anslutningar för slutsatsdragning. Du kan ge slutpunkten behörighet att komma åt Azure-resurser genom att ge behörighet till dess hanterade identitet.

Systemtilldelad identitet skapas automatiskt när slutpunkten har skapats, medan användartilldelad identitet skapas av användaren. Läs mer om hanterade identiteter.

Systemtilldelad

Du märker att det finns ett alternativ om Framtvinga åtkomst till anslutningshemligheter (förhandsversion). Om ditt flöde använder anslutningar måste slutpunkten komma åt anslutningar för att utföra slutsatsdragning. Alternativet är som standard aktiverat, slutpunkten beviljas rollen Azure Machine Learning Workspace Anslut ion Secrets Reader för att få åtkomst till anslutningar automatiskt om du har behörighet att läsa anslutningshemligheter. Om du inaktiverar det här alternativet måste du bevilja den här rollen till den systemtilldelade identiteten manuellt själv eller be administratören om hjälp. Läs mer om hur du beviljar behörighet till slutpunktsidentiteten.

Användartilldelad

När du skapar distributionen försöker Azure hämta användarcontaineravbildningen från Azure AI Studio-hubbens Azure Container Registry (ACR) och monterar användarmodellen och kodartefakter i användarcontainern från hubbens lagringskonto.

Om du skapade den associerade slutpunkten med användartilldelad identitet måste den användartilldelade identiteten beviljas följande roller innan distributionen skapas. Annars misslyckas distributionen.

Omfattning Roll Varför det behövs
AI Studio-projekt Azure Machine Learning Workspace Anslut ion Secrets Reader-rollenELLER en anpassad roll medMicrosoft.MachineLearningServices/workspaces/connections/listsecrets/action Hämta projektanslutningar
AI Studio-projektcontainerregister ACR-pull Hämta containeravbildning
Standardlagring för AI Studio-projekt Storage Blob Data-läsare Läsa in modellen från lagring
AI Studio-projekt Skriv av måttskrivare för arbetsytor När du har distribuerat slutpunkten måste du ge den här behörigheten till identiteten om du vill övervaka slutpunktsrelaterade mått som CPU/GPU/disk/minnesanvändning.

Valfritt

Se detaljerad vägledning om hur du beviljar behörigheter till slutpunktsidentiteten i Bevilja behörigheter till slutpunkten.

Avancerade inställningar – Utdata och Anslut joner

I det här steget kan du visa alla flödesutdata och ange vilka utdata som ska inkluderas i svaret på slutpunkten som du distribuerar. Som standard är alla flödesutdata markerade.

Du kan också ange de anslutningar som används av slutpunkten när den utför slutsatsdragning. Som standard ärvs de från flödet.

När du har konfigurerat och granskat alla steg ovan kan du välja Granska + Skapa för att slutföra skapandet.

Skärmbild av inställningarna för avancerade utdata och anslutningar.

Kommentar

Förvänta dig att det tar cirka 15 minuter att skapa slutpunkten eftersom den innehåller flera steg, inklusive att skapa slutpunkt, registrera modell, skapa distribution osv.

Du kan förstå förloppet när distributionen skapas via meddelandet startas av distributionen av promptflödet.

Bevilja behörigheter till slutpunkten

Viktigt!

Det är bara ägaren av de specifika Azure-resurserna som kan bevilja behörigheter (lägga till rolltilldelning). Du kan behöva be IT-administratören om hjälp.

Vi rekommenderar att du beviljar roller till den användartilldelade identiteten innan distributionen skapas. Det kan ta mer än 15 minuter innan den beviljade behörigheten börjar gälla.

Du kan bevilja alla behörigheter i azure-portalens användargränssnitt genom att följa stegen nedan.

  1. Gå till översiktssidan för Azure AI Studio-projektet i Azure-portalen.

  2. Välj Åtkomstkontroll och välj Lägg till rolltilldelning. Skärmbild av Åtkomstkontroll med lägg till rolltilldelning markerat.

  3. Välj Azure Machine Learning Workspace Anslut ion Secrets Reader och gå till Nästa.

    Kommentar

    Rollen Azure Machine Learning Workspace Anslut ion Secrets Reader är en inbyggd roll som har behörighet att hämta hubbanslutningar.

    Om du vill använda en anpassad roll kontrollerar du att den anpassade rollen har behörigheten Microsoft.MachineLearningServices/workspaces/connections/listsecrets/action. Läs mer om hur du skapar anpassade roller.

  4. Välj Hanterad identitet och välj medlemmar.

    För systemtilldelad identitet väljer du Machine learning online-slutpunkt under Systemtilldelad hanterad identitet och söker efter slutpunktsnamn.

    För användartilldelad identitet väljer du Användartilldelad hanterad identitet och söker efter identitetsnamn.

  5. För användartilldelad identitet måste du även bevilja behörigheter till hubbens containerregister och lagringskonto. Du hittar containerregistret och lagringskontot på översiktssidan för hubben i Azure-portalen.

    Skärmbild av översiktssidan med lagrings- och containerregistret markerat.

    Gå till översiktssidan för hubbcontainerns register, välj Åtkomstkontroll och välj Lägg till rolltilldelning och tilldela ACR-pull |Hämta containeravbildningen till slutpunktsidentiteten.

    Gå till hubbens standardöversiktssida för lagring, välj Åtkomstkontroll och välj Lägg till rolltilldelning och tilldela Storage Blob Data Reader till slutpunktsidentiteten.

  6. (valfritt) Om du vill övervaka slutpunktsrelaterade mått som CPU/GPU/Disk/Minnesanvändning för användartilldelade identiteter måste du även ge hubbens skrivroll för arbetsytemått .

Kontrollera slutpunktens status

Det kommer att finnas meddelanden när du har slutfört distributionsguiden. När slutpunkten och distributionen har skapats kan du välja Visa information i meddelandet till distributionsinformationssidan.

Du kan också gå direkt till sidan Distributioner i det vänstra navigeringsfältet, välja distributionen och kontrollera statusen.

Testa slutpunkten

På sidan med distributionsinformation växlar du till fliken Test .

För slutpunkter som distribueras från standardflödet kan du ange värden i formulärredigeraren eller JSON-redigeraren för att testa slutpunkten.

Testa slutpunkten som distribuerats från ett chattflöde

För slutpunkter som distribueras från chattflödet kan du testa det i ett uppslukande chattfönster.

Angavs chat_input under utvecklingen av chattflödet. Du kan ange meddelandet chat_input i indatarutan. Om flödet har flera indata är panelen Indata till höger där du kan ange värden för andra indata förutom chat_input.

Använda slutpunkten

På sidan med distributionsinformation växlar du till fliken Förbruka . Du hittar REST-slutpunkten och nyckeln/token för att använda slutpunkten. Det finns också exempelkod som du kan använda slutpunkten på olika språk.

Skärmbild av exempelkod för användning av slutpunkter.

Du måste ange värden för RequestBody eller data .api_key Om ditt flöde till exempel har 2 indata location och urlmåste du ange data enligt följande.

 {
"location": "LA",
"url": "<the_url_to_be_classified>"
}

Rensa resurser

Om du inte använder slutpunkten när du har slutfört den här självstudien bör du ta bort slutpunkten.

Kommentar

Den fullständiga borttagningen kan ta cirka 20 minuter.

Nästa steg

  • Läs mer om vad du kan göra i Azure AI Studio
  • Få svar på vanliga frågor och svar i artikeln vanliga frågor och svar om Azure AI