Een stroom implementeren als een beheerd online-eindpunt voor realtime deductie

Nadat u een stroom hebt gebouwd en deze correct hebt getest, wilt u deze mogelijk implementeren als een eindpunt, zodat u het eindpunt kunt aanroepen voor realtime deductie.

In dit artikel leert u hoe u een stroom implementeert als een beheerd online-eindpunt voor realtime deductie. De stappen die u gaat uitvoeren zijn:

• Uw stroom testen en voorbereiden op implementatie
• Een online-implementatie maken
• Machtigingen verlenen aan het eindpunt
• Het eindpunt testen
• Het eindpunt gebruiken

Belangrijk

Items die in dit artikel zijn gemarkeerd (preview) zijn momenteel beschikbaar als openbare preview. De preview-versie wordt aangeboden zonder Service Level Agreement en wordt niet aanbevolen voor productieworkloads. Misschien worden bepaalde functies niet ondersteund of zijn de mogelijkheden ervan beperkt. Zie Aanvullende gebruiksvoorwaarden voor Microsoft Azure-previews voor meer informatie.

Vereisten

• Meer informatie over het bouwen en testen van een stroom in de promptstroom.

• Heb basiskennis van beheerde online-eindpunten. Beheerde online-eindpunten werken met krachtige CPU- en GPU-machines in Azure op een schaalbare, volledig beheerde manier die u vrij maakt van de overhead van het instellen en beheren van de onderliggende implementatie-infrastructuur. Zie Online-eindpunten en -implementaties voor realtime deductie voor meer informatie over beheerde online-eindpunten.

• Op rollen gebaseerd toegangsbeheer van Azure (Azure RBAC) wordt gebruikt om toegang te verlenen tot bewerkingen in Azure Machine Learning. Als u een eindpunt in promptstroom wilt implementeren, moet aan uw gebruikersaccount de AzureML-gegevenswetenschapper of -rol worden toegewezen met meer bevoegdheden voor de Azure Machine Learning-werkruimte.

• Basiskennis hebben over beheerde identiteiten. Meer informatie over beheerde identiteiten.

Bouw de stroom en bereid deze voor op implementatie

Als u de zelfstudie aan de slag al hebt voltooid, hebt u de stroom al correct getest door batchuitvoering te verzenden en de resultaten te evalueren.

Als u de zelfstudie niet hebt voltooid, moet u een stroom maken. Het correct testen van de stroom door batchuitvoering en evaluatie voordat de implementatie wordt aanbevolen.

We gebruiken de voorbeeldstroomwebclassificatie als voorbeeld om te laten zien hoe u de stroom implementeert. Deze voorbeeldstroom is een standaardstroom. Het implementeren van chatstromen is vergelijkbaar. De evaluatiestroom biedt geen ondersteuning voor implementatie.

De omgeving definiëren die wordt gebruikt door de implementatie

Wanneer u een promptstroom implementeert naar een beheerd online-eindpunt in de gebruikersinterface, gebruikt de implementatie standaard de omgeving die is gemaakt op basis van de meest recente installatiekopieën van de promptstroom en afhankelijkheden die zijn opgegeven in de requirements.txt stroom. U kunt extra pakketten opgeven die u nodig hebt in requirements.txt. U vindt requirements.txt deze in de hoofdmap van uw stroommap.

Als u de klantomgeving gebruikt om runtime van het rekenproces te maken, vindt u de installatiekopieën op de detailpagina van de omgeving in Azure Machine Learning-studio. Zie Omgeving aanpassen met docker-context voor runtime voor meer informatie.

Vervolgens moet u ook de afbeelding opgeven in environment de flow.dag.yaml stroommap.

Notitie

Als u privéfeeds in Azure Devops gebruikt, moet u eerst de installatiekopieën bouwen met privéfeeds en eerst aangepaste omgeving selecteren om te implementeren in de gebruikersinterface.

Een online-implementatie maken

Nu u een stroom hebt gebouwd en deze correct hebt getest, is het tijd om uw online-eindpunt te maken voor realtime deductie.

De promptstroom biedt ondersteuning voor het implementeren van eindpunten vanuit een stroom of een batchuitvoering. Het testen van uw stroom voordat de implementatie wordt aanbevolen.

Selecteer Implementeren op de pagina voor het ontwerpen van stromen of de detailpagina van de uitvoering.

Pagina Stroomcreatie:

Detailpagina uitvoeren:

Een wizard voor het configureren van het eindpunt vindt plaats en bevat de volgende stappen.

Basisinstellingen

Met deze stap kunt u de basisinstellingen van de implementatie configureren.

Eigenschappen	Beschrijving
Eindpunt	U kunt selecteren of u een nieuw eindpunt wilt implementeren of een bestaand eindpunt wilt bijwerken. Als u Nieuw selecteert, moet u de eindpuntnaam opgeven.
Naam van implementatie	- Binnen hetzelfde eindpunt moet de implementatienaam uniek zijn. - Als u een bestaand eindpunt selecteert en een bestaande implementatienaam invoert, wordt die implementatie overschreven met de nieuwe configuraties.
Virtuele machine	De VM-grootte die moet worden gebruikt voor de implementatie. Zie de lijst met beheerde online-eindpunten voor SKU's voor de lijst met ondersteunde grootten.
Aantal exemplaren	Het aantal exemplaren dat moet worden gebruikt voor de implementatie. Geef de waarde op voor de workload die u verwacht. Voor hoge beschikbaarheid wordt u aangeraden de waarde in te stellen op ten minste 3. We reserveren een extra 20% voor het uitvoeren van upgrades. Zie quota voor beheerde online-eindpunten voor meer informatie
Gegevensverzameling deductie	Als u dit inschakelt, worden de stroominvoer en -uitvoer automatisch verzameld in een Azure Machine Learning-gegevensasset en kunnen deze worden gebruikt voor latere bewaking. Zie voor meer informatie hoe u generatieve AI-toepassingen bewaakt.
Diagnose van Application Insights	Als u dit inschakelt, worden systeemmetrieken tijdens deductietijd (zoals tokenaantal, stroomlatentie, stroomaanvraag, enzovoort) verzameld in de standaard Application Insights-werkruimte. Zie de promptstroom voor metrische gegevens voor meer informatie.

Nadat u de basisinstellingen hebt voltooid, kunt u direct beoordelen+maken om het maken te voltooien, of u kunt Volgende selecteren om geavanceerde instellingen te configureren.

Geavanceerde instellingen - Eindpunt

U kunt de volgende instellingen voor het eindpunt opgeven.

Authentication type

De verificatiemethode voor het eindpunt. Verificatie op basis van sleutels biedt een primaire en secundaire sleutel die niet verloopt. Verificatie op basis van azure Machine Learning-tokens biedt een token dat periodiek automatisch wordt vernieuwd. Zie Verifiëren bij een online-eindpunt voor meer informatie over verificatie.

Identiteitstype

Het eindpunt moet toegang hebben tot Azure-resources, zoals Azure Container Registry of uw werkruimteverbindingen voor deductie. U kunt de machtiging voor het eindpunt toestaan om toegang te krijgen tot Azure-resources door toestemming te geven voor de beheerde identiteit.

Door het systeem toegewezen identiteit wordt automatisch gemaakt nadat uw eindpunt is gemaakt, terwijl de door de gebruiker toegewezen identiteit door de gebruiker wordt gemaakt. Meer informatie over beheerde identiteiten.

Door het systeem toegewezen

U ziet dat er een optie is of toegang tot verbindingsgeheimen afdwingen (preview). Als uw stroom verbindingen gebruikt, moet het eindpunt toegang krijgen tot verbindingen om deductie uit te voeren. De optie is standaard ingeschakeld. Het eindpunt krijgt de rol Azure Machine Learning Workspace Verbinding maken ion Secrets Reader om automatisch toegang te krijgen tot verbindingen als u de machtiging voor de lezer van verbindingsgeheimen hebt. Als u deze optie uitschakelt, moet u deze rol handmatig door uzelf aan de door het systeem toegewezen identiteit verlenen of hulp vragen van uw beheerder. Meer informatie over het verlenen van machtigingen aan de eindpuntidentiteit.

Door de gebruiker toegewezen

Bij het maken van de implementatie probeert Azure de installatiekopie van de gebruikerscontainer op te halen uit de werkruimte Azure Container Registry (ACR) en het gebruikersmodel en codeartefacten te koppelen aan de gebruikerscontainer vanuit het werkruimteopslagaccount.

Als u het gekoppelde eindpunt hebt gemaakt met door de gebruiker toegewezen identiteit, moet aan de gebruiker toegewezen identiteit de volgende rollen worden verleend voordat de implementatie wordt gemaakt. Anders mislukt het maken van de implementatie.

Bereik	Rol	Waarom dit nodig is
Azure Machine Learning-werkruimte	Azure Machine Learning Workspace Connection Secrets Reader-rol OF een aangepaste rol met daarin 'Microsoft.MachineLearningServices/workspaces/connections/listsecrets/action'	Werkruimteverbindingen ophalen
Werkruimtecontainerregister	ACR pull	Containerinstallatiekopie ophalen
Standaardopslag voor werkruimte	Lezer voor opslagblobgegevens	Model laden vanuit opslag
(Optioneel) Azure Machine Learning-werkruimte	Schrijver van metrische gegevens voor werkruimten	Nadat u het eindpunt hebt geïmplementeerd, moet u deze machtiging verlenen aan de identiteit als u de eindpuntgerelateerde metrische gegevens wilt bewaken, zoals CPU/GPU/schijf/geheugengebruik.

Zie gedetailleerde richtlijnen voor het verlenen van machtigingen aan de eindpuntidentiteit in Machtigingen verlenen aan het eindpunt.

Geavanceerde instellingen - Implementatie

In deze stap, behalve tags, kunt u ook de omgeving opgeven die door de implementatie wordt gebruikt.

De omgeving van de huidige stroomdefinitie gebruiken

De implementatie gebruikt standaard de omgeving die is gemaakt op basis van de basisinstallatiekopieën die zijn opgegeven in de flow.dag.yaml en afhankelijkheden die zijn opgegeven in de requirements.txt.

• U kunt de basisafbeelding in de flow.dag.yaml afbeelding opgeven door de stroom te Raw file mode selecteren. Als er geen installatiekopieën zijn opgegeven, is de standaardbasisinstallatiekopieën de meest recente promptstroombasisinstallatiekopieën.

  

• U vindt requirements.txt deze in de hoofdmap van uw stroommap en voegt er afhankelijkheden in toe.

  

Aangepaste omgeving gebruiken

U kunt ook een aangepaste omgeving maken en deze gebruiken voor de implementatie.

Notitie

Uw aangepaste omgeving moet voldoen aan de volgende vereisten:

• de docker-installatiekopieën moeten worden gemaakt op basis van de basisinstallatiekopieën van de promptstroom. mcr.microsoft.com/azureml/promptflow/promptflow-runtime-stable:<newest_version> Hier vindt u de nieuwste versie.
• de omgevingsdefinitie moet de inference_config.

Hieronder volgt een voorbeeld van een aangepaste omgevingsdefinitie.

$schema: https://azuremlschemas.azureedge.net/latest/environment.schema.json
name: pf-customized-test
build:
  path: ./image_build
  dockerfile_path: Dockerfile
description: promptflow customized runtime
inference_config:
  liveness_route:
    port: 8080
    path: /health
  readiness_route:
    port: 8080
    path: /health
  scoring_route:
    port: 8080
    path: /score

Geavanceerde instellingen - Uitvoer en Verbinding maken ions

In deze stap kunt u alle stroomuitvoer weergeven en opgeven welke uitvoer wordt opgenomen in het antwoord van het eindpunt dat u implementeert. Standaard zijn alle stroomuitvoer geselecteerd.

U kunt ook de verbindingen opgeven die door het eindpunt worden gebruikt bij het uitvoeren van deductie. Ze worden standaard overgenomen van de stroom.

Nadat u alle bovenstaande stappen hebt geconfigureerd en gecontroleerd, kunt u Beoordelen en maken selecteren om het maken te voltooien.

Notitie

Verwacht dat het maken van het eindpunt ongeveer 15 minuten duurt, omdat het verschillende fasen bevat, zoals het maken van een eindpunt, het registreren van het model, het maken van een implementatie, enzovoort.

U kunt de voortgang van het maken van de implementatie begrijpen via de melding, begint met de implementatie van de promptstroom.

Machtigingen verlenen aan het eindpunt

Belangrijk

Het verlenen van machtigingen (het toevoegen van een roltoewijzing) is alleen ingeschakeld voor de Eigenaar van de specifieke Azure-resources. Mogelijk moet u uw IT-beheerder om hulp vragen. Het is raadzaam om rollen toe te kennen aan de door de gebruiker toegewezen identiteit voordat de implementatie wordt gemaakt. Het duurt meer dan 15 minuten voordat de verleende machtiging van kracht wordt.

U kunt alle machtigingen verlenen in de gebruikersinterface van Azure Portal door de volgende stappen uit te voeren.

1. Ga naar de overzichtspagina van de Azure Machine Learning-werkruimte in Azure Portal.

2. Selecteer Toegangsbeheer en selecteer Roltoewijzing toevoegen.

3. Selecteer Azure Machine Learning Workspace Verbinding maken ion Secrets Reader en ga naar Volgende.

   Notitie

   Azure Machine Learning Workspace Verbinding maken ion Secrets Reader is een ingebouwde rol die gemachtigd is om werkruimteverbindingen op te halen.

   Als u een aangepaste rol wilt gebruiken, moet u ervoor zorgen dat de aangepaste rol de machtiging Microsoft.MachineLearningServices/workspaces/connections/listsecrets/action heeft. Meer informatie over het maken van aangepaste rollen.

4. Selecteer Beheerde identiteit en selecteer leden.

   Voor door het systeem toegewezen identiteit selecteert u het online-eindpunt van Machine Learning onder Door het systeem toegewezen beheerde identiteit en zoekt u op eindpuntnaam.

   Voor door de gebruiker toegewezen identiteit selecteert u door de gebruiker toegewezen beheerde identiteit en zoekt u op identiteitsnaam.

5. Voor door de gebruiker toegewezen identiteit moet u ook machtigingen verlenen aan het containerregister en het opslagaccount van de werkruimte. U vindt het containerregister en het opslagaccount op de overzichtspagina van de werkruimte in Azure Portal.

   

   Ga naar de overzichtspagina van het containerregister van de werkruimte, selecteer Toegangsbeheer en selecteer Roltoewijzing toevoegen en wijs ACR-pull toe |Haal de containerinstallatiekopie op naar de eindpuntidentiteit.

   Ga naar de standaardopslagoverzichtspagina van de werkruimte, selecteer Toegangsbeheer en selecteer Roltoewijzing toevoegen en wijs Storage Blob-gegevenslezer toe aan de eindpuntidentiteit.

6. (optioneel) Als u voor door de gebruiker toegewezen identiteit de eindpuntgerelateerde metrische gegevens wilt bewaken, zoals CPU/GPU/Schijf/geheugengebruik, moet u ook de schrijverrol werkruimte voor metrische gegevens van werkruimte toewijzen aan de identiteit.

De status van het eindpunt controleren

Er worden meldingen weergegeven nadat u de implementatiewizard hebt voltooid. Nadat het eindpunt en de implementatie zijn gemaakt, kunt u Details implementeren selecteren in de melding op de detailpagina van het eindpunt.

U kunt ook rechtstreeks naar de pagina Eindpunten in de studio gaan en de status controleren van het eindpunt dat u hebt geïmplementeerd.

Het eindpunt testen met voorbeeldgegevens

Ga op de detailpagina van het eindpunt naar het tabblad Testen .

U kunt de waarden invoeren en de knop Testen selecteren.

Het testresultaat wordt als volgt weergegeven:

Het eindpunt testen dat is geïmplementeerd vanuit een chatstroom

Voor eindpunten die zijn geïmplementeerd vanuit de chatstroom, kunt u deze testen in een insluitende chatvenster.

De chat_input is ingesteld tijdens de ontwikkeling van de chatstroom. U kunt het chat_input bericht invoeren in het invoervak. Het invoerpaneel aan de rechterkant is bedoeld om de waarden voor andere invoerwaarden naast de chat_inputinvoer op te geven. Meer informatie over het ontwikkelen van een chatstroom.

Het eindpunt gebruiken

Ga op de detailpagina van het eindpunt naar het tabblad Verbruiken . U vindt het REST-eindpunt en -sleutel/token om uw eindpunt te gebruiken. Er is ook voorbeeldcode voor u om het eindpunt in verschillende talen te gebruiken.

Houd er rekening mee dat u de gegevenswaarden moet invullen op basis van uw stroominvoer. Neem de voorbeeldstroom die wordt gebruikt in dit artikel Webclassificatie als voorbeeld. U moet de sleutel of het token opgeven data = {"url": "<the_url_to_be_classified>"} en invullen in de voorbeeldverbruikscode.

Metrische gegevens over eindpunten weergeven

Algemene metrische gegevens van beheerde online-eindpunten weergeven met behulp van Azure Monitor (optioneel)

U kunt verschillende metrische gegevens (aanvraagnummers, aanvraaglatentie, netwerkbytes, CPU/GPU/Schijf-/geheugengebruik en meer) bekijken voor een online-eindpunt en de implementaties ervan door koppelingen te volgen op de pagina Details van het eindpunt in de studio. Als u deze koppelingen volgt, gaat u naar de exacte pagina met metrische gegevens in Azure Portal voor het eindpunt of de implementatie.

Notitie

Als u een door de gebruiker toegewezen identiteit voor uw eindpunt opgeeft, moet u ervoor zorgen dat u de schrijver van metrische gegevens van de werkruimte van Azure Machine Learning aan uw door de gebruiker toegewezen identiteit hebt toegewezen. Anders kan het eindpunt de metrische gegevens niet registreren.

Zie Online-eindpunten bewaken voor meer informatie over het weergeven van metrische online eindpunten.

Specifieke metrische gegevens weergeven voor promptstroomeindpunten (optioneel)

Als u Application Insights-diagnostische gegevens inschakelt in de implementatiewizard van de gebruikersinterface of in de implementatiedefinitie instelt app_insights_enabled=true met behulp van code, volgen de volgende promptstroomeindpunten die specifieke metrische gegevens in de standaardtoepassingsinzichten van de werkruimte worden verzameld.

Naam van metrische gegevens	Type	Afmetingen	Beschrijving
token_consumption	counter	-Stroom -Knooppunt - llm_engine - token_type: prompt_tokensLLM API-invoertokens; completion_tokens: LLM API-antwoordtokens ; total_tokens = prompt_tokens + completion tokens	metrische gegevens over openai-tokenverbruik
flow_latency	Histogram	stroom,response_code,streaming,response_type	kosten voor het uitvoeren van aanvragen, response_type betekent of deze volledig/firstbyte/lastbyte is
flow_request	counter	stroom,response_code,uitzondering,streaming	aantal stroomaanvragen
node_latency	Histogram	stroom, knooppunt, run_status	kosten voor uitvoering van knooppunten
node_request	counter	stroom,knooppunt,uitzondering,run_status	aantal uitvoeringen van knooppunten
rpc_latency	Histogram	stroom, knooppunt, api_call	rpc-kosten
rpc_request	counter	stroom,knooppunt,api_call,uitzondering	aantal rpc's
flow_streaming_response_duration	Histogram	stroom	streamingantwoord verzenden van kosten, van het verzenden van eerste byte naar het verzenden van laatste byte

U vindt de standaard Application Insights-werkruimte op uw werkruimtepagina in Azure Portal.

Open Application Insights en selecteer Gebruik en geschatte kosten in de linkernavigatiebalk. Selecteer Aangepaste metrische gegevens (preview) en selecteer Met dimensies en sla de wijziging op.

Selecteer het tabblad Metrische gegevens in het linkernavigatievenster. Selecteer standaardgegevens voor promptflow in de metrische naamruimte en u kunt de metrische gegevens verkennen in de vervolgkeuzelijst Metrische gegevens met verschillende aggregatiemethoden.

Problemen met eindpunten oplossen die zijn geïmplementeerd vanuit de stroomlijning

Geen autorisatie voor het uitvoeren van de actie 'Microsoft.MachineLearningService/workspaces/datastores/read'

Als uw stroom het hulpprogramma Index Opzoeken bevat, moet het eindpunt na het implementeren van de stroom toegang krijgen tot het gegevensarchief van de werkruimte om het YAML-bestand of de FAISS-map met segmenten en insluitingen te lezen. Daarom moet u de eindpuntidentiteit handmatig toestemming geven om dit te doen.

U kunt de eindpuntidentiteit azureML Datawetenschapper verlenen voor werkruimtebereik of een aangepaste rol die de actie MachineLearningService/workspace/datastore/reader bevat.

MissingDriverProgram-fout

Als u uw stroom implementeert met een aangepaste omgeving en de volgende fout tegenkomt, kan dit komen doordat u de definitie van uw inference_config aangepaste omgeving niet hebt opgegeven.

'error': 
{
    'code': 'BadRequest', 
    'message': 'The request is invalid.', 
    'details': 
         {'code': 'MissingDriverProgram', 
          'message': 'Could not find driver program in the request.', 
          'details': [], 
          'additionalInfo': []
         }
}

Er zijn twee manieren om deze fout op te lossen.

• (Aanbevolen) U vindt de containerinstallatiekopieën-URI op de detailpagina van uw aangepaste omgeving en stelt deze in als de basisinstallatiekopieën van de stroom in het bestand flow.dag.yaml. Wanneer u de stroom in de gebruikersinterface implementeert, selecteert u Alleen de omgeving van de huidige stroomdefinitie gebruiken. De back-endservice maakt de aangepaste omgeving op basis van deze basisinstallatiekopieën en requirement.txt voor uw implementatie. Meer informatie over de omgeving die is opgegeven in de stroomdefinitie.

  

  

• U kunt deze fout oplossen door de definitie van uw aangepaste omgeving toe te voegen inference_config . Meer informatie over het gebruik van aangepaste omgevingen.

  Hieronder volgt een voorbeeld van een aangepaste omgevingsdefinitie.

$schema: https://azuremlschemas.azureedge.net/latest/environment.schema.json
name: pf-customized-test
build:
  path: ./image_build
  dockerfile_path: Dockerfile
description: promptflow customized runtime
inference_config:
  liveness_route:
    port: 8080
    path: /health
  readiness_route:
    port: 8080
    path: /health
  scoring_route:
    port: 8080
    path: /score

Modelreactie duurt te lang

Soms merkt u misschien dat de implementatie te lang duurt om te reageren. Er zijn verschillende mogelijke factoren voor dit optreden.

• Model is niet krachtig genoeg (bijvoorbeeld gpt over tekst-ada gebruiken)
• Indexquery is niet geoptimaliseerd en duurt te lang
• Flow heeft veel stappen om te verwerken

Overweeg het eindpunt te optimaliseren met bovenstaande overwegingen om de prestaties van het model te verbeteren.

Kan het implementatieschema niet ophalen

Nadat u het eindpunt hebt geïmplementeerd en het wilt testen op het tabblad Testen op de detailpagina van het eindpunt, kunt u de volgende twee methoden proberen om dit probleem te verhelpen als op het tabbladTesten:

• Zorg ervoor dat u de juiste machtiging hebt verleend voor de eindpuntidentiteit. Meer informatie over het verlenen van machtigingen aan de eindpuntidentiteit.
• Het kan zijn dat u uw stroom hebt uitgevoerd in een oude versieruntime en vervolgens de stroom hebt geïmplementeerd, de implementatie de omgeving van de runtime gebruikte die zich ook in de oude versie bevond. Werk de runtime bij volgens deze richtlijnen en voer de stroom opnieuw uit in de nieuwste runtime en implementeer de stroom vervolgens opnieuw.

Toegang geweigerd om het werkruimtegeheim weer te geven

Als er een fout optreedt als 'Toegang geweigerd om werkruimtegeheim weer te geven', controleert u of u de juiste machtiging hebt verleend voor de eindpuntidentiteit. Meer informatie over het verlenen van machtigingen aan de eindpuntidentiteit.

Resources opschonen

Als u het eindpunt niet gaat gebruiken nadat u deze zelfstudie hebt voltooid, moet u het eindpunt verwijderen.

Notitie

Het verwijderen kan ongeveer 20 minuten duren.

Volgende stappen

• Uw stroom herhalen en optimaliseren door prompts af te stemmen met behulp van varianten
• Kosten weergeven voor een online-eindpunt dat door Azure Machine Learning wordt beheerd
• Problemen met promptstroomimplementaties oplossen.