Delen via

Een stroom implementeren voor realtime deductie

  • Artikel

Belangrijk

Items die in dit artikel zijn gemarkeerd (preview) zijn momenteel beschikbaar als openbare preview. Deze preview wordt aangeboden zonder een service level agreement en we raden deze niet aan voor productieworkloads. Misschien worden bepaalde functies niet ondersteund of zijn de mogelijkheden ervan beperkt. Zie Aanvullende gebruiksvoorwaarden voor Microsoft Azure-previews voor meer informatie.

Nadat u een promptstroom hebt gebouwd en deze correct hebt getest, wilt u deze mogelijk implementeren als een online-eindpunt. Implementaties worden gehost binnen een eindpunt en kunnen gegevens ontvangen van clients en antwoorden in realtime terugsturen.

U kunt het eindpunt aanroepen voor realtime deductie voor chat, copilot of een andere generatieve AI-toepassing. Promptstroom ondersteunt eindpuntimplementatie vanuit een stroom of vanuit een bulktestuitvoering.

In dit artikel leert u hoe u een stroom implementeert als een beheerd online-eindpunt voor realtime deductie. De stappen die u uitvoert, zijn:

  • Test uw stroom en bereid deze voor op implementatie.
  • Maak een online implementatie.
  • Verken machtigingen aan het eindpunt.
  • Test het eindpunt.
  • Het eindpunt gebruiken.

Vereisten

Als u een promptstroom wilt implementeren als een online-eindpunt, hebt u het volgende nodig:

  • Een Azure-abonnement. Als u nog geen abonnement hebt, maakt u een gratis account voordat u begint.
  • Een Azure AI Studio-project.

Een online-implementatie maken

Nu u een stroom hebt gebouwd en deze correct hebt getest, is het tijd om uw online-eindpunt te maken voor realtime deductie.

Volg de onderstaande stappen om een promptstroom te implementeren als een online-eindpunt in Azure AI Studio.

  1. Een promptstroom gereed hebben voor implementatie. Als u er geen hebt, raadpleegt u hoe u een promptstroom maakt.

  2. Optioneel: selecteer Chat om te testen of de stroom correct werkt. Het testen van uw stroom voordat de implementatie wordt aanbevolen.

  3. Selecteer Implementeren in de stroomeditor.

    Schermopname van de knop Implementeren vanuit een promptstroomeditor.

  4. Geef de gevraagde informatie op op de pagina Basisinstellingen in de implementatiewizard.

    Schermopname van de pagina Basisinstellingen in de implementatiewizard.

  5. Selecteer Beoordelen en maken om de instellingen te controleren en de implementatie te maken. Anders kunt u Volgende selecteren om door te gaan naar de pagina's met geavanceerde instellingen.

  6. Selecteer Maken om de promptstroom te implementeren.

    Schermopname van de pagina Controle-instellingen.

  7. Als u de status van uw implementatie wilt weergeven, selecteert u Implementaties in het linkernavigatievenster. Zodra de implementatie is gemaakt, kunt u de implementatie selecteren om de details weer te geven.

    Schermopname van de implementatiestatus die wordt uitgevoerd.

  8. Selecteer het tabblad Verbruik om codevoorbeelden te bekijken die kunnen worden gebruikt om het geïmplementeerde model in uw toepassing te gebruiken.

    Notitie

    Op deze pagina ziet u ook de eindpunt-URL die u kunt gebruiken om het eindpunt te gebruiken.

    Schermopname van de pagina met implementatiedetails.

  9. U kunt het REST-eindpunt rechtstreeks gebruiken of aan de slag gaan met een van de voorbeelden die hier worden weergegeven.

    Schermopname van het implementatie-eindpunt en codevoorbeelden.

Zie de onderstaande secties voor meer informatie.

Tip

Zie Modellen implementeren met Azure AI Studio voor een handleiding over het implementeren van een basismodel.

Instellingen en configuraties

Tekstbestand vereisten

Desgewenst kunt u extra pakketten opgeven die u nodig hebt in requirements.txt. U vindt requirements.txt deze in de hoofdmap van uw stroommap. Wanneer u een promptstroom implementeert naar een beheerd online-eindpunt in de gebruikersinterface, gebruikt de implementatie standaard de omgeving die is gemaakt op basis van de basisinstallatiekopieën die zijn opgegeven in de flow.dag.yaml en afhankelijkheden die zijn opgegeven in de requirements.txt stroom.

Notitie

De basisinstallatiekopieën die in de flow.dag.yaml installatiekopieën zijn opgegeven, moeten worden gemaakt op basis van de basisinstallatiekopieën van de promptstroom mcr.microsoft.com/azureml/promptflow/promptflow-runtime-stable:<newest_version> en u vindt hier de nieuwste versie. Als u de basisinstallatiekopieën in de flow.dag.yamlinstallatiekopieën niet opgeeft, gebruikt de implementatie de standaardbasisinstallatiekopieën mcr.microsoft.com/azureml/promptflow/promptflow-runtime-stable:latest.

Schermopname van het opgeven van de basisinstallatiekopieën in het yaml-bestand van de stroom.

Schermopname van het tekstbestand met vereisten van een stroom.

Basisinstellingen

Met deze stap kunt u de basisinstellingen van de implementatie configureren.

Eigenschappen Beschrijving
Eindpunt U kunt selecteren of u een nieuw eindpunt wilt implementeren of een bestaand eindpunt wilt bijwerken.
Als u Nieuw selecteert, moet u de eindpuntnaam opgeven.
Naam van implementatie - Binnen hetzelfde eindpunt moet de implementatienaam uniek zijn.
- Als u een bestaand eindpunt selecteert en een bestaande implementatienaam invoert, wordt die implementatie overschreven met de nieuwe configuraties.
Virtuele machine De VM-grootte die moet worden gebruikt voor de implementatie.
Aantal exemplaren Het aantal exemplaren dat moet worden gebruikt voor de implementatie. Geef de waarde op voor de workload die u verwacht. Voor hoge beschikbaarheid raden we u aan om de waarde ten minste 3in te stellen op . We reserveren een extra 20% voor het uitvoeren van upgrades.
Gegevensverzameling deductie Als u dit inschakelt, worden de stroominvoer en -uitvoer automatisch verzameld in een Azure Machine Learning-gegevensasset en kunnen ze worden gebruikt voor latere bewaking.

Nadat u de basisinstellingen hebt voltooid, kunt u direct beoordelen en maken om het maken te voltooien, of u kunt Volgende selecteren om geavanceerde instellingen te configureren.

Geavanceerde instellingen - Eindpunt

U kunt de volgende instellingen voor het eindpunt opgeven.

Schermopname van de geavanceerde eindpuntinstellingen.

In de werkstroom geavanceerde instellingen kunt u ook implementatietags opgeven en een aangepaste omgeving selecteren.

Schermopname van de geavanceerde implementatie-instellingen.

Authentication type

De verificatiemethode voor het eindpunt. Verificatie op basis van sleutels biedt een primaire en secundaire sleutel die niet verloopt. Verificatie op basis van azure Machine Learning-tokens biedt een token dat periodiek automatisch wordt vernieuwd.

Identiteitstype

Het eindpunt moet toegang hebben tot Azure-resources, zoals Azure Container Registry of uw AI Studio-hubverbindingen voor deductie. U kunt de machtiging voor het eindpunt toestaan om toegang te krijgen tot Azure-resources door toestemming te geven voor de beheerde identiteit.

Door het systeem toegewezen identiteit wordt automatisch gemaakt nadat uw eindpunt is gemaakt, terwijl de door de gebruiker toegewezen identiteit door de gebruiker wordt gemaakt. Meer informatie over beheerde identiteiten.

Door het systeem toegewezen

U ziet dat er een optie is of toegang tot verbindingsgeheimen afdwingen (preview). Als uw stroom verbindingen gebruikt, moet het eindpunt toegang krijgen tot verbindingen om deductie uit te voeren. De optie is standaard ingeschakeld. Aan het eindpunt wordt de rol Verbindingsgeheimenlezer van Azure Machine Learning-werkruimte verleend om automatisch toegang te krijgen tot verbindingen als u machtigingen voor de lezer van verbindingsgeheimen hebt. Als u deze optie uitschakelt, moet u deze rol handmatig door uzelf aan de door het systeem toegewezen identiteit verlenen of hulp vragen van uw beheerder. Meer informatie over het verlenen van machtigingen aan de eindpuntidentiteit.

Door de gebruiker toegewezen

Wanneer u de implementatie maakt, probeert Azure de containerinstallatiekopie van de gebruiker op te halen uit de Azure AI Studio Hub Azure Container Registry (ACR) en koppelt het gebruikersmodel en codeartefacten aan de gebruikerscontainer vanuit het opslagaccount van de hub.

Als u het gekoppelde eindpunt hebt gemaakt met door de gebruiker toegewezen identiteit, moet de door de gebruiker toegewezen identiteit de volgende rollen krijgen voordat de implementatie wordt gemaakt. Anders mislukt het maken van de implementatie.

Bereik Rol Waarom dit nodig is
AI Studio-project Azure Machine Learning Workspace Connection Secrets Reader-rol OF een aangepaste rol met Microsoft.MachineLearningServices/workspaces/connections/listsecrets/action Projectverbindingen ophalen
AI Studio-projectcontainerregister ACR pull Containerinstallatiekopie ophalen
Standaardopslag voor AI Studio-projecten Lezer voor opslagblobgegevens Model laden vanuit opslag
AI Studio-project Schrijver van metrische gegevens voor werkruimten Nadat u het eindpunt hebt geïmplementeerd, moet u deze machtiging verlenen aan de identiteit als u de eindpuntgerelateerde metrische gegevens wilt bewaken, zoals CPU/GPU/schijf/geheugengebruik.

Optioneel

Zie gedetailleerde richtlijnen voor het verlenen van machtigingen aan de eindpuntidentiteit in Machtigingen verlenen aan het eindpunt.

Belangrijk

Als uw stroom gebruikmaakt van verificatieverbindingen op basis van Microsoft Entra ID, ongeacht of u een door het systeem toegewezen identiteit of door de gebruiker toegewezen identiteit gebruikt, moet u altijd de beheerde identiteit de juiste rollen van de bijbehorende resources verlenen, zodat deze API-aanroepen naar die resource kan uitvoeren. Als uw Azure OpenAI-verbinding bijvoorbeeld gebruikmaakt van verificatie op basis van Microsoft Entra ID, moet u de rol Cognitive Services OpenAI-gebruiker of Cognitive Services OpenAI-inzender verlenen aan uw eindpunt van de bijbehorende Azure OpenAI-resources.

Geavanceerde instellingen - Uitvoer en verbindingen

In deze stap kunt u alle stroomuitvoer weergeven en opgeven welke uitvoer moet worden opgenomen in het antwoord van het eindpunt dat u implementeert. Standaard zijn alle stroomuitvoer geselecteerd.

U kunt ook de verbindingen opgeven die door het eindpunt worden gebruikt bij het uitvoeren van deductie. Ze worden standaard overgenomen van de stroom.

Nadat u alle bovenstaande stappen hebt geconfigureerd en gecontroleerd, kunt u Beoordelen en maken selecteren om het maken te voltooien.

Schermopname van de geavanceerde instellingen voor uitvoer en verbindingen.

Notitie

Verwacht dat het maken van het eindpunt ongeveer 15 minuten duurt, omdat het verschillende fasen bevat, zoals het maken van een eindpunt, het registreren van het model, het maken van een implementatie, enzovoort.

U kunt de voortgang van het maken van de implementatie begrijpen via de melding, begint met de implementatie van de promptstroom.

Tracering inschakelen door Diagnostische gegevens van Application Insights in te schakelen (preview)

Als u dit inschakelt, worden metrische gegevens en systeemgegevens tijdens deductietijd (zoals tokenaantal, stroomlatentie, stroomaanvraag, enzovoort) verzameld in gekoppelde Application Insights-werkruimte. Zie de promptstroom voor traceringsgegevens en metrische gegevens voor meer informatie.

Machtigingen verlenen aan het eindpunt

Belangrijk

Het verlenen van machtigingen (het toevoegen van een roltoewijzing) is alleen ingeschakeld voor de Eigenaar van de specifieke Azure-resources. Mogelijk moet u de eigenaar van uw Azure-abonnement (die mogelijk uw IT-beheerder is) vragen om hulp.

Het is raadzaam om rollen toe te kennen aan de door de gebruiker toegewezen identiteit voordat de implementatie wordt gemaakt. Het kan langer dan 15 minuten duren voordat de verleende machtiging van kracht wordt.

U kunt de vereiste machtigingen verlenen in de gebruikersinterface van Azure Portal door de volgende stappen uit te voeren.

  1. Ga naar de overzichtspagina van het Azure AI Studio-project in Azure Portal.

  2. Selecteer Toegangsbeheer en selecteer Roltoewijzing toevoegen. Schermopname van Toegangsbeheer met roltoewijzing toevoegen gemarkeerd.

  3. Selecteer Azure Machine Learning Workspace Connection Secrets Reader en ga naar Volgende.

    Notitie

    De rol Lezer van verbindingsgeheimen voor Azure Machine Learning-werkruimte is een ingebouwde rol die gemachtigd is om hubverbindingen op te halen.

    Als u een aangepaste rol wilt gebruiken, moet u ervoor zorgen dat de aangepaste rol de machtiging heeft.Microsoft.MachineLearningServices/workspaces/connections/listsecrets/action Meer informatie over het maken van aangepaste rollen.

  4. Selecteer Beheerde identiteit en selecteer leden.

    Voor door het systeem toegewezen identiteit selecteert u het online-eindpunt van Machine Learning onder Door het systeem toegewezen beheerde identiteit en zoekt u op eindpuntnaam.

    Voor door de gebruiker toegewezen identiteit selecteert u door de gebruiker toegewezen beheerde identiteit en zoekt u op identiteitsnaam.

  5. Voor door de gebruiker toegewezen identiteit moet u ook machtigingen verlenen aan het hubcontainerregister en het opslagaccount. U vindt het containerregister en het opslagaccount op de overzichtspagina van de hub in Azure Portal.

    Schermopname van de overzichtspagina met opslag en containerregister gemarkeerd.

    Ga naar de overzichtspagina van het hubcontainerregister, selecteer Toegangsbeheer en selecteer Roltoewijzing toevoegen en wijs ACR-pull toe |Haal de containerinstallatiekopie op naar de eindpuntidentiteit.

    Ga naar de standaardopslagoverzichtspagina van de hub, selecteer Toegangsbeheer en selecteer Roltoewijzing toevoegen en wijs Storage Blob-gegevenslezer toe aan de eindpuntidentiteit.

  6. (optioneel) Als u voor door de gebruiker toegewezen identiteit de eindpuntgerelateerde metrische gegevens wilt bewaken, zoals CPU/GPU/Schijf/geheugengebruik, moet u ook de schrijverrol werkruimtegegevens van de hub aan de identiteit toekennen.

De status van het eindpunt controleren

Er worden meldingen weergegeven nadat u de implementatiewizard hebt voltooid. Nadat het eindpunt en de implementatie zijn gemaakt, kunt u details in de melding weergeven selecteren op de pagina met implementatiedetails.

U kunt ook rechtstreeks naar de pagina Implementaties gaan vanuit het linkernavigatievenster, de implementatie selecteren en de status controleren.

Het eindpunt testen

Ga op de pagina met implementatiedetails naar het tabblad Testen .

Voor eindpunten die zijn geïmplementeerd vanuit een standaardstroom, kunt u waarden invoeren in de formuliereditor of JSON-editor om het eindpunt te testen.

Het eindpunt testen dat is geïmplementeerd vanuit een chatstroom

Voor eindpunten die zijn geïmplementeerd vanuit de chatstroom, kunt u deze testen in een insluitende chatvenster.

De chat_input is ingesteld tijdens de ontwikkeling van de chatstroom. U kunt het chat_input bericht invoeren in het invoervak. Als uw stroom meerdere invoer heeft, is het deelvenster Invoer aan de rechterkant bedoeld om de waarden voor andere invoerwaarden naast de chat_inputinvoer op te geven.

Het eindpunt gebruiken

Ga op de pagina met implementatiedetails naar het tabblad Verbruik . U vindt het REST-eindpunt en -sleutel/token om uw eindpunt te gebruiken. Er is ook voorbeeldcode voor u om het eindpunt in verschillende talen te gebruiken.

Schermopname van voorbeeldcode van het verbruiken van eindpunten.

U moet waarden invoeren voor RequestBody of data en api_key. Als uw stroom bijvoorbeeld 2 invoer heeft location en urlu gegevens als volgt moet opgeven.

 {
"location": "LA",
"url": "<the_url_to_be_classified>"
}

Resources opschonen

Als u het eindpunt niet gaat gebruiken nadat u deze zelfstudie hebt voltooid, moet u het eindpunt verwijderen.

Notitie

De volledige verwijdering kan ongeveer 20 minuten duren.

Volgende stappen