Serverloze API-eindpunten gebruiken vanuit een ander Azure AI Studio-project of -hub

In dit artikel leert u hoe u een bestaand serverloos API-eindpunt configureert in een ander project of een andere hub dan het eindpunt dat is gebruikt om de implementatie te maken.

Belangrijk

Modellen die in preview zijn, worden gemarkeerd als voorbeeld op hun modelkaarten in de modelcatalogus.

Bepaalde modellen in de modelcatalogus kunnen worden geïmplementeerd als serverloze API's. Dit soort implementatie biedt een manier om modellen als API te gebruiken zonder deze te hosten in uw abonnement, terwijl de bedrijfsbeveiliging en -naleving die organisaties nodig hebben, behouden blijven. Voor deze implementatieoptie is geen quotum van uw abonnement vereist.

De noodzaak om een serverloos API-eindpunt in een ander project of een andere hub te gebruiken dan het eindpunt dat is gebruikt om de implementatie te maken, kan zich voordoen in situaties zoals deze:

• U wilt uw implementaties in een bepaald project of een bepaalde hub centraliseren en deze gebruiken vanuit verschillende projecten of hubs in uw organisatie.
• U moet een model implementeren in een hub in een bepaalde Azure-regio waar serverloze implementatie voor dat model beschikbaar is. U moet deze echter gebruiken vanuit een andere regio, waarbij serverloze implementatie niet beschikbaar is voor de specifieke modellen.

Vereisten

• Een Azure-abonnement met een geldige betalingswijze. Gratis of proefversie van Azure-abonnementen werkt niet. Als u geen Azure-abonnement hebt, maakt u eerst een betaald Azure-account .

• Een Azure AI Studio-hub.

• Een Azure AI Studio-project.

• Een model dat is geïmplementeerd op een serverloos API-eindpunt. In dit artikel wordt ervan uitgegaan dat u eerder het Meta-Llama-3-8B-Instruct-model hebt geïmplementeerd . Zie Modellen implementeren als serverloze API's voor meer informatie over het implementeren van dit model als een serverloze API.

• U moet de volgende software installeren om te werken met Azure AI Studio:

  AI Studio

  U kunt elke compatibele webbrowser gebruiken om door Azure AI Studio te navigeren.

  Azure-CLI

  De Azure CLI en de ml-extensie voor Azure Machine Learning.

  az extension add -n ml
  

  Als u de extensie al hebt geïnstalleerd, controleert u of de nieuwste versie is geïnstalleerd.

  az extension update -n ml
  

  Zodra de extensie is geïnstalleerd, configureert u deze:

  az account set --subscription <subscription>
  az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
  

  Python SDK

  Installeer de Azure Machine Learning SDK voor Python.

  pip install -U azure-ai-ml
  

  Nadat de installatie is uitgevoerd, importeert u de benodigde naamruimten:

  from azure.ai.ml import MLClient
  from azure.identity import InteractiveBrowserCredential
  from azure.ai.ml.entities import ServerlessEndpoint, ServerlessConnection
  

Een serverloze API-eindpuntverbinding maken

Volg deze stappen om een verbinding te maken:

1. Maak verbinding met het project of de hub waar het eindpunt is geïmplementeerd:

   AI Studio

   Ga naar Azure AI Studio en navigeer naar het project waar het eindpunt waarmee u verbinding wilt maken, is geïmplementeerd.

   Azure-CLI

   Configureer de CLI om naar het project te verwijzen:

   az account set --subscription <subscription>
   az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
   

   Python SDK

   Maak een client die is verbonden met uw project:

   client = MLClient(
       credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
       subscription_id="<subscription-id>",
       resource_group_name="<resource-group>",
       workspace_name="<project-name>",
   )
   

2. Haal de URL en referenties van het eindpunt op waarmee u verbinding wilt maken. In dit voorbeeld krijgt u de details voor een eindpuntnaam meta-llama3-8b-qwerty.

   AI Studio

   1. Ga in de linkerzijbalk van uw project in AI Studio naar Onderdelenimplementaties> om de lijst met implementaties in het project weer te geven.

   2. Selecteer de implementatie waarmee u verbinding wilt maken.

   3. Kopieer de waarden voor de doel-URI en sleutel.

   Azure-CLI

   az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
   

   Python SDK

   endpoint_name = "meta-llama3-8b-qwerty"
   endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
   print(endpoint_keys.primary_key)
   print(endpoint_keys.secondary_key)
   

3. Maak nu verbinding met het project of de hub waar u de verbinding wilt maken:

   AI Studio

   Ga naar het project waarin de verbinding moet worden gemaakt.

   Azure-CLI

   Configureer de CLI om naar het project te verwijzen:

   az account set --subscription <subscription>
   az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
   

   Python SDK

   Maak een client die is verbonden met uw project:

   client = MLClient(
       credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
       subscription_id="<subscription-id>",
       resource_group_name="<resource-group>",
       workspace_name="<project-name>",
   )
   

4. Maak de verbinding in het project:

   AI Studio

   1. Selecteer Instellingen in de linkerzijbalk van uw project in AI Studio.

   2. Selecteer nieuwe verbinding in de sectie Verbonden resources.

   3. Selecteer serverloos model.

   4. Plak voor de doel-URI de waarde die u eerder hebt gekopieerd.

   5. Plak voor de sleutel de waarde die u eerder hebt gekopieerd.

   6. Geef de verbinding een naam, in dit geval meta-llama3-8b-connection.

   7. Selecteer Verbinding toevoegen.

   Azure-CLI

   Maak een verbindingsdefinitie:

   connection.yml

   name: meta-llama3-8b-connection
   type: serverless
   endpoint: https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com
   api_key: 1234567890qwertyuiop
   

   az ml connection create -f connection.yml
   

   Python SDK

   client.connections.create_or_update(ServerlessConnection(
       name="meta-llama3-8b-connection",
       endpoint="https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com",
       api_key="1234567890qwertyuiop"
   ))
   

5. Op dit moment is de verbinding beschikbaar voor verbruik.

6. Controleren of de verbinding werkt:

   1. Ga in de linkerzijbalk van uw project in AI Studio naar de stroom Prompt voor hulpprogramma's>.

   2. Selecteer Maken om een nieuwe stroom te maken.

   3. Selecteer Maken in het vak Chatstroom .

   4. Geef de promptstroom een naam en selecteer Maken.

   5. Selecteer het chatknooppunt in de grafiek om naar de chatsectie te gaan.

   6. Voor Verbinding opent u de vervolgkeuzelijst om de verbinding te selecteren die u zojuist hebt gemaakt, in dit geval meta-llama3-8b-connection.

   7. Selecteer Rekensessie starten in de bovenste navigatiebalk om een promptstroom voor automatische runtime te starten.

   8. Selecteer de chatoptie. U kunt nu berichten verzenden en antwoorden krijgen.

Gerelateerde inhoud

• Wat is Azure AI Studio?
• Veelgestelde vragen over Azure AI