Använda serverlösa API-slutpunkter från en annan arbetsyta

I den här artikeln får du lära dig hur du konfigurerar en befintlig serverlös API-slutpunkt på en annan arbetsyta än den där den distribuerades.

Vissa modeller i modellkatalogen kan distribueras som serverlösa API:er. Den här typen av distribution ger ett sätt att använda modeller som ett API utan att vara värd för dem i din prenumeration, samtidigt som den företagssäkerhet och efterlevnad som organisationer behöver bevaras. Det här distributionsalternativet kräver inte kvot från din prenumeration.

Behovet av att använda en serverlös API-slutpunkt på en annan arbetsyta än den som användes för att skapa distributionen kan uppstå i situationer som dessa:

• Du vill centralisera dina distributioner på en viss arbetsyta och använda dem från olika arbetsytor i din organisation.
• Du måste distribuera en modell på en arbetsyta i en viss Azure-region där serverlös distribution för den modellen är tillgänglig. Du måste dock använda den från en annan region, där serverlös distribution inte är tillgänglig för de specifika modellerna.

Förutsättningar

• En Azure-prenumeration med en giltig betalningsmetod. Kostnadsfria azure-prenumerationer eller utvärderingsprenumerationer fungerar inte. Om du inte har en Azure-prenumeration skapar du ett betalt Azure-konto för att börja.

• En Azure-Mašinsko učenje arbetsyta där du vill använda den befintliga distributionen.

• En modell som distribueras till en serverlös API-slutpunkt. Den här artikeln förutsätter att du tidigare har distribuerat modellen Meta-Llama-3-8B-Instruct . Information om hur du distribuerar den här modellen som ett serverlöst API finns i Distribuera modeller som serverlösa API:er.

• Du måste installera följande programvara för att arbeta med Azure Mašinsko učenje:

  Studio

  Du kan använda valfri kompatibel webbläsare för att navigera i Azure Mašinsko učenje studio.

  Azure CLI

  Azure CLI och ML-tillägget för Azure Mašinsko učenje.

  az extension add -n ml
  

  Om du redan har tillägget installerat kontrollerar du att den senaste versionen är installerad.

  az extension update -n ml
  

  När tillägget har installerats konfigurerar du det:

  az account set --subscription <subscription>
  az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
  

  Python SDK

  Installera Azure Mašinsko učenje SDK för Python.

  pip install -U azure-ai-ml
  

  När du har installerat det importerar du nödvändiga namnområden:

  from azure.ai.ml import MLClient
  from azure.identity import InteractiveBrowserCredential
  from azure.ai.ml.entities import ServerlessEndpoint, ServerlessConnection
  

Skapa en serverlös API-slutpunktsanslutning

Följ de här stegen för att skapa en anslutning:

1. Anslut till arbetsytan där slutpunkten distribueras:

   Studio

   Gå till Azure Mašinsko učenje studio och gå till arbetsytan där slutpunkten som du vill ansluta till distribueras.

   Azure CLI

   Konfigurera CLI så att det pekar på arbetsytan:

   az account set --subscription <subscription>
   az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
   

   Python SDK

   Skapa en klient som är ansluten till din arbetsyta:

   client = MLClient(
       credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
       subscription_id="<subscription-id>",
       resource_group_name="<resource-group>",
       workspace_name="<workspace-name>",
   )
   

2. Hämta slutpunktens URL och autentiseringsuppgifter för den slutpunkt som du vill ansluta till. I det här exemplet får du information om ett slutpunktsnamn meta-llama3-8b-qwerty.

   Studio

   1. Välj Slutpunkter i det vänstra sidofältet.

   2. Välj fliken Serverlösa slutpunkter för att visa serverlösa API-slutpunkter.

   3. Välj den slutpunkt som du vill ansluta till.

   4. På fliken Information för slutpunkten kopierar du värdena för Mål-URI och Nyckel.

   Azure CLI

   az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
   

   Python SDK

   endpoint_name = "meta-llama3-8b-qwerty"
   endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
   print(endpoint_keys.primary_key)
   print(endpoint_keys.secondary_key)
   

3. Anslut nu till arbetsytan där du vill skapa anslutningen och använda slutpunkten.

4. Skapa anslutningen på arbetsytan:

   Studio

   1. Gå till arbetsytan där anslutningen måste skapas.

   2. Gå till avsnittet Hantera i det vänstra navigeringsfältet och välj Anslutningar.

   3. Välj Skapa.

   4. Välj Serverlös modell.

   5. För mål-URI:n klistrar du in det värde som du kopierade tidigare.

   6. För nyckeln klistrar du in det värde som du kopierade tidigare.

   7. Ge anslutningen ett namn, i det här fallet meta-llama3-8b-connection.

   8. Välj Lägg till anslutning.

   Azure CLI

   Skapa en anslutningsdefinition:

   connection.yml

   name: meta-llama3-8b-connection
   type: serverless
   endpoint: https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com
   api_key: 1234567890qwertyuiop
   

   az ml connection create -f connection.yml
   

   Python SDK

   client.connections.create_or_update(ServerlessConnection(
       name="meta-llama3-8b-connection",
       endpoint="https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com",
       api_key="1234567890qwertyuiop"
   ))
   

5. Nu är anslutningen tillgänglig för förbrukning.

6. Så här verifierar du att anslutningen fungerar:

   1. I det vänstra navigeringsfältet i Azure Mašinsko učenje Studio går du till Redigeringspromptflöde>.

   2. Välj Skapa för att skapa ett nytt flöde.

   3. Välj Skapa i rutan Chattflöde .

   4. Ge promptflödet ett namn och välj Skapa.

   5. Välj chattnoden i diagrammet för att gå till chattavsnittet.

   6. För Anslutning öppnar du listrutan för att välja den anslutning som du nyss skapade, i det här fallet meta-llama3-8b-connection.

   7. Välj Starta beräkningssessionen i det övre navigeringsfältet för att starta en automatisk körning av ett promptflöde.

   8. Välj alternativet Chatt. Nu kan du skicka meddelanden och få svar.

Relaterat innehåll

• Modellkatalog och samlingar
• Distribuera modeller som serverlösa API-slutpunkter