Korzystanie z punktów końcowych bezserwerowego interfejsu API z innego obszaru roboczego

Z tego artykułu dowiesz się, jak skonfigurować istniejący punkt końcowy bezserwerowego interfejsu API w innym obszarze roboczym niż ten, w którym został wdrożony.

Niektóre modele w wykazie modeli można wdrożyć jako bezserwerowe interfejsy API. Tego rodzaju wdrożenie umożliwia korzystanie z modeli jako interfejsu API bez hostowania ich w ramach subskrypcji, przy jednoczesnym zachowaniu bezpieczeństwa i zgodności przedsiębiorstwa, których potrzebują organizacje. Ta opcja wdrożenia nie wymaga limitu przydziału z subskrypcji.

Potrzeba użycia bezserwerowego punktu końcowego interfejsu API w innym obszarze roboczym niż ten, który został użyty do utworzenia wdrożenia, może wystąpić w takich sytuacjach:

• Chcesz scentralizować wdrożenia w danym obszarze roboczym i korzystać z nich z różnych obszarów roboczych w organizacji.
• Musisz wdrożyć model w obszarze roboczym w określonym regionie świadczenia usługi Azure, w którym dostępne jest bezserwerowe wdrożenie tego modelu. Należy jednak korzystać z niego z innego regionu, w którym wdrożenie bezserwerowe nie jest dostępne dla określonych modeli.

Wymagania wstępne

• Subskrypcja platformy Azure z prawidłową formą płatności. Subskrypcje platformy Azure w wersji bezpłatnej lub próbnej nie będą działać. Jeśli nie masz subskrypcji platformy Azure, utwórz płatne konto platformy Azure, aby rozpocząć.

• Obszar roboczy usługi Azure Machine Learning, w którym chcesz korzystać z istniejącego wdrożenia.

• Model wdrożony w punkcie końcowym bezserwerowego interfejsu API. W tym artykule założono, że wcześniej wdrożono model Meta-Llama-3-8B-Instruct . Aby dowiedzieć się, jak wdrożyć ten model jako bezserwerowy interfejs API, zobacz Wdrażanie modeli jako bezserwerowych interfejsów API.

• Aby pracować z usługą Azure Machine Learning, musisz zainstalować następujące oprogramowanie:

  Studio

  Aby nawigować po usłudze Azure Machine Learning Studio, możesz użyć dowolnej zgodnej przeglądarki internetowej.

  Interfejs wiersza polecenia platformy Azure

  Interfejs wiersza polecenia platformy Azure i rozszerzenie ml dla usługi Azure Machine Learning.

  az extension add -n ml
  

  Jeśli masz już zainstalowane rozszerzenie, upewnij się, że zainstalowano najnowszą wersję.

  az extension update -n ml
  

  Po zainstalowaniu rozszerzenia skonfiguruj je:

  az account set --subscription <subscription>
  az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
  

  Zestaw SDK dla języka Python

  Zainstaluj zestaw AZURE Machine Learning SDK dla języka Python.

  pip install -U azure-ai-ml
  

  Po zainstalowaniu zaimportuj niezbędne przestrzenie nazw:

  from azure.ai.ml import MLClient
  from azure.identity import InteractiveBrowserCredential
  from azure.ai.ml.entities import ServerlessEndpoint, ServerlessConnection
  

Tworzenie bezserwerowego połączenia punktu końcowego interfejsu API

Wykonaj następujące kroki, aby utworzyć połączenie:

1. Połącz się z obszarem roboczym, w którym wdrożono punkt końcowy:

   Studio

   Przejdź do usługi Azure Machine Learning Studio i przejdź do obszaru roboczego, w którym wdrożono punkt końcowy, z którym chcesz nawiązać połączenie.

   Interfejs wiersza polecenia platformy Azure

   Skonfiguruj interfejs wiersza polecenia, aby wskazywał obszar roboczy:

   az account set --subscription <subscription>
   az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
   

   Zestaw SDK dla języka Python

   Utwórz klienta połączonego z obszarem roboczym:

   client = MLClient(
       credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
       subscription_id="<subscription-id>",
       resource_group_name="<resource-group>",
       workspace_name="<workspace-name>",
   )
   

2. Pobierz adres URL i poświadczenia punktu końcowego, z którym chcesz nawiązać połączenie. W tym przykładzie uzyskasz szczegółowe informacje dotyczące nazwy punktu końcowego meta-llama3-8b-qwerty.

   Studio

   1. Wybierz pozycję Punkty końcowe na lewym pasku bocznym.

   2. Wybierz kartę Bezserwerowe punkty końcowe, aby wyświetlić bezserwerowe punkty końcowe interfejsu API.

   3. Wybierz punkt końcowy, z którym chcesz nawiązać połączenie.

   4. Na karcie Szczegóły punktu końcowego skopiuj wartości identyfikatora URI docelowego i klucza.

   Interfejs wiersza polecenia platformy Azure

   az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
   

   Zestaw SDK dla języka Python

   endpoint_name = "meta-llama3-8b-qwerty"
   endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
   print(endpoint_keys.primary_key)
   print(endpoint_keys.secondary_key)
   

3. Teraz połącz się z obszarem roboczym , w którym chcesz utworzyć połączenie i korzystać z punktu końcowego.

4. Utwórz połączenie w obszarze roboczym:

   Studio

   1. Przejdź do obszaru roboczego, w którym należy utworzyć połączenie.

   2. Przejdź do sekcji Zarządzanie na lewym pasku nawigacyjnym i wybierz pozycję Połączenia.

   3. Wybierz pozycję Utwórz.

   4. Wybierz pozycję Model bezserwerowy.

   5. W polu Docelowy identyfikator URI wklej skopiowaną wcześniej wartość.

   6. W polu Klucz wklej skopiowaną wcześniej wartość.

   7. Nadaj połączeniu nazwę, w tym przypadku meta-llama3-8b-connection.

   8. Wybierz opcję Dodaj połączenie.

   Interfejs wiersza polecenia platformy Azure

   Utwórz definicję połączenia:

   connection.yml

   name: meta-llama3-8b-connection
   type: serverless
   endpoint: https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com
   api_key: 1234567890qwertyuiop
   

   az ml connection create -f connection.yml
   

   Zestaw SDK dla języka Python

   client.connections.create_or_update(ServerlessConnection(
       name="meta-llama3-8b-connection",
       endpoint="https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com",
       api_key="1234567890qwertyuiop"
   ))
   

5. W tym momencie połączenie jest dostępne do użycia.

6. Aby sprawdzić, czy połączenie działa:

   1. Na lewym pasku nawigacyjnym usługi Azure Machine Learning Studio przejdź do pozycji Tworzenie przepływu monitu>.

   2. Wybierz pozycję Utwórz , aby utworzyć nowy przepływ.

   3. Wybierz pozycję Utwórz w polu Przepływ czatu.

   4. Nadaj przepływowi monitu nazwę i wybierz pozycję Utwórz.

   5. Wybierz węzeł czatu z grafu, aby przejść do sekcji czatu.

   6. W polu Połączenie otwórz listę rozwijaną, aby wybrać właśnie utworzone połączenie, w tym przypadku meta-llama3-8b-connection.

   7. Wybierz pozycję Rozpocznij sesję obliczeniową na górnym pasku nawigacyjnym, aby uruchomić automatyczne środowisko uruchomieniowe przepływu monitów.

   8. Wybierz opcję Czat. Teraz możesz wysyłać komunikaty i otrzymywać odpowiedzi.

Powiązana zawartość

• Wykaz modeli i kolekcje
• Wdrażanie modeli jako punktów końcowych bezserwerowego interfejsu API