Использование конечных точек API без сервера из другого проекта или концентратора Azure AI Studio

В этой статье вы узнаете, как настроить существующую конечную точку API без сервера в другом проекте или концентраторе, отличном от используемой для создания развертывания.

Внимание

Модели, которые находятся в предварительной версии, помечены как предварительный просмотр на своих карточках моделей в каталоге моделей.

Некоторые модели в каталоге моделей можно развернуть как бессерверные API. Такой тип развертывания позволяет использовать модели в качестве API без размещения их в подписке, сохраняя корпоративную безопасность и соответствие требованиям, необходимым организациям. Этот параметр развертывания не требует квоты из подписки.

Необходимость использовать конечную точку API без сервера в другом проекте или концентраторе, отличном от используемой для создания развертывания, может возникнуть в таких ситуациях, как следующие:

• Вы хотите централизировать развертывания в определенном проекте или центре и использовать их из разных проектов или центров в вашей организации.
• Необходимо развернуть модель в концентраторе в определенном регионе Azure, где доступно бессерверное развертывание для этой модели. Однако его необходимо использовать из другого региона, где бессерверное развертывание недоступно для конкретных моделей.

Необходимые компоненты

• Подписка Azure с допустимым методом оплаты. Бесплатные или пробные подписки Azure не будут работать. Если у вас нет подписки Azure, создайте платную учетную запись Azure, чтобы начать работу.

• Центр Azure AI Studio.

• Проект Azure AI Studio.

• Модель , развернутая в конечной точке API без сервера. В этой статье предполагается, что вы ранее развернули модель Meta-Llama-3-8B-Instruct . Сведения о развертывании этой модели в качестве бессерверного API см. в статье "Развертывание моделей как бессерверных API".

• Для работы с Azure AI Studio необходимо установить следующее программное обеспечение:

  AI Studio

  Вы можете использовать любой совместимый веб-браузер для навигации по Azure AI Studio.

  Azure CLI

  Azure CLI и расширение ml для Машинное обучение Azure.

  az extension add -n ml
  

  Если у вас уже установлено расширение, убедитесь, что установлена последняя версия.

  az extension update -n ml
  

  После установки расширения настройте его:

  az account set --subscription <subscription>
  az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
  

  Пакет SDK для Python

  Установите пакет SDK Машинное обучение Azure для Python.

  pip install -U azure-ai-ml
  

  После установки импортируйте необходимые пространства имен:

  from azure.ai.ml import MLClient
  from azure.identity import InteractiveBrowserCredential
  from azure.ai.ml.entities import ServerlessEndpoint, ServerlessConnection
  

Создание подключения конечной точки API без сервера

Выполните следующие действия, чтобы создать подключение:

1. Подключитесь к проекту или концентратору, где развернута конечная точка:

   AI Studio

   Перейдите в Azure AI Studio и перейдите к проекту, к которому будет развернута конечная точка, к которой требуется подключиться.

   Azure CLI

   Настройте интерфейс командной строки для указания проекта:

   az account set --subscription <subscription>
   az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
   

   Пакет SDK для Python

   Создайте клиент, подключенный к проекту:

   client = MLClient(
       credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
       subscription_id="<subscription-id>",
       resource_group_name="<resource-group>",
       workspace_name="<project-name>",
   )
   

2. Получите URL-адрес и учетные данные конечной точки, к которой вы хотите подключиться. В этом примере вы получите сведения о имени конечной точки meta-llama3-8b-qwerty.

   AI Studio

   1. В левой боковой панели проекта в AI Studio перейдите в раздел >"Компоненты", чтобы просмотреть список развертываний в проекте.

   2. Выберите развертывание, к которому нужно подключиться.

   3. Скопируйте значения для целевого URI и ключа.

   Azure CLI

   az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
   

   Пакет SDK для Python

   endpoint_name = "meta-llama3-8b-qwerty"
   endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
   print(endpoint_keys.primary_key)
   print(endpoint_keys.secondary_key)
   

3. Теперь подключитесь к проекту или концентратору , где необходимо создать подключение:

   AI Studio

   Перейдите в проект, в котором необходимо создать подключение.

   Azure CLI

   Настройте интерфейс командной строки для указания проекта:

   az account set --subscription <subscription>
   az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
   

   Пакет SDK для Python

   Создайте клиент, подключенный к проекту:

   client = MLClient(
       credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
       subscription_id="<subscription-id>",
       resource_group_name="<resource-group>",
       workspace_name="<project-name>",
   )
   

4. Создайте подключение в проекте:

   AI Studio

   1. В левой боковой панели проекта в AI Studio выберите "Параметры".

   2. В разделе "Подключенные ресурсы " выберите "Создать подключение".

   3. Выберите бессерверную модель.

   4. Для целевого URI вставьте скопированное ранее значение.

   5. Для ключа вставьте скопированное ранее значение.

   6. Присвойте соединению имя, в данном случае мета-лама3-8b-соединение.

   7. Выберите Добавить подключение.

   Azure CLI

   Создайте определение подключения:

   connection.yml

   name: meta-llama3-8b-connection
   type: serverless
   endpoint: https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com
   api_key: 1234567890qwertyuiop
   

   az ml connection create -f connection.yml
   

   Пакет SDK для Python

   client.connections.create_or_update(ServerlessConnection(
       name="meta-llama3-8b-connection",
       endpoint="https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com",
       api_key="1234567890qwertyuiop"
   ))
   

5. На этом этапе подключение доступно для потребления.

6. Чтобы убедиться, что подключение работает, выполните следующие действия.

   1. В левой боковой панели проекта в AI Studio перейдите к потоку "Подсказка инструментов>".

   2. Нажмите кнопку "Создать" , чтобы создать новый поток.

   3. Выберите "Создать" в поле потока чата.

   4. Присвойте потоку запроса имя и нажмите кнопку "Создать".

   5. Выберите узел чата из графа, чтобы перейти к разделу чата.

   6. Для подключения откройте раскрывающийся список, чтобы выбрать только что созданное соединение, в данном случае мета-ллома3-8b-соединение.

   7. Выберите "Пуск сеанса вычислений " на верхней панели навигации, чтобы запустить автоматическую среду выполнения потока запросов.

   8. Выберите параметр "Чат". Теперь вы можете отправлять сообщения и получать ответы.

Связанный контент

• Что такое Azure AI Studio?
• Статья с часто задаваемыми вопросами об ИИ Azure