Consumir pontos de extremidade de API sem servidor de um projeto ou hub diferente do Estúdio de IA do Azure

Neste artigo, você aprenderá a configurar um ponto de extremidade de API sem servidor existente em um projeto ou hub diferente daquele que foi usado para criar a implantação.

Alguns modelos no catálogo de modelos podem ser implantados como APIs sem servidor. Esse tipo de implantação oferece uma forma de consumir os modelos como uma API sem hospedá-los na sua assinatura, mantendo a segurança e a conformidade corporativa de que as organizações precisam. Essa opção de implantação não requer cota de sua assinatura.

A necessidade de consumir um ponto de extremidade de API sem servidor em um projeto ou hub diferente daquele usado para criar a implantação pode surgir em situações como:

• Você deseja centralizar suas implantações em um determinado projeto ou hub e consumi-las a partir de diferentes projetos ou hubs em sua organização.
• Você precisa implantar um modelo em um hub em uma região específica do Azure onde a implantação sem servidor para esse modelo esteja disponível. No entanto, você precisa consumi-lo de outra região, onde a implantação sem servidor não está disponível para os modelos em questão.

Pré-requisitos

• Uma assinatura do Azure com uma forma de pagamento válida. As assinaturas gratuitas ou de avaliação do Azure não funcionarão. Caso você não tenha uma assinatura do Azure, crie uma conta paga do Azure para começar.

• Um hub do Estúdio de IA do Azure.

• Um projeto do Estúdio de IA do Azure.

• Um modelo implantado em um ponto de extremidade de API sem servidor. Este artigo pressupõe que você já implantou o modelo Meta-Llama-3-8B-Instruct. Para saber como implantar esse modelo como uma API sem servidor, confira Implantar modelos como APIs sem servidor.

• Você precisa instalar o seguinte software para trabalhar com o Estúdio de IA do Azure:

  Estúdio de IA

  Você pode usar qualquer navegador da Web compatível para navegar pelo Estúdio de IA do Azure.

  CLI do Azure

  A CLI do Azure e a extensão ml do Azure Machine Learning.

  az extension add -n ml
  

  Caso já tenha instalado a extensão, verifique se a versão mais recente está instalada.

  az extension update -n ml
  

  Quando a extensão estiver instalada, configure-a:

  az account set --subscription <subscription>
  az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
  

  SDK do Python

  Instalar o SDK do Azure Machine Learning para Python.

  pip install -U azure-ai-ml
  

  Depois de instalada, importe os namespaces necessários:

  from azure.ai.ml import MLClient
  from azure.identity import InteractiveBrowserCredential
  from azure.ai.ml.entities import ServerlessEndpoint, ServerlessConnection
  

Criar uma conexão de ponto de extremidade de API sem servidor

Execute estas etapas para criar uma conexão:

1. Conecte-se ao projeto ou hub em que o ponto de extremidade está implantado:

   Estúdio de IA

   Acesse o Estúdio de IA do Azure e navegue até o projeto no qual o ponto de extremidade ao qual você deseja se conectar está implantado.

   CLI do Azure

   Configure a CLI para apontar para o projeto:

   az account set --subscription <subscription>
   az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
   

   SDK do Python

   Crie um cliente conectado ao seu projeto:

   client = MLClient(
       credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
       subscription_id="<subscription-id>",
       resource_group_name="<resource-group>",
       workspace_name="<project-name>",
   )
   

2. Obtenha a URL do ponto de extremidade e as credenciais do ponto de extremidade ao qual você deseja se conectar. Neste exemplo, você obtém os detalhes de um nome de ponto de extremidade meta-llama3-8b-qwerty.

   Estúdio de IA

   1. Na barra lateral esquerda do seu projeto no Estúdio de IA, acesse Componentes>Implantações para ver a lista de implantações no projeto.

   2. Selecione a implantação à qual você deseja se conectar.

   3. Copie os valores para o URI de destino e a Chave.

   CLI do Azure

   az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
   

   SDK do Python

   endpoint_name = "meta-llama3-8b-qwerty"
   endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
   print(endpoint_keys.primary_key)
   print(endpoint_keys.secondary_key)
   

3. Agora, conecte-se ao projeto ou hub em que você deseja criar a conexão:

   Estúdio de IA

   Acesse o projeto para o qual a conexão precisa ser criada.

   CLI do Azure

   Configure a CLI para apontar para o projeto:

   az account set --subscription <subscription>
   az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
   

   SDK do Python

   Crie um cliente conectado ao seu projeto:

   client = MLClient(
       credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
       subscription_id="<subscription-id>",
       resource_group_name="<resource-group>",
       workspace_name="<project-name>",
   )
   

4. Crie a conexão no projeto:

   Estúdio de IA

   1. Na barra lateral esquerda do projeto no Estúdio de IA, selecione Configurações.

   2. Na seção Recursos conectados, selecione Nova conexão.

   3. Selecione Modelo sem servidor.

   4. Para o URI de Destino, cole o valor que você copiou anteriormente.

   5. Faça o mesmo para a Chave e cole o valor copiado.

   6. Dê um nome para a conexão, nesse caso, meta-llama3-8b-connection.

   7. Selecione Adicionar conexão.

   CLI do Azure

   Crie uma definição de conexão:

   connection.yml

   name: meta-llama3-8b-connection
   type: serverless
   endpoint: https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com
   api_key: 1234567890qwertyuiop
   

   az ml connection create -f connection.yml
   

   SDK do Python

   client.connections.create_or_update(ServerlessConnection(
       name="meta-llama3-8b-connection",
       endpoint="https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com",
       api_key="1234567890qwertyuiop"
   ))
   

5. Neste ponto, a conexão está pronta para consumo.

6. Para validar se a conexão está funcionando:

   1. Na barra lateral esquerda do projeto no Estúdio de IA, acesse Ferramentas>Prompt flow.

   2. Selecione Criar para criar um novo fluxo.

   3. Selecione Criar na caixa Fluxo de chat.

   4. Dê um nome para o seu Prompt flow e selecione Criar.

   5. Selecione o nó chat no gráfico para acessar a seção chat.

   6. Em Conexão, abra a lista de seleção e selecione a conexão que você acabou de criar, nesse caso meta-llama3-8b-connection.

   7. Selecione Iniciar sessão de computação na barra de navegação superior para começar um runtime automático de prompt flow.

   8. Selecione a opção Chat. Agora você pode enviar mensagens e receber respostas.

Conteúdo relacionado

• O que é o Estúdio de IA do Azure?
• Artigo de perguntas frequentes sobre IA do Azure