Consumir pontos de extremidade de API sem servidor de um workspace diferente

Neste artigo, você aprenderá a configurar um ponto de extremidade de API sem servidor existente em um workspace diferente daquele onde foi implantado.

Alguns modelos no catálogo de modelos podem ser implantados como APIs sem servidor. Esse tipo de implantação oferece uma forma de consumir os modelos como uma API sem hospedá-los na sua assinatura, mantendo a segurança e a conformidade corporativa de que as organizações precisam. Essa opção de implantação não requer cota de sua assinatura.

A necessidade de consumir um ponto de extremidade de API sem servidor em um workspace diferente daquele usado para criar a implantação pode surgir em situações como:

• Você deseja centralizar suas implantações em um workspace específico e consumi-las a partir de diferentes espaços de trabalho em sua organização.
• Você precisa implantar um modelo em um workspace em uma região específica do Azure onde a implantação sem servidor para esse modelo esteja disponível. No entanto, você precisa consumi-lo de outra região, onde a implantação sem servidor não está disponível para os modelos em questão.

Pré-requisitos

• Uma assinatura do Azure com uma forma de pagamento válida. As assinaturas gratuitas ou de avaliação do Azure não funcionarão. Caso você não tenha uma assinatura do Azure, crie uma conta paga do Azure para começar.

• Um workspace do Azure Machine Learning onde você deseja consumir a implantação existente.

• Um modelo implantado em um ponto de extremidade de API sem servidor. Este artigo pressupõe que você já implantou o modelo Meta-Llama-3-8B-Instruct. Para saber como implantar esse modelo como uma API sem servidor, confira Implantar modelos como APIs sem servidor.

• Você precisa instalar o seguinte software para trabalhar com o Azure Machine Learning:

  Estúdio

  Você pode usar qualquer navegador compatível para acessar o Estúdio do Azure Machine Learning.

  CLI do Azure

  A CLI do Azure e a extensão ml do Azure Machine Learning.

  az extension add -n ml
  

  Caso já tenha instalado a extensão, verifique se a versão mais recente está instalada.

  az extension update -n ml
  

  Quando a extensão estiver instalada, configure-a:

  az account set --subscription <subscription>
  az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
  

  SDK do Python

  Instalar o SDK do Azure Machine Learning para Python.

  pip install -U azure-ai-ml
  

  Depois de instalada, importe os namespaces necessários:

  from azure.ai.ml import MLClient
  from azure.identity import InteractiveBrowserCredential
  from azure.ai.ml.entities import ServerlessEndpoint, ServerlessConnection
  

Criar uma conexão de ponto de extremidade de API sem servidor

Execute estas etapas para criar uma conexão:

1. Conecte-se ao workspace onde o ponto de extremidade está implantado:

   Estúdio

   Vá para o Estúdio do Azure Machine Learning e navegue até o workspace onde o ponto de extremidade que você deseja se conectar está implantado.

   CLI do Azure

   Configure a CLI para direcionar para o workspace:

   az account set --subscription <subscription>
   az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
   

   SDK do Python

   Crie um cliente conectado ao seu workspace:

   client = MLClient(
       credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
       subscription_id="<subscription-id>",
       resource_group_name="<resource-group>",
       workspace_name="<workspace-name>",
   )
   

2. Obtenha a URL do ponto de extremidade e as credenciais do ponto de extremidade ao qual você deseja se conectar. Neste exemplo, você obtém os detalhes de um nome de ponto de extremidade meta-llama3-8b-qwerty.

   Estúdio

   1. Selecione Pontos de extremidade na barra lateral esquerda.

   2. Selecione a guia Pontos de extremidade sem servidor para exibir os pontos de extremidade de API sem servidor.

   3. Selecione o ponto de extremidade que você deseja se conectar.

   4. Na guia Detalhes do ponto de extremidade, copie os valores para URI de Destino e Chave.

   CLI do Azure

   az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
   

   SDK do Python

   endpoint_name = "meta-llama3-8b-qwerty"
   endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
   print(endpoint_keys.primary_key)
   print(endpoint_keys.secondary_key)
   

3. Agora, conecte-se ao workspace onde você deseja criar a conexão e consumir o ponto de extremidade.

4. Crie a conexão no workspace:

   Estúdio

   1. Vá para o workspace onde a conexão precisa ser criada.

   2. Acesse a seção Gerenciar na barra de navegação à esquerda e selecione Conexões.

   3. Selecione Criar.

   4. Selecione Modelo sem servidor.

   5. Para o URI de Destino, cole o valor que você copiou anteriormente.

   6. Faça o mesmo para a Chave e cole o valor copiado.

   7. Dê um nome para a conexão, nesse caso, meta-llama3-8b-connection.

   8. Selecione Adicionar conexão.

   CLI do Azure

   Crie uma definição de conexão:

   connection.yml

   name: meta-llama3-8b-connection
   type: serverless
   endpoint: https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com
   api_key: 1234567890qwertyuiop
   

   az ml connection create -f connection.yml
   

   SDK do Python

   client.connections.create_or_update(ServerlessConnection(
       name="meta-llama3-8b-connection",
       endpoint="https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com",
       api_key="1234567890qwertyuiop"
   ))
   

5. Neste ponto, a conexão está pronta para consumo.

6. Para validar se a conexão está funcionando:

   1. Na barra de navegação à esquerda do Estúdio do Azure Machine Learning, vá para Autoria>Prompt flow.

   2. Selecione Criar para criar um novo fluxo.

   3. Selecione Criar na caixa Fluxo de chat.

   4. Dê um nome para o seu Prompt flow e selecione Criar.

   5. Selecione o nó chat no gráfico para acessar a seção chat.

   6. Em Conexão, abra a lista de seleção e selecione a conexão que você acabou de criar, nesse caso meta-llama3-8b-connection.

   7. Selecione Iniciar sessão de computação na barra de navegação superior para começar um runtime automático de prompt flow.

   8. Selecione a opção Chat. Agora você pode enviar mensagens e receber respostas.

Conteúdo relacionado

• Catálogo de modelos e coleções
• Implantar modelos como ponto de extremidade de API sem servidor