Implantar modelos como APIs sem servidor

Importante

Alguns dos recursos descritos neste artigo podem estar disponíveis apenas na visualização. Essa visualização é fornecida sem um contrato de nível de serviço e não a recomendamos para cargas de trabalho de produção. Algumas funcionalidades poderão não ser suportadas ou poderão ter capacidades limitadas. Para obter mais informações, veja Termos Suplementares de Utilização para Pré-visualizações do Microsoft Azure.

Neste artigo, você aprenderá a implantar um modelo do catálogo de modelos como uma API sem servidor com faturamento baseado em token pré-pago.

Certos modelos no catálogo de modelos podem ser implantados como uma API sem servidor com faturamento pré-pago. Esse tipo de implantação fornece uma maneira de consumir modelos como uma API sem hospedá-los em sua assinatura, mantendo a segurança e a conformidade corporativas de que as organizações precisam. Essa opção de implantação não exige cota da sua assinatura.

Pré-requisitos

• Uma subscrição do Azure com um método de pagamento válido. As subscrições gratuitas ou de avaliação do Azure não funcionarão. Se você não tiver uma assinatura do Azure, crie uma conta paga do Azure para começar.

• Um hub do Azure AI Studio.

• Um projeto do Azure AI Studio.

• Os controles de acesso baseados em função do Azure (Azure RBAC) são usados para conceder acesso a operações no Azure AI Studio. Para executar as etapas neste artigo, sua conta de usuário deve receber a função de Desenvolvedor do Azure AI no grupo de recursos. Para obter mais informações sobre permissões, consulte Controle de acesso baseado em função no Azure AI Studio.

• Você precisa instalar o seguinte software para trabalhar com o Azure AI Studio:

  Estúdio AI

  Você pode usar qualquer navegador da Web compatível para navegar no Azure AI Studio.

  CLI do Azure

  A CLI do Azure e a extensão ml para o Azure Machine Learning.

  az extension add -n ml
  

  Se já tiver a extensão instalada, certifique-se de que a versão mais recente está instalada.

  az extension update -n ml
  

  Uma vez instalada a extensão, configure-a:

  az account set --subscription <subscription>
  az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
  

  Python SDK

  Instale o SDK do Azure Machine Learning para Python.

  pip install -U azure-ai-ml
  

  Uma vez instalado, importe os namespaces necessários e crie um cliente conectado ao seu projeto:

  from azure.ai.ml import MLClient
  from azure.identity import InteractiveBrowserCredential
  from azure.ai.ml.entities import MarketplaceSubscription, ServerlessEndpoint
  
  client = MLClient(
      credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
      subscription_id="<subscription-id>",
      resource_group_name="<resource-group>",
      workspace_name="<project-name>",
  )
  

  BRAÇO

  Você pode usar qualquer navegador da Web compatível para implantar modelos ARM no portal do Microsoft Azure ou usar qualquer uma das ferramentas de implantação. Este tutorial usa a CLI do Azure.

Subscreva o seu projeto na oferta modelo

Para modelos oferecidos por meio do Azure Marketplace, você pode implantá-los em pontos de extremidade de API sem servidor para consumir suas previsões. Se for a primeira vez que implementa o modelo no projeto, tem de subscrever o seu projeto para a oferta de modelo específica do Azure Marketplace. Cada projeto tem a sua própria subscrição para a oferta específica do Azure Marketplace do modelo, que lhe permite controlar e monitorizar os gastos.

Nota

Os modelos oferecidos por meio do Azure Marketplace estão disponíveis para implantação em pontos de extremidade de API sem servidor em regiões específicas. Verifique a disponibilidade de modelo e região para implantações de API sem servidor para verificar quais modelos e regiões estão disponíveis. Se o que você precisa não estiver listado, você poderá implantar em um espaço de trabalho em uma região suportada e, em seguida , consumir pontos de extremidade de API sem servidor de um espaço de trabalho diferente.

1. Entre no Azure AI Studio.

2. Verifique se sua conta tem as permissões da função Desenvolvedor do Azure AI no grupo de recursos ou se você atende às permissões necessárias para assinar ofertas de modelo.

3. Selecione Catálogo de modelos na barra lateral esquerda e localize o cartão de modelo do modelo que você deseja implantar. Neste artigo, você seleciona um modelo Meta-Llama-3-8B-Instruct .

   1. Se você estiver implantando o modelo usando a CLI do Azure, Python ou ARM, copie a ID do modelo.

      Importante

      Não inclua a versão ao copiar a ID do modelo. Os pontos de extremidade de API sem servidor sempre implantam a versão mais recente disponível do modelo. Por exemplo, para o ID azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct/versions/3do modelo , copie azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct.

   

4. Crie a assinatura do marketplace do modelo. Ao criar uma assinatura, você aceita os termos e condições associados à oferta modelo.

   Estúdio AI

   1. Na página Detalhes do modelo, selecione Implantar e, em seguida, selecione API sem servidor para abrir o assistente de implantação.

   2. Selecione o projeto no qual você deseja implantar seus modelos. Observe que nem todas as regiões são suportadas.

      

   3. Se vir a nota Já tem uma subscrição do Azure Marketplace para este projeto, não precisa de criar a subscrição, uma vez que já tem uma. Você pode prosseguir para Implantar o modelo em um ponto de extremidade de API sem servidor.

   4. No assistente de implantação, selecione o link para Termos do Azure Marketplace para saber mais sobre os termos de uso. Você também pode selecionar a guia Preços e termos para saber mais sobre os preços do modelo selecionado.

   5. Selecione Inscrever-se e Implantar.

   CLI do Azure

   subscription.yml

   name: meta-llama3-8b-qwerty
   model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct
   

   Use o arquivo anterior para criar a assinatura:

   az ml marketplace-subscription create -f subscription.yml
   

   Python SDK

   model_id="azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct"
   subscription_name="Meta-Llama-3-8B-Instruct"
   
   marketplace_subscription = MarketplaceSubscription(
       model_id=model_id,
       name=subscription_name,
   )
   
   marketplace_subscription = client.marketplace_subscriptions.begin_create_or_update(
       marketplace_subscription
   ).result()
   

   BRAÇO

   Use o seguinte modelo para criar uma assinatura de modelo:

   template.json

   {
       "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
       "contentVersion": "1.0.0.0",
       "parameters": {
           "project_name": {
               "defaultValue": "my-project",
               "type": "String"
           },
           "subscription_name": {
               "defaultValue": "Meta-Llama-3-8B-Instruct",
               "type": "String"
           },
           "model_id": {
               "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
               "type": "String"
           }
       },
       "variables": {},
       "resources": [
           {
               "type": "Microsoft.MachineLearningServices/workspaces/marketplaceSubscriptions",
               "apiVersion": "2024-04-01",
               "name": "[concat(parameters('project_name'), '/', parameters('subscription_name'))]",
               "location": "[parameters('location')]",
               "properties": {
                   "modelId": "[parameters('model_id')]"
               }
           }
       ]
   }
   

5. Depois de inscrever o projeto para a oferta específica do Azure Marketplace, as implantações subsequentes da mesma oferta no mesmo projeto não exigem assinatura novamente.

6. A qualquer momento, você pode ver as ofertas modelo às quais seu projeto está inscrito no momento:

   Estúdio AI

   1. Aceda ao portal do Azure.

   2. Navegue até o grupo de recursos ao qual o projeto pertence.

   3. No filtro Tipo, selecione SaaS.

   4. Você vê todas as ofertas às quais está inscrito no momento.

   5. Selecione qualquer recurso para ver os detalhes.

   CLI do Azure

   az ml marketplace-subscription list
   

   Python SDK

   marketplace_sub_list = client.marketplace_subscriptions.list()
   
   for sub in marketplace_sub_list:
       print(sub.as_dict())
   

   BRAÇO

   Você pode usar as ferramentas de gerenciamento de recursos para consultar os recursos. O código a seguir usa a CLI do Azure:

   az resource list \
       --query "[?type=='Microsoft.SaaS']"
   

Implantar o modelo em um ponto de extremidade de API sem servidor

Depois de criar a assinatura de um modelo, você pode implantar o modelo associado em um ponto de extremidade de API sem servidor. O ponto de extremidade da API sem servidor fornece uma maneira de consumir modelos como uma API sem hospedá-los em sua assinatura, mantendo a segurança corporativa e a conformidade de que as organizações precisam. Essa opção de implantação não exige cota da sua assinatura.

Neste artigo, você cria um ponto de extremidade com o nome meta-llama3-8b-qwerty.

1. Criar o ponto de extremidade sem servidor

   Estúdio AI

   1. No assistente anterior, selecione Implantar (se você acabou de inscrever o projeto na oferta de modelo na seção anterior) ou selecione Continuar a implantar (se o assistente de implantação tiver a observação Você já tem uma assinatura do Azure Marketplace para este projeto).

      

   2. Dê um nome à implantação. Esse nome se torna parte da URL da API de implantação. Essa URL deve ser exclusiva em cada região do Azure.

      

   3. Selecione Implementar. Aguarde até que a implantação esteja pronta e você seja redirecionado para a página Implantações.

   CLI do Azure

   endpoint.yml

   name: meta-llama3-8b-qwerty
   model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct
   

   Use o arquivo endpoint.yml para criar o ponto de extremidade:

   az ml serverless-endpoint create -f endpoint.yml
   

   Python SDK

   endpoint_name="meta-llama3-8b-qwerty"
   
   serverless_endpoint = ServerlessEndpoint(
       name=endpoint_name,
       model_id=model_id
   )
   
   created_endpoint = client.serverless_endpoints.begin_create_or_update(
       serverless_endpoint
   ).result()
   

   BRAÇO

   Use o seguinte modelo para criar um ponto de extremidade:

   template.json

   {
       "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
       "contentVersion": "1.0.0.0",
       "parameters": {
           "project_name": {
               "defaultValue": "my-project",
               "type": "String"
           },
           "endpoint_name": {
               "defaultValue": "meta-llama3-8b-qwerty",
               "type": "String"
           },
           "location": {
               "defaultValue": "eastus2",
               "type": "String"
           },
           "model_id": {
               "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
               "type": "String"
           }
       },
       "variables": {},
       "resources": [
           {
               "type": "Microsoft.MachineLearningServices/workspaces/serverlessEndpoints",
               "apiVersion": "2024-04-01",
               "name": "[concat(parameters('project_name'), '/', parameters('endpoint_name'))]",
               "location": "[parameters('location')]",
               "sku": {
                   "name": "Consumption"
               },
               "properties": {
                   "modelSettings": {
                       "modelId": "[parameters('model_id')]"
                   }
               }
           }
       ]
   }
   

   Em seguida, crie a implantação:

   az deployment group create \
       --name model-subscription-deployment \
       --resource-group <resource-group> \
       --template-file template.json
   

   O modelo de implantação do Azure pode levar alguns minutos para ser concluído. Quando terminar, você verá uma mensagem que inclui o resultado:

   "provisioningState": "Succeeded",
   

2. A qualquer momento, você pode ver os pontos de extremidade implantados em seu projeto:

   Estúdio AI

   1. Vá para o seu projeto.

   2. Selecione a seção Implantações

   3. Pontos de extremidade de API sem servidor são exibidos.

   CLI do Azure

   az ml serverless-endpoint list
   

   Python SDK

   endpoint_name="meta-llama3-8b-qwerty"
   
   serverless_endpoint = ServerlessEndpoint(
       name=endpoint_name,
       model_id=model_id
   )
   
   created_endpoint = client.serverless_endpoints.begin_create_or_update(
       serverless_endpoint
   ).result()
   

   BRAÇO

   Você pode usar as ferramentas de gerenciamento de recursos para consultar os recursos. O código a seguir usa a CLI do Azure:

   az resource list \
       --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"
   

3. O ponto de extremidade criado usa autenticação de chave para autorização. Use as etapas a seguir para obter as chaves associadas a um determinado ponto de extremidade.

   Estúdio AI

   Você pode retornar à página Implantações, selecionar a implantação e anotar o URI e a chave de destino do ponto de extremidade. Use-os para chamar a implantação e gerar previsões.

   Nota

   Ao usar o portal do Azure, os pontos de extremidade de API sem servidor não são exibidos por padrão no grupo de recursos. Use a opção Mostrar tipos ocultos para exibi-los no grupo de recursos.

   CLI do Azure

   az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
   

   Python SDK

   endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
   print(endpoint_keys.primary_key)
   print(endpoint_keys.secondary_key)
   

   BRAÇO

   Use APIs REST para consultar essas informações.

4. Neste ponto, seu endpoint está pronto para ser usado.

5. Se você precisar consumir essa implantação de um projeto ou hub diferente, ou se planeja usar o fluxo de prompt para criar aplicativos inteligentes, precisará criar uma conexão com a implantação de API sem servidor. Para saber como configurar um ponto de extremidade de API sem servidor existente em um novo projeto ou hub, consulte Consumir pontos de extremidade de API sem servidor implantados de um projeto diferente ou do fluxo de prompt.

   Gorjeta

   Se você estiver usando o fluxo de prompt no mesmo projeto ou hub em que a implantação foi implantada, ainda precisará criar a conexão.

Usando o ponto de extremidade da API sem servidor

Os modelos implantados no Azure Machine Learning e no estúdio de IA do Azure em pontos de extremidade de API sem servidor dão suporte à API de Inferência de Modelo de IA do Azure que expõe um conjunto comum de recursos para modelos fundamentais e que pode ser usada por desenvolvedores para consumir previsões de um conjunto diversificado de modelos de maneira uniforme e consistente.

Leia mais sobre os recursos dessa API e como você pode aproveitá-la ao criar aplicativos.

Excluir pontos de extremidade e assinaturas

Você pode excluir assinaturas de modelo e pontos de extremidade. A exclusão de uma assinatura de modelo faz com que qualquer ponto de extremidade associado se torne não íntegro e inutilizável.

Estúdio AI

Para excluir um ponto de extremidade de API sem servidor:

1. Vá para o Azure AI Studio.

2. Vá para Implantações de componentes>.

3. Abra a implantação que você deseja excluir.

4. Selecione Eliminar.

Para excluir a assinatura de modelo associada:

1. Aceda ao Portal do Azure

2. Navegue até o grupo de recursos ao qual o projeto pertence.

3. No filtro Tipo, selecione SaaS.

4. Selecione a subscrição que quer eliminar.

5. Selecione Eliminar.

CLI do Azure

Para excluir um ponto de extremidade de API sem servidor:

az ml serverless-endpoint delete \
    --name "meta-llama3-8b-qwerty"

Para excluir a assinatura de modelo associada:

az ml marketplace-subscription delete \
    --name "Meta-Llama-3-8B-Instruct"

Python SDK

Para excluir um ponto de extremidade de API sem servidor:

client.serverless_endpoints.begin_delete(endpoint_name).wait()

Para excluir a assinatura de modelo associada:

client.marketplace_subscriptions.begin_delete(subscription_name).wait()

BRAÇO

Você pode usar as ferramentas de gerenciamento de recursos para gerenciar os recursos. O código a seguir usa a CLI do Azure:

az resource delete --name <resource-name>

Considerações sobre custo e cota para modelos implantados como pontos de extremidade de API sem servidor

Os modelos implantados como pontos de extremidade de API sem servidor são oferecidos por meio do Azure Marketplace e integrados ao Azure AI Studio para uso. Você pode encontrar os preços do Azure Marketplace ao implantar ou ajustar os modelos.

Sempre que um projeto subscreve uma determinada oferta do Azure Marketplace, é criado um novo recurso para controlar os custos associados ao seu consumo. O mesmo recurso é usado para rastrear os custos associados à inferência e ao ajuste fino; no entanto, vários medidores estão disponíveis para rastrear cada cenário de forma independente.

Para obter mais informações sobre como controlar custos, consulte Monitorar custos para modelos oferecidos por meio do Azure Marketplace.

A cota é gerenciada por implantação. Cada implantação tem um limite de taxa de 200.000 tokens por minuto e 1.000 solicitações de API por minuto. No entanto, atualmente limitamos uma implantação por modelo e por projeto. Entre em contato com o Suporte do Microsoft Azure se os limites de taxa atuais não forem suficientes para seus cenários.

Permissões necessárias para subscrever ofertas de modelos

Os controles de acesso baseados em função do Azure (Azure RBAC) são usados para conceder acesso a operações no Azure AI Studio. Para executar as etapas neste artigo, sua conta de usuário deve receber a função de Proprietário, Colaborador ou Desenvolvedor do Azure AI para a assinatura do Azure. Em alternativa, pode ser atribuída à sua conta uma função personalizada com as seguintes permissões:

• Na subscrição do Azure — para subscrever o espaço de trabalho na oferta do Azure Marketplace, uma vez para cada espaço de trabalho, por oferta:

  • Microsoft.MarketplaceOrdering/agreements/offers/plans/read
  • Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
  • Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
  • Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
  • Microsoft.SaaS/register/action

• No grupo de recursos — para criar e utilizar o recurso SaaS:

  • Microsoft.SaaS/resources/read
  • Microsoft.SaaS/resources/write

• No espaço de trabalho — para implementar pontos finais (a função de cientista de dados do Azure Machine Learning já contém essas permissões):

  • Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
  • Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*

Para obter mais informações sobre permissões, consulte Controle de acesso baseado em função no Azure AI Studio.

Próximo passo

• Ajuste um modelo Meta Llama 2 no Azure AI Studio