Implantar modelos como pontos de extremidade de API sem servidor

Artigo
05/21/2024

Neste artigo, você aprenderá a implantar um modelo do catálogo de modelos como uma API sem servidor com cobrança baseada em token pré-pago.

Certos modelos no catálogo de modelos podem ser implantados como uma API sem servidor com faturamento pré-pago. Esse tipo de implantação fornece uma maneira de consumir modelos como uma API sem hospedá-los em sua assinatura, mantendo a segurança e a conformidade corporativas de que as organizações precisam. Essa opção de implantação não exige cota da sua assinatura.

Pré-requisitos

Uma subscrição do Azure com um método de pagamento válido. As subscrições gratuitas ou de avaliação do Azure não funcionarão. Se você não tiver uma assinatura do Azure, crie uma conta paga do Azure para começar.
Um espaço de trabalho do Azure Machine Learning.
Os controlos de acesso baseado em funções (RBAC do Azure) são utilizados para conceder acesso às operações no Azure Machine Learning. Para executar as etapas neste artigo, sua conta de usuário deve receber a função de Desenvolvedor do Azure AI no grupo de recursos. Para obter mais informações sobre permissões, consulte Controle de acesso baseado em função no Azure Machine Learning.
Você precisa instalar o seguinte software para trabalhar com o Azure Machine Learning:
Você pode usar qualquer navegador da Web compatível para navegar no Azure Machine Learning.
A CLI do Azure e a extensão ml para o Azure Machine Learning.
```
az extension add -n ml
```
Se já tiver a extensão instalada, certifique-se de que a versão mais recente está instalada.
```
az extension update -n ml
```
Uma vez instalada a extensão, configure-a:
```
az account set --subscription <subscription>
az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
```
Instale o SDK do Azure Machine Learning para Python.
```
pip install -U azure-ai-ml
```
Uma vez instalado, importe os namespaces necessários e crie um cliente conectado ao seu espaço de trabalho:
```
from azure.ai.ml import MLClient
from azure.identity import InteractiveBrowserCredential
from azure.ai.ml.entities import MarketplaceSubscription, ServerlessEndpoint

client = MLClient(
    credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
    subscription_id="<subscription-id>",
    resource_group_name="<resource-group>",
    workspace_name="<workspace-name>",
)
```
Você pode usar qualquer navegador da Web compatível para implantar modelos ARM no portal do Microsoft Azure ou usando qualquer uma das ferramentas de implantação. Este tutorial usa a CLI do Azure.

Para modelos oferecidos por meio do Azure Marketplace, você pode implantá-los em pontos de extremidade de API sem servidor para consumir suas previsões. Se for a primeira vez que implementa o modelo na área de trabalho, tem de subscrever a sua área de trabalho para a oferta de modelo específica do Azure Marketplace. Cada espaço de trabalho tem sua própria assinatura para a oferta específica do Azure Marketplace do modelo, que permite controlar e monitorar os gastos.

Nota

Os modelos oferecidos por meio do Azure Marketplace estão disponíveis para implantação em pontos de extremidade de API sem servidor em regiões específicas. Verifique a disponibilidade de região para modelos em pontos de extremidade de API sem servidor para verificar quais regiões estão disponíveis. Se o que você precisa não estiver listado, você poderá implantar em um espaço de trabalho em uma região suportada e, em seguida , consumir pontos de extremidade de API sem servidor de um espaço de trabalho diferente.

Entrar no estúdio do Azure Machine Learning
Verifique se sua conta tem as permissões da função Desenvolvedor do Azure AI no grupo de recursos ou se você atende às permissões necessárias para assinar ofertas de modelo.
Vá para a área de trabalho.
Selecione Catálogo de modelos na barra lateral esquerda e localize o cartão de modelo do modelo que você deseja implantar. Neste artigo, você seleciona um modelo Meta-Llama-3-8B-Instruct .
1. Se você estiver implantando o modelo usando a CLI do Azure, Python SDK ou ARM, copie a ID do modelo.
Importante

Não inclua a versão ao copiar a ID do modelo. Os pontos de extremidade de API sem servidor sempre implantam a versão mais recente disponível do modelo. Por exemplo, para o ID azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct/versions/3do modelo , copie azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct.

Crie a assinatura do marketplace do modelo. Ao criar uma assinatura, você aceita os termos e condições associados à oferta modelo.

Na página Detalhes do modelo, selecione Implantar e, em seguida, selecione API sem servidor para abrir o assistente de implantação.
Marque a caixa de seleção para confirmar a política de compra da Microsoft.
Se vir a nota Já tem uma subscrição do Azure Marketplace para esta área de trabalho, não precisa de criar a subscrição, uma vez que já tem uma. Você pode prosseguir para Implantar o modelo em um ponto de extremidade de API sem servidor.
No assistente de implantação, selecione o link para Termos do Azure Marketplace para saber mais sobre os termos de uso. Você também pode selecionar a guia Preços e termos para saber mais sobre os preços do modelo selecionado.
No assistente de implantação, selecione o link para os Termos do Azure Marketplace para saber mais sobre os termos de uso. Você também pode selecionar a guia Detalhes da oferta do Marketplace para saber mais sobre os preços do modelo selecionado.
Selecione Inscrever-se e Implantar.

subscription.yml

name: meta-llama3-8b-qwerty
model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct

Use o arquivo subscription.yml para criar a assinatura:

az ml marketplace-subscription create -f subscription.yml

model_id="azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct"
subscription_name="Meta-Llama-3-8B-Instruct"

marketplace_subscription = MarketplaceSubscription(
    model_id=model_id,
    name=subscription_name,
)

marketplace_subscription = client.marketplace_subscriptions.begin_create_or_update(
    marketplace_subscription
).result()

Use o seguinte modelo para criar uma assinatura de modelo:

template.json

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "workspace_name": {
            "defaultValue": "my-workspace",
            "type": "String"
        },
        "subscription_name": {
            "defaultValue": "Meta-Llama-3-8B-Instruct",
            "type": "String"
        },
        "model_id": {
            "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
            "type": "String"
        }
    },
    "variables": {},
    "resources": [
        {
            "type": "Microsoft.MachineLearningServices/workspaces/marketplaceSubscriptions",
            "apiVersion": "2024-04-01",
            "name": "[concat(parameters('workspace_name'), '/', parameters('subscription_name'))]",
            "location": "[parameters('location')]",
            "properties": {
                "modelId": "[parameters('model_id')]"
            }
        }
    ]
}

Depois de inscrever o espaço de trabalho para a oferta específica do Azure Marketplace, as implantações subsequentes da mesma oferta no mesmo espaço de trabalho não exigem assinatura novamente.
A qualquer momento, você pode ver as ofertas de modelo às quais seu espaço de trabalho está inscrito no momento:
1. Aceda ao Portal do Azure
2. Navegue até o grupo de recursos ao qual o espaço de trabalho pertence.
3. No filtro Tipo, selecione SaaS.
4. Você vê todas as ofertas às quais está inscrito no momento.
5. Selecione qualquer recurso para ver os detalhes.
```
az ml marketplace-subscription list
```
```
marketplace_sub_list = client.marketplace_subscriptions.list()

for sub in marketplace_sub_list:
    print(sub.as_dict())
```
Você pode usar as ferramentas de gerenciamento de recursos para consultar os recursos. O código a seguir usa a CLI do Azure:
```
az resource list \
    --query "[?type=='Microsoft.SaaS']"
```

Implantar o modelo em um ponto de extremidade de API sem servidor

Depois de criar a assinatura de um modelo, você pode implantar o modelo associado em um ponto de extremidade de API sem servidor. O ponto de extremidade da API sem servidor fornece uma maneira de consumir modelos como uma API sem hospedá-los em sua assinatura, mantendo a segurança corporativa e a conformidade de que as organizações precisam. Essa opção de implantação não exige cota da sua assinatura.

Neste artigo, você cria um ponto de extremidade com o nome meta-llama3-8b-qwerty.

Criar o ponto de extremidade sem servidor

No assistente anterior, selecione Implantar (se você acabou de inscrever o espaço de trabalho na oferta de modelo na seção anterior) ou selecione Continuar a implantar (se o assistente de implantação tiver a observação Você já tem uma assinatura do Azure Marketplace para este espaço de trabalho).
Dê um nome à implantação. Esse nome se torna parte da URL da API de implantação. Essa URL deve ser exclusiva em cada região do Azure.
Selecione Implementar. Aguarde até que a implantação esteja pronta e você seja redirecionado para a página Implantações.

endpoint.yml

name: meta-llama3-8b-qwerty
model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct

Use o arquivo endpoint.yml para criar o ponto de extremidade:

az ml serverless-endpoint create -f endpoint.yml

endpoint_name="meta-llama3-8b-qwerty"

serverless_endpoint = ServerlessEndpoint(
    name=endpoint_name,
    model_id=model_id
)

created_endpoint = client.serverless_endpoints.begin_create_or_update(
    serverless_endpoint
).result()

Use o seguinte modelo para criar um ponto de extremidade:

template.json

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "workspace_name": {
            "defaultValue": "my-workspace",
            "type": "String"
        },
        "endpoint_name": {
            "defaultValue": "meta-llama3-8b-qwerty",
            "type": "String"
        },
        "location": {
            "defaultValue": "eastus2",
            "type": "String"
        },
        "model_id": {
            "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
            "type": "String"
        }
    },
    "variables": {},
    "resources": [
        {
            "type": "Microsoft.MachineLearningServices/workspaces/serverlessEndpoints",
            "apiVersion": "2024-04-01",
            "name": "[concat(parameters('workspace_name'), '/', parameters('endpoint_name'))]",
            "location": "[parameters('location')]",
            "sku": {
                "name": "Consumption"
            },
            "properties": {
                "modelSettings": {
                    "modelId": "[parameters('model_id')]"
                }
            }
        }
    ]
}

Em seguida, crie a implantação:

az deployment group create \
    --name model-subscription-deployment \
    --resource-group <resource-group> \
    --template-file template.json

O modelo de implantação do Azure pode levar alguns minutos para ser concluído. Quando terminar, você verá uma mensagem que inclui o resultado:

"provisioningState": "Succeeded",

A qualquer momento, você pode ver os pontos de extremidade implantados em seu espaço de trabalho:
1. Vá para a área de trabalho.
2. Selecione Pontos finais.
3. Selecione a guia Pontos de extremidade sem servidor para exibir os pontos de extremidade da API sem servidor.
```
az ml serverless-endpoint list
```
```
endpoint_name="meta-llama3-8b-qwerty"

serverless_endpoint = ServerlessEndpoint(
    name=endpoint_name,
    model_id=model_id
)

created_endpoint = client.serverless_endpoints.begin_create_or_update(
    serverless_endpoint
).result()
```
Você pode usar as ferramentas de gerenciamento de recursos para consultar os recursos. O código a seguir usa a CLI do Azure:
```
az resource list \
    --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"
```
O ponto de extremidade criado usa autenticação de chave para autorização. Use as etapas a seguir para obter as chaves associadas a um determinado ponto de extremidade.
1. Para retornar à página da implantação, selecione o nome do ponto de extremidade na lista de pontos de extremidade sem servidor.
2. Observe o URI e a chave de destino do ponto de extremidade. Use-os para chamar a implantação e gerar previsões.
Nota

Ao usar o portal do Azure, os pontos de extremidade de API sem servidor não são exibidos por padrão no grupo de recursos. Use a opção Mostrar tipos ocultos para exibi-los no grupo de recursos.
```
az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
```
```
endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
print(endpoint_keys.primary_key)
print(endpoint_keys.secondary_key)
```
Use APIs REST para consultar essas informações.
Neste ponto, seu endpoint está pronto para ser usado.
Se você precisar consumir essa implantação de um espaço de trabalho diferente ou planeja usar o fluxo de prompt para criar aplicativos inteligentes, precisará criar uma conexão com a implantação de API sem servidor. Para saber como configurar um ponto de extremidade de API sem servidor existente em um novo projeto ou hub, consulte Consumir pontos de extremidade de API sem servidor implantados de um espaço de trabalho diferente ou do fluxo de prompt.

Gorjeta

Se você estiver usando o fluxo de prompt no mesmo espaço de trabalho em que a implantação foi implantada, ainda precisará criar a conexão.

Usando o ponto de extremidade da API sem servidor

Os modelos implantados no Azure Machine Learning e no estúdio de IA do Azure em pontos de extremidade de API sem servidor dão suporte à API de Inferência de Modelo de IA do Azure que expõe um conjunto comum de recursos para modelos fundamentais e que pode ser usada por desenvolvedores para consumir previsões de um conjunto diversificado de modelos de maneira uniforme e consistente.

Leia mais sobre os recursos dessa API e como você pode aproveitá-la ao criar aplicativos.

Excluir pontos de extremidade e assinaturas

Você pode excluir assinaturas de modelo e pontos de extremidade. A exclusão de uma assinatura de modelo faz com que qualquer ponto de extremidade associado se torne não íntegro e inutilizável.

Para excluir um ponto de extremidade de API sem servidor:

Vá para o estúdio do Azure Machine Learning.
Selecione Pontos de extremidade na barra lateral esquerda.
Selecione a guia Pontos de extremidade sem servidor para exibir os pontos de extremidade da API sem servidor.
Abra o ponto de extremidade que você deseja excluir.
Selecione Eliminar.

Para excluir a assinatura de modelo associada:

Aceda ao Portal do Azure
Navegue até o grupo de recursos ao qual o espaço de trabalho pertence.
No filtro Tipo, selecione SaaS.
Selecione a subscrição que quer eliminar.
Selecione Eliminar.

Para excluir um ponto de extremidade de API sem servidor:

az ml serverless-endpoint delete \
    --name "meta-llama3-8b-qwerty"

Para excluir a assinatura de modelo associada:

az ml marketplace-subscription delete \
    --name "Meta-Llama-3-8B-Instruct"

Para excluir um ponto de extremidade de API sem servidor:

client.serverless_endpoints.begin_delete(endpoint_name).wait()

Para excluir a assinatura de modelo associada:

client.marketplace_subscriptions.begin_delete(subscription_name).wait()

Você pode usar as ferramentas de gerenciamento de recursos para gerenciar os recursos. O código a seguir usa a CLI do Azure:

az resource delete --name <resource-name>

Considerações sobre custo e cota para modelos implantados como pontos de extremidade de API sem servidor

Os modelos implantados como um ponto de extremidade de API sem servidor são oferecidos por meio do Azure Marketplace e integrados ao Azure Machine Learning para uso. Você pode encontrar os preços do Azure Marketplace ao implantar ou ajustar os modelos.

Sempre que uma área de trabalho subscreve uma determinada oferta do Azure Marketplace, é criado um novo recurso para controlar os custos associados ao seu consumo. O mesmo recurso é usado para rastrear os custos associados à inferência e ao ajuste fino; no entanto, vários medidores estão disponíveis para rastrear cada cenário de forma independente.

Para obter mais informações sobre como controlar custos, consulte Monitorar custos para modelos oferecidos por meio do Azure Marketplace.

A cota é gerenciada por implantação. Cada implantação tem um limite de taxa de 200.000 tokens por minuto e 1.000 solicitações de API por minuto. No entanto, atualmente limitamos uma implantação por modelo por espaço de trabalho. Entre em contato com o Suporte do Microsoft Azure se os limites de taxa atuais não forem suficientes para seus cenários.

Os controlos de acesso baseado em funções (RBAC do Azure) são utilizados para conceder acesso às operações no Azure Machine Learning. Para executar as etapas neste artigo, sua conta de usuário deve receber a função de Proprietário, Colaborador ou Desenvolvedor do Azure AI para a assinatura do Azure. Em alternativa, pode ser atribuída à sua conta uma função personalizada com as seguintes permissões:

Na subscrição do Azure — para subscrever o espaço de trabalho na oferta do Azure Marketplace, uma vez para cada espaço de trabalho, por oferta:
- Microsoft.MarketplaceOrdering/agreements/offers/plans/read
- Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
- Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
- Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
- Microsoft.SaaS/register/action
No grupo de recursos — para criar e utilizar o recurso SaaS:
- Microsoft.SaaS/resources/read
- Microsoft.SaaS/resources/write
No espaço de trabalho — para implementar pontos finais (a função de cientista de dados do Azure Machine Learning já contém essas permissões):
- Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
- Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*

Para obter mais informações sobre permissões, consulte Gerir o acesso a um espaço de trabalho do Azure Machine Learning.

Partilhar via

Implantar modelos como pontos de extremidade de API sem servidor

Pré-requisitos

Implantar o modelo em um ponto de extremidade de API sem servidor

Usando o ponto de extremidade da API sem servidor

Excluir pontos de extremidade e assinaturas

Considerações sobre custo e cota para modelos implantados como pontos de extremidade de API sem servidor

Comentários

Comentários

Recursos adicionais

Partilhar via

Implantar modelos como pontos de extremidade de API sem servidor

Pré-requisitos

Inscreva seu espaço de trabalho na oferta de modelo

Implantar o modelo em um ponto de extremidade de API sem servidor

Usando o ponto de extremidade da API sem servidor

Excluir pontos de extremidade e assinaturas

Considerações sobre custo e cota para modelos implantados como pontos de extremidade de API sem servidor

Permissões necessárias para subscrever ofertas de modelos

Conteúdos relacionados

Comentários

Comentários

Recursos adicionais