Distribuire modelli come endpoint API serverless

Articolo
05/21/2024

Questo articolo illustra come distribuire un modello dal catalogo modelli come API serverless con fatturazione basata su token con pagamento in base al consumo.

Alcuni modelli nel catalogo modelli possono essere distribuiti come API serverless con la fatturazione di pagamenti in base al consumo. Questo tipo di distribuzione consente di usare i modelli come le API senza ospitarli nella sottoscrizione, mantenendo al contempo la sicurezza e la conformità aziendali necessarie alle organizzazioni. Questa opzione di distribuzione non richiede la quota dalla sottoscrizione.

Prerequisiti

Una sottoscrizione di Azure con un metodo di pagamento valido. Le sottoscrizioni di Azure gratuite o di valutazione non funzioneranno. Se non si dispone di una sottoscrizione di Azure, è possibile creare un account Azure gratuito per iniziare.
Un'area di lavoro di Azure Machine Learning.
I controlli degli accessi in base al ruolo di Azure vengono usati per concedere l'accesso alle operazioni in Azure Machine Learning. Per eseguire la procedura descritta in questo articolo, all'account utente deve essere assegnato il ruolo di sviluppatore di Azure per intelligenza artificiale nel gruppo di risorse. Per ulteriori informazioni sulle autorizzazioni, vedere Controllo degli accessi in base al ruolo in Azure Machine Learning.
Per usare Azure Machine Learning, è necessario installare il software seguente:
È possibile usare qualsiasi Web browser compatibile per esplorare Azure Machine Learning.
L’interfaccia della riga di comando di Azure e l’estensione ml per Azure Machine Learning.
```
az extension add -n ml
```
Se l'estensione è già installata, assicurarsi di disporre della versione più recente.
```
az extension update -n ml
```
Dopo aver installato l'estensione, configurarla:
```
az account set --subscription <subscription>
az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
```
Installare l'SDK di Azure Machine Learning per Python.
```
pip install -U azure-ai-ml
```
Una volta completata l'installazione, importare gli spazi dei nomi necessari e creare un client connesso all'area di lavoro:
```
from azure.ai.ml import MLClient
from azure.identity import InteractiveBrowserCredential
from azure.ai.ml.entities import MarketplaceSubscription, ServerlessEndpoint

client = MLClient(
    credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
    subscription_id="<subscription-id>",
    resource_group_name="<resource-group>",
    workspace_name="<workspace-name>",
)
```
È possibile usare qualsiasi Web browser compatibile per distribuire modelli di ARM nel portale di Microsoft Azure o usare uno degli strumenti di distribuzione. Questa esercitazione usa l'interfaccia della riga di comando di Azure.

I modelli offerti tramite Azure Marketplace possono essere distribuiti in endpoint API serverless per utilizzarne le stime. Se si sta distribuendo il modello nell'area di lavoro per la prima volta, sarà necessario sottoscrivere l'area di lavoro all'offerta di modello specifica da Azure Marketplace. Ogni spazio di lavoro ha una propria sottoscrizione all'offerta del modello di Azure Marketplace, che consente di controllare e monitorare le spese.

Nota

I modelli offerti tramite Azure Marketplace sono disponibili per la distribuzione in endpoint API serverless in aree specifiche. Controllare la Disponibilità aree per i modelli in endpoint API serverless per verificare quali aree siano disponibili. Se quella desiderata non compare nell’elenco, è possibile eseguire la distribuzione in un'area di lavoro in un'area supportata e quindi utilizzare endpoint API serverless da un'area di lavoro diversa.

Accedere ad Azure Machine Learning Studio
Assicurarsi che l'account disponga delle autorizzazioni del ruolo Sviluppatore di Azure per intelligenza artificiale per il gruppo di risorse o che si disponga delle autorizzazioni necessarie per sottoscrivere a offerte di modello.
Passa all'area di lavoro.
Selezionare Catalogo modelli nella barra laterale sinistra e trovare la scheda modello del modello che si vuole distribuire. In questo articolo, si selezionerà un modello Meta-Llama-3-8B-Instruct.
1. Se si sta distribuendo il modello usando l'interfaccia della riga di comando di Azure, Python SDK o ARM, copiare l'ID modello.
Importante

Nella copia dell'ID modello, non includere la versione. Gli endpoint API serverless distribuiscono sempre la versione più recente del modello disponibile. Ad esempio, per l'ID modello azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct/versions/3, copiare azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct.

Creare la sottoscrizione al marketplace del modello. Nel creare una sottoscrizione, si accettano i termini e le condizioni associati all'offerta del modello.

Nella pagina Dettagli modello, selezionare Distribuisci e quindi API serverless per aprire la distribuzione guidata.
Selezionare la casella di controllo per accettare i criteri di acquisto Microsoft.
Se viene visualizzata la nota Si dispone già di una sottoscrizione di Azure Marketplace per questa area di lavoro, non è necessario creare la sottoscrizione perché ne è già disponibile una. È possibile proseguire a Distribuire il modello in un endpoint API serverless.
Nella distribuzione guidata selezionare il collegamento a Condizioni di Azure Marketplace per altre informazioni sulle condizioni per l'utilizzo. È anche possibile selezionare la scheda Prezzi e termini per informazioni sui prezzi per il modello selezionato.
Nella distribuzione guidata selezionare il collegamento a Condizioni di Azure Marketplace per altre informazioni sulle condizioni per l'utilizzo. È anche possibile selezionare la scheda Dettagli sull'offerta in Marketplace per informazioni sui prezzi per il modello selezionato.
Selezionare Sottoscrivi e distribuisci.

subscription.yml

name: meta-llama3-8b-qwerty
model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct

Usare il file subscription.yml per creare la sottoscrizione:

az ml marketplace-subscription create -f subscription.yml

model_id="azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct"
subscription_name="Meta-Llama-3-8B-Instruct"

marketplace_subscription = MarketplaceSubscription(
    model_id=model_id,
    name=subscription_name,
)

marketplace_subscription = client.marketplace_subscriptions.begin_create_or_update(
    marketplace_subscription
).result()

Usare il modello seguente per creare una sottoscrizione del modello:

template.json

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "workspace_name": {
            "defaultValue": "my-workspace",
            "type": "String"
        },
        "subscription_name": {
            "defaultValue": "Meta-Llama-3-8B-Instruct",
            "type": "String"
        },
        "model_id": {
            "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
            "type": "String"
        }
    },
    "variables": {},
    "resources": [
        {
            "type": "Microsoft.MachineLearningServices/workspaces/marketplaceSubscriptions",
            "apiVersion": "2024-04-01",
            "name": "[concat(parameters('workspace_name'), '/', parameters('subscription_name'))]",
            "location": "[parameters('location')]",
            "properties": {
                "modelId": "[parameters('model_id')]"
            }
        }
    ]
}

Dopo la registrazione dell’area di lavoro a una determinata offerta di Azure Marketplace, le distribuzioni successive della stessa offerta nello stesso progetto non richiedono una nuova sottoscrizione.
È possibile visualizzare in qualsiasi momento le offerte del modello a cui l'area di lavoro è attualmente sottoscritta:
1. Accedere al portale di Azure
2. Passare al gruppo di risorse a cui appartiene l'area di lavoro.
3. Nel filtro Tipo, selezionare SaaS.
4. Verranno visualizzate tutte le offerte a cui si è attualmente sottoscritti.
5. Selezionare una risorsa per visualizzarne i dettagli.
```
az ml marketplace-subscription list
```
```
marketplace_sub_list = client.marketplace_subscriptions.list()

for sub in marketplace_sub_list:
    print(sub.as_dict())
```
È possibile usare gli strumenti di gestione risorse per eseguire query sulle risorse. Il seguente codice usa l'interfaccia della riga di comando di Azure:
```
az resource list \
    --query "[?type=='Microsoft.SaaS']"
```

Distribuire il modello in un endpoint API serverless

Dopo aver creato una sottoscrizione a un modello, è possibile distribuire il modello associato a un endpoint API serverless. L'endpoint API serverless consente di utilizzare modelli come API senza ospitarli nella sottoscrizione, mantenendo al tempo stesso la sicurezza e la conformità aziendali necessarie alle organizzazioni. Questa opzione di distribuzione non richiede la quota dalla sottoscrizione.

In questo articolo viene creato un endpoint denominato meta-llama3-8b-qwerty.

Creare l'endpoint serverless

Nella procedura guidata precedente, selezionare Distribuisci (se l'area di lavoro è stata appena sottoscritta all'offerta di modello nella sezione precedente) oppure Continua la distribuzione (se la procedura guidata di distribuzione ha comunicato Si ha già una sottoscrizione di Azure Marketplace per questa area di lavoro).
Assegnare un nome alla distribuzione. Questo nome diventa parte dell'URL dell'API di distribuzione. Questo URL deve essere univoco in ogni area di Azure.
Seleziona Distribuisci. Attendere che la distribuzione sia pronta e che si venga reindirizzati alla pagina Distribuzioni.

endpoint.yml

name: meta-llama3-8b-qwerty
model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct

Usare il file endpoint.yml per creare l'endpoint:

az ml serverless-endpoint create -f endpoint.yml

endpoint_name="meta-llama3-8b-qwerty"

serverless_endpoint = ServerlessEndpoint(
    name=endpoint_name,
    model_id=model_id
)

created_endpoint = client.serverless_endpoints.begin_create_or_update(
    serverless_endpoint
).result()

Usare il modello seguente per creare un endpoint:

template.json

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "workspace_name": {
            "defaultValue": "my-workspace",
            "type": "String"
        },
        "endpoint_name": {
            "defaultValue": "meta-llama3-8b-qwerty",
            "type": "String"
        },
        "location": {
            "defaultValue": "eastus2",
            "type": "String"
        },
        "model_id": {
            "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
            "type": "String"
        }
    },
    "variables": {},
    "resources": [
        {
            "type": "Microsoft.MachineLearningServices/workspaces/serverlessEndpoints",
            "apiVersion": "2024-04-01",
            "name": "[concat(parameters('workspace_name'), '/', parameters('endpoint_name'))]",
            "location": "[parameters('location')]",
            "sku": {
                "name": "Consumption"
            },
            "properties": {
                "modelSettings": {
                    "modelId": "[parameters('model_id')]"
                }
            }
        }
    ]
}

Quindi, creare la distribuzione:

az deployment group create \
    --name model-subscription-deployment \
    --resource-group <resource-group> \
    --template-file template.json

Il completamento del modello di distribuzione di Azure può richiedere alcuni minuti. Al termine, viene visualizzato un messaggio che include il risultato:

"provisioningState": "Succeeded",

È possibile visualizzare gli endpoint distribuiti nell'area di lavoro in qualsiasi momento:
1. Passa all'area di lavoro.
2. Seleziona Endpoint.
3. Selezionare la scheda Endpoint serverless per visualizzare gli endpoint API serverless.
```
az ml serverless-endpoint list
```
```
endpoint_name="meta-llama3-8b-qwerty"

serverless_endpoint = ServerlessEndpoint(
    name=endpoint_name,
    model_id=model_id
)

created_endpoint = client.serverless_endpoints.begin_create_or_update(
    serverless_endpoint
).result()
```
È possibile usare gli strumenti di gestione risorse per eseguire query sulle risorse. Il seguente codice usa l'interfaccia della riga di comando di Azure:
```
az resource list \
    --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"
```
L'endpoint creato usa l'autenticazione con chiave per l'autorizzazione. Usare la procedura seguente per ottenere le chiavi associate a un determinato endpoint.
1. Per tornare alla pagina della distribuzione, selezionare il nome dell'endpoint dall'elenco di endpoint serverless.
2. Prendere nota dell'URI di destinazione e della Chiave dell’endpoint. Usarli per chiamare la distribuzione e generare stime.
Nota

Quando si usa il portale di Azure, gli endpoint API serverless non vengono visualizzati per impostazione predefinita nel gruppo di risorse. Usare l'opzione Mostra tipi nascosti per visualizzarli nel gruppo di risorse.
```
az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
```
```
endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
print(endpoint_keys.primary_key)
print(endpoint_keys.secondary_key)
```
Usare le API REST per eseguire query su queste informazioni.
A questo punto, l'endpoint è pronto per l’uso.
Se si ha bisogno di utilizzare questa distribuzione da un'altra area di lavoro o si prevede di usare il flusso prompt per creare applicazioni intelligenti, è necessario creare una connessione alla distribuzione dell'API serverless. Per informazioni su come configurare un endpoint API serverless esistente in un nuovo progetto o hub, vedere Utilizzare endpoint API serverless distribuiti da un'altra area di lavoro o dal Prompt flow.

Suggerimento

Se si usa il prompt flow nella stessa area di lavoro in cui è stata distribuita la distribuzione, sarà comunque necessario creare la connessione.

Uso dell'endpoint API serverless

I modelli distribuiti in Azure Machine Learning e Studio AI della piattaforma Azure in endpoint API serverless supportano l'API di inferenza del modello di intelligenza artificiale di Azure, che presenta un set comune di funzionalità per i modelli di base e che può essere usata dagli sviluppatori per utilizzare stime da un set diversificato di modelli in modo uniforme e coerente.

Ulteriori informazioni sulle funzionalità di questa API e su come sfruttarla durante la compilazione di applicazioni.

Eliminare endpoint e sottoscrizioni

È possibile eliminare sottoscrizioni ed endpoint del modello. L'eliminazione di una sottoscrizione modello rende qualsiasi endpoint associato Non integro e inutilizzabile.

Per eliminare un endpoint API serverless:

Passare ad Azure Machine Learning Studio.
Selezionare Endpoint nella barra laterale sinistra.
Selezionare la scheda Endpoint serverless per visualizzare gli endpoint API serverless.
Aprire l'endpoint da eliminare.
Selezionare Elimina.

Per eliminare la sottoscrizione modello associata:

Accedere al portale di Azure
Passare al gruppo di risorse a cui appartiene l'area di lavoro.
Nel filtro Tipo, selezionare SaaS.
Selezionare la sottoscrizione da eliminare.
Selezionare Elimina.

Per eliminare un endpoint API serverless:

az ml serverless-endpoint delete \
    --name "meta-llama3-8b-qwerty"

Per eliminare la sottoscrizione modello associata:

az ml marketplace-subscription delete \
    --name "Meta-Llama-3-8B-Instruct"

Per eliminare un endpoint API serverless:

client.serverless_endpoints.begin_delete(endpoint_name).wait()

Per eliminare la sottoscrizione modello associata:

client.marketplace_subscriptions.begin_delete(subscription_name).wait()

È possibile usare gli strumenti di gestione delle risorse per gestire le risorse. Il seguente codice usa l'interfaccia della riga di comando di Azure:

az resource delete --name <resource-name>

Considerazioni su costi e quote per i modelli distribuiti come endpoint API serverless

I modelli distribuiti come endpoint API serverless vengono offerti tramite Azure Marketplace e integrati con Azure Machine Learning per l'uso. È possibile trovare i prezzi di Azure Marketplace durante la distribuzione o l'ottimizzazione dei modelli.

Ogni volta che un’area di lavoro sottoscrive a una determinata offerta di Azure Marketplace, viene creata una nuova risorsa per tenere traccia dei costi associati al consumo. La stessa risorsa viene usata per tenere traccia dei costi associati all'inferenza e all'ottimizzazione; tuttavia, sono disponibili più contatori per tenere traccia di ogni scenario in modo indipendente.

Per altre informazioni su come tenere traccia dei costi, vedere Monitorare i costi per i modelli offerti tramite Azure Marketplace.

La quota viene gestita per distribuzione. Ogni distribuzione ha un limite di frequenza di 200.000 token al minuto e 1.000 richieste API al minuto. Tuttavia, c’è attualmente un limite di una distribuzione per ogni modello per ogni area di lavoro. Contattare il supporto tecnico di Microsoft Azure se i limiti di frequenza correnti non sono sufficienti per gli scenari in uso.

I controlli degli accessi in base al ruolo di Azure vengono usati per concedere l'accesso alle operazioni in Azure Machine Learning. Per eseguire la procedura descritta in questo articolo, è necessario che all'account utente sia assegnato il ruolo di Proprietario, Collaboratore o Sviluppatore di intelligenza artificiale di Azure per la sottoscrizione di Azure. In alternativa, all'account può essere assegnato un ruolo personalizzato con le autorizzazioni seguenti:

Nella sottoscrizione di Azure, per sottoscrivere l'area di lavoro all'offerta di Azure Marketplace, una volta per ogni area di lavoro, per offerta:
- Microsoft.MarketplaceOrdering/agreements/offers/plans/read
- Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
- Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
- Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
- Microsoft.SaaS/register/action
Nel gruppo di risorse, per creare e usare la risorsa SaaS:
- Microsoft.SaaS/resources/read
- Microsoft.SaaS/resources/write
Nell'area di lavoro, per distribuire gli endpoint (il ruolo data scientist di Azure Machine Learning contiene già queste autorizzazioni):
- Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
- Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*

Per altre informazioni sulle autorizzazioni, vedere Gestire l'accesso a un'area di lavoro di Azure Machine Learning.

Condividi tramite

Distribuire modelli come endpoint API serverless

Prerequisiti

Distribuire il modello in un endpoint API serverless

Uso dell'endpoint API serverless

Eliminare endpoint e sottoscrizioni

Considerazioni su costi e quote per i modelli distribuiti come endpoint API serverless

Commenti e suggerimenti

Commenti e suggerimenti

Risorse aggiuntive

Condividi tramite

Distribuire modelli come endpoint API serverless

Prerequisiti

Sottoscrivere l'area di lavoro all'offerta del modello

Distribuire il modello in un endpoint API serverless

Uso dell'endpoint API serverless

Eliminare endpoint e sottoscrizioni

Considerazioni su costi e quote per i modelli distribuiti come endpoint API serverless

Autorizzazioni necessarie per la sottoscrizione a offerte di modello

Contenuto correlato

Commenti e suggerimenti

Commenti e suggerimenti

Risorse aggiuntive