Implementación de modelos como puntos de conexión de API sin servidor

Artículo
05/21/2024

En este artículo, aprenderá a implementar un modelo desde el catálogo de modelos como una API sin servidor con facturación basada en tokens de pago por uso.

Algunos modelos del catálogo de modelo se pueden implementar como una API sin servidor con la facturación de pago por uso. Este tipo de implementación proporciona una manera de consumir modelos como una API sin hospedarlos en la suscripción, a la vez que mantiene la seguridad empresarial y el cumplimiento que necesitan las organizaciones. Esta opción de implementación no requiere cuota de la suscripción.

Requisitos previos

Una suscripción de Azure con un método de pago válido. Las suscripciones gratuitas o de evaluación de Azure no funcionarán. Si no tiene una suscripción de Azure, cree una cuenta de Azure de pago para comenzar.
Un área de trabajo de Azure Machine Learning.
Los controles de acceso basado en rol de Azure (RBAC de Azure) se usan para conceder acceso a las operaciones en Azure Machine Learning. Para realizar los pasos descritos en este artículo, la cuenta de usuario debe tener asignado el rol Desarrollador de Azure AI en el grupo de recursos. Para más información sobre los permisos, consulte Control de acceso basado en rol en Azure Machine Learning.
Es necesario instalar el siguiente software para trabajar con Azure Machine Learning:
Puede usar cualquier explorador web compatible para navegar por Azure Machine Learning.
La CLI de Azure y la Extensión ml para Azure Machine Learning.
```
az extension add -n ml
```
Si ya tiene instalada la extensión, asegúrese de que está instalada la versión más reciente.
```
az extension update -n ml
```
Una vez instalada la extensión, configúrela:
```
az account set --subscription <subscription>
az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
```
Instale el SDK de Azure Machine Learning para Python.
```
pip install -U azure-ai-ml
```
Una vez instalado, importe los espacios de nombres necesarios y cree un cliente conectado al área de trabajo:
```
from azure.ai.ml import MLClient
from azure.identity import InteractiveBrowserCredential
from azure.ai.ml.entities import MarketplaceSubscription, ServerlessEndpoint

client = MLClient(
    credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
    subscription_id="<subscription-id>",
    resource_group_name="<resource-group>",
    workspace_name="<workspace-name>",
)
```
Puede usar cualquier explorador web compatible para implementar plantillas de ARM en Microsoft Azure Portal o mediante cualquiera de las herramientas de implementación. En este tutorial se usa la CLI de Azure.

En el caso de los modelos que se ofrecen a través de Azure Marketplace, puede implementarlos en puntos de conexión de API sin servidor para consumir sus predicciones. Si es la primera vez que implementa el modelo en el área de trabajo, tendrá que suscribirse al área de trabajo para la oferta de modelo concreta de Azure Marketplace. Cada área de trabajo tiene su propia suscripción a la oferta concreta de Azure Marketplace del modelo, lo que le permite controlar y supervisar los gastos.

Nota:

Los modelos que se ofrecen a través de Azure Marketplace están disponibles para la implementación en puntos de conexión de API sin servidor en regiones específicas. Compruebe la Disponibilidad de regiones de los modelos en los puntos de conexión de API sin servidor para comprobar qué regiones están disponibles. Si no se muestra el que necesita, puede implementar en un área de trabajo en una región admitida y, a continuación, consumir puntos de conexión de API sin servidor desde otra área de trabajo.

Inicie sesión en Azure Machine Learning Studio.
Asegúrese de que la cuenta tiene permisos de rol de Desarrollador de Azure AI en el grupo de recursos o que cumple los permisos necesarios para suscribirse a las ofertas del modelo.
Vaya a su área de trabajo.
Seleccione Catálogo de modelos en la barra lateral izquierda y busque la tarjeta de modelo del modelo que desea implementar. En este artículo, seleccionará un modelo Meta-Llama-3-8B-Instruct.
1. Si va a implementar el modelo mediante la CLI de Azure, el SDK de Python o ARM, copie el identificador de modelo.
Importante

No incluya la versión al copiar el Identificador del modelo. Los puntos de conexión de API sin servidor siempre implementan la versión más reciente del modelo disponible. Por ejemplo, para el identificador de modelo azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct/versions/3, copie azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct.

Cree la suscripción de Marketplace del modelo. Al crear una suscripción, acepta los términos y condiciones asociados a la oferta del modelo.

En la página Detalles del modelo, seleccione Implementar, y a continuación, seleccione API sin servidor para abrir el asistente para la implementación.
Active la casilla para confirmar la directiva de compra de Microsoft.
Si ve la nota Ya tiene una suscripción de Azure Marketplace para esta área de trabajo, no es necesario crear la suscripción, ya que ya tiene una. Puede proceder a Implementar el modelo en un punto de conexión de API sin servidor.
En el Asistente para la implementación, selecciona el vínculo a Términos de Azure Marketplace para obtener más información sobre los términos de uso. También puede seleccionar la pestaña Precios y términos para obtener información sobre los precios del modelo seleccionado.
En el Asistente para la implementación, seleccione el vínculo a Términos de Azure Marketplace para obtener más información sobre los términos de uso. También puede seleccionar la pestaña Detalles de la oferta de Marketplace para obtener información sobre los precios del modelo seleccionado.
Seleccione Suscribir e implementar.

subscription.yml

name: meta-llama3-8b-qwerty
model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct

Use el archivosubscription.yml para crear la suscripción:

az ml marketplace-subscription create -f subscription.yml

model_id="azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct"
subscription_name="Meta-Llama-3-8B-Instruct"

marketplace_subscription = MarketplaceSubscription(
    model_id=model_id,
    name=subscription_name,
)

marketplace_subscription = client.marketplace_subscriptions.begin_create_or_update(
    marketplace_subscription
).result()

Use la plantilla siguiente para crear una suscripción de modelo:

template.json

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "workspace_name": {
            "defaultValue": "my-workspace",
            "type": "String"
        },
        "subscription_name": {
            "defaultValue": "Meta-Llama-3-8B-Instruct",
            "type": "String"
        },
        "model_id": {
            "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
            "type": "String"
        }
    },
    "variables": {},
    "resources": [
        {
            "type": "Microsoft.MachineLearningServices/workspaces/marketplaceSubscriptions",
            "apiVersion": "2024-04-01",
            "name": "[concat(parameters('workspace_name'), '/', parameters('subscription_name'))]",
            "location": "[parameters('location')]",
            "properties": {
                "modelId": "[parameters('model_id')]"
            }
        }
    ]
}

Una vez que registre el área de trabajo para la oferta concreta de Azure Marketplace, las implementaciones posteriores de la misma oferta en la misma área de trabajo no requieren la suscripción de nuevo.
En cualquier momento, puede ver las ofertas del modelo a las que está suscrito actualmente el área de trabajo:
1. Vaya a Azure Portal.
2. Vaya al grupo de recursos al que pertenece el área de trabajo.
3. En el filtroTipo, seleccione SaaS.
4. Verá todas las ofertas a las que está suscrito actualmente.
5. Seleccione cualquier recurso para ver los detalles.
```
az ml marketplace-subscription list
```
```
marketplace_sub_list = client.marketplace_subscriptions.list()

for sub in marketplace_sub_list:
    print(sub.as_dict())
```
Puede usar las herramientas de administración de recursos para consultar los recursos. El código siguiente usa la CLI de Azure:
```
az resource list \
    --query "[?type=='Microsoft.SaaS']"
```

Implementación del modelo en un punto de conexión de API sin servidor

Una vez creada la suscripción de un modelo, puede implementar el modelo asociado en un punto de conexión de API sin servidor. El punto de conexión de API sin servidor proporciona una manera de consumir modelos como UNA API sin hospedarlos en su suscripción, a la vez que mantiene las necesidades de las organizaciones de seguridad y cumplimiento empresariales. Esta opción de implementación no requiere cuota de la suscripción.

En este artículo, creará un punto de conexión con el nombre meta-llama3-8b-qwerty.

Creación del punto de conexión sin servidor

En el asistente anterior, seleccione Implementar (si acaba de suscribir el área de trabajo a la oferta del modelo en la sección anterior) o seleccione Continuar para implementar (si el asistente para implementación tenía la nota Ya tiene una suscripción de Azure Marketplace para esta área de trabajo).
Asigne un nombre a la implementación. Este nombre forma parte de la dirección URL de la API de implementación. Esta dirección URL debe ser única en cada región de Azure.
Seleccione Implementar. Espere hasta que la implementación esté lista y se le redirigirá a la página Implementaciones.

endpoint.yml

name: meta-llama3-8b-qwerty
model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct

Use el archivo endpoint.yml para crear el punto de conexión:

az ml serverless-endpoint create -f endpoint.yml

endpoint_name="meta-llama3-8b-qwerty"

serverless_endpoint = ServerlessEndpoint(
    name=endpoint_name,
    model_id=model_id
)

created_endpoint = client.serverless_endpoints.begin_create_or_update(
    serverless_endpoint
).result()

Use la plantilla siguiente para crear un punto de conexión:

template.json

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "workspace_name": {
            "defaultValue": "my-workspace",
            "type": "String"
        },
        "endpoint_name": {
            "defaultValue": "meta-llama3-8b-qwerty",
            "type": "String"
        },
        "location": {
            "defaultValue": "eastus2",
            "type": "String"
        },
        "model_id": {
            "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
            "type": "String"
        }
    },
    "variables": {},
    "resources": [
        {
            "type": "Microsoft.MachineLearningServices/workspaces/serverlessEndpoints",
            "apiVersion": "2024-04-01",
            "name": "[concat(parameters('workspace_name'), '/', parameters('endpoint_name'))]",
            "location": "[parameters('location')]",
            "sku": {
                "name": "Consumption"
            },
            "properties": {
                "modelSettings": {
                    "modelId": "[parameters('model_id')]"
                }
            }
        }
    ]
}

A continuación, cree la implementación:

az deployment group create \
    --name model-subscription-deployment \
    --resource-group <resource-group> \
    --template-file template.json

La plantilla de implementación de Azure puede tardar unos minutos en completarse. Cuando termine, verá un mensaje que incluye el resultado:

"provisioningState": "Succeeded",

En cualquier momento, puede ver los puntos de conexión implementados en el área de trabajo:
1. Vaya a su área de trabajo.
2. Seleccione Puntos de conexión.
3. Seleccione la pestaña Puntos de conexión sin servidor para mostrar los puntos de conexión de API sin servidor.
```
az ml serverless-endpoint list
```
```
endpoint_name="meta-llama3-8b-qwerty"

serverless_endpoint = ServerlessEndpoint(
    name=endpoint_name,
    model_id=model_id
)

created_endpoint = client.serverless_endpoints.begin_create_or_update(
    serverless_endpoint
).result()
```
Puede usar las herramientas de administración de recursos para consultar los recursos. El código siguiente usa la CLI de Azure:
```
az resource list \
    --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"
```
El punto de conexión creado usa la autenticación de clave para la autorización. Siga estos pasos para obtener las claves asociadas a un punto de conexión determinado.
1. Para volver a la página de la implementación, seleccione el nombre del punto de conexión en la lista de puntos de conexión sin servidor.
2. Tenga en cuenta la Dirección URI de destino y la clave del punto de conexión. Úselos para llamar a la implementación y generar predicciones.
Nota:

Al usar Azure Portal, los puntos de conexión de API sin servidor no se muestran de manera predeterminada en el grupo de recursos. Use la opciónMostrar tipos ocultos para mostrarlos en el grupo de recursos.
```
az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
```
```
endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
print(endpoint_keys.primary_key)
print(endpoint_keys.secondary_key)
```
Use las API de REST para consultar esta información.
En este momento, el punto de conexión está listo para usarse.
Si necesita consumir esta implementación desde un área de trabajo diferente o planea usar el flujo de mensajes para compilar aplicaciones inteligentes, debe crear una conexión a la implementación de API sin servidor. Para obtener información sobre cómo configurar un punto de conexión de API sin servidor existente en un nuevo proyecto o centro de conectividad, consulte Consumo de puntos de conexión de API sin servidor implementados desde un área de trabajo diferente o desde el flujo de solicitud.

Sugerencia

Si usa el flujo de solicitud en la misma área de trabajo en la que se implementó la implementación, deberá crear la conexión.

Uso del punto de conexión de API sin servidor

Los modelos implementados en Azure Machine Learning y Azure AI Studio en puntos de conexión de API sin servidor admiten la API de inferencia de modelos de Azure AI que expone un conjunto común de funcionalidades para modelos fundamentales y que los desarrolladores pueden usar para consumir predicciones de un conjunto diverso de modelos de forma uniforme y coherente.

Obtenga más información sobre las Funcionalidades de esta API y cómo puede aprovecharla al compilar aplicaciones.

Eliminación de puntos de conexión y suscripciones

Puede eliminar suscripciones y puntos de conexión del modelo. La eliminación de una suscripción modelo hace que cualquier punto de conexión asociado se convierta en Incorrecto e inutilizable.

Para eliminar un punto de conexión de API sin servidor:

Vaya a Azure Machine Learning Studio.
Seleccione Puntos de conexión en la barra lateral izquierda.
Seleccione la pestaña Puntos de conexión sin servidor para mostrar los puntos de conexión de API sin servidor.
Abra el punto de conexión que desea eliminar.
Seleccione Eliminar.

Para eliminar la suscripción del modelo asociado:

Vaya a Azure Portal.
Vaya al grupo de recursos al que pertenece el área de trabajo.
En el filtroTipo, seleccione SaaS.
Seleccione la suscripción que quiere eliminar.
Seleccione Eliminar.

Para eliminar un punto de conexión de API sin servidor:

az ml serverless-endpoint delete \
    --name "meta-llama3-8b-qwerty"

Para eliminar la suscripción del modelo asociado:

az ml marketplace-subscription delete \
    --name "Meta-Llama-3-8B-Instruct"

Para eliminar un punto de conexión de API sin servidor:

client.serverless_endpoints.begin_delete(endpoint_name).wait()

Para eliminar la suscripción del modelo asociado:

client.marketplace_subscriptions.begin_delete(subscription_name).wait()

Puede usar las herramientas de administración de recursos para administrar los recursos. El código siguiente usa la CLI de Azure:

az resource delete --name <resource-name>

Consideraciones de costo y cuota para los modelos implementados como puntos de conexión de API sin servidor

Los modelos implementados como punto de conexión de API sin servidor se ofrecen a través de Azure Marketplace e integrados con Azure Machine Learning para su uso. Puede encontrar los precios de Azure Marketplace al implementar o ajustar los modelos.

Cada vez que un área de trabajo se suscribe a una oferta determinada de Azure Marketplace, se crea un nuevo recurso para realizar un seguimiento de los costos asociados a su consumo. El mismo recurso se usa para hacer un seguimiento de los costos asociados con la inferencia y la optimización. Sin embargo, hay varios medidores disponibles para hacer un seguimiento de cada escenario de forma independiente.

Para más información sobre cómo realizar un seguimiento de los costos, consulte Supervisión de los costos de los modelos ofrecidos en Azure Marketplace.

La cuota se administra por implementación. Cada implementación tiene un límite de velocidad de 200 000 tokens por minuto y 1000 solicitudes de API por minuto. Sin embargo, actualmente limitamos una implementación por modelo por área de trabajo. Póngase en contacto con el Soporte técnico de Microsoft Azure si los límites de velocidad actuales no son suficientes para sus escenarios.

Los controles de acceso basado en rol de Azure (RBAC de Azure) se usan para conceder acceso a las operaciones en Azure Machine Learning. Para realizar los pasos descritos en este artículo, se debe asignar a la cuenta de usuario el rol de Propietario, Colaborador o Rol de desarrollador de Inteligencia artificial de Azure para la suscripción de Azure. Como alternativa, a la cuenta se le puede asignar un rol personalizado que tenga los permisos siguientes:

En la suscripción de Azure: para suscribir el área de trabajo a la oferta de Azure Marketplace, una vez para cada área de trabajo, por oferta:
- Microsoft.MarketplaceOrdering/agreements/offers/plans/read
- Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
- Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
- Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
- Microsoft.SaaS/register/action
En el grupo de recursos, para crear y usar el recurso de SaaS:
- Microsoft.SaaS/resources/read
- Microsoft.SaaS/resources/write
En el área de trabajo, para implementar puntos de conexión (el rol científico de datos de Azure Machine Learning ya contiene estos permisos):
- Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
- Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*

Para obtener más información sobre los permisos, consulte Administración del acceso a un área de trabajo de Azure Machine Learning.

Compartir a través de

Implementación de modelos como puntos de conexión de API sin servidor

Requisitos previos

Implementación del modelo en un punto de conexión de API sin servidor

Uso del punto de conexión de API sin servidor

Eliminación de puntos de conexión y suscripciones

Consideraciones de costo y cuota para los modelos implementados como puntos de conexión de API sin servidor

Comentarios

Comentarios

Recursos adicionales

Compartir a través de

Implementación de modelos como puntos de conexión de API sin servidor

Requisitos previos

Suscripción del área de trabajo a la oferta del modelo

Implementación del modelo en un punto de conexión de API sin servidor

Uso del punto de conexión de API sin servidor

Eliminación de puntos de conexión y suscripciones

Consideraciones de costo y cuota para los modelos implementados como puntos de conexión de API sin servidor

Permisos necesarios para suscribirse a ofertas de modelo

Contenido relacionado

Comentarios

Comentarios

Recursos adicionales