Implementación de modelos como API sin servidor

Importante

Algunas de las características descritas en este artículo solo pueden estar disponibles en versión preliminar. Esta versión preliminar se ofrece sin acuerdo de nivel de servicio y no se recomienda para las cargas de trabajo de producción. Es posible que algunas características no sean compatibles o que tengan sus funcionalidades limitadas. Para más información, consulte Términos de uso complementarios de las Versiones Preliminares de Microsoft Azure.

En este artículo, aprenderá a implementar un modelo desde el catálogo de modelos como una API sin servidor con facturación basada en tokens de pago por uso.

Algunos modelos del catálogo de modelo se pueden implementar como una API sin servidor con la facturación de pago por uso. Este tipo de implementación proporciona una manera de consumir modelos como una API sin hospedarlos en la suscripción, a la vez que mantiene la seguridad empresarial y el cumplimiento que necesitan las organizaciones. Esta opción de implementación no requiere cuota de la suscripción.

Requisitos previos

• Una suscripción de Azure con un método de pago válido. Las suscripciones gratuitas o de evaluación de Azure no funcionarán. Si no tiene una suscripción de Azure, cree una cuenta de Azure de pago para comenzar.

• Un centro de Azure AI Studio.

• Un proyecto de Azure AI Studio.

• Los controles de acceso basado en rol de Azure (RBAC de Azure) se usan para conceder acceso a las operaciones en la inteligencia artificial de Azure Studio. Para realizar los pasos descritos en este artículo, la cuenta de usuario debe tener asignado el rol Desarrollador de Azure AI en el grupo de recursos. Para más información sobre los permisos, consulte control de acceso basado en rol en Inteligencia artificial de Azure Studio.

• Debe instalar el siguiente software para trabajar con Azure AI Studio:

  AI Studio

  Puede usar cualquier explorador web compatible para navegar por Azure AI Studio.

  CLI de Azure

  La CLI de Azure y la extensión ml para Azure Machine Learning.

  az extension add -n ml
  

  Si ya tiene instalada la extensión, asegúrese de que está instalada la versión más reciente.

  az extension update -n ml
  

  Una vez instalada la extensión, configúrela:

  az account set --subscription <subscription>
  az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
  

  SDK de Python

  Instale el SDK de Azure Machine Learning para Python.

  pip install -U azure-ai-ml
  

  Una vez instalado, importe los espacios de nombres necesarios y cree un cliente conectado al proyecto:

  from azure.ai.ml import MLClient
  from azure.identity import InteractiveBrowserCredential
  from azure.ai.ml.entities import MarketplaceSubscription, ServerlessEndpoint
  
  client = MLClient(
      credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
      subscription_id="<subscription-id>",
      resource_group_name="<resource-group>",
      workspace_name="<project-name>",
  )
  

  ARM

  Puede usar cualquier explorador web compatible para implementar plantillas de ARM en Microsoft Azure Portal o usar cualquiera de las herramientas de implementación. En este tutorial se usa la CLI de Azure.

Suscripción del proyecto a la oferta del modelo

En el caso de los modelos que se ofrecen a través de Azure Marketplace, puede implementarlos en puntos de conexión de API sin servidor para consumir sus predicciones. Si es la primera vez que implementa el modelo en el proyecto, tendrá que suscribirse al proyecto para la oferta de modelo concreta de Azure Marketplace. Cada proyecto tiene su propia suscripción a la oferta concreta de Azure Marketplace del modelo, lo que te permite controlar y supervisar los gastos.

Nota:

Los modelos que se ofrecen a través de Azure Marketplace están disponibles para la implementación en puntos de conexión de API sin servidor en regiones específicas. Compruebe disponibilidad de modelo y región para las implementaciones de API sin servidor para comprobar qué modelos y regiones están disponibles. Si no se muestra el que necesita, puede implementar en un área de trabajo en una región admitida y, a continuación, consumir puntos de conexión de API sin servidor desde otra área de trabajo.

1. Inicie sesión en Azure AI Studio.

2. Asegúrese de que la cuenta tiene permisos de rol de Desarrollador de Azure AI en el grupo de recursos o que cumple los permisos necesarios para suscribirse a las ofertas del modelo.

3. Seleccione Catálogo de modelos en la barra lateral izquierda y busque la tarjeta de modelo del modelo que desea implementar. En este artículo, seleccionará un modelo Meta-Llama-3-8B-Instruct.

   1. Si va a implementar el modelo mediante la CLI de Azure, Python o ARM, copie el identificador de modelo.

      Importante

      No incluya la versión al copiar el Identificador del modelo. Los puntos de conexión de API sin servidor siempre implementan la versión más reciente del modelo disponible. Por ejemplo, para el identificador de modelo azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct/versions/3, copie azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct.

   

4. Cree la suscripción de Marketplace del modelo. Al crear una suscripción, acepta los términos y condiciones asociados a la oferta del modelo.

   AI Studio

   1. En la página Detalles del modelo, seleccione Implementar, y a continuación, seleccione API sin servidor para abrir el asistente para la implementación.

   2. Seleccione el proyecto en el que desea implementar los modelos. Observe que no se admiten todas las regiones.

      

   3. Si ve la nota Ya tiene una suscripción de Azure Marketplace para este proyecto, no es necesario crear la suscripción, ya que ya tiene una. Puede proceder a Implementar el modelo en un punto de conexión de API sin servidor.

   4. En el Asistente para la implementación, selecciona el vínculo a Términos de Azure Marketplace para obtener más información sobre los términos de uso. También puede seleccionar la pestaña Precios y términos para obtener información sobre los precios del modelo seleccionado.

   5. Seleccione Suscribir e implementar.

   CLI de Azure

   subscription.yml

   name: meta-llama3-8b-qwerty
   model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct
   

   Use el archivo anterior para crear la suscripción:

   az ml marketplace-subscription create -f subscription.yml
   

   SDK de Python

   model_id="azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct"
   subscription_name="Meta-Llama-3-8B-Instruct"
   
   marketplace_subscription = MarketplaceSubscription(
       model_id=model_id,
       name=subscription_name,
   )
   
   marketplace_subscription = client.marketplace_subscriptions.begin_create_or_update(
       marketplace_subscription
   ).result()
   

   ARM

   Use la plantilla siguiente para crear una suscripción de modelo:

   template.json

   {
       "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
       "contentVersion": "1.0.0.0",
       "parameters": {
           "project_name": {
               "defaultValue": "my-project",
               "type": "String"
           },
           "subscription_name": {
               "defaultValue": "Meta-Llama-3-8B-Instruct",
               "type": "String"
           },
           "model_id": {
               "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
               "type": "String"
           }
       },
       "variables": {},
       "resources": [
           {
               "type": "Microsoft.MachineLearningServices/workspaces/marketplaceSubscriptions",
               "apiVersion": "2024-04-01",
               "name": "[concat(parameters('project_name'), '/', parameters('subscription_name'))]",
               "location": "[parameters('location')]",
               "properties": {
                   "modelId": "[parameters('model_id')]"
               }
           }
       ]
   }
   

5. Una vez que registre el proyecto para la oferta concreta de Azure Marketplace, las implementaciones posteriores de la misma oferta en el mismo proyecto no requieren la suscripción de nuevo.

6. En cualquier momento, puede ver las ofertas del modelo a las que el proyecto está suscrito actualmente:

   AI Studio

   1. Vaya a Azure Portal.

   2. Vaya al grupo de recursos al que pertenece el proyecto.

   3. En el filtroTipo, seleccione SaaS.

   4. Verá todas las ofertas a las que está suscrito actualmente.

   5. Seleccione cualquier recurso para ver los detalles.

   CLI de Azure

   az ml marketplace-subscription list
   

   SDK de Python

   marketplace_sub_list = client.marketplace_subscriptions.list()
   
   for sub in marketplace_sub_list:
       print(sub.as_dict())
   

   ARM

   Puede usar las herramientas de administración de recursos para consultar los recursos. El código siguiente usa la CLI de Azure:

   az resource list \
       --query "[?type=='Microsoft.SaaS']"
   

Implementación del modelo en un punto de conexión de API sin servidor

Una vez creada la suscripción de un modelo, puede implementar el modelo asociado en un punto de conexión de API sin servidor. El punto de conexión de API sin servidor proporciona una manera de consumir modelos como UNA API sin hospedarlos en su suscripción, a la vez que mantiene las necesidades de las organizaciones de seguridad y cumplimiento empresariales. Esta opción de implementación no requiere cuota de la suscripción.

En este artículo, creará un punto de conexión con el nombre meta-llama3-8b-qwerty.

1. Creación del punto de conexión sin servidor

   AI Studio

   1. En el asistente anterior, seleccione Implementar (si acaba de suscribir el proyecto a la oferta del modelo en la sección anterior) o seleccione Continuar para implementar (si el asistente para implementación tenía la nota Ya tiene una suscripción de Azure Marketplace para este proyecto).

      

   2. Asigne un nombre a la implementación. Este nombre forma parte de la dirección URL de la API de implementación. Esta dirección URL debe ser única en cada región de Azure.

      

   3. Seleccione Implementar. Espere hasta que la implementación esté lista y se le redirigirá a la página Implementaciones.

   CLI de Azure

   endpoint.yml

   name: meta-llama3-8b-qwerty
   model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct
   

   Use el archivo endpoint.yml para crear el punto de conexión:

   az ml serverless-endpoint create -f endpoint.yml
   

   SDK de Python

   endpoint_name="meta-llama3-8b-qwerty"
   
   serverless_endpoint = ServerlessEndpoint(
       name=endpoint_name,
       model_id=model_id
   )
   
   created_endpoint = client.serverless_endpoints.begin_create_or_update(
       serverless_endpoint
   ).result()
   

   ARM

   Use la plantilla siguiente para crear un punto de conexión:

   template.json

   {
       "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
       "contentVersion": "1.0.0.0",
       "parameters": {
           "project_name": {
               "defaultValue": "my-project",
               "type": "String"
           },
           "endpoint_name": {
               "defaultValue": "meta-llama3-8b-qwerty",
               "type": "String"
           },
           "location": {
               "defaultValue": "eastus2",
               "type": "String"
           },
           "model_id": {
               "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
               "type": "String"
           }
       },
       "variables": {},
       "resources": [
           {
               "type": "Microsoft.MachineLearningServices/workspaces/serverlessEndpoints",
               "apiVersion": "2024-04-01",
               "name": "[concat(parameters('project_name'), '/', parameters('endpoint_name'))]",
               "location": "[parameters('location')]",
               "sku": {
                   "name": "Consumption"
               },
               "properties": {
                   "modelSettings": {
                       "modelId": "[parameters('model_id')]"
                   }
               }
           }
       ]
   }
   

   A continuación, cree la implementación:

   az deployment group create \
       --name model-subscription-deployment \
       --resource-group <resource-group> \
       --template-file template.json
   

   La plantilla de implementación de Azure puede tardar unos minutos en completarse. Cuando termine, verá un mensaje que incluye el resultado:

   "provisioningState": "Succeeded",
   

2. En cualquier momento, puede ver los puntos de conexión implementados en el proyecto:

   AI Studio

   1. Vaya a su proyecto.

   2. Seleccione la sección Implementaciones

   3. Se muestran los puntos de conexión de API sin servidor.

   CLI de Azure

   az ml serverless-endpoint list
   

   SDK de Python

   endpoint_name="meta-llama3-8b-qwerty"
   
   serverless_endpoint = ServerlessEndpoint(
       name=endpoint_name,
       model_id=model_id
   )
   
   created_endpoint = client.serverless_endpoints.begin_create_or_update(
       serverless_endpoint
   ).result()
   

   ARM

   Puede usar las herramientas de administración de recursos para consultar los recursos. El código siguiente usa la CLI de Azure:

   az resource list \
       --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"
   

3. El punto de conexión creado usa la autenticación de clave para la autorización. Siga estos pasos para obtener las claves asociadas a un punto de conexión determinado.

   AI Studio

   Puede volver a la página Implementaciones, seleccionar la implementación y anotar el URI de destino del punto de conexión y clave. Úselos para llamar a la implementación y generar predicciones.

   Nota:

   Al usar Azure Portal, los puntos de conexión de API sin servidor no se muestran de manera predeterminada en el grupo de recursos. Use la opciónMostrar tipos ocultos para mostrarlos en el grupo de recursos.

   CLI de Azure

   az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
   

   SDK de Python

   endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
   print(endpoint_keys.primary_key)
   print(endpoint_keys.secondary_key)
   

   ARM

   Use las API de REST para consultar esta información.

4. En este momento, el punto de conexión está listo para usarse.

5. Si necesita consumir esta implementación desde otro proyecto o centro de conectividad, o planea usar el flujo de solicitud para compilar aplicaciones inteligentes, debe crear una conexión a la implementación de API sin servidor. Para obtener información sobre cómo configurar un punto de conexión de API sin servidor existente en un nuevo proyecto o centro de conectividad, consulte Consumo de puntos de conexión de API sin servidor implementados desde un proyecto diferente o desde el flujo de solicitud.

   Sugerencia

   Si usa el flujo de solicitud en el mismo proyecto o centro donde se implementó la implementación, deberá crear la conexión.

Uso del punto de conexión de API sin servidor

Los modelos implementados en Azure Machine Learning y Azure AI Studio en puntos de conexión de API sin servidor admiten la API de inferencia de modelos de Azure AI que expone un conjunto común de funcionalidades para modelos fundamentales y que los desarrolladores pueden usar para consumir predicciones de un conjunto diverso de modelos de forma uniforme y coherente.

Obtenga más información sobre las Funcionalidades de esta API y cómo puede aprovecharla al compilar aplicaciones.

Eliminación de puntos de conexión y suscripciones

Puede eliminar suscripciones y puntos de conexión del modelo. La eliminación de una suscripción modelo hace que cualquier punto de conexión asociado se convierta en Incorrecto e inutilizable.

AI Studio

Para eliminar un punto de conexión de API sin servidor:

1. Ir a Azure AI Studio.

2. Vaya a Componentes>Implementaciones.

3. Abra la implementación que desea eliminar.

4. Seleccione Eliminar.

Para eliminar la suscripción del modelo asociado:

1. Vaya a Azure Portal.

2. Vaya al grupo de recursos al que pertenece el proyecto.

3. En el filtroTipo, seleccione SaaS.

4. Seleccione la suscripción que quiere eliminar.

5. Seleccione Eliminar.

CLI de Azure

Para eliminar un punto de conexión de API sin servidor:

az ml serverless-endpoint delete \
    --name "meta-llama3-8b-qwerty"

Para eliminar la suscripción del modelo asociado:

az ml marketplace-subscription delete \
    --name "Meta-Llama-3-8B-Instruct"

SDK de Python

Para eliminar un punto de conexión de API sin servidor:

client.serverless_endpoints.begin_delete(endpoint_name).wait()

Para eliminar la suscripción del modelo asociado:

client.marketplace_subscriptions.begin_delete(subscription_name).wait()

ARM

Puede usar las herramientas de administración de recursos para administrar los recursos. El código siguiente usa la CLI de Azure:

az resource delete --name <resource-name>

Consideraciones de costo y cuota para los modelos implementados como puntos de conexión de API sin servidor

Los modelos implementados como puntos de conexión de API sin servidor se ofrecen a través de Azure Marketplace e integrados con Azure AI Studio para su uso. Puede encontrar los precios de Azure Marketplace al implementar o ajustar los modelos.

Cada vez que un proyecto se suscribe a una oferta determinada de Azure Marketplace, se crea un nuevo recurso para realizar un seguimiento de los costos asociados a su consumo. El mismo recurso se usa para hacer un seguimiento de los costos asociados con la inferencia y la optimización. Sin embargo, hay varios medidores disponibles para hacer un seguimiento de cada escenario de forma independiente.

Para más información sobre cómo realizar un seguimiento de los costos, consulte Supervisión de los costos de los modelos ofrecidos en Azure Marketplace.

La cuota se administra por implementación. Cada implementación tiene un límite de velocidad de 200 000 tokens por minuto y 1000 solicitudes de API por minuto. Sin embargo, actualmente limitamos una implementación por modelo por proyecto. Póngase en contacto con el Soporte técnico de Microsoft Azure si los límites de velocidad actuales no son suficientes para sus escenarios.

Permisos necesarios para suscribirse a ofertas de modelo

Los controles de acceso basado en rol de Azure (RBAC de Azure) se usan para conceder acceso a las operaciones en la inteligencia artificial de Azure Studio. Para realizar los pasos descritos en este artículo, se debe asignar a la cuenta de usuario el rol de Propietario, Colaborador o Rol de desarrollador de Inteligencia artificial de Azure para la suscripción de Azure. Como alternativa, a la cuenta se le puede asignar un rol personalizado que tenga los permisos siguientes:

• En la suscripción de Azure: para suscribir el área de trabajo a la oferta de Azure Marketplace, una vez para cada área de trabajo, por oferta:

  • Microsoft.MarketplaceOrdering/agreements/offers/plans/read
  • Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
  • Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
  • Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
  • Microsoft.SaaS/register/action

• En el grupo de recursos, para crear y usar el recurso de SaaS:

  • Microsoft.SaaS/resources/read
  • Microsoft.SaaS/resources/write

• En el área de trabajo, para implementar puntos de conexión (el rol científico de datos de Azure Machine Learning ya contiene estos permisos):

  • Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
  • Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*

Para más información sobre los permisos, consulte control de acceso basado en rol en Inteligencia artificial de Azure Studio.

Paso siguiente

• Ajuste preciso de un modelo Meta Llama 2 en Inteligencia artificial de Azure AI Studio