Consumo de puntos de conexión de API sin servidor desde un área de trabajo diferente

En este artículo, aprenderá a configurar un punto de conexión de API sin servidor existente en un área de trabajo diferente de la que se implementó.

Ciertos modelos del catálogo de modelos se pueden implementar como API sin servidor. Este tipo de implementación proporciona una forma de consumir modelos como API sin alojarlos en su suscripción, al tiempo que mantiene la seguridad y el cumplimiento empresarial que necesitan las organizaciones. Esta opción de implementación no requiere cuota de la suscripción.

La necesidad de consumir un punto de conexión de API sin servidor en un área de trabajo diferente a la que se usó para crear la implementación podría surgir en situaciones como las siguientes:

• Quiere centralizar las implementaciones en un área de trabajo determinada y consumirlas de diferentes áreas de trabajo de la organización.
• Debe implementar un modelo en un área de trabajo en una región de Azure determinada donde esté disponible la implementación sin servidor para ese modelo. Sin embargo, debe consumirlo desde otra región, donde la implementación sin servidor no está disponible para los modelos concretos.

Requisitos previos

• Una suscripción de Azure con un método de pago válido. Las suscripciones gratuitas o de evaluación de Azure no funcionarán. Si no tiene una suscripción de Azure, cree una cuenta de Azure de pago para comenzar.

• Un área de trabajo de Azure Machine Learning en la que desea consumir la implementación existente.

• Un modelo implementado en un punto de conexión de API sin servidor. En este artículo se supone que ha implementado previamente el modelo Meta-Llama-3-8B-Instruct. Para obtener información sobre cómo implementar este modelo como una API sin servidor, vea Implementación de modelos como API sin servidor.

• Es necesario instalar el siguiente software para trabajar con Azure Machine Learning:

  Estudio

  Puede usar cualquier explorador web compatible para navegar por Estudio de Azure Machine Learning.

  CLI de Azure

  La CLI de Azure y la Extensión ml para Azure Machine Learning.

  az extension add -n ml
  

  Si ya tiene instalada la extensión, asegúrese de que está instalada la versión más reciente.

  az extension update -n ml
  

  Una vez instalada la extensión, configúrela:

  az account set --subscription <subscription>
  az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
  

  SDK de Python

  Instale el SDK de Azure Machine Learning para Python.

  pip install -U azure-ai-ml
  

  Una vez instalado, importe los espacios de nombres necesarios:

  from azure.ai.ml import MLClient
  from azure.identity import InteractiveBrowserCredential
  from azure.ai.ml.entities import ServerlessEndpoint, ServerlessConnection
  

Creación de una conexión de punto de conexión de API sin servidor

Siga estos pasos para crear una conexión:

1. Conéctese al área de trabajo donde se implementa el punto de conexión:

   Estudio

   Vaya a Estudio de Azure Machine Learning y vaya al área de trabajo donde se implementa el punto de conexión al que quiere conectarse.

   CLI de Azure

   Configure la CLI para que apunte al área de trabajo:

   az account set --subscription <subscription>
   az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
   

   SDK de Python

   Cree un cliente conectado al área de trabajo:

   client = MLClient(
       credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
       subscription_id="<subscription-id>",
       resource_group_name="<resource-group>",
       workspace_name="<workspace-name>",
   )
   

2. Obtenga la dirección URL y las credenciales del punto de conexión al que desea conectarse. En este ejemplo, obtendrá los detalles de un nombre de punto de conexión meta-llama3-8b-qwerty.

   Estudio

   1. Seleccione Puntos de conexión en la barra lateral izquierda.

   2. Seleccione la pestaña Puntos de conexión sin servidor para mostrar los puntos de conexión de API sin servidor.

   3. Seleccione el punto de conexión al que desea conectarse.

   4. En la pestaña Detalles del punto de conexión, copie los valores de URI de destino y Clave.

   CLI de Azure

   az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
   

   SDK de Python

   endpoint_name = "meta-llama3-8b-qwerty"
   endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
   print(endpoint_keys.primary_key)
   print(endpoint_keys.secondary_key)
   

3. Ahora, conéctese al área de trabajo donde desea crear la conexión y consumir el punto de conexión.

4. Cree la conexión en el área de trabajo:

   Estudio

   1. Vaya al área de trabajo en la que se debe crear la conexión.

   2. Vaya a la sección Administrar de la barra de navegación izquierda y seleccione Conexiones.

   3. Seleccione Crear.

   4. Seleccione Modelo sin servidor.

   5. Para el URI de destino, pegue el valor que copió anteriormente.

   6. Para la Clave, pegue el valor que copió anteriormente.

   7. Asigne un nombre a la conexión, en este caso meta-llama3-8b-connection.

   8. Seleccione Agregar conexión.

   CLI de Azure

   Cree una definición de conexión:

   connection.yml

   name: meta-llama3-8b-connection
   type: serverless
   endpoint: https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com
   api_key: 1234567890qwertyuiop
   

   az ml connection create -f connection.yml
   

   SDK de Python

   client.connections.create_or_update(ServerlessConnection(
       name="meta-llama3-8b-connection",
       endpoint="https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com",
       api_key="1234567890qwertyuiop"
   ))
   

5. En este momento, la conexión está disponible para su consumo.

6. Para validar que la conexión funciona:

   1. En la barra de navegación izquierda de Estudio de Azure Machine Learning, vaya a Creación>Flujo de avisos.

   2. Seleccione Crear para crear un flujo.

   3. Seleccione Crear en el cuadro Flujo de chat.

   4. Asigne un nombre al Flujo de avisos y seleccione Crear.

   5. Seleccione el nodo de chat en el gráfico para ir a la sección de chat.

   6. Para Conexión, abra la lista desplegable para seleccionar la conexión que acaba de crear, en este caso meta-llama3-8b-connection.

   7. Seleccione Iniciar sesión de proceso en la barra de navegación superior para iniciar un tiempo de ejecución automático del flujo de avisos.

   8. Seleccione la opción chat. Ahora puede enviar mensajes y obtener respuestas.

Contenido relacionado

• Catálogo de modelos y colecciones
• Implementación de modelos como puntos de conexión de API sin servidor