Uso de modelos conectados al administrador en evaluaciones en la nube

Los modelos conectados al administrador son modelos hospedados detrás de una puerta de enlace de INTELIGENCIA artificial empresarial, como Azure API Management o una puerta de enlace de modelos de IA que no sea de Azure, que un administrador se conecta al proyecto foundry. Puede usar un modelo conectado al administrador para escenarios de evaluación en la nube que aceptan una implementación de modelos.

Foundry resuelve el punto de conexión y la autenticación, incluida la clave de API, la identidad administrada o la autenticación de OAuth 2.0. La solicitud de evaluación hace referencia a la conexión e implementación, no al punto de conexión de la puerta de enlace ni a sus credenciales.

Importante

La evaluación en la nube solo admite modelos conectados al administrador cuando la implementación conectada expone la API de finalizaciones de chat de OpenAI.

Note

La compatibilidad con modelos conectados al administrador en la evaluación en la nube está en versión preliminar y es posible que no esté disponible en todas las regiones.

Prerequisites

  • Un proyecto de Foundry.
  • Rol de usuario de Foundry en el proyecto Foundry.
  • Un administrador ha creado una conexión de puerta de enlace de modelo de IA Azure API Management o no Azure en el recurso Foundry y ha agregado el modelo en la pestaña Administrar>detalles> del recursoConectados a administración. Para obtener instrucciones de configuración, consulte Bring your own model to Foundry Agent Service.
  • El nombre de conexión y el nombre de implementación de un modelo que admite la API de finalizaciones de chat de OpenAI.

Hacer referencia a un modelo conectado al administrador

Use el siguiente formato en cualquier lugar en el que un escenario de evaluación admitido acepte una implementación de modelo:

<connection-name>/<deployment-name>

En la tabla siguiente se muestran las superficies de evaluación comunes y el campo que acepta la referencia:

Escenario Campo
Evaluador asistido por IA (juez) initialization_parameters.model
Objetivo del modelo target.model
Simulación de conversación item_generation_params.model

Uso de un modelo conectado a un administrador como modelo de juez evaluador

Se establece initialization_parameters.model al configurar un evaluador asistido por IA. En este ejemplo se usa el modelo conectado al administrador como juez para el evaluador de coherencia:

from azure.ai.projects.models import TestingCriterionAzureAIEvaluator

admin_connected_model = "my-apim-connection/gpt-4o"

testing_criteria = [
    TestingCriterionAzureAIEvaluator(
        type="azure_ai_evaluator",
        name="coherence",
        evaluator_name="builtin.coherence",
        initialization_parameters={"model": admin_connected_model},
        data_mapping={
            "query": "{{item.query}}",
            "response": "{{item.response}}",
        },
    ),
]

Uso de un modelo conectado al administrador como destino

Establézcalo target.model para enviar cada entrada de evaluación al modelo conectado al administrador:

admin_connected_model = "my-apim-connection/gpt-4o"

target = {
    "type": "azure_ai_model",
    "model": admin_connected_model,
    "sampling_params": {
        "top_p": 1.0,
        "max_completion_tokens": 2048,
    },
}

Use este destino con el flujo de evaluación de destino del modelo descrito en Ejecución de evaluaciones en la nube.

Uso de otros escenarios de evaluación

Otros escenarios basados en modelos de Ejecución de evaluaciones en la nube mediante el SDK de Microsoft Foundry funcionan de forma similar con modelos conectados al administrador. Siempre que el escenario acepte una implementación de modelo compatible, reemplace el nombre de implementación por <connection-name>/<deployment-name>. Por ejemplo, la simulación de conversación acepta esta referencia en item_generation_params.model.

Mantenga el punto de conexión del proyecto Foundry sin cambios y no agregue el punto de conexión de puerta de enlace ni las credenciales a la solicitud de evaluación. Foundry resuelve esos valores desde la conexión del modelo conectado al administrador.

Note

El modelo conectado al administrador no está disponible para la generación de datos sintéticos.

Contenido relacionado

  • Last updated on