Utiliser des modèles connectés à l’administrateur dans les évaluations cloud

Les modèles connectés par l’administrateur sont des modèles hébergés derrière une passerelle d’IA d’entreprise, comme Gestion des API Azure ou une passerelle de modèle d’IA non Azure, qu’un administrateur connecte à votre projet Foundry. Vous pouvez utiliser un modèle connecté à l’administrateur pour les scénarios d’évaluation cloud qui acceptent un déploiement de modèle.

Foundry résout le point de terminaison de connexion et l’authentification, notamment la clé API, l’identité managée ou l’authentification OAuth 2.0. Votre demande d’évaluation fait référence à la connexion et au déploiement, et non au point de terminaison de passerelle ni à ses informations d’identification.

Important

L’évaluation cloud prend en charge les modèles connectés à l’administrateur uniquement lorsque le déploiement connecté expose l’API OpenAI Chat Completions.

Note

La prise en charge du modèle connecté à l’administrateur dans l’évaluation cloud est en préversion et peut ne pas être disponible dans toutes les régions.

Prerequisites

  • Un projet Foundry.
  • Rôle d’utilisateur Foundry sur le projet Foundry.
  • Un administrateur a créé une connexion de passerelle de modèles d’IA Gestion des API Azure ou non Azure sur votre ressource Foundry et a ajouté le modèle dans l’onglet Gérer>Détails de la ressource>. Pour obtenir des instructions de configuration, consultez Bring your own model to Foundry Agent Service.
  • Nom de connexion et nom de déploiement d’un modèle qui prend en charge l’API OpenAI Chat Completions.

Référencer un modèle connecté à un administrateur

Utilisez le format suivant où un scénario d’évaluation pris en charge accepte un déploiement de modèle :

<connection-name>/<deployment-name>

Le tableau suivant présente les surfaces d’évaluation courantes et le champ qui accepte la référence :

Scénario Champ
Évaluateur assisté par l’IA (juge) initialization_parameters.model
Cible du modèle target.model
Simulation de conversation item_generation_params.model

Utiliser un modèle connecté à l’administrateur en tant que modèle de juge évaluateur

Définissez initialization_parameters.model lorsque vous configurez un évaluateur assisté par l’IA. Cet exemple utilise le modèle connecté à l’administrateur comme juge pour l’évaluateur de cohérence :

from azure.ai.projects.models import TestingCriterionAzureAIEvaluator

admin_connected_model = "my-apim-connection/gpt-4o"

testing_criteria = [
    TestingCriterionAzureAIEvaluator(
        type="azure_ai_evaluator",
        name="coherence",
        evaluator_name="builtin.coherence",
        initialization_parameters={"model": admin_connected_model},
        data_mapping={
            "query": "{{item.query}}",
            "response": "{{item.response}}",
        },
    ),
]

Utiliser un modèle connecté à un administrateur en tant que cible

Définissez target.model pour envoyer chaque entrée d’évaluation au modèle connecté à l’administrateur :

admin_connected_model = "my-apim-connection/gpt-4o"

target = {
    "type": "azure_ai_model",
    "model": admin_connected_model,
    "sampling_params": {
        "top_p": 1.0,
        "max_completion_tokens": 2048,
    },
}

Utilisez cette cible avec le flux d’évaluation cible du modèle décrit dans Exécuter des évaluations dans le cloud.

Utiliser d’autres scénarios d’évaluation

D’autres scénarios basés sur des modèles dans les évaluations d’exécution dans le cloud à l’aide du SDK Microsoft Foundry fonctionnent de la même façon avec les modèles connectés à l’administrateur. Partout où le scénario accepte un déploiement de modèle pris en charge, remplacez le nom du déploiement par <connection-name>/<deployment-name>. Par exemple, la simulation de conversation accepte cette référence dans item_generation_params.model.

Conservez le point de terminaison du projet Foundry inchangé et n’ajoutez pas le point de terminaison de passerelle ni les informations d’identification à la demande d’évaluation. Foundry récupère ces valeurs à partir de la connexion de modèle associée à l’administrateur.

Note

Le modèle connecté à l’administrateur n’est pas disponible pour la génération de données synthétiques.

Contenu connexe

  • Last updated on