Använda administratörsanslutna modeller i molnutvärderingar

Administratörsanslutna modeller är modeller som finns bakom en företags-AI-gateway, till exempel Azure API Management eller en icke-Azure AI-modellgateway, som en administratör ansluter till ditt Foundry-projekt. Du kan använda en administratörsansluten modell för molnutvärderingsscenarier som accepterar en modelldistribution.

Foundry löser anslutningsslutpunkten och autentiseringen, inklusive API-nyckel, hanterad identitet eller OAuth 2.0-autentisering. Din utvärderingsbegäran refererar till anslutningen och distributionen, inte gatewayslutpunkten eller dess autentiseringsuppgifter.

Important

Molnutvärdering stöder endast administratörsanslutna modeller när den anslutna distributionen exponerar API:et openAI Chat Completions.

Note

Stöd för administratörsanslutna modeller i molnutvärdering är i förhandsversion och kanske inte är tillgängligt i alla regioner.

Prerequisites

• Ett Foundry-projekt.
• Foundry-användarroll i Foundry-projektet.
• En administratör har skapat en Azure API Management- eller icke-Azure AI-modellgatewayanslutning på din Foundry-resurs och lagt till modellen på fliken Hantera>resursinformation>Administratörsanslutna modeller. Installationsinstruktioner finns i Bring your own model to Foundry Agent Service (Ta med din egen modell till Foundry Agent Service).
• Anslutningsnamnet och distributionsnamnet för en modell som stöder API:et för slutförande av OpenAI-chatt.

Referera till en administratörsansluten modell

Använd följande format var som helst där ett utvärderingsscenario som stöds accepterar en modelldistribution:

<connection-name>/<deployment-name>

I följande tabell visas vanliga utvärderingsytor och det fält som accepterar referensen:

Scenario	Fält
AI-assisterad utvärderare (domare)	initialization_parameters.model
Modellens mål	target.model
Konversationssimulering	item_generation_params.model

Använda en administratörsansluten modell som utvärderingsmodell

Ange initialization_parameters.model när du konfigurerar en AI-assisterad utvärderare. I det här exemplet används den administratörsanslutna modellen som domare för konsekvensutvärderingen:

from azure.ai.projects.models import TestingCriterionAzureAIEvaluator

admin_connected_model = "my-apim-connection/gpt-4o"

testing_criteria = [
    TestingCriterionAzureAIEvaluator(
        type="azure_ai_evaluator",
        name="coherence",
        evaluator_name="builtin.coherence",
        initialization_parameters={"model": admin_connected_model},
        data_mapping={
            "query": "{{item.query}}",
            "response": "{{item.response}}",
        },
    ),
]

Använda en administratörsansluten modell som mål

Ange target.model att varje utvärderingsindata ska skickas till den administratörsanslutna modellen:

admin_connected_model = "my-apim-connection/gpt-4o"

target = {
    "type": "azure_ai_model",
    "model": admin_connected_model,
    "sampling_params": {
        "top_p": 1.0,
        "max_completion_tokens": 2048,
    },
}

Använd det här målet med det modellmålutvärderingsflöde som beskrivs i Kör utvärderingar i molnet.

Använda andra utvärderingsscenarier

Andra modellbaserade scenarier i Kör utvärderingar i molnet med hjälp av Microsoft Foundry SDK fungerar på samma sätt med administratörsanslutna modeller. Oavsett var scenariot accepterar en modelldistribution som stöds ersätter du distributionsnamnet med <connection-name>/<deployment-name>. Till exempel accepterar konversationssimulering den här referensen i item_generation_params.model.

Behåll slutpunkten för Foundry-projektet oförändrad och lägg inte till gatewayslutpunkten eller autentiseringsuppgifterna i utvärderingsbegäran. Foundry löser dessa värden från den administratörsanslutna modellanslutningen.

Note

Administratörsansluten modell är inte tillgänglig för syntetisk datagenerering.

Relaterat innehåll

• Kör utvärderingar i molnet med hjälp av Microsoft Foundry SDK
• Ta med din egen modell till Foundry Agent Service