Rendszergazdai kapcsolattal rendelkező modellek használata a felhőbeli értékelésekben

A rendszergazda által csatlakoztatott modellek egy vállalati AI-átjáró mögött üzemeltetett modellek, például Azure API Management vagy egy nem Azure AI-modellátjáró, amelyet a rendszergazda csatlakoztat a Foundry-projekthez. A felhőbevezetést elfogadó felhőértékelési forgatókönyvekhez rendszergazdai kapcsolattal rendelkező modellt is használhat.

A Foundry feloldja a kapcsolati végpontot és a hitelesítést, beleértve az API-kulcsot, a felügyelt identitást vagy az OAuth 2.0-hitelesítést. A kiértékelési kérelem a kapcsolatra és az üzembe helyezésre hivatkozik, nem az átjáróvégpontra vagy annak hitelesítő adataira.

Important

A felhőértékelés csak akkor támogatja a rendszergazda által csatlakoztatott modelleket, ha a csatlakoztatott üzembe helyezés elérhetővé teszi az OpenAI Chat Completions API-t.

Note

A felhőértékelés rendszergazda által csatlakoztatott modelltámogatása előzetes verzióban érhető el, és előfordulhat, hogy nem minden régióban érhető el.

Prerequisites

  • Egy Foundry-projekt.
  • Foundry-felhasználó szerepkör a Foundry-projektben.
  • A rendszergazda létrehozott egy Azure API Management vagy nem Azure AI-modell átjárókapcsolatot az Foundry-erőforráson, és hozzáadta a modellt azErőforrás részleteinek>kezelése>rendszergazda által csatlakoztatott modellek lapon. A beállítási utasításokért lásd: Saját modell használata a Foundry Agent Service szolgáltatásban.
  • Az OpenAI Chat Completions API-t támogató modell kapcsolatneve és üzembe helyezési neve.

Hivatkozás rendszergazda által csatlakoztatott modellre

Használja a következő formátumot bárhol, ahol egy támogatott kiértékelési forgatókönyv elfogadja a modell üzembe helyezését:

<connection-name>/<deployment-name>

Az alábbi táblázat a gyakori kiértékelési felületeket és a hivatkozást elfogadó mezőt mutatja be:

Scenario Field
AI által támogatott értékelő (bíró) initialization_parameters.model
Modellcél target.model
Beszélgetési szimuláció item_generation_params.model

Rendszergazdai kapcsolattal rendelkező modell használata kiértékelő bírói modellként

Beállítás initialization_parameters.model AI által támogatott kiértékelő konfigurálásakor. Ez a példa a rendszergazda által csatlakoztatott modellt használja a koherencia-kiértékelő bírójaként:

from azure.ai.projects.models import TestingCriterionAzureAIEvaluator

admin_connected_model = "my-apim-connection/gpt-4o"

testing_criteria = [
    TestingCriterionAzureAIEvaluator(
        type="azure_ai_evaluator",
        name="coherence",
        evaluator_name="builtin.coherence",
        initialization_parameters={"model": admin_connected_model},
        data_mapping={
            "query": "{{item.query}}",
            "response": "{{item.response}}",
        },
    ),
]

Rendszergazda által csatlakoztatott modell használata célként

Állítsa be target.model , hogy minden kiértékelési bemenetet elküldjön a rendszergazda által csatlakoztatott modellnek:

admin_connected_model = "my-apim-connection/gpt-4o"

target = {
    "type": "azure_ai_model",
    "model": admin_connected_model,
    "sampling_params": {
        "top_p": 1.0,
        "max_completion_tokens": 2048,
    },
}

Használja ezt a célt a modell célértékelési folyamatával, amelyet a felhőbeli futtatási értékelésekben ismertetnek.

Egyéb kiértékelési forgatókönyvek használata

Más modellalapú forgatókönyvek a felhőbeli kiértékelések futtatásakor a Microsoft Foundry SDK használatával hasonlóan működnek a rendszergazda által csatlakoztatott modellekkel. Ahol a forgatókönyv elfogadja a támogatott modell üzembe helyezését, cserélje le az üzembe helyezés nevét a következőre <connection-name>/<deployment-name>: . A beszélgetésszimuláció például elfogadja ezt a hivatkozást a következőben item_generation_params.model: .

Hagyja változatlanul az Foundry projektvégpontot, és ne adja hozzá az átjáró végpontját vagy hitelesítő adatait a kiértékelési kérelemhez. Az Foundry feloldja ezeket az értékeket a rendszergazda által csatlakoztatott modellkapcsolatból.

Note

A rendszergazda által csatlakoztatott modell nem érhető el szintetikus adatlétrehozáshoz.

Kapcsolódó tartalom

  • Last updated on