Použití modelů připojených správcem v cloudových vyhodnoceních

Modely připojené ke správě jsou modely hostované za podnikovou bránou AI, jako je Azure API Management nebo brána modelu AI, která není Azure, kterou správce připojí k vašemu projektu Foundry. Pro scénáře cloudového vyhodnocení, které přijímají nasazení modelu, můžete použít model připojený správcem.

Foundry vyřeší koncový bod připojení a ověřování, včetně klíče rozhraní API, spravované identity nebo ověřování OAuth 2.0. Váš požadavek na vyhodnocení odkazuje na připojení a nasazení, ne na koncový bod brány ani na jeho přihlašovací údaje.

Important

Cloudové vyhodnocení podporuje modely připojené správcem pouze v případech, kdy připojené nasazení zpřístupňuje rozhraní API pro dokončování chatu OpenAI.

Note

Podpora modelů připojených správcem v cloudovém vyhodnocení je ve verzi Preview a nemusí být dostupná ve všech oblastech.

Prerequisites

  • Projekt Foundry.
  • Role uživatele Foundry v projektu Foundry.
  • Správce v prostředku Foundry vytvořil připojení brány modelu AI Azure API Management nebo ne Azure a přidal model na kartě Spravovat>modely>připojené správcem. Pokyny k nastavení najdete v tématu Používání vlastního modelu do služby Foundry Agent Service.
  • Název připojení a název nasazení modelu, který podporuje rozhraní API pro dokončování chatu OpenAI.

Odkazování na model připojený správcem

V libovolném podporovaném scénáři vyhodnocení můžete použít následující formát:

<connection-name>/<deployment-name>

Následující tabulka ukazuje běžné vyhodnocovací plochy a pole, které přijímá odkaz:

Scenario Pole
AI-asistovaný vyhodnocovač (soudce) initialization_parameters.model
Cíl modelu target.model
Simulace konverzací item_generation_params.model

Použití modelu připojeného správcem jako vyhodnocovací model soudce

Nastavte initialization_parameters.model při konfiguraci vyhodnocovače s asistencí umělé inteligence. Tento příklad používá model připojený správcem jako soudce pro vyhodnocovače soudržnosti:

from azure.ai.projects.models import TestingCriterionAzureAIEvaluator

admin_connected_model = "my-apim-connection/gpt-4o"

testing_criteria = [
    TestingCriterionAzureAIEvaluator(
        type="azure_ai_evaluator",
        name="coherence",
        evaluator_name="builtin.coherence",
        initialization_parameters={"model": admin_connected_model},
        data_mapping={
            "query": "{{item.query}}",
            "response": "{{item.response}}",
        },
    ),
]

Použití modelu připojeného správcem jako cíle

Nastavte target.model , aby se každý vstup vyhodnocení odeslal do modelu připojeného správcem:

admin_connected_model = "my-apim-connection/gpt-4o"

target = {
    "type": "azure_ai_model",
    "model": admin_connected_model,
    "sampling_params": {
        "top_p": 1.0,
        "max_completion_tokens": 2048,
    },
}

Tento cíl použijte s tokem vyhodnocení cíle modelu popsaným v hodnoceních spuštění v cloudu.

Použití jiných scénářů vyhodnocení

Jiné scénáře založené na modelu v hodnoceních spuštění v cloudu pomocí sady Microsoft Foundry SDK fungují podobně s modely připojenými správcem. Všude, kde scénář přijímá podporované nasazení modelu, nahraďte název <connection-name>/<deployment-name>nasazení . Například simulace konverzací přijímá tento odkaz v item_generation_params.model.

Ponechte koncový bod projektu Foundry beze změny a nepřidávejte do žádosti o vyhodnocení koncový bod brány ani přihlašovací údaje. Foundry tyto hodnoty vyřeší z připojení modelu připojeného správcem.

Note

Model připojený správcem není k dispozici pro generování syntetických dat.

Související obsah

  • Last updated on