Korzystanie z modeli połączonych przez administratora w ocenach w chmurze

Modele połączone z administratorem to modele hostowane za bramą sztucznej inteligencji przedsiębiorstwa, takie jak Azure API Management lub brama modelu sztucznej inteligencji bez Azure, które administrator łączy z projektem Foundry. Możesz użyć modelu połączonego przez administratora na potrzeby scenariuszy oceny chmury, które akceptują wdrożenie modelu.

Narzędzie Foundry rozpoznaje punkt końcowy połączenia i uwierzytelnianie, w tym klucz interfejsu API, tożsamość zarządzaną lub uwierzytelnianie OAuth 2.0. Żądanie oceny odwołuje się do połączenia i wdrożenia, a nie punktu końcowego bramy ani jego poświadczeń.

Important

Ocena chmury obsługuje modele połączone przez administratora tylko wtedy, gdy połączone wdrożenie uwidacznia interfejs API uzupełniania czatów OpenAI.

Note

Obsługa modelu połączonego z administratorem w wersji zapoznawczej jest dostępna we wszystkich regionach.

Prerequisites

  • Projekt Foundry.
  • Rola użytkownika usługi Foundry w projekcie Foundry.
  • Administrator utworzył połączenie bramy modelu Azure API Management lub innych niż Azure AI w zasobie usługi Foundry i dodał model na karcie Zarządzanie modelamipołączonymi zeszczegółami>> zasobów. Aby uzyskać instrukcje dotyczące konfiguracji, zobacz Bring your own model to Foundry Agent Service (Bring your own model to Foundry Agent Service).
  • Nazwa połączenia i nazwa wdrożenia modelu, który obsługuje interfejs API uzupełniania czatów OpenAI.

Odwołanie do modelu połączonego przez administratora

Użyj następującego formatu w dowolnym miejscu obsługiwanego scenariusza oceny, który akceptuje wdrożenie modelu:

<connection-name>/<deployment-name>

W poniższej tabeli przedstawiono typowe powierzchnie ewaluacyjne i pole, które akceptuje odwołanie:

Scenario Pole
Ewaluator wspomagany przez sztuczną inteligencję (sędzia) initialization_parameters.model
Cel modelu target.model
Symulacja konwersacji item_generation_params.model

Używanie modelu połączonego przez administratora jako modelu sędziego ewaluatora

Ustawiane initialization_parameters.model podczas konfigurowania ewaluatora wspomaganego przez sztuczną inteligencję. W tym przykładzie użyto modelu połączonego z administratorem jako sędziego ewaluatora spójności:

from azure.ai.projects.models import TestingCriterionAzureAIEvaluator

admin_connected_model = "my-apim-connection/gpt-4o"

testing_criteria = [
    TestingCriterionAzureAIEvaluator(
        type="azure_ai_evaluator",
        name="coherence",
        evaluator_name="builtin.coherence",
        initialization_parameters={"model": admin_connected_model},
        data_mapping={
            "query": "{{item.query}}",
            "response": "{{item.response}}",
        },
    ),
]

Używanie modelu połączonego przez administratora jako elementu docelowego

Ustaw target.model opcję wysyłania poszczególnych danych wejściowych oceny do modelu połączonego z administratorem:

admin_connected_model = "my-apim-connection/gpt-4o"

target = {
    "type": "azure_ai_model",
    "model": admin_connected_model,
    "sampling_params": {
        "top_p": 1.0,
        "max_completion_tokens": 2048,
    },
}

Użyj tego elementu docelowego z docelowym przepływem oceny modelu opisanym w temacie Uruchamianie ocen w chmurze.

Korzystanie z innych scenariuszy oceny

Inne scenariusze oparte na modelu w przypadku uruchamiania ocen w chmurze przy użyciu zestawu SDK platformy Microsoft Foundry działają podobnie z modelami połączonymi z administratorem. Wszędzie tam, gdzie scenariusz akceptuje obsługiwane wdrożenie modelu, zastąp nazwę wdrożenia ciągiem <connection-name>/<deployment-name>. Na przykład symulacja konwersacji akceptuje to odwołanie w pliku item_generation_params.model.

Zachowaj punkt końcowy projektu Foundry bez zmian i nie dodawaj punktu końcowego bramy ani poświadczeń do żądania oceny. Narzędzie Foundry rozpoznaje te wartości z połączenia modelu połączonego z administratorem.

Note

Model połączony z administratorem nie jest dostępny dla syntetycznego generowania danych.

Treści powiązane

  • Last updated on