Używaj modeli połączonych przez administratora w ocenach chmurowych

Modele podłączone przez administratora to modele hostowane za korporacyjną bramą AI, taką jak Azure API Management lub brama modelu AI spoza platformy Azure, które administrator podłącza do projektu Foundry. Możesz użyć modelu połączonego przez administratora na potrzeby scenariuszy oceny chmury, które akceptują wdrożenie modelu.

Foundry określa punkt końcowy połączenia i metodę uwierzytelniania, w tym klucz API, tożsamość zarządzaną lub uwierzytelnianie OAuth 2.0. Żądanie ewaluacji dotyczy połączenia i wdrożenia, a nie punktu końcowego bramy ani jego poświadczeń.

Ważna

Ocena w chmurze obsługuje modele podłączone przez administratora tylko wtedy, gdy podłączone wdrożenie udostępnia interfejs API OpenAI Chat Completions API.

Note

Obsługa modelu połączonego przez administratora w ocenie w chmurze jest w wersji zapoznawczej i może nie być dostępna we wszystkich regionach.

Wymagania wstępne

  • Projekt Foundry.
  • Rola użytkownika usługi Foundry w projekcie Foundry.
  • Administrator utworzył połączenie bramy modelu Azure API Management lub modelu AI innego niż Azure w zasobie Foundry i dodał model na karcie ZarządzanieSzczegóły zasobu>>. Aby uzyskać instrukcje dotyczące konfiguracji, zobacz Bring your own model to Foundry Agent Service.
  • Nazwa połączenia i nazwa wdrożenia dla modelu obsługującego interfejs API OpenAI Chat Completions.

Odwołaj się do modelu połączonego przez administratora

Użyj następującego formatu w dowolnym miejscu obsługiwanego scenariusza oceny, który akceptuje wdrożenie modelu:

<connection-name>/<deployment-name>

W poniższej tabeli przedstawiono typowe powierzchnie ewaluacyjne i pole, które akceptuje odwołanie:

Scenario Pole
Ewaluator wspomagany przez sztuczną inteligencję (sędzia) initialization_parameters.model
Cel modelu target.model
Symulacja konwersacji item_generation_params.model

Użyj modelu połączonego z kontem administratora jako modelu oceniającego

Ustaw initialization_parameters.model podczas konfigurowania ewaluatora wspomaganego przez sztuczną inteligencję. W tym przykładzie użyto modelu połączonego z administratorem jako sędziego ewaluatora spójności:

from azure.ai.projects.models import TestingCriterionAzureAIEvaluator

admin_connected_model = "my-apim-connection/gpt-4o"

testing_criteria = [
    TestingCriterionAzureAIEvaluator(
        type="azure_ai_evaluator",
        name="coherence",
        evaluator_name="builtin.coherence",
        initialization_parameters={"model": admin_connected_model},
        data_mapping={
            "query": "{{item.query}}",
            "response": "{{item.response}}",
        },
    ),
]

Użyj modelu połączonego z administratorem jako celu

Ustaw target.model opcję wysyłania poszczególnych danych wejściowych oceny do modelu połączonego z administratorem:

admin_connected_model = "my-apim-connection/gpt-4o"

target = {
    "type": "azure_ai_model",
    "model": admin_connected_model,
    "sampling_params": {
        "top_p": 1.0,
        "max_completion_tokens": 2048,
    },
}

Użyj tego obiektu docelowego z przepływem oceny obiektu docelowego modelu opisanym w artykule Uruchamianie ocen w chmurze.

Korzystanie z innych scenariuszy oceny

Inne scenariusze oparte na modelu w przypadku uruchamiania ocen w chmurze przy użyciu zestawu SDK platformy Microsoft Foundry działają podobnie z modelami połączonymi z administratorem. Wszędzie, gdzie scenariusz obsługuje wdrożenie obsługiwanego modelu, zastąp nazwę wdrożenia na <connection-name>/<deployment-name>. Na przykład symulacja konwersacji akceptuje to odwołanie w pliku item_generation_params.model.

Pozostaw endpoint projektu Foundry bez zmian i nie dodawaj endpointu gateway ani poświadczeń do żądania ewaluacji. Narzędzie Foundry rozpoznaje te wartości z połączenia modelu połączonego z administratorem.

Note

Model połączony z administratorem nie jest dostępny dla syntetycznego generowania danych.

Treści powiązane

  • Last updated on