Verwenden von vom Administrator verbundenen Modellen in Cloud-Auswertungen

Mit Administratoren verbundene Modelle sind Modelle, die hinter einem KI-Gateway des Unternehmens gehostet werden, z. B. Azure API Management oder ein NICHT-Azure AI-Modellgateway, das ein Administrator mit Ihrem Foundry-Projekt verbindet. Sie können ein vom Administrator verbundenes Modell für Cloudauswertungsszenarien verwenden, die eine Modellbereitstellung akzeptieren.

Foundry löst den Verbindungsendpunkt und die Authentifizierung auf, einschließlich API-Schlüssel, verwalteter Identität oder OAuth 2.0-Authentifizierung. Ihre Auswertungsanforderung verweist auf die Verbindung und Bereitstellung, nicht auf den Gatewayendpunkt oder seine Anmeldeinformationen.

Important

Die Cloudauswertung unterstützt vom Administrator verbundene Modelle nur, wenn die verbundene Bereitstellung die OpenAI-Chat-Abschluss-API verfügbar macht.

Note

Die Unterstützung des mit Administratoren verbundenen Modells in der Cloudauswertung befindet sich in der Vorschau und ist möglicherweise nicht in allen Regionen verfügbar.

Prerequisites

  • Ein Foundry-Projekt.
  • Rolle "Foundry User " im Foundry-Projekt.
  • Ein Administrator hat eine Azure API Management- oder nicht Azure AI-Modellgatewayverbindung in Ihrer Foundry-Ressource erstellt und das Modell auf der Registerkarte "Ressourcendetails>>verwalten" mit administratorgebundenen Modellen hinzugefügt. Anweisungen zum Einrichten finden Sie unter "Bring your own model to Foundry Agent Service".
  • Der Verbindungsname und der Bereitstellungsname für ein Modell, das die OpenAI-Chat-Abschluss-API unterstützt.

Verweisen auf ein vom Administrator verbundenes Modell

Verwenden Sie das folgende Format an einer beliebigen Stelle, in der ein unterstütztes Auswertungsszenario eine Modellbereitstellung akzeptiert:

<connection-name>/<deployment-name>

Die folgende Tabelle enthält allgemeine Auswertungsflächen und das Feld, das den Verweis akzeptiert:

Scenario Feld
KI-gestützte Bewertung (Richter) initialization_parameters.model
Modellziel target.model
Dialogsimulation item_generation_params.model

Verwenden eines mit einem Administrator verbundenen Modells als Bewertungsrichtermodell

Legen Sie fest initialization_parameters.model , wenn Sie einen KI-unterstützten Evaluator konfigurieren. In diesem Beispiel wird das vom Administrator verbundene Modell als Richter für die Kohärenzbewertung verwendet:

from azure.ai.projects.models import TestingCriterionAzureAIEvaluator

admin_connected_model = "my-apim-connection/gpt-4o"

testing_criteria = [
    TestingCriterionAzureAIEvaluator(
        type="azure_ai_evaluator",
        name="coherence",
        evaluator_name="builtin.coherence",
        initialization_parameters={"model": admin_connected_model},
        data_mapping={
            "query": "{{item.query}}",
            "response": "{{item.response}}",
        },
    ),
]

Verwenden eines vom Administrator verbundenen Modells als Ziel

Legen Sie fest target.model , dass jede Auswertungseingabe an das mit dem Administrator verbundene Modell gesendet wird:

admin_connected_model = "my-apim-connection/gpt-4o"

target = {
    "type": "azure_ai_model",
    "model": admin_connected_model,
    "sampling_params": {
        "top_p": 1.0,
        "max_completion_tokens": 2048,
    },
}

Verwenden Sie dieses Ziel mit dem modellbasierten Zielauswertungsfluss, der in run evaluation in the cloud beschrieben wird.

Verwenden anderer Auswertungsszenarien

Andere modellbasierte Szenarien in run evaluation in the cloud by using the Microsoft Foundry SDK funktionieren ähnlich mit admin-verbundenen Modellen. Wenn das Szenario eine unterstützte Modellbereitstellung akzeptiert, ersetzen Sie den Bereitstellungsnamen durch <connection-name>/<deployment-name>. Beispielsweise akzeptiert die Unterhaltungssimulation diesen Verweis in item_generation_params.model.

Behalten Sie den Endpunkt des Foundry-Projekts unverändert bei, und fügen Sie der Auswertungsanforderung nicht den Gatewayendpunkt oder die Anmeldeinformationen hinzu. Foundry löst diese Werte aus der verbindung mit dem Administrator verbundenen Modell auf.

Note

Das mit dem Administrator verbundene Modell ist für die synthetische Datengenerierung nicht verfügbar.

Verwandte Inhalte

  • Last updated on