Verwenden von vom Administrator verbundenen Modellen in Cloud-Auswertungen

Mit Administratoren verbundene Modelle sind Modelle, die hinter einem KI-Gateway des Unternehmens gehostet werden, z. B. Azure API Management oder ein NICHT-Azure AI-Modellgateway, das ein Administrator mit Ihrem Foundry-Projekt verbindet. Sie können ein vom Administrator verbundenes Modell für Cloudauswertungsszenarien verwenden, die eine Modellbereitstellung akzeptieren.

Foundry löst den Verbindungsendpunkt und die Authentifizierung auf, einschließlich API-Schlüssel, verwalteter Identität oder OAuth 2.0-Authentifizierung. Ihre Auswertungsanforderung verweist auf die Verbindung und Bereitstellung, nicht auf den Gatewayendpunkt oder seine Anmeldeinformationen.

Important

Die Cloudauswertung unterstützt nur vom Administrator angebundene Modelle, wenn die angeschlossene Bereitstellung die OpenAI Chat Completions API bereitstellt.

Note

Die Unterstützung des mit Administratoren verbundenen Modells in der Cloudauswertung befindet sich in der Vorschau und ist möglicherweise nicht in allen Regionen verfügbar.

Voraussetzungen

  • Ein Foundry-Projekt.
  • Rolle "Foundry User " im Foundry-Projekt.
  • Ein Administrator hat für Ihre Foundry-Ressource eine Azure API Management- oder eine Gatewayverbindung für ein Nicht-Azure-AI-Modell erstellt und das Modell auf der Registerkarte Verwalten>Ressourcendetails>Vom Administrator verbundene Modelle hinzugefügt. Anleitungen zur Einrichtung finden Sie unter Bring your own model to Foundry Agent Service.
  • Der Verbindungsname und der Bereitstellungsname für ein Modell, das die OpenAI-Chat-Abschluss-API unterstützt.

Verweis auf ein von einem Administrator verknüpftes Modell

Verwenden Sie das folgende Format an einer beliebigen Stelle, in der ein unterstütztes Auswertungsszenario eine Modellbereitstellung akzeptiert:

<connection-name>/<deployment-name>

Die folgende Tabelle enthält allgemeine Auswertungsflächen und das Feld, das den Verweis akzeptiert:

Scenario Feld
KI-gestützte Bewertung (Richter) initialization_parameters.model
Modellziel target.model
Dialogsimulation item_generation_params.model

Verwenden eines mit einem Administrator verbundenen Modells als Bewertungsrichtermodell

Legen Sie fest initialization_parameters.model , wenn Sie einen KI-unterstützten Evaluator konfigurieren. In diesem Beispiel wird das mit dem Administratorkonto verbundene Modell als Bewertungsinstanz für den Kohärenzbewerter verwendet:

from azure.ai.projects.models import TestingCriterionAzureAIEvaluator

admin_connected_model = "my-apim-connection/gpt-4o"

testing_criteria = [
    TestingCriterionAzureAIEvaluator(
        type="azure_ai_evaluator",
        name="coherence",
        evaluator_name="builtin.coherence",
        initialization_parameters={"model": admin_connected_model},
        data_mapping={
            "query": "{{item.query}}",
            "response": "{{item.response}}",
        },
    ),
]

Verwenden Sie ein mit Administratorzugriff verbundenes Modell als Ziel

Legen Sie fest target.model , dass jede Auswertungseingabe an das mit dem Administrator verbundene Modell gesendet wird:

admin_connected_model = "my-apim-connection/gpt-4o"

target = {
    "type": "azure_ai_model",
    "model": admin_connected_model,
    "sampling_params": {
        "top_p": 1.0,
        "max_completion_tokens": 2048,
    },
}

Verwenden Sie dieses Ziel mit dem Ablauf zur Auswertung des Modellziels, der unter „Auswertungen in der Cloud ausführen“ beschrieben ist.

Verwenden anderer Auswertungsszenarien

Andere modellbasierte Szenarien in Auswertungen in der Cloud mit dem Microsoft Foundry SDK ausführen funktionieren ähnlich wie bei mit dem Administrator verbundenen Modellen. Wenn das Szenario eine unterstützte Modellbereitstellung akzeptiert, ersetzen Sie den Bereitstellungsnamen durch <connection-name>/<deployment-name>. Zum Beispiel akzeptiert die Konversationssimulation diesen Verweis in item_generation_params.model.

Behalten Sie den Endpunkt des Foundry-Projekts unverändert bei, und fügen Sie der Auswertungsanforderung nicht den Gatewayendpunkt oder die Anmeldeinformationen hinzu. Foundry ermittelt diese Werte aus der vom Administrator verbundenen Modellverbindung.

Note

Das mit dem Administrator verbundene Modell ist für die synthetische Datengenerierung nicht verfügbar.

Verwandte Inhalte

  • Last updated on