Freigeben über

Verwenden des Modellrouters für Azure AI Foundry (Vorschau)

Modellrouter für Azure AI Foundry ist ein bereitstellungsfähiges KI-Chatmodell, das trainiert wird, um das beste große Sprachmodell (LLM) auszuwählen, um auf eine bestimmte Eingabeaufforderung in Echtzeit zu reagieren. Es verwendet eine Kombination aus bereits vorhandenen Modellen, um eine hohe Leistung zu bieten und gleichzeitig, soweit möglich, Rechenkosten zu sparen, alles zusammengefasst in einer einzigen Modellbereitstellung. Weitere Informationen zur Funktionsweise des Modellrouters und deren Vorteile und Einschränkungen finden Sie im Leitfaden zu Modellrouterkonzepten.

Sie können über die Completions-API auf den Modellrouter zugreifen, genauso wie Sie ein einzelnes Basismodell wie GPT-4 verwenden würden. Die Schritte sind identisch mit den Schritten im Chat-Abschlusshandbuch.

Bereitstellen eines Modellroutermodells

Der Modellrouter wird als einzelnes Azure AI Foundry-Modell verpackt, das Sie bereitstellen. Führen Sie die Schritte im Ressourcenbereitstellungshandbuch aus. Im Schritt "Neue Bereitstellung erstellen" suchen Sie in der Liste model-router nach . Wählen Sie sie aus, und führen Sie dann die restlichen Bereitstellungsschritte aus.

Hinweis

Berücksichtigen Sie, dass Ihre Bereitstellungseinstellungen für alle zugrunde liegenden Chatmodelle gelten, die vom Routermodell verwendet werden.

  • Sie müssen die zugrunde liegenden Chatmodelle nicht separat bereitstellen. Modellrouter funktioniert unabhängig von Ihren anderen bereitgestellten Modellen.
  • Sie wählen einen Inhaltsfilter aus, wenn Sie das Modellroutermodell bereitstellen (oder später einen Filter anwenden können). Der Inhaltsfilter wird auf alle Inhalte angewendet, die an und vom Modellrouter übergeben werden: Sie legen keine Inhaltsfilter für jedes der zugrunde liegenden Chatmodelle fest.
  • Ihre Token-Pro-Minute-Grenzwerteinstellung wird auf alle Aktivitäten auf und vom Modellrouter angewendet: Sie legen keine Ratengrenzwerte für jedes der zugrunde liegenden Chatmodelle fest.

Verwenden des Modellrouters in Chats

Sie können modellrouter über die Chatabschluss-API auf die gleiche Weise wie andere OpenAI-Chatmodelle verwenden. Legen Sie den model Parameter auf den Namen unserer Modellrouterbereitstellung fest, und legen Sie den messages Parameter auf die Nachrichten fest, die Sie an das Modell senden möchten.

Im Azure AI Foundry-Portal können Sie auf der Seite Modelle + Endpunkte zu Ihrer Modellrouterbereitstellung navigieren und diese auswählen, um den Modell-Playground zu öffnen. In der Spielumgebung können Sie Nachrichten eingeben und die Antworten des Modells anzeigen. Jede Antwortmeldung zeigt an, welches zugrunde liegende Modell ausgewählt wurde, um zu antworten.

Von Bedeutung

Sie können die Temperature- und Top_P-Werte, die Sie bevorzugen, festlegen (siehe das Konzepthandbuch), sollten Sie jedoch beachten, dass Begründungsmodelle (o-Serie) diese Parameter nicht unterstützen. Wenn der Modellrouter ein Grundmodell für Ihre Eingabeaufforderung auswählt, ignoriert er die Eingabeparameter Temperature und Top_P.

Die Parameter stop, presence_penalty, frequency_penalty, logit_bias und logprobs werden für o-Serienmodelle ähnlich weggelassen, aber ansonsten verwendet.

Von Bedeutung

Der reasoning_effort Parameter (siehe Leitfaden für Reasoning-Modelle) wird im Modellrouter nicht unterstützt. Wenn der Modellrouter ein Grundmodell für Ihre Eingabeaufforderung auswählt, wählt er auch einen reasoning_effort Eingabewert basierend auf der Komplexität der Eingabeaufforderung aus.

Ausgabeformat

Die JSON-Antwort, die Sie von einem Modellroutermodell erhalten, ist identisch mit der API-Antwort der standardmäßigen Chatabschluss-API. Beachten Sie, dass das "model" Feld anzeigt, welches zugrunde liegende Modell ausgewählt wurde, um auf die Eingabeaufforderung zu reagieren.

{
  "choices": [
    {
      "content_filter_results": {
        "hate": {
          "filtered": "False",
          "severity": "safe"
        },
        "protected_material_code": {
          "detected": "False",
          "filtered": "False"
        },
        "protected_material_text": {
          "detected": "False",
          "filtered": "False"
        },
        "self_harm": {
          "filtered": "False",
          "severity": "safe"
        },
        "sexual": {
          "filtered": "False",
          "severity": "safe"
        },
        "violence": {
          "filtered": "False",
          "severity": "safe"
        }
      },
      "finish_reason": "stop",
      "index": 0,
      "logprobs": "None",
      "message": {
        "content": "I'm doing well, thank you! How can I assist you today?",
        "refusal": "None",
        "role": "assistant"
      }
    }
  ],
  "created": 1745308617,
  "id": "xxxx-yyyy-zzzz",
  "model": "gpt-4.1-nano-2025-04-14",
  "object": "chat.completion",
  "prompt_filter_results": [
    {
      "content_filter_results": {
        "hate": {
          "filtered": "False",
          "severity": "safe"
        },
        "jailbreak": {
          "detected": "False",
          "filtered": "False"
        },
        "self_harm": {
          "filtered": "False",
          "severity": "safe"
        },
        "sexual": {
          "filtered": "False",
          "severity": "safe"
        },
        "violence": {
          "filtered": "False",
          "severity": "safe"
        }
      },
      "prompt_index": 0
    }
  ],
  "system_fingerprint": "xxxx",
  "usage": {
    "completion_tokens": 15,
    "completion_tokens_details": {
      "accepted_prediction_tokens": 0,
      "audio_tokens": 0,
      "reasoning_tokens": 0,
      "rejected_prediction_tokens": 0
    },
    "prompt_tokens": 21,
    "prompt_tokens_details": {
      "audio_tokens": 0,
      "cached_tokens": 0
    },
    "total_tokens": 36
  }
}

Überwachen von Modellroutermetriken

Überwachen der Leistung

Sie können die Leistung Ihrer Modellrouterbereitstellung in Azure Monitor (AzMon) im Azure-Portal überwachen.

  1. Wechseln Sie zur Seite "Monitoring ->" für Ihre Azure OpenAI-Ressource im Azure-Portal.
  2. Filtern Sie nach dem Bereitstellungsnamen Ihres Modellroutermodells.
  3. Teilen Sie optional die Metriken nach zugrunde liegenden Modellen auf.

Kosten überwachen

Sie können die Kosten des Modellrouters überwachen, was die Summe der Kosten für die zugrunde liegenden Modelle ist.

  1. Besuchen Sie die Seite "Ressourcenverwaltung –>Kostenanalyse " im Azure-Portal.
  2. Filtern Sie bei Bedarf nach Azure-Ressource.
  3. Filtern Sie dann nach Bereitstellungsname: Filtern Sie nach "Tag", wählen Sie "Bereitstellung " als Tagtyp aus, und wählen Sie dann den Namen der Modellrouterbereitstellung als Wert aus.