Azure OpenAI-Dynamisches Kontingent (Vorschau) (klassisch)

Gilt nur für:Foundry (klassisches) Portal. Dieser Artikel ist für das neue Foundry-Portal nicht verfügbar. Erfahren Sie mehr über das neue Portal.

Hinweis

Links in diesem Artikel können Inhalte in der neuen Microsoft Foundry-Dokumentation anstelle der jetzt angezeigten Foundry-Dokumentation (klassisch) öffnen.

„Dynamisches Kontingent“ ist ein Azure OpenAI-Feature, mit dem eine Standardbereitstellung opportunistisch ein größeres Kontingent nutzen kann, wenn zusätzliche Kapazität verfügbar ist. Wenn das dynamische Kontingent deaktiviert ist, kann Ihre Bereitstellung einen maximalen Durchsatz verarbeiten, der durch die Einstellung „Token pro Minute (TPM)“ festgelegt wird. Wenn Sie Ihr vorgegebenes TPM überschreiten, erhalten Sie HTTP 429-Antworten auf Ihre Anfragen. Wenn das dynamische Kontingent aktiviert ist, kann die Bereitstellung auf einen höheren Durchsatz zugreifen, bevor 429 Antworten zurückgegeben werden, sodass Sie früher weitere Aufrufe ausführen können. Die zusätzlichen Anforderungen werden weiterhin zu den regulären Preissätzen in Rechnung gestellt.

Dynamisches Kontingent kann ihr verfügbares Kontingent nur vorübergehend erhöhen : Es wird nie unter den konfigurierten Wert reduziert.

Wann dynamisches Kontingent verwendet werden soll

Dynamisches Kontingent ist in den meisten Szenarien nützlich, insbesondere wenn Ihre Anwendung zusätzliche Kapazität opportunistisch verwenden kann oder die Anwendung selbst die Rate antreibt, mit der die Azure OpenAI-API aufgerufen wird.

Typischerweise vermeiden Sie dynamische Kontingente, wenn Ihre Anwendung eine negative Benutzererfahrung hervorruft, wenn das Kontingent schwankt oder erhöht wird.

Berücksichtigen Sie für dynamische Kontingente Szenarien wie:

  • Massenverarbeitung,
  • Erstellen von Zusammenfassungen oder Einbettungen für Retrieval Augmented Generation (RAG),
  • Offlineanalyse von Protokollen zur Generierung von Metriken und Auswertungen,
  • Forschung mit niedriger Priorität,
  • Apps mit geringem Kontingent.

Wann tritt dynamisches Kontingent in Kraft?

Das Azure OpenAI-Back-End entscheidet, ob, wann und wie viel zusätzliches dynamisches Kontingent aus verschiedenen Bereitstellungen hinzugefügt oder entfernt wird. Es wird nicht vorhergesagt oder im Voraus angekündigt und ist nicht vorhersagbar. Um das dynamische Kontingent zu nutzen, muss Ihr Anwendungscode in der Lage sein, weitere Anforderungen ausstellen zu können, da HTTP 429-Antworten selten werden. Azure OpenAI Ihre Anwendung informiert, wenn Sie ihr Kontingentlimit erreicht haben, indem Sie mit einem HTTP 429 antworten und keine weiteren API-Aufrufe durchlassen.

Wie verändern sich die Kosten für dynamisches Kontingent?

  • Anrufe, die über Ihrem Basiskontingent ausgeführt werden, haben die gleichen Kosten wie normale Anrufe.

  • Es gibt keine zusätzlichen Kosten zum Aktivieren des dynamischen Kontingents für eine Bereitstellung, obwohl der erhöhte Durchsatz letztendlich zu erhöhten Kosten führen könnte, je nach Umfang des Datenverkehrs, den Ihre Bereitstellung empfängt.

Hinweis

Bei dynamischem Kontingent gibt es keine Aufruferzwingung eines Kontingents oder Durchsatzes mit „Obergrenze“. Azure OpenAI verarbeitet so viele Anforderungen, wie sie über Ihrem Basiskontingent liegen können. Wenn Sie die Ausgabenrate selbst dann steuern müssen, wenn das Kontingent weniger eingeschränkt ist, muss Ihr Anwendungscode Anforderungen entsprechend zurückhalten.

So verwenden Sie dynamisches Kontingent

Um dynamisches Kontingent zu verwenden, müssen Sie:

  • Aktivieren Sie die dynamische Kontingenteigenschaft in Ihrer Azure OpenAI-Bereitstellung.
  • Stellen Sie sicher, dass Ihre Anwendung dynamisches Kontingent nutzen kann.

Dynamisches Kontingent aktivieren

Um das dynamische Kontingent für Ihre Bereitstellung zu aktivieren, gehen Sie zu den erweiterten Eigenschaften in der Ressourcenkonfiguration und schalten Sie es ein.

Alternativ können Sie sie programmgesteuert mit Azure CLI az rest aktivieren:

Ersetzen Sie die {subscriptionId}, {resourceGroupName}, {accountName}und {deploymentName} durch die relevanten Werte für Ihre Ressource. In diesem Fall ist accountName gleich Azure OpenAI-Ressourcenname.

az rest --method patch --url "https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.CognitiveServices/accounts/{accountName}/deployments/{deploymentName}?api-version=2023-10-01-preview" --body '{"properties": {"dynamicThrottlingEnabled": true} }'

Wie weiß ich, wie viel dynamisches Kontingent für den Durchsatz zu meiner App hinzugefügt wird?

Um die Funktionsweise zu überwachen, können Sie den Durchsatz Ihrer Anwendung in Azure Monitor nachverfolgen. Während der Vorschau des dynamischen Kontingents gibt es keine spezifische Metrik oder kein Protokoll, um anzugeben, ob das Kontingent dynamisch erhöht oder verringert wurde. Die Wahrscheinlichkeit, dass dynamisches Kontingent für Ihre Bereitstellung eingesetzt wird, ist geringer, wenn es in stark genutzten Regionen und während der Spitzenzeiten der Verwendung für diese Regionen ausgeführt wird.

Nächste Schritte

  • Last updated on