Die PTU-Dimensionierung für einen Workload bestimmen

Zurzeit wird folgendes angezeigt:Neue Version des Foundry-Portals - Wechseln zur Version für das klassische Foundry-Portal

Bevor Sie eine provisionierte Bereitstellung erstellen, schätzen Sie ab, wie viele provisionierte Durchsatzeinheiten (PTUs) für Ihre Workload erforderlich sind. Dieser Artikel stellt die benötigten Durchsatzparameter pro Modell bereit und zeigt, wie Sie den PTU-Bedarf mithilfe von Dimensionierungsformeln oder des Foundry-Kapazitätsrechners berechnen.

Wenn Sie mit der bereitgestellten Durchsatzkapazität noch nicht vertraut sind, lesen Sie zunächst Was ist bereitgestellte Durchsatzkapazität für Foundry Models? Wenn Sie bereit sind, Ihre Bereitstellung einzurichten, lesen Sie Schnellstart: Erstellen einer Bereitstellung mit bereitgestellter Durchsatzkapazität.

Voraussetzungen

  • Vertrautheit mit den Konzepten aus Was ist bereitgestellter Durchsatz für Foundry Models?
  • Eine Schätzung Ihrer Workloadmerkmale: erwartete Spitzenanforderungen pro Minute (RPM), durchschnittliche Eingabeaufforderungsgröße in Token und durchschnittliche Antwortgröße in Token.

Schätzung der PTUs für ein reines Textmodell

Bei einem Textmodell enthält die Workload immer Textausgabetoken. Die Eingabe kann aus Texteingabetoken, Bildeingabetoken oder einer Kombination aus beiden bestehen. In diesem Abschnitt wird beschrieben, wie Sie die Anzahl der ptUs schätzen, die für eine Arbeitsauslastung erforderlich sind, wenn Sie ein Textmodell verwenden. Informationen zum Schätzen der Anzahl von PTUs für ein Bildmodell finden Sie unter Schätzen von PTUs für das Bildmodell.

Zur Schätzung der für eine Arbeitsauslastung erforderlichen PTUs stehen zwei Ansätze zur Verfügung:

Beide Ansätze verwenden werte pro Modell aus den Bereitstellungsparametertabellen , um Schätzungen zu generieren. Vergleichen Sie für die genauesten Ergebnisse eine Bereitstellung mit repräsentativem Datenverkehr, anstatt sich ausschließlich auf geschätzte Eingaben zu verlassen.

Note

Bei älteren Modellen (vor GPT-4o) wirkt sich die Anforderungs-/Anruf-Shape-Verteilung auf den Kapazitätsverbrauch aus: Eine kleine Anzahl großer Anrufe kann wesentlich mehr Kapazität verbrauchen als viele kleine Anrufe mit derselben durchschnittlichen Tokenanzahl. Für GPT-4o und spätere Modelle ist TPM pro PTU für Input- und Output-Token separat festgelegt, sodass dieser Staffelungseffekt nicht gilt.

Manuelles Abschätzen

Sie können die von Ihnen benötigten PTUs schätzen, indem Sie die modellspezifischen Werte aus den Bereitstellungsparametertabellen und Informationen zu Ihrem erwarteten Datenverkehr wie folgt verwenden:

Eingabe Description
Modell Das Modell, das Sie bereitstellen möchten, z. B. gpt-5.2. Dieser Wert bestimmt, welche Eingabe-TPM-Werte pro PTU und Ausgabe-zu-Eingabe-Verhältnis aus den Bereitstellungsparametertabellen verwendet werden sollen.
Bereitstellungstyp Der bereitgestellte Bereitstellungstyp: „Global bereitgestellt“, „Für Datenzonen bereitgestellt“ oder „Regional bereitgestellt“.
Höchstdrehzahl Die erwartete Spitzenanzahl von Anrufen pro Minute, die an das Modell gesendet werden.
Durchschnittliche Eingabeaufforderungsgröße Die durchschnittliche Anzahl von Eingabetoken pro Anforderung.
Durchschnittliche Antwortgröße Die durchschnittliche Anzahl der Ausgabetoken pro Anforderung.
Cache-Rate Der Prozentsatz der Eingabetoken, die aus dem Eingabeaufforderungscache bereitgestellt werden. Verwenden Sie 0, wenn kein Caching verwendet wird. Zwischengespeicherte Token werden von der Auslastungsberechnung 100% abgezogen und verbrauchen keine PTU-Kapazität.

Normalisiertes TPM

Die manuelle Berechnung von PTUs konvertiert das erwartete Tokenvolume in eine einzelne Zahl, die als normalisiertes TPM bezeichnet wird. Die Anzahl der erforderlichen PTUs wird dann bestimmt, indem das normalisierte TPM durch den Eingabe-TPM-Wert des Modells pro PTU-Wert dividiert wird.

Formeln:

  • Input TPM = Peak RPM × durchschnittliche Eingabeaufforderungsgröße
  • Output TPM = Peak RPM × durchschnittliche Antwortgröße
  • Normalisiertes TPM = (Eingabe-TPM × (1 − Cache-Rate)) + ((Verhältnis von Ausgabe zu Eingabe) × Ausgabe-TPM)
  • erforderliche PTUs = normalisierte TPM ÷ Eingabe-TPM pro PTU

Durchgerechnetes Beispiel:

Angenommen, Ihre Anwendung sendet Anfragen mit einer Spitzenrate von 1.000 Anfragen pro Minute, einer durchschnittlichen Promptgröße von 200 Token und einer durchschnittlichen Antwortgröße von 20 Token und verwendet dabei das Modell gpt-5.2 mit einer Bereitstellung mit bereitgestelltem Durchsatz in der Data Zone. Aus der Tabelle weist gpt-5.2 ein Eingabe-TPM pro PTU von 3.400 und ein Ausgabe-zu-Eingabe-Verhältnis von 8 auf.

  • Eingabe-TPM = 1.000 × 200 = 200.000
  • Ausgabe-TPM = 1.000 × 20 = 20.000
  • Normalisiertes TPM (kein Cache) = 200.000 + (8 × 20.000) = 360.000
  • PTUs erforderlich = 360.000 ÷ 3.400 = 105,88 (110 PTUs, aufgerundet auf das nächste Vielfache von 5 PTUs, entsprechend dem Skalierungsinkrement für „Data Zone Provisioned“ für gpt-5.2.)

Wenn 50% von Eingabetoken aus dem Eingabeaufforderungscache bereitgestellt werden:

  • Effektives Eingabe-TPM = 200.000 × (1 − 0,50) = 100.000
  • Normalisiertes TPM = 100.000 + (8 × 20.000) = 260.000
  • PTUs erforderlich = 260.000 ÷ 3.400 = 76.47 (80 PTUs aufgerundet auf die nächsten 5 PTUs, die dem in der Datenzone bereitgestellten Skalierungsmaßstab für gpt-5.2 entsprechen.)

Zusammenfassend sind die für die Form dieses Beispielaufrufs mit und ohne Zwischenspeicherung erforderlichen PTUs wie folgt:

Spitzenanrufe pro Minute (RPM) Aufforderungsgröße (Token) Antwortgröße (Token) Cacherate Eingabe-TPM Ausgabe-TPM Normalisiertes TPM Geschätzte PTUs PTUs (aufgerundet)1
1.000 200 20 0 % 200,000 20,000 360.000 105.88 110
1.000 200 20 50 % 100,000 20,000 260.000 76.47 80

1 Auf das nächste Vielfache von 5 PTUs aufgerundet, entsprechend dem Skalierungsinkrement von „in einer Datenzone bereitgestellt“ für gpt-5.2.

Verwenden des Kapazitätsrechners

Verwenden Sie den Kapazitätsrechner im Gießereiportal, um bestimmte Workload-Shapes zu vergrößern. Suchen Sie den Rechner auf der Seite Kontingent und geben Sie die folgenden Parameter entsprechend dem Workload ein:

Eingabe Description
Modell Das Modell, das Sie verwenden möchten.
Version Die Version des Modells, das Sie verwenden möchten.
Spitzenanrufe pro Min. Die Anzahl der Anrufe pro Minute, die Sie an das Modell senden möchten.
Token im Prompt-Aufruf Die Anzahl der Tokens im Prompt für jeden Aufruf des Modells. Anrufe mit größeren Eingabeaufforderungen verbrauchen mehr PTU-Kapazität. Der Rechner geht von einem einzelnen Eingabeaufforderungswert aus. Für Workloads mit stark schwankender Prompt-Größe führen Sie einen Benchmarktest einer Bereitstellung anhand Ihres tatsächlichen Datenverkehrs durch, um eine genauere Schätzung zu erhalten.
Token in Modellantwort Die Anzahl der pro Aufruf generierten Token, auch als Generierungsgröße bezeichnet. Anrufe mit größeren Generationgrößen verbrauchen mehr PTU-Kapazität. Wie bei Eingabeaufforderungstoken geht der Rechner von einem einzelnen Wert aus.
Cache-Rate Anteil der Eingabetoken, die aus dem Prompt-Cache bereitgestellt werden.

Nachdem Sie die erforderlichen Details ausgefüllt haben, wählen Sie "Berechnen" aus. Die Ausgabe zeigt:

  • Die geschätzte PTU-Anzahl, die für die Workload erforderlich ist. Dieser Wert wird auf den nächsten PTU-Skalierungsschritt für den ausgewählten Bereitstellungstyp oder auf die minimale PTU-Anzahl des Bereitstellungstyps aufgerundet, je nachdem, welcher größer ist.
  • Die rohe (nicht gerundete) geschätzte PTU-Anzahl.

Auswirkungen von Eingabe- und Ausgabetoken auf den Durchsatz

Der Durchsatz, den eine Bereitstellung pro PTU erhält, hängt vom Modell und der Mischung aus Eingabe- und Ausgabetoken in einer bestimmten Minute ab. Der Durchsatz wird als Token pro Minute oder TPM gemessen. Das Generieren von Ausgabetoken erfordert mehr Verarbeitungskapazität als die Nutzung von Eingabetoken.

Für GPT-4.1-Modelle und höher bestimmt das System ein Ausgabe-zu-Eingabe-Verhältnis , das dem globalen Standardpreisverhältnis zwischen Eingabe- und Ausgabetoken entspricht, mit Ausnahmen für einige Modelle. Beispiel:

  • Für gpt-5 zählt ein Ausgabetoken für Ihr Nutzungslimit als acht Eingabetoken, was dem Verhältnis des globalen Standardpreises des Modells entspricht.
  • Für gpt-4.1 zählt ein Ausgabetoken als vier Eingabetoken.
  • Ältere Modelle verwenden unterschiedliche Verhältnisse.

Bei Modellen, die keine normalisierte Tokenbuchhaltung verwenden, werden zwischengespeicherte Token von der Auslastungsberechnung 100% abgezogen. Modelle, die die normalisierte Tokenbuchhaltung verwenden, einschließlich GPT-6 Astra, GPT-6 Sol und GPT-6.1 Sol, verbrauchen PTU-Kapazität für zwischengespeicherte Token bei ihren modellspezifischen Gewichtungen. Weitere Informationen finden Sie unter Prompt-Caching.

Modelle mit einem nicht standardmäßigen Ausgabe-zu-Eingabe-Verhältnis

Einige Modelle verwenden ein Output-to-Input-Verhältnis, das sich von ihrem globalen Standardpreisverhältnis unterscheidet. Bei Llama-3.3-70B-Instruct zählt beispielsweise ein Ausgabetoken als vier Eingabetoken für Ihr Nutzungslimit, was vom standardmäßigen Preisverhältnis dieses Modells abweicht. Sehen Sie sich die Preise für Llama-Modelle für die vollständige Aufschlüsselung der Eingabe- und Ausgabepreise an.

Bereitstellungsparameter und Durchsatzwerte nach Modell

Die Tabellen in diesem Abschnitt enthalten die Durchsatz- und Bereitstellungsparameter für jedes unterstützte Modell. Informationen dazu, was die Parameter in jeder Zeile bedeuten, finden Sie unter Grundlegendes zu Bereitstellungsparametern.

Neueste Azure OpenAI-Modelle

Note

Anfragen mit langem Kontext, die 128K Prompt-Token überschreiten, werden für gpt-5.4, gpt-4.1, gpt-4.1-nano und gpt-4.1-mini nicht unterstützt. Das System leitet diese Anforderungen an Überlaufbereitstellungen weiter, sofern verfügbar. Andernfalls geben die Anfragen einen Fehler zurück.

Thema gpt-6.1-sol,
2026-09-29		 gpt-6-sol,
2026-09-22		 gpt-6-astra,
2026-09-03		 gpt-5.6-luna,
2026-07-09		 gpt-5.6-terra,
2026-07-09		 gpt-5.6-sol,
2026-07-09		 gpt-5.5,
2026-04-24		 gpt-image-2.5-flare,
2026-09-08		 gpt-image-2,
2026-04-21		 gpt-5.4,
2026-03-05		 gpt-5.4-mini,
2026-03-17		 gpt-5.3-codex,
2026-02-24		 gpt-5.2,
2025-12-11		 gpt-5.2-codex,
2026-01-14		 gpt-5.1,
2025-11-13		 gpt-5.1-codex,
2025-11-13		 gpt-5,
2025-08-07		 gpt-5-mini,
2025-08-07		 gpt-4.1,
2025-04-14		 gpt-4.1-mini,
2025-04-14		 gpt-4.1-nano,
2025-04-14		 o3,
2025-04-16		 o4-mini,
2025-04-16
Globale & in einer Datenzone bereitgestellte Mindestbereitstellung 15 15 15 15 15 15 15 100 100 15 15 15 15 15 15 15 15 15 15 15 15 15 15
Globales & in einer Datenzone bereitgestelltes Skalierungsinkrement 5 5 5 5 5 5 5 100 100 5 5 5 5 5 5 5 5 5 5 5 5 5 5
Regionale Bereitstellung mit minimalem Einsatz 50 50 50 50 50 50 50 100 100 50 25 50 50 50 50 50 50 25 50 25 25 50 25
Regionale bereitgestellte Skalierungsschritte 50 50 50 50 50 50 50 100 100 50 25 50 50 50 50 50 50 25 50 25 25 50 25
Eingabe-TPM pro PTU 3,000 3,000 600 30,000 3,000 1,200 1,200 1,200 1,200 2,400 7,900 3,400 3,400 3,400 4,750 4,750 4,750 23.750 3,000 14,900 59.400 3,000 5,400
Ausgabe-zu-Eingabe-Verhältnis Siehe GPT-6-Größenanpassungsanleitung Siehe GPT-6-Größenanpassungsanleitung Siehe GPT-6-Größenanpassungsanleitung 6 6 6 6 Siehe GPT-image-2.5-flare-Größenanpassungsanleitung Siehe Anleitung zur Größenanpassung von GPT-image-2 6 6 8 8 8 8 8 8 8 4 4 4 4 4
Latenzzielwert1 99 % > 50 TPS 99 % > 80 TPS 99% > 40 TPS 99 % > 100 TPS 99 % > 70 TPS 99 % > 80 TPS 99 % > 50 TPS Nicht zutreffend2 Nicht zutreffend2 99 % > 50 TPS 99 % > 100 TPS 99 % > 50 TPS 99 % > 50 TPS 99 % > 50 TPS 99 % > 50 TPS 99 % > 50 TPS 99 % > 50 TPS 99 % > 80 TPS 99 % > 80 TPS 99 % > 90 TPS 99 % > 100 TPS 99 % > 80 TPS 99 % > 90 TPS

1 Berechnet als p50-Anforderungslatenz pro 5 Minuten. TPS = Token pro Sekunde.

2 Latenz-SLA nicht definiert.

Normalisierte Tokenpreise für GPT-6 Astra und neuere Modelle

GPT-6 Astra, GPT-6 Sol, GPT-6.1 Sol und neuere Azure OpenAI-Modelle verwenden normalisierte Token, um den PTU-Kapazitätsverbrauch an den Pay-as-you-go-Tokenpreisen des globalen Standards auszurichten. Diese Methode umfasst Eingaben, zwischengespeicherte Eingaben, Cache-Schreibvorgänge und Ausgaben, einschließlich unterschiedlicher Gewichtungen für kurze und lange Kontextanforderungen.

GPT-6 Astra und GPT-6 Sol unterstützen Unterbrechungspunkte im Prompt-Cache zur expliziten Steuerung des Prompt-Cachings. Lese- und Schreibvorgänge im Cache sind in der normalisierten Tokenbuchhaltung enthalten.

Note

Ein Kurzkontexteingabetoken ist ein normalisiertes Token. Berechnen Sie andere Tokengewichte, indem Sie ihre Preise durch den Kurzkontext-Eingabepreis desselben Modells dividieren.

Zwischengespeicherte Eingabe- und Cacheschreibvorgänge verbrauchen die PTU-Kapazität bei ihren jeweiligen Gewichtungen. Die ältere Größenregel, die zwischengespeicherte Eingaben vollständig abzieht, gilt nicht für Modelle, die diese Berechnungsmethode verwenden.

Pay-as-you-go-Preise und Tokengewichte

Die folgenden Preise liegen in USD pro 1 Million Token. GPT-6 Astra, GPT-6 Sol und GPT-6.1 Sol haben die gleichen normalisierten Gewichte, mit Ausnahme des zwischengespeicherten Langkontext-Inputs von GPT-6.1 Sol.

Tokentyp GPT-6 Astra Global Standard Preis GPT-6 Sol Global Standard Preis GPT-6.1 Sol Global Standard Preis GPT-6 Astra / GPT-6 Sol normalisierte Tokenkosten GPT-6.1 Sol normalisierte Tokenkosten
Kurzkontexteingabe 10,00 USD 2,00 USD 2,00 USD 1.0 1.0
Zwischengespeicherte Eingabe mit kurzem Kontext $1.00 $0,20 0,10 US-Dollar 0.1 0.05
Schreiben in den Kurzkontext-Cache $12,50 2,50 $ 2,50 $ 1.25 1.25
Kurzkontext-Ausgabe 50,00 USD 10,00 USD 10,00 USD 5.0 5.0
Lange Kontexteingabe 20,00 $ $ 4,00 $ 4,00 2.0 2.0
Zwischengespeicherte Langkontext-Eingabe 2,00 USD $0,40 $0,20 0.2 0.1
Langkontext-Cache-Schreibvorgang $ 25,00 $ 5,00 $ 5,00 2.5 2.5
Ausgabe mit langem Kontext $ 75,00 15,00 $ 15,00 $ 7,5 7,5

Normalized token cost = token-type price ÷ the model's short-context input price

Dividieren Sie für GPT-6 Astra durch $10,00. Dividieren Sie für GPT-6 Sol und GPT-6.1 Sol durch $2,00. Verwenden Sie dieselbe Preiseinheit im Zähler und Nenner. Zum Beispiel hat die Long-Context-Ausgabe von GPT-6 Sol eine Gewichtung von $15.00 ÷ $2.00 = 7.5.

Konvertieren normalisierter Token in PTUs

Jede PTU stellt ein modellspezifisches normalisiertes Tokenbudget pro Minute zur Verfügung. Da die Kurzkontexteingabe eine Gewichtung von 1 aufweist, entspricht dieses Budget dem Eingabe-TPM des Modells pro PTU-Wert.

Modell Version TPM für kurzkontextbezogene Eingaben pro PTU Normalisiertes TPM pro PTU
gpt-6-astra 2026-09-03 600 600
gpt-6-sol 2026-09-22 3,000 3,000
gpt-6.1-sol 2026-09-29 3,000 3,000
  • Normalisiertes TPM = Summe von (Token pro Minute in jeder Tokenkategorie × die normalisierten Tokenkosten dieser Kategorie).
  • Erforderliche Roh-PTUs = normalisierte TPM ÷ das normalisierte TPM des Modells pro PTU.

Weisen Sie jedes Token einmal der entsprechenden Kategorie zu; zählen Sie kein zwischengespeichertes oder cache-write-Token erneut als normale Eingabe. Runden Sie den rohen PTU-Bedarf unter Verwendung des Mindestwerts und des Skalierungsinkrements in der Bereitstellungstabelle auf eine unterstützte Bereitstellungsgröße auf.

PTU- und Pay-as-you-go-Vergleich

In diesem Beispiel wird eine PTU zu 260,00 USD pro Monat verwendet, wobei die Beispielkosten aus dem bestehenden Artikel beibehalten und auf GPT-6 Astra und GPT-6 Sol übertragen werden. Dabei wird von einer durchgehenden Auslastung von 100 % über 30 Tage, ohne Rabatte und mit den oben genannten Token-Preisen ausgegangen. Es ist ein Kapazitätsvergleich, kein Angebot für eine bereitstellungsfähige Konfiguration; Die Mindestanforderungen für die Bereitstellung gelten weiterhin.

Metric GPT-6 Astra PTU GPT-6 Astra nutzungsbasiert GPT-6 Sol PTU GPT-6 Sol Abrechnung nach Nutzung
Monatliches normalisiertes Tokenvolumen 25,92M (600 × 60 × 24 × 30) 25,92 M 129,60M (3,000 × 60 × 24 × 30) 129,60M
Monatliche Kosten für dieses Volume $260,00 (Beispielannahme) $259.20 (25.92M × $10.00/M) $260,00 (Beispielannahme) $259.20 (129.60M × $2.00/M)
Effektive Kosten pro 1M normalisierten Token ~$10,03 ($260.00 ÷ 25.92) $10,00 ($259.20 ÷ 25.92) ~$2,01 ($260.00 ÷ 129.60) $2,00 ($259.20 ÷ 129.60)

Unter diesen Annahmen sind PTU und Pay-as-you-go-Kosten ungefähr gleich bei der vollen Nutzung. Die Verwendung derselben Tokengewichte macht dies zu einem von der Tokenmischung unabhängigen Vergleich der normalisierten Token-Kapazität, nicht zu einer Garantie für den tatsächlich erreichten Workload-Durchsatz oder der Kosten. Niedrigere Auslastung erhöht die effektiven PTU-Kosten pro Token.

Aktuelle Azure Preise und Einkaufsbedingungen finden Sie unter Azure OpenAI-Preise.

Vorherige Azure OpenAI-Modelle

Thema gpt-4o gpt-4o-mini o3-mini o1
Global und in der Datenzone bereitgestellte Mindestbereitstellung 15 15 15 15
Global und in der Datenzone bereitgestellter Skalierungsschritt 5 5 5 5
Regionale Bereitstellung mit minimalem Einsatz 50 25 25 25
Regionale bereitgestellte Skalierungsschritte 50 25 25 50
Eingabe-TPM pro PTU 2,500 37,000 2,500 230
Ausgabe-zu-Eingabe-Verhältnis 4 4 4 4
Latenzzielwert1 99 % > 25 TPS 99 % > 33 TPS 99 % > 66 TPS 99 % > 25 TPS

1 Berechnet als durchschnittliche Anforderungslatenz pro Minute über den Monat hinweg. TPS = Token pro Sekunde.

Von Azure verkaufte Gießereimodelle

In diesem Abschnitt werden weitere von Azure verkaufte Foundry-Modelle aufgeführt, nicht einschließlich der in den vorherigen Tabellen aufgeführten Azure OpenAI in Foundry Models.

Thema Llama-3.3-70B-Instruct
Global und in der Datenzone bereitgestellte Mindestbereitstellung 100
Global und in der Datenzone bereitgestellter Skalierungsschritt 100
Regionale Bereitstellung mit minimalem Einsatz NA
Regionale bereitgestellte Skalierungsschritte NA
Eingabe-TPM pro PTU 8,450
Ausgabe-zu-Eingabe-Verhältnis 41
Latenzzielwert2 99 % > 50 TPS

1 Für Llama-3.3-70B-Instruct wird ein Ausgabetoken als vier Eingabetoken auf Ihr Nutzungslimit angerechnet. Dieses Verhältnis unterscheidet sich vom globalen Standardpreisverhältnis zwischen Eingabe- und Ausgabetoken. Siehe Modelle mit einem nicht standardmäßigen Ausgabe-zu-Eingabe-Verhältnis und llama-Modellpreisen.

2 Berechnet als durchschnittliche Anforderungslatenz pro Minute über den Monat hinweg. TPS = Token pro Sekunde.

Feuerwerk bei den Microsoft Foundry-Modellen

Die folgenden Fireworks in Microsoft Foundry-Modelle unterstützen sowohl den bereitgestellten Durchsatz für den globalen als auch für den US-Datenspeicherstandort.

Thema DeepSeek v3.1 DeepSeek v3.2 DeepSeek V4 Flash 0731 DeepSeek V4 Pro Gemma 4 26B A4B IT Gemma 4 31B IT GLM-4.7 GLM 5 GLM-5.1 GLM 5.2 GLM 5.3 gpt-oss-20b gpt-oss-120b Inkling Kimi K2 Instruct 0905 Kimi K2 Thinking Kimi K2.5 Kimi K2.6 Kimi K2.7 Code Llama 3.1 8B-Anweisung MiniMax M3 Ministral 3 3B Instruct 2512 Muse Glimmer 30B Nemotron 3.5 Blitz Nemotron Super 120B Nemotron 3 Ultra NVFP4 PaddleOCR VL 1.6 Qwen 3 32B Qwen 3.5 4B Qwen 3.5 9B Qwen 3.5 27B Qwen 3.5 35B A3B Qwen 3.5 112B A10B Qwen 3.5 397B Qwen 3.6 27B Qwen 3.6 35B A3B Qwen 3.8 27B
Minimale Bereitstellung 400 1.080 200 800 200 200 720 1.080 720 800 320 50 50 720 400 720 720 400 400 50 800 90 90 90 180 400 180 50 50 50 180 50 200 200 50 90 50
Skaleninkrement 200 540 100 400 100 100 360 540 360 400 160 25 25 360 200 360 360 200 200 25 400 45 45 45 90 200 90 25 25 25 90 25 100 100 25 45 25
Eingabe-TPM pro PTU 1,050 833 1,400 100 5,400 2.200 1,667 167 500 325 1,050 40,000 10.800 2.139 1,250 389 294 2.000 1.000 46.240 2.650 11.289 4,500 33.528 2.694 550 75.889 8\.000 56.800 8.560 8.342 14.240 2,800 2.125 6.160 13.778 6.300
Latenzzielwert1 99 % > 50 TPS 99 % > 50 TPS 99 % > 50 TPS 99 % > 50 TPS 99 % > 50 TPS 99 % > 50 TPS 99 % > 50 TPS 99 % > 50 TPS 99 % > 50 TPS 99 % > 50 TPS 99 % > 50 TPS 99 % > 50 TPS 99 % > 50 TPS 99 % > 50 TPS 99 % > 50 TPS 99 % > 50 TPS 99 % > 50 TPS 99 % > 50 TPS 99 % > 50 TPS 99 % > 50 TPS 99 % > 50 TPS 99 % > 50 TPS 99 % > 50 TPS 99 % > 50 TPS 99 % > 50 TPS 99 % > 50 TPS 99 % > 50 TPS 99 % > 50 TPS 99 % > 50 TPS 99 % > 50 TPS 99 % > 50 TPS 99 % > 50 TPS 99 % > 50 TPS 99 % > 50 TPS 99 % > 50 TPS 99 % > 50 TPS 99 % > 50 TPS

1 Berechnet als durchschnittliche Anforderungslatenz pro Minute über den Monat hinweg. TPS = Token pro Sekunde.

Bereitstellungsparameter verstehen

Jede Zeile in den Tabellen entspricht einem der folgenden Parameter:

Parameter Description
Globale & in einer Datenzone bereitgestellte Mindestbereitstellung Die kleinste Anzahl von PTUs, die Sie für die Bereitstellungstypen "Global Provisioned" oder "Data Zone Provisioned" bereitstellen können. Beispielsweise erfordert gpt-5.2 mindestens eine Bereitstellung von 15 PTUs.
Globales & in einer Datenzone bereitgestelltes Skalierungsinkrement Die PTU-Schrittweite, mit der Sie eine global bereitgestellte oder für Datenzonen bereitgestellte Bereitstellung erhöhen oder verringern können. Wenn Sie mit dem gpt-5.2-Beispiel fortfahren, bedeutet eine Erhöhung von 5, dass Bereitstellungen auf 15, 20, 25 usw. angepasst werden können.
Regionale bereitgestellte Mindestbereitstellung Die kleinste Anzahl von PTUs, die Sie für eine regional bereitgestellte Bereitstellung einsetzen können. Beispielsweise erfordert gpt-5.2 eine mindestens regionale Bereitstellung von 50 PTUs.
Regionale bereitgestellte Skalierungsschritte Die PTU-Inkrementierung für regionale Bereitstellungen. Wenn Sie mit dem gpt-5.2-Beispiel fortfahren, bedeutet eine Erhöhung von 50, dass Bereitstellungen auf 50, 100, 150 usw. angepasst werden können.
Eingabe-TPM pro PTU Die maximalen Eingabetoken pro Minute (TPM), die von einem PTU unterstützt werden. Verwenden Sie diesen Wert beim Schätzen von PTUs.
Ausgabe-zu-Eingabe-Verhältnis Die Gewichtung, die beim Schätzen der PTU-Anforderungen auf Ausgabetoken angewendet wird. Dieser Wert spiegelt das globale Standardpreisverhältnis des Modells zwischen Ausgabe- und Eingabetoken mit Ausnahmen für einige Modelle wider. Beispielsweise bedeutet ein Verhältnis von 8, dass ein Ausgabetoken als acht Eingabetoken in Richtung des TPM-Grenzwerts des Modells zählt. Siehe Azure OpenAI-Preise, Llama-Modellpreise und DeepSeek-Modellpreise für aktuelle Preise.
Zielwert der Latenz Die erwartete Anforderungslatenz auf der angegebenen PTU-Auslastungsebene. Ausgedrückt als Perzentilschwelle – zum Beispiel bedeutet „99% > 50 TPS“, dass 99 % der Anfragen mit einer Rate von mehr als 50 Token pro Sekunde verarbeitet werden.

Schätzen von PTUs für das Bildmodell

gpt-image-2.5-flare (Version 2026-09-08) verwendet dieselben PTU-Größenanpassungsparameter wie gpt-image-2. Die Durchsatzwerte, Formeln und Rechenbeispiele in diesem Abschnitt gelten für beide Modelle.

Bildmodelle erweitern die bei reinen Textmodellen verwendete PTU-Dimensionierungsmethode, da eine Workload für ein Bildmodell zusätzlich zu Bildausgabetoken auch Texteingabetoken und Bildeingabetoken umfasst. Jeder dieser Tokentypen verbraucht die PTU-Kapazität unterschiedlich.

Um eine Bereitstellung zu vergrößern, müssen Sie zunächst alle Tokentypen in eine gemeinsame Einheit konvertieren, die als normalisierte Token bezeichnet wird, die die entsprechende Anzahl von Texteingabetoken darstellen, bevor Sie die PTU-Anforderungen schätzen.

Note

Bevor Sie Azure Monitor verwenden, um ein bereitgestelltes Imagemodell zu überwachen, überprüfen Sie Einschränkungen und bekannte Probleme für Bildmodellmetriken.

Manuelles Abschätzen von PTUs

Schätzen Sie die PTUs, die Ihre Workload erfordert, anhand der Durchsatzwerte für Ihr Bildmodell und der Informationen über Ihr erwartetes Datenaufkommen wie folgt:

Verkehrsinformationen

Eingabe Description
Höchstdrehzahl Die erwartete Höchstzahl von Anforderungen pro Minute, die an das Modell gesendet werden.
Texteingabetoken Die durchschnittliche Anzahl von Texteingabetoken pro Anforderung.
Bildeingabetoken1 Die durchschnittliche Anzahl von Bildeingabetoken pro Anforderung.
Bildausgabetoken2 Die durchschnittliche Anzahl von Bildausgabetoken pro Anforderung.

1 Informationen zum Schätzen von Bildeingabetoken pro Anforderung finden Sie in der OpenAI-Dokumentation: Rechner für Bildeingabekosten.

2 Informationen zum Schätzen von Bildausgabetoken pro Anforderung finden Sie in der OpenAI-Dokumentation: Rechner für Bildausgabetoken.

Durchsatzwerte für das Bildmodell

Beide Modelle verwenden die folgenden Durchsatzwerte:

Parameter Wert
Texteingabetoken pro Minute pro PTU 1,200
Bildeingabetoken pro Minute pro PTU 750
Bild-zu-Text-Konvertierungsfaktor1 1.6
Kostenverhältnis von Bildausgabe- zu Bildeingabe-Token2 3,75

1 Der Bild-zu-Text-Konvertierungsfaktor ist Text input tokens per minute per PTU ÷ Image input tokens per minute per PTU. Dieser Faktor bedeutet, dass ein Bildtoken dieselbe PTU-Kapazität wie bei 1.6 Texteingabetoken verwendet.

2 Bildausgabetoken weisen eine höhere Gewichtung als Bildeingabetoken auf, da die Bildgenerierung zusätzliche Verarbeitung benötigt. Die Bildausgabegewichtung erfolgt vor dem Konvertieren in Texttokenäquivalente.

Normalisiertes TPM

Die manuelle Berechnung konvertiert Bildeingabe- und Ausgabetoken in entsprechende Texteingabetoken. Das resultierende normalisierte TPM bestimmt die Anzahl der erforderlichen PTUs.

  • Normalisierte Token pro Anforderung = Texteingabetoken + (Bildeingabetoken × 1,6) + (Bildausgabetoken × 3,75 × 1,6)
  • Normalisiertes TPM = Normalisierte Token pro Anforderung × Peak RPM
  • Erforderliche PTUs = normalisierte TPM ÷ 1.200

Runden Sie den Rohwert des PTU-Bedarfs auf das nächste Bereitstellungsinkrement oder auf die minimale Bereitstellungsgröße auf, je nachdem, welcher Wert größer ist.

Durchgerechnetes Beispiel:

Angenommen, Ihre Anwendung sendet 10 Anforderungen pro Minute, mit 2.000 Texteingabetoken, 1.229 Bildeingabetoken und 7.024 Bildausgabetoken pro Anforderung. Beide Modelle verfügen über einen Bild-zu-Text-Konvertierungsfaktor von 1,6, ein Bildausgabe-zu-Eingabe-Verhältnis von 3,75 und 1.200 normalisiertes TPM pro PTU.

  • Normalisierte Token pro Anforderung = 2.000 + (1.229 × 1,6) + (7.024 × 3,75 × 1,6) = 46.110,4
  • Normalisiertes TPM = 46.110.4 × 10 = 461.104
  • PTUs erforderlich = 461.104 ÷ 1.200 = 384,25 (400 PTUs auf die nächsten 100 PTUs aufgerundet, die dem Skalierungsschritt für beide Modelle entsprechen.)

Zusammenfassend sind die für diesen Beispielworkload erforderlichen PTUs wie folgt:

Höchstdrehzahl Texteingabetoken Bildeingabetoken Bildausgabetoken Normalisiertes TPM Geschätzte PTUs Bereitstellungs-PTUs1
10 2.000 1,229 7,024 461,104 384.25 400

1 Auf den 100-PTU-Skalenschritt für beide Modelle aufgerundet.

Verwandte Inhalte

  • Zuletzt aktualisiert um