Freigeben über

Automatische Skalierung der Grenzwerte von KI-Diensten

  • Artikel

Dieser Artikel enthält Anleitungen dazu, wie Kund*innen auf höhere Ratenbegrenzungen für ihre Azure KI Services-Ressourcen zugreifen können.

Überblick

Jede Azure KI Services-Ressource verfügt über eine vorkonfigurierte statische Aufrufrate (Transaktionen pro Sekunde), die die Anzahl gleichzeitiger Aufrufe des Back-End-Diensts durch Kund*innen in einem bestimmten Zeitrahmen beschränkt. Die Autoskalierungsfunktion erhöht/verringert automatisch die Ratenbegrenzungen einer Kundenressource auf der Grundlage von Nahezu-Echtzeit-Metriken zur Ressourcennutzung und Back-End-Dienstkapazität.

Erste Schritte mit der Autoskalierungsfunktion

Dieses Feature ist standardmäßig für jede neue Ressource deaktiviert. Befolgen Sie zur Aktivierung diese Anleitung.

Wechseln Sie zur Seite Ihrer Ressource im Azure-Portal, und wählen Sie im linken Bereich die Registerkarte Übersicht aus. Suchen Sie im Abschnitt Grundlagen die Zeile Autoskalierung, und wählen Sie den Link aus, um den Bereich Einstellungen für die Autoskalierung anzuzeigen und das Feature zu aktivieren.

Screenshot des Azure-Portals mit dem Bereich für die Autoskalierung auf der rechten Seite.

Häufig gestellte Fragen

Bedeutet die Aktivierung der Autoskalierung, dass meine Ressource nie wieder gedrosselt wird?

Nein, möglicherweise erhalten Sie immer noch 429-Fehlermeldungen für die Überschreitung der Ratenbegrenzung. Wenn Ihre Anwendung eine Spitze auslöst, und Ihre Ressource eine 429-Antwort zurückgibt, überprüft die Autoskalierung den verfügbaren Kapazitätsprojektionsabschnitt, um festzustellen, ob die aktuelle Kapazität innerhalb von fünf Minuten eine Erhöhung der Ratenbegrenzung ermöglichen und reagieren kann.

Wenn die verfügbare Kapazität für eine Erhöhung ausreicht, erhöht die Autoskalierung schrittweise die Ratenbegrenzung Ihrer Ressource. Wenn Sie Ihre Ressource weiterhin mit einer hohen Rate aufrufen, die zu einer stärkeren 429-Drosselung führt, wird ihre TPS-Rate im Laufe der Zeit weiter erhöht. Wenn diese Aktion eine Stunde oder länger anhält, sollten Sie die für diese Ressource zu diesem Zeitpunkt verfügbare maximale Rate (bis zu 1.000 TPS) erreichen.

Wenn die verfügbare Kapazität für eine Erhöhung nicht ausreicht, wartet die Autoskalierungsfunktion fünf Minuten, und führt dann eine erneute Überprüfung durch.

Was ist, wenn ich eine höhere Standardratenbegrenzung benötige?

Standardmäßig verfügen Azure KI Services-Ressourcen über eine Standardratenbegrenzung von 10 TPS. Wenn Sie einen höheren Standard-TPS-Wert benötigen, senden Sie ein Ticket über den Link Neue Supportanfrage auf der Seite Ihrer Ressource im Azure-Portal. Denken Sie daran, eine geschäftliche Begründung in die Anfrage aufzunehmen.

Erhöht dieses Feature meine Azure-Ausgaben?

Die Preise für Azure KI Services wurden nicht geändert. Sie können hier darauf zugreifen. Wir berechnen nur erfolgreiche Aufrufe von Azure KI Services-APIs. Erhöhte Ratenbegrenzungen für Aufrufe bedeuten jedoch, dass mehr Transaktionen abgeschlossen werden, und Sie erhalten möglicherweise eine höhere Rechnung.

Achten Sie auf potenzielle Fehler und ihre Folgen. Wenn ein Fehler in Ihrer Clientanwendung bewirkt, dass sie den Dienst hunderte Male pro Sekunde aufruft, würde dies wahrscheinlich zu einer viel höheren Rechnung führen, während die Kosten unter einer festen Ratenbegrenzung stärker eingeschränkt wären. Fehler dieser Art unterliegen Ihrer Verantwortung. Sie sollten vor der Verwendung der Autoskalierungsfunktion unbedingt Entwicklungs- und Clientupdatetests mit einer festen Ratenbegrenzung für eine Ressource ausführen.

Kann ich dieses Feature deaktivieren, wenn ich lieber die Rate begrenzen würde, als unvorhersehbare Ausgaben zu haben?

Ja, Sie können die Autoskalierungsfunktion über das Azure-Portal oder die CLI deaktivieren und zu Ihrer Standardeinstellung für die Aufrufratenbegrenzung zurückkehren. Wenn Ihre Ressource zuvor für einen höheren Standard-TPS-Wert genehmigt wurde, wird sie wieder auf diese Rate zurückgesetzt. Es kann bis zu fünf Minuten dauern, bis die Änderungen wirksam werden.

Welche Dienste unterstützen die Autoskalierungsfunktion?

Die Autoskalierungsfunktion ist für die folgenden Dienste verfügbar:

Kann ich dieses Feature mit einem kostenlosen Abonnement testen?

Nein, die Autoskalierungsfunktion ist für Abonnements im Free-Tarif nicht verfügbar.

Nächste Schritte