Delen via

Limieten voor AI-services automatisch schalen

  • Artikel

Dit artikel bevat richtlijnen voor hoe klanten toegang hebben tot hogere frequentielimieten voor hun Azure AI-services-resources.

Overzicht

Elke Azure AI-servicesresource heeft een vooraf geconfigureerde statische aanroepsnelheid (transacties per seconde) die het aantal gelijktijdige aanroepen beperkt dat klanten in een bepaalde periode kunnen uitvoeren naar de back-endservice. Met de functie voor automatisch schalen worden de frequentielimieten van een klant automatisch verhoogd/verlaagd op basis van bijna realtime metrische gegevens over resourcegebruik en metrische gegevens over back-endservicecapaciteit.

Aan de slag met de functie voor automatisch schalen

Deze functie is standaard uitgeschakeld voor elke nieuwe resource. Volg deze instructies om deze in te schakelen.

Ga naar de pagina van uw resource in Azure Portal en selecteer het tabblad Overzicht in het linkerdeelvenster. Zoek in de sectie Essentials de regel Voor automatisch schalen en selecteer de koppeling om het deelvenster Instellingen voor automatisch schalen weer te geven en de functie in te schakelen.

Schermopname van Azure Portal met het deelvenster voor automatisch schalen aan de rechterkant.

Veelgestelde vragen

Betekent het inschakelen van de functie voor automatische schaalaanpassing dat mijn resource nooit meer wordt beperkt?

Nee, mogelijk krijgt 429 u nog steeds fouten voor het overschot aan frequentielimieten. Als uw toepassing een piek activeert en uw resource een 429 antwoord rapporteert, controleert automatisch schalen de sectie beschikbare capaciteitsprojectie om te zien of de huidige capaciteit binnen vijf minuten kan voldoen aan een snelheidslimietverhoging en reageert.

Als de beschikbare capaciteit voldoende is voor een toename, verhoogt automatisch schalen geleidelijk de snelheidslimiet van uw resource. Als u uw resource blijft aanroepen met een hoge snelheid die resulteert in meer 429 bandbreedtebeperking, blijft uw TPS-snelheid na verloop van tijd toenemen. Als deze actie een uur of langer wordt voortgezet, moet u het maximumtarief (maximaal 1000 TPS) bereiken dat momenteel beschikbaar is voor die resource.

Als de beschikbare capaciteit niet voldoende is voor een toename, wacht de functie voor automatisch schalen vijf minuten en wordt opnieuw gecontroleerd.

Wat gebeurt er als ik een hogere standaardfrequentielimiet nodig heb?

Azure AI-services-resources hebben standaard een standaardfrequentielimiet van 10 TPS. Als u een hogere standaard-TPS nodig hebt, dient u een ticket in door de koppeling Nieuwe ondersteuningsaanvraag te volgen op de pagina van uw resource in Azure Portal. Vergeet niet om een zakelijke reden op te nemen in de aanvraag.

Verhoogt deze functie mijn Azure-uitgaven?

Prijzen voor Azure AI-services zijn niet gewijzigd en kunnen hier worden geopend. Er worden alleen kosten in rekening gebracht voor geslaagde aanroepen naar API's van Azure AI-services. Hogere oproepsnelheidslimieten betekenen echter dat er meer transacties worden voltooid en dat u mogelijk een hogere factuur ontvangt.

Houd rekening met mogelijke fouten en hun gevolgen. Als een fout in uw clienttoepassing ervoor zorgt dat deze honderden keren per seconde de service aanroept, zou dat waarschijnlijk leiden tot een veel hogere factuur, terwijl de kosten veel beperkter zouden zijn onder een vaste frequentielimiet. Fouten van dit soort zijn uw verantwoordelijkheid. We raden u ten zeerste aan om ontwikkel- en clientupdatetests uit te voeren voor een resource met een vaste frequentielimiet voordat u de functie voor automatisch schalen gebruikt.

Kan ik deze functie uitschakelen als ik liever de snelheid beperk dan onvoorspelbare uitgaven?

Ja, u kunt de functie voor automatisch schalen uitschakelen via De Azure-portal of CLI en terugkeren naar de standaardinstelling voor oproepsnelheid. Als uw resource eerder is goedgekeurd voor een hogere standaard-TPS, gaat deze terug naar dat tarief. Het kan vijf minuten duren voordat de wijzigingen van kracht worden.

Welke services ondersteunen de functie voor automatisch schalen?

De functie voor automatisch schalen is beschikbaar voor de volgende services:

Kan ik deze functie testen met een gratis abonnement?

Nee, de functie voor automatisch schalen is niet beschikbaar voor abonnementen in de gratis laag.

Volgende stappen