Capaciteitsplanning voor Azure Batch

Effectieve capaciteitsplanning helpt ervoor te zorgen dat uw Azure Batch workloads beschikken over de rekenresources die ze nodig hebben, wanneer ze ze nodig hebben. In dit artikel wordt uitgelegd hoe Batch-capaciteit is gestructureerd, hoe u quotum voor uw workloads plant en hoe u het risico op toewijzingsfouten vermindert.

Een quotum is een limiet, geen capaciteitsgarantie. Door vooruit te plannen, kunt u het juiste quotum aanvragen, flexibele configuraties kiezen en op een correcte manier reageren wanneer de capaciteit wordt beperkt. Zie Quota en limieten voor batchservices voor de specifieke standaard- en maximumwaarden.

Bevestig dat Batch past bij jouw werkdruk

Gebruik Batch wanneer u wilt dat Azure planning als dienst levert en uw toepassing werk kan indelen in pools, jobs en tasks. Voordat je batchcapaciteit plant, overweeg deze alternatieven:

  • Kies voor Azure CycleCloud wanneer je een specifieke HPC-scheduler moet bedienen, de clustertopologie en softwarestack moet aanpassen, of nauw moet aansluiten op bestaande on-premises workflows.
  • Kies Azure CycleCloud Workspace voor Slurm wanneer je een kant-en-klare Slurm-omgeving wilt met netwerk-, opslag- en toegangscomponenten die in je abonnement zijn geprovisioneerd.

Als Batch het juiste bedrijfsmodel is, gebruik dan de volgende secties om piekvraag te schatten, VM's te selecteren, quota te berekenen en fallbacks te definiëren voordat je productiepools aanmaakt.

Capaciteitshiërarchie

Batchcapaciteit wordt beheerd op verschillende lagen, waarbij elke laag de laag eronder beperkt. Uw effectieve capaciteit is wat de meest beperkende limiet in de keten toestaat.

Bovenaan biedt de Azure regio de fysieke datacentercapaciteit die beschikbaar is voor elke VM-serie. Regionale capaciteit is geen vaste waarde die u bepaalt; het varieert in de loop van de tijd en per VM-serie. Uw abonnementsquotum stelt vervolgens de toegestane kernlimiet per VM-familie per regio in. In de pooltoewijzingsmodus voor gebruikersabonnementen zijn deze abonnementsquota rechtstreeks van toepassing op uw Batch-pools. Met het Batch-accountquotum worden de kernen, pools en actieve taken ingesteld die per Batch-account zijn toegestaan. In de toewijzingsmodus voor de Batch-servicepool zijn deze quota op accountniveau van toepassing. Ten slotte zijn poollimieten afhankelijk van het aantal knooppunten per pool, op basis van het quotum boven de pool en de limieten voor de poolgrootte die zijn ingesteld door de Batch-service.

Welke laag van toepassing is op uw account, is afhankelijk van de pooltoewijzingsmodus. Zie Batch-accounts en pooltoewijzingsmodi voor meer informatie.

Uw capaciteitsvereisten plannen

Voordat u productiegroepen maakt, moet u een schatting maken van de resources die uw workload nodig heeft. Doorloop de volgende vragen om kenmerken van de workload te vertalen naar een quotumaanvraag:

  • Workloadprofiel. Wat is het maximale aantal gelijktijdige jobs en taken? Wat is de gemiddelde taakduur en geheugenvereiste? Hebben taken GPU’s of coördinatie over meerdere nodes (MPI) nodig?
  • VM-selectie. Welke VM-familie en -grootte komt het beste overeen met de workload? Hoeveel kernen en hoeveel geheugen biedt elke VIRTUELE machine?
  • Grootte van pool. Hoeveel taken worden gelijktijdig per knooppunt uitgevoerd (maximaal vier keer het aantal knooppuntkernen, beperkt tot 256 taaksites per knooppunt)? Op basis van het piekaantal gelijktijdige taken, hoeveel knooppunten hebt u nodig? Hoe splitst u capaciteit tussen toegewezen en Spot-knooppunten?
  • Quotumvereiste. Vermenigvuldig het maximumaantal knooppunten met de kernen per VM om de totale benodigde kernen op te halen. Vergelijk dat totaal ten opzichte van uw huidige quotum om de verhoging te bepalen die moet worden aangevraagd.
  • Kostenraming. Gebruik het uurtarief van de VIRTUELE machine en de verwachte uitvoeringstijd om de dagelijkse en maandelijkse kosten te schatten. Zie Plannen voor het beheren van kosten voor Azure Batch voor meer informatie.

Zie Batch-quota weergeven en een quotum verhogen om uw huidige quota te controleren en een verhoging aan te vragen. Dien ruim van tevoren quotumaanvragen in en begin met bescheiden, incrementele verhogingen. Voor grote quotumverhogingen is mogelijk handmatige controle vereist en kan het enkele dagen tot enkele weken duren.

Capaciteit proactief beheren

Plannen voor capaciteit voordat deze een beperking wordt:

  • Bewaak het quotumgebruik. Houd het kerngebruik bij op basis van uw quotum en waarschuwing wanneer het gebruik de limiet nadert, bijvoorbeeld bij 70-80%. Zie Batch-oplossingen controleren voor meer informatie.
  • Gebruik automatische schaalaanpassing. Configureer automatisch schalen , zodat pools groeien en verkleinen met de vraag in plaats van een vast, overbedeeld aantal knooppunten te bewaren. Een veelgebruikte aanpak houdt een basisniveau van dedicated knooppunten aan voor gegarandeerde voortgang en schaalt voor extra verwerkingscapaciteit tijdelijk uit naar Spot-knooppunten.
  • Verspreid over regio's en accounts. Verdeel werkbelastingen over meerdere regio's of Batch-accounts om een grotere totale capaciteit te krijgen. Servicequota, zoals actieve taken en pools, zijn van toepassing op elk afzonderlijk Batch-account.

Capaciteitsbeperkingen verwerken

Zelfs bij de planning kunnen toewijzingsfouten optreden. Ontwerp uw werkstroom om tolerant te zijn:

  • Probeer het opnieuw en diversifiëren. Als een pool de doelgrootte niet kan bereiken, probeert u het na een paar minuten opnieuw, probeert u een andere VM-grootte of probeert u een andere regio. Wijzigingen in de beschikbaarheid van resources in de loop van de tijd.
  • Taken opnieuw targeten. Vermijd het vertrouwen op één statische pool. Zorg ervoor dat u taken opnieuw kunt instellen voor een andere pool, mogelijk met een andere VM-grootte, als een pool niet kan groeien. Zie Azure Batch best practices voor meer informatie.
  • Houd rekening met preëmptie van Spot.Spot-knooppunten kunnen worden gepreëmpt wanneer Azure de capaciteit weer nodig heeft. Gebruik spot-knooppunten alleen voor fouttolerant werk en combineer deze met toegewezen knooppunten en automatische schaalaanpassing, zodat de pool automatisch wordt hersteld.

Zie de richtlijnen voor probleemoplossing voor gedetailleerde symptomen, oorzaken en oplossingen van toewijzings- en quotumfouten:

Valideer capaciteit vóór productie

Voer een proof of concept uit met een representatieve taak, het verwachte datavolume en de configuratie van de productiepool. Keur het ontwerp niet goed voor productie totdat je bewijs hebt vastgelegd voor elk criterium:

Criterion Bewijs om vast te leggen
Voltooiing van werklast De taak wordt correct voltooid met afhankelijkheden tussen productietaken, applicatiepakketten en invoer- en uitvoergegevenspaden.
Schaal en quotum De pool bereikt het vereiste aantal nodes in de bedoelde regio zonder de batch-account, het abonnement of de VM-familiequota te overschrijden.
Performance De doorlooptijd van de taak van begin tot eind voldoet aan de streefwaarde, inclusief toewijzing van de pool, gegevensoverdracht, berekening en opslag van resultaten.
Recovery Na een nodeverlies, taakfalen of Spot-preëmptie indien gebruikt, blijft de taak binnen de geregistreerde maximale hersteltijd en toegestane checkpoint-verlies, haalt de voltooiingsdeadline en gebruikt succesvol de geplande fallback-VM-grootte of pool.
Cost Gemeten rekenkracht, opslag, netwerken en licentiekosten per voltooide taak voldoen aan het doel bij de verwachte uitvoeringsfrequentie.
Operations Waarschuwingen signaleren druk op quota, toewijzingsfouten en mislukte taken, en een verantwoordelijke kan de werklast opnieuw toewijzen of herstellen.

Als een criterium faalt, wijzig dan de poolgrootte, VM-selectie, opslagpad, herkansingsgedrag of regionale fallback en herhaal dezelfde taak. Een kleine functionele test stelt geen productiecapaciteit vast omdat het geen piekschaal, quota of databeweging toepast.

Aanbevolen procedures

Practice Description
Vraag quota vroegtijdig aan Dien van tevoren quotaaanvragen in; grote verhogingen kunnen enkele dagen tot enkele weken duren.
Plan voor hoofdruimte Vraag iets meer quotum aan dan uw huidige piek om groei mogelijk te maken.
Meerdere regio's gebruiken Verdeel werkbelastingen over regio's voor toegang tot meer geaggregeerde capaciteit.
Gebruik bijhouden Waarschuw wanneer het kerngebruik 70-80% van uw quotum bereikt.
VM's van de juiste grootte Stem de VM-familie en -grootte af op de workload in plaats van overprovisionering toe te passen.
Spot verstandig gebruiken Reserveer spot-knooppunten voor fouttolerante workloads en koppel ze aan toegewezen knooppunten.
De hulpbronnen opschonen Verwijder ongebruikte pools om accountquota vrij te maken.

Volgende stappen 

  • Last updated on