Delen via

Betrouwbaarheid van het starten van rekenprocessen verbeteren met flexibele knooppunttypen

Klassieke rekenresources in Azure Databricks maken gebruik van flexibele knooppunttypen, waardoor uw rekenresource kan terugvallen op alternatieve, compatibele exemplaartypen wanneer het opgegeven exemplaartype niet beschikbaar is.

Dit gedrag verbetert de betrouwbaarheid van het starten van berekeningen door capaciteitsfouten (stockoutfouten) tijdens het starten van rekenprocessen te verminderen. Voor spot-instanties met terugval kunnen flexibele nodetypen meerdere keren proberen instanties te verkrijgen door verschillende instantietypen heen voordat ze terugvallen op on-demand instanties. Dit resulteert in een hoger percentage exemplaren dat als spot wordt uitgevoerd in plaats van on-demand, waardoor de totale rekenkosten worden verlaagd.

Hoe flexibele knooppunttypen werken

Wanneer u een rekenresource start, heeft uw cloudprovider soms onvoldoende capaciteit voor het opgegeven exemplaartype. Dit resulteert in een voorraadfout:

CLOUD_PROVIDER_RESOURCE_STOCKOUT

Hoewel deze fouten vaker voorkomen voor spot-exemplaren, kunnen ze ook optreden voor on-demand exemplaren.

Als flexibele knooppunttypen zijn ingeschakeld, genereert of gebruikt Azure Databricks automatisch uw opgegeven terugvallijst met compatibele instance types. Als het type exemplaar van uw voorkeur niet beschikbaar is, probeert Azure Databricks deze typen back-upexemplaren te verkrijgen in plaats van onmiddellijk te mislukken.

Flexibele knooppunttypen inschakelen in uw werkruimte

Werkruimtebeheerders kunnen flexibele knooppunttypen inschakelen in hun werkruimtebeheerdersinstellingen. Wanneer deze optie is ingeschakeld, worden voor alle nieuwe klassieke rekenresources in de werkruimte flexibele knooppunttypen gebruikt, tenzij deze expliciet zijn uitgeschakeld:

  1. Als werkruimtebeheerder gaat u naar de instellingenpagina.
  2. Klik op het tabblad Compute .
  3. Schakel de instelling Automatisch flexibele knooppunttypen inschakelen in:
    • Ingeschakeld: Alle nieuwe klassieke rekenresources gebruiken automatisch flexibele knooppunttypen, tenzij deze expliciet zijn uitgeschakeld.
    • Uitgeschakeld: klassieke rekenresources gebruiken alleen flexibele knooppunttypen als u expliciet configureert node_type_flexibility in de configuratie van de rekenresource.

Deze instelling voor de hele werkruimte heeft geen invloed op bestaande rekenresources. Wanneer deze optie is uitgeschakeld, kunnen gebruikers nog steeds flexibele knooppunttypen configureren voor afzonderlijke rekenresources door de worker_node_type_flexibility velden driver_node_type_flexibility expliciet te configureren met aangepaste terugvallijsten. Om te voorkomen dat gebruikers deze velden configureren, kunnen werkruimtebeheerders rekenbeleid gebruiken. Zie voorbeelden van beleid voor flexibele knooppunttypen.

Een aangepaste terugvallijst opgeven

Wanneer flexibele knooppunttypen zijn ingeschakeld in uw werkruimte, genereert Azure Databricks automatisch een terugvallijst met compatibele exemplaartypen voor nieuwe rekenresources.

Als u de automatisch gegenereerde terugvallijst niet wilt gebruiken, kunt u in plaats daarvan uw eigen terugvallijst opgeven. Als flexibele knooppunttypen zijn uitgeschakeld in uw werkruimte, kunt u nog steeds een aangepaste terugvallijst opgeven voor uw rekenresource. Alleen bepaalde exemplaartypen zijn compatibel. Zie vereisten voor het fallback-instantietype. Zie de compatibiliteitsreferentie voor flexibele knooppunttypen voor een verwijzing naar compatibele exemplaartypen.

Aangepaste terugvallijsten worden alleen ondersteund bij het configureren van rekenkracht met behulp van de API. Raadpleeg de referentiedocumentatie voor clusters-API's .

Met de volgende configuratie geeft u bijvoorbeeld op welk exemplaartype de rekenresource terugvalt, indien nodig:


  "worker_node_type_flexibility": {
    "alternate_node_type_ids": [
      "Standard_L8s_v2"
    ]
  },
  "driver_node_type_flexibility": {
    "alternate_node_type_ids": [
      "Standard_L8s_v2"
    ]
  },

Vereisten voor terugvalinstantie type

Reserve-instantietypen moeten compatibel zijn met het voorkeursinstantietype van de berekening. Uw lijst met de typen terugvalinstanties moet voldoen aan de volgende vereisten:

  • Hetzelfde aantal vCPU's en geheugen als het voorkeursexemplarentype (terugvalexemplaren moeten tussen 100% en 110% van het geheugen van het voorkeursexemplaren hebben)
  • Hetzelfde aantal lokale schijven en schijfgrootte als het voorkeursexemplarentype
  • Dezelfde CPU-architectuur als het type voorkeursexemplaren (alle ARM of alle x86)
  • Dezelfde besturingssysteeminstallatiekopie en Photon-ondersteuning als het voorkeursexemplarentype
  • Geen GPU-exemplaartypen (GPU's worden niet ondersteund)
  • Maximum van 5 unieke typen terugvalexemplaren
  • Alle typen exemplaren moeten een consistente vorm van opslagondersteuning bieden: ze moeten allemaal ondersteuning bieden voor PREMIUM_LRS opslag, of geen van beide doet dat.

Flexibele knooppunttypen gebruiken met pools

U kunt ook een terugvallijst voor pools aanpassen. Stel in de Pools-API het node_type_flexibility veld in om de typen terugvalexemplaren op te geven. Voorbeeld:

"node_type_flexibility": {
    "alternate_node_type_ids": ["Standard_L8s_v2"]
  }

Pools bieden geen ondersteuning voor het gebruik van flexibele exemplaartypen om het minimale aantal niet-actieve exemplaren te behouden. De pool kan alleen VM's starten met behulp van de typen terugvalexemplaren wanneer een rekenproces vanuit de pool wordt gestart. Voor het opwarmen van de minIdle telling wordt alleen het voorkeurstype instantie gebruikt.

Bekijk de verkregen exemplaartypen

Wanneer u flexibele knooppunttypen gebruikt, kan uw rekenresource bestaan uit een combinatie van verschillende exemplaartypen. Alle typen terugvalexemplaren zijn compatibel met uw voorkeurstype, waarbij hetzelfde aantal vCPU's, geheugen, schijfindeling, CPU-architectuur en installatiekopie van het besturingssysteem wordt onderhouden om ervoor te zorgen dat uw workload correct wordt uitgevoerd.

U kunt bekijken welke exemplaartypen zijn verkregen voor uw rekenresource:

  1. Klik op de pagina rekengegevens op de drie puntjes naast de knop Beëindigen en selecteer JSON weergeven.
  2. Controleer het node_type_id veld voor elke uitvoerder om te zien welke exemplaartypen worden uitgevoerd.

U kunt ook de clustersgegevens API gebruiken om deze informatie programmeerbaar op te halen. Daarnaast kunnen gebruikers met machtigingen voor toegang tot systeemtabellen een query uitvoeren op de node_timelines tabel. Zie tijdlijntabelschema voor knooppunten.

Flexibele knooppunttypen op een rekenresource uitschakelen

Opmerking

Databricks raadt u aan flexibele knooppunttypen ingeschakeld te houden, tenzij u strikte vereisten hebt voor een specifiek exemplaartype.

Als u liever wilt dat de start van het rekenproces mislukt in plaats van terug te vallen op een alternatief exemplaartype, kunt u het gedrag van het flexibele knooppunt op het niveau van de afzonderlijke rekenresource uitschakelen. Dit wordt alleen ondersteund wanneer u de Clusters-API gebruikt. Als u flexibele knooppunttypen wilt uitschakelen, stelt u de velden voor het flexibele knooppunttype in als leeg in de rekenconfiguratie. Voorbeeld:

"worker_node_type_flexibility": {
  "alternate_node_type_ids": []
},
"driver_node_type_flexibility": {
  "alternate_node_type_ids": []
}
  • Last updated on