Verbesserung der Zuverlässigkeit des Berechnungsstarts mithilfe flexibler Knotentypen

Klassische Computeressourcen in Azure Databricks verwenden flexible Knotentypen, mit denen Ihre Computeressource auf alternative, kompatible Instanztypen zurückgreifen kann, wenn der angegebene Instanztyp nicht verfügbar ist.

Dieses Verhalten verbessert die Zuverlässigkeit der Computestarts, indem kapazitätsausfälle (Stockout-Fehler) während der Computestarts reduziert werden. Bei Spotinstanzen mit Fallback können flexible Knotentypen versuchen, Instanzen mehrmals über verschiedene Instanztypen hinweg zu erwerben, bevor sie auf On-Demand-Instanzen zurückfallen. Dies führt zu einem höheren Prozentsatz von Spot-Instanzen im Vergleich zu On-Demand-Instanzen, wodurch Ihre Gesamtrechenkosten reduziert werden.

Funktionsweise flexibler Knotentypen

Wenn Sie eine Computeressource starten, hat Ihr Cloudanbieter manchmal keine Kapazität für den angegebenen Instanztyp. Dies führt zu einem Lagerausfall:

CLOUD_PROVIDER_RESOURCE_STOCKOUT

Während diese Fehler für Spotinstanzen häufiger vorkommen, können sie auch für On-Demand-Instanzen auftreten.

Mit aktivierten flexiblen Knotentypen generiert oder verwendet Azure Databricks automatisch Ihre angegebene Fallbackliste kompatibler Instanztypen. Wenn Ihr bevorzugter Instanztyp nicht verfügbar ist, versucht Azure Databricks, diese Ersatzinstanztypen zu erwerben, anstatt sofort fehlzuschlagen.

Aktivieren von flexiblen Knotentypen in Ihrem Arbeitsbereich

Arbeitsbereichsadministratoren können flexible Knotentypen in ihren Arbeitsbereichsadministratoreinstellungen aktivieren. Wenn diese Option aktiviert ist, verwenden alle neuen klassischen Computeressourcen im Arbeitsbereich flexible Knotentypen, es sei denn, dies ist explizit deaktiviert:

1. Wechseln Sie als Arbeitsbereichsadmin zur Seite Einstellungen.
2. Klicken Sie auf die Registerkarte "Berechnen ".
3. Aktivieren Sie die Einstellung " Automatische flexible Knotentypen aktivieren ":
   • Aktiviert: Alle neuen klassischen Computeressourcen verwenden automatisch flexible Knotentypen, es sei denn, sie sind explizit deaktiviert.
   • Deaktiviert: Klassische Computeressourcen verwenden nur flexible Knotentypen, wenn Sie in der Computeressourcenkonfiguration explizit konfigurieren node_type_flexibility .

Diese arbeitsbereichweite Einstellung wirkt sich nicht auf vorhandene Computeressourcen aus. Wenn deaktiviert, können Benutzer weiterhin flexible Knotentypen für einzelne Computeressourcen konfigurieren, indem sie die worker_node_type_flexibility Felder driver_node_type_flexibility explizit mit benutzerdefinierten Fallbacklisten konfigurieren. Um zu verhindern, dass Benutzer diese Felder konfigurieren, können Administratoren des Arbeitsbereichs Compute-Richtlinien verwenden. Siehe Beispiele für flexible Knotentyprichtlinien.

Angeben einer benutzerdefinierten Fallbackliste

Wenn flexible Knotentypen in Ihrem Arbeitsbereich aktiviert sind, generiert Azure Databricks automatisch eine Fallbackliste mit kompatiblen Instanztypen für neue Computeressourcen.

Wenn Sie die automatisch generierte Fallbackliste nicht verwenden möchten, können Sie stattdessen Ihre eigene Fallbackliste angeben. Wenn flexible Knotentypen in Ihrem Arbeitsbereich deaktiviert sind, können Sie weiterhin eine benutzerdefinierte Fallbackliste für Ihre Computeressource angeben. Nur bestimmte Instanztypen sind kompatibel. Siehe Fallbackinstanztypanforderungen. Eine Referenz zu kompatiblen Instanztypen finden Sie in der Kompatibilitätsreferenz für flexible Knotentypen.

Benutzerdefinierte Fallbacklisten werden nur bei der Konfiguration von Compute mithilfe der API unterstützt. Weitere Informationen finden Sie in der Referenzdokumentation zur Cluster-API .

Die folgende Konfiguration gibt z. B. an, auf welchen Instanztyp die Computeressource bei Bedarf zurückgreifen wird:

  "worker_node_type_flexibility": {
    "alternate_node_type_ids": [
      "Standard_L8s_v2"
    ]
  },
  "driver_node_type_flexibility": {
    "alternate_node_type_ids": [
      "Standard_L8s_v2"
    ]
  },

Anforderungen für Fallbackinstanztypen

Fallback-Instanztypen müssen mit dem bevorzugten Instanztyp von Compute kompatibel sein. Ihre Liste der Fallbackinstanztypen muss die folgenden Anforderungen erfüllen:

• Gleiche vCPU-Anzahl und Arbeitsspeicher wie der bevorzugte Instanztyp (Fallbackinstanzen müssen zwischen 100% und 110% des Speichers des bevorzugten Instanztyps verfügen)
• Gleiche Anzahl lokaler Datenträger und Datenträgergröße wie der bevorzugte Instanztyp
• Gleiche CPU-Architektur wie der bevorzugte Instanztyp (alle ARM oder alle x86)
• Gleiche Betriebssystem-Images und Photon-Unterstützung wie beim bevorzugten Instanztyp
• Keine GPU-Instanztypen (GPUs werden nicht unterstützt)
• Maximal 5 eindeutige Fallbackinstanztypen

• Alle Instanztypen müssen über eine konsistente Speicherunterstützung verfügen: entweder alle unterstützen PREMIUM_LRS Speicher oder keines davon.

Verwenden von flexiblen Knotentypen mit Pools

Sie können auch eine Fallbackliste für Pools anpassen. Legen Sie in der Pools-API das node_type_flexibility Feld fest, um die Fallbackinstanztypen anzugeben. Beispiel:

"node_type_flexibility": {
    "alternate_node_type_ids": ["Standard_L8s_v2"]
  }

Pools unterstützen die Verwendung flexibler Instanztypen nicht, um die minimale Leerlaufanzahl beizubehalten. Der Pool kann virtuelle Computer nur mithilfe der Fallbackinstanztypen starten, wenn ein Computestart aus dem Pool versucht wird. Vor der Erwärmung der minIdle Anzahl wird nur der bevorzugte Instanztyp verwendet.

Anzeigen der erworbenen Instanztypen

Wenn Sie flexible Knotentypen verwenden, kann Ihre Computeressource aus einer Mischung verschiedener Instanzentypen bestehen. Alle Fallbackinstanztypen sind mit Ihrem bevorzugten Typ kompatibel, wobei die gleiche vCPU-Anzahl, Arbeitsspeicher, Datenträgerlayout, CPU-Architektur und Betriebssystemimage beibehalten werden, um sicherzustellen, dass Ihre Workload ordnungsgemäß ausgeführt wird.

Sie können anzeigen, welche Instanztypen für Ihre Computeressource erworben wurden:

1. Klicken Sie auf der Seite "Computedetails" auf die drei Punkte neben der Schaltfläche " Beenden ", und wählen Sie "JSON anzeigen" aus.
2. Überprüfen Sie das node_type_id Feld für jeden Executor, um zu sehen, welche Instanztypen ausgeführt werden.

Sie können diese Informationen auch programmgesteuert mithilfe der Get Cluster-Info-API abrufen. Darüber hinaus können Benutzer mit der Berechtigung für den Zugriff auf Systemtabellen die node_timelines Tabelle abfragen. Weitere Informationen finden Sie unter Tabellenschema für Knotenzeitachsen.

Deaktivieren von flexiblen Knotentypen für eine Computeressource

Hinweis

Databricks empfiehlt, flexible Knotentypen aktiviert zu halten, es sei denn, Sie haben strenge Anforderungen für einen bestimmten Instanztyp.

Wenn Sie es vorziehen, dass der Computestart fehlschlägt, anstatt auf einen alternativen Instanztyp zurückzugreifen, können Sie das flexible Knotenverhalten auf der ebene der einzelnen Computeressourcen deaktivieren. Dies wird nur bei Verwendung der Cluster-API unterstützt. Um flexible Knotentypen zu deaktivieren, legen Sie die Felder des flexiblen Knotentyps in der Computekonfiguration als leer fest. Beispiel:

"worker_node_type_flexibility": {
  "alternate_node_type_ids": []
},
"driver_node_type_flexibility": {
  "alternate_node_type_ids": []
}