SQL Warehouse-Typen

  • Artikel

Databricks SQL unterstützt die folgenden SQL-Warehouse-Typen:

  • Serverlos
  • Pro
  • Klassisch

Jeder SQL-Warehouse-Typ verfügt über unterschiedliche Leistungsfunktionen. In der folgenden Tabelle sind die Leistungsfunktionen aufgeführt, die von jedem SQL-Warehouse-Typ unterstützt werden.

Photon Engine Vorhersage-E/A Intelligentes Workload-Management
Serverlos X X X
Pro X X
Klassisch X

In der folgenden Liste werden die einzelnen Leistungsfeatures beschrieben:

  • Photon: Das native vektorisierte Abfragemodul auf Databricks. Dadurch werden Ihre vorhandenen SQL- und DataFrame-API-Aufrufe schneller ausgeführt und die Gesamtkosten pro Workload reduziert.

  • Predictive IO: Eine Reihe von Features zum Beschleunigen selektiver Scanvorgänge in SQL-Abfragen. Predictive IO kann eine breite Palette von Geschwindigkeiten bieten.

  • Intelligente Workloadverwaltung (IWM):Eine Reihe von Features, die die Fähigkeit von Databricks SQL Serverless zum schnellen und kostengünstigen Verarbeiten großer Abfragen verbessern. Mit KI-basierten Vorhersage- und dynamischen Managementtechniken arbeitet IWM daran, sicherzustellen, dass Workloads schnell über die richtige Menge an Ressourcen verfügen. Der Hauptunterschied liegt in den KI-Funktionen in Databricks SQL, um dynamisch auf Workload-Anforderungen zu reagieren, anstatt statische Schwellenwerte zu verwenden.

    Hinweis

    Preise für jeden Warehousetyp und einen detaillierten Featurevergleich finden Sie unter Databricks SQL. Informationen zu den neuesten Databricks SQL-Features finden Sie in den Versionshinweisen zu Databricks SQL.

Leistungsunterschiede zwischen SQL-Warehouse-Typen

Jeder SQL-Warehouse-Typ weist unterschiedliche Leistungsmerkmale auf.

Serverlose SQL-Warehouses

Unter Verwendung der serverlosen Architektur von Azure Databricks unterstützt ein serverloses SQL-Warehouse alle Leistungsfeatures von Databricks SQL. Mit einem serverlosen SQL-Warehouse und seinen Leistungsfeatures erhalten Sie Folgendes:

  • Extrem schnelle Startzeit (in der Regel zwischen 2 und 6 Sekunden)
  • Schnelles Hochskalieren, um bei Bedarf mehr Computeressourcen zu erhalten und eine niedrige Latenz aufrechtzuerhalten
  • Abfragezugang näher an der Einschränkung der Hardware anstelle des virtuellen Computers
  • Schnelles Herunterskalieren, um Kosten zu minimieren, wenn die Nachfrage niedrig ist, und eine konsistente Leistung mit optimierten Kosten und Ressourcen bereitzustellen

Wählen Sie ein serverloses SQL-Warehouse, wenn Sie die beste Startleistung, die effizienteste IO, eine intelligentere Handhabung von Abfragen, die im Laufe der Zeit stark schwanken, und eine schnelle automatische Skalierung beim Auftreten von Abfrage-Warteschlangen wünschen. Siehe serverlose automatische Skalierung und Abfragewarteschlangen.

Ein serverloses SQL-Warehouse bietet eine gute Leistung mit diesen Arten von Workloads:

  • ETL
  • Business Intelligence
  • Explorative Analyse

Wichtig

SQL-Warehouses unterstützen keine Passthrough von Anmeldeinformationen. Databricks empfiehlt die Verwendung von Unity Catalog für die Datengovernance. Siehe Was ist Unity Catalog?.

Pro SQL-Warehouses

Ein Pro-SQL-Warehouse unterstützt Photon und Predictive IO, unterstützt aber keine intelligente Workloadverwaltung. Bei einem Pro-SQL-Warehouse (im Gegensatz zu einem serverlosen SQL-Warehouse) befindet sich die Computeschicht in Ihrem Azure-Abonnementkonto und nicht in Ihrem Azure Databricks-Konto. Daher unterstützt ein Pro-SQL-Warehouse keine intelligente Workloadverwaltung, sodass es weniger reaktionsfähig für die Abfragenachfrage ist, die im Laufe der Zeit stark variiert, und nicht so schnell wie ein serverloses SQL-Lager automatisch skalieren kann. Das Starten eines Pro-SQL-Warehouse dauert mehrere Minuten, (in der Regel ca. 4 Minuten) und skaliert mit weniger Reaktionsfähigkeit als ein serverloses SQL-Lager. Weitere Informationen finden Sie unter Warteschlangen und automatische Skalierung für klassische und Pro-SQL-Warehouses.

Verwenden Sie ein Pro-SQL-Warehouse, wenn:

  • Serverless SQL-Warehouses sind in einer Region nicht verfügbar.
  • Sie verfügen über benutzerdefinierte Netzwerke und möchten eine Verbindung mit Datenbanken in Ihrem Netzwerk in der Cloud oder lokal für den Partnerverbund oder eine Hybridarchitektur herstellen. Verwenden Sie beispielsweise ein Pro SQL-Warehouse, wenn Sie andere Dienste in Ihr Netzwerk aufnehmen möchten, z. B. einen Ereignisbus oder Datenbanken, oder wenn Sie Ihr Netzwerk mit Ihrem lokalen Netzwerk verbinden möchten.

Klassische SQL-Warehouses

Ein klassisches SQL-Warehouse unterstützt Photon, unterstützt jedoch keine Predictive IO- oder intelligente Workload-Verwaltung. Bei einem klassischen SQL-Warehouse (im Gegensatz zu einem serverlosen SQL-Warehouse) befindet sich die Compute-Ebene im Azure-Abonnementkonto und nicht in Ihrem Azure Databricks-Konto. Ohne Unterstützung für Predictive IO oder intelligentes Workload Management bietet ein klassisches SQL-Warehouse nur eine Einstiegsleistung und weniger Leistung als ein serverloses oder ein Pro-SQL-Warehouse. Ein klassisches SQL-Warehouse braucht außerdem mehrere Minuten (in der Regel ungefähr 4 Minuten), um zu starten, und skaliert mit weniger Reaktionsfähigkeit als ein serverloses SQL-Warehouse. Weitere Informationen finden Sie unter Warteschlangen und automatische Skalierung für klassische und Pro-SQL-Warehouses.

Verwenden Sie ein klassisches SQL-Warehouse, um interaktive Abfragen für die Datensuche mit Denk-Funktionen auf Einstiegsebene und Databricks SQL-Features auszuführen.

Hinweis

Informationen zur Größenanpassung Ihres SQL-Warehouse und zur Skalierung Ihres SQL-Warehouse als Reaktion auf die Abfragewarteschlange. finden Sie unter Warteschlangen und automatische Skalierung für Pro- und klassische SQL-Lagerhäuser.

Wie lauten die Standardeinstellungen für die Warehouse-Typen?

Für Arbeitsbereiche in Regionen, die serverlose SQL-Warehouses unterstützen und die Anforderungen erfüllen:

  • Bei Verwendung der Benutzeroberfläche ist der Standardtyp des SQL-Warehouses serverlos.
  • Bei Verwendung der SQL Warehouses-API mit Standardparametern ist der Standard-SQL-Warehouse-Typ klassisch. Wenn Sie Serverlos verwenden möchten, legen Sie den enable_serverless_compute Parameter auf true fest, und legen Sie auch warehouse_type auf pro fest. Wenn dieser Arbeitsbereich die SQL Warehouses-API verwendet hat, um zwischen dem 1. November 2022 und dem 19. Mai 2023 ein Warehouse zu erstellen und dieser die Anforderungen für serverlose SQL-Warehouses erfüllt, bleibt der Standard auf true festgelegt. Um Mehrdeutigkeiten zu vermeiden, insbesondere für Organisationen mit vielen Arbeitsbereichen, empfiehlt Databricks, dieses Feld immer festzulegen.
  • Wenn der Arbeitsbereich einen externen Legacy-Hive-Metastore verwendet, werden serverlose SQL-Warehouses nicht unterstützt. Der Standardtyp des SQL-Warehouse ist identisch mit der Deaktivierung des serverlosen Computes. Dies ist auf der Benutzeroberfläche auf „Pro“ festgelegt und mit der API auf „Klassisch“. Wenden Sie sich außerdem an Ihr Azure Databricks-Kontoteam, um mehr über Unity Catalog oder andere Optionen zu erfahren.

Für Arbeitsbereiche, die keine serverlosen SQL-Warehouses unterstützen:

  • Bei Verwendung der Benutzeroberfläche ist der Standardtyp des SQL-Warehouse „Pro“.
  • Bei Verwendung der SQL Warehouses-API mit Standardparametern ist der Standard-SQL-Warehouse-Typ klassisch.