Verwenden Sie Lakehouse Real-Time mit KI/BI-Dashboards

Important

Lakehouse Real-Time (Lakehouse//RT) befindet sich in Beta und befindet sich in aktiver Entwicklung. Leistungsmerkmale und der unterstützte Featuresatz werden vor der allgemeinen Verfügbarkeit geändert. Um sie in Ihrem Konto zu aktivieren, wenden Sie sich an Ihr Azure Databricks-Kontoteam.

Man kann ein Lakehouse//RT-Warehouse nutzen, um KI/BI-Dashboards zu betreiben, die Hunderten bis Tausenden gleichzeitigen Nutzern Antworten in weniger als einer Sekunde liefern. Nutze Lakehouse//RT, um neue Dashboards zu erstellen, die innerhalb der aktuellen Einschränkungen passen. Die Migration eines bestehenden Dashboards wird nicht empfohlen, da bestehende Dashboards oft auf Funktionen angewiesen sind, die Lakehouse//RT noch nicht unterstützt, wie Genie, externe Tabellen oder die Materialisierung der Metrikansicht.

Verwendungszweck

Lakehouse//RT liefert eine Latenz von unter einer Sekunde für selektive Abfragen, bei denen nur eine kleine Datenmenge gelesen wird. Es beschleunigt keine teuren Abfragen, wie solche, die große Datenmengen scannen oder viele große Tabellen verbinden.

Die Lakehouse//RT-Guardrails (siehe Guardrails) erzwingen harte Grenzen, anstatt kontrolliert an Leistung einzubüßen, also bereite deine Arbeitsbelastung vor, bevor du sie in ein Lakehouse//RT-Warehouse verlegst:

• Optimieren Sie teure Abfragen , indem Sie frühzeitig filtern, damit sie weniger Daten scannen.
• Aggregieren Sie Ergebnisse mit materialisierten Ansichten vor, wenn ein Dashboard deutlich weniger Daten liest, als es scannt.

Richte ein Dashboard auf einem Lakehouse//RT-Warehouse ein

Um ein KI/BI-Dashboard zu veröffentlichen, das auf Lakehouse//RT läuft, erstellen Sie das Warehouse und wählen Sie es als das Warehouse des Dashboards aus:

1. Erstelle ein Lakehouse//RT-Warehouse, wie jedes andere SQL-Warehouse. Siehe Lakehouse Real-Time.
2. Gewähren Sie Benutzern auf das Lager die Berechtigung Kann verwenden oder höher. Das Warehouse erscheint dann im Compute Picker für die Dashboard-Erstellung für diese Nutzer.
3. Wählen Sie in Ihrem Dashboard das Lakehouse//RT-Warehouse als Warehouse des Dashboards aus.
4. Veröffentlichen Sie das Dashboard wie gewohnt.

Leitplanken

Um den geteilten, latencyarmen Dienst zu schützen, setzt Lakehouse//RT Ressourcenlimits pro Abfrage durch. Eine Dashboard-Abfrage, die eine Schutzgrenze überschreitet, liefert einen Fehler, statt langsam zu laufen, daher sollten Sie Ihre Abfragen so gestalten, dass sie bequem innerhalb dieser Grenzen bleiben.

Diese Werte wurden während der Beta-Tests festgelegt und können sich vor der allgemeinen Verfügbarkeit ändern:

• Abfragelaufzeit: 2 Minuten. Lakehouse//RT bricht eine Widget-Abfrage ab, die länger läuft. Eine Abfrage, die sich diesem Limit nähert, erreicht das Sub-Sekunden-Ziel nicht, selbst wenn sie erfolgreich ausgeführt wird, und es ist wahrscheinlicher, dass sie die darunter liegenden Shuffle- oder Spill-Limits erreicht. Behandle es als Signal, um mehr zu filtern oder vorab zu aggregieren.
• Anweisungs-Timeout: standardmäßig 1 Minute. Du kannst das Timeout pro Statement bis zur Abfrage-Laufzeitgrenze von 2 Minuten konfigurieren.
• Shuffle-Bytes, die pro Stufe geschrieben wurden: 300 GB. Breite Joins oder Aggregationen über große Tabellen hinweg können diese Grenze überschreiten. Wenn eine Abfrage diese überschreitet, aggregieren Sie vorab mit materialisierten Sichten, anstatt große Tabellen zur Abfragezeit zu verbinden.
• Spill-Größe: 30 GB, wenn Spill aktiviert ist.
• Dateiliste nach dem Beschneiden: 10.000 Dateien, verstellbar bis zu 50.000. Wenn eine Abfrage diese Grenze überschreitet, filtern Sie auf Partition- oder Liquid-Clustering-Spalten , sodass das Dashboard nur die benötigten Dateien liest.

Limitations

Dashboards in einem Lakehouse//RT-Warehouse übernehmen alle Lakehouse//RT-Einschränkungen, einschließlich Unterstützung für nur Unity Catalog verwaltete Tabellen und nur ANSI-konforme SELECT Abfragen. Konvertiere andere Tabellentypen, wie externe Tabellen, in verwaltete Tabellen, bevor du sie abfraibst.

Die folgenden Einschränkungen gelten speziell für Dashboards, die mit einem Lakehouse//RT-Warehouse veröffentlicht werden:

• Genie wird nicht unterstützt.
• Die Materialisierung lokaler metrischer Ansichten wird nicht unterstützt.

Hilfe erhalten

Wenn Sie weiterhin Probleme mit einem Dashboard auf Lakehouse//RT haben, sammeln Sie die folgenden Informationen und kontaktieren Sie den Support von Azure Databricks:

• Die Fehlermeldungen, die angezeigt werden.
• Ein Export Ihres Abfrageprofils, einschließlich des rohen Abfragetextes.
• Ein Link zu deinem Dashboard.
• Bestätigung, dass derselbe Fehler in einem serverlosen SQL-Warehouse nicht auftritt.