Lakehouse Real-Time

Important

Dieses Feature befindet sich in der Betaversion. Wenden Sie sich an Ihr Databricks-Kontoteam, um dieses Feature in Ihrem Konto zu aktivieren.

Lakehouse//RT wird aktiv weiterentwickelt. Leistungsmerkmale und das unterstützte Funktionsset können sich ändern.

Lakehouse Real-Time (Lakehouse//RT) ist ein serverloses SQL-Warehouse-Typ, das für Workloads mit niedriger Latenz und hoher Gleichzeitigkeit entwickelt wurde, etwa das Bereitstellen analytischer Daten an benutzerdefinierte Anwendungen und KI-Agenten, die operative Analysen ausführen oder BI-Dashboards mit Reaktionen unter einer Sekunde für Hunderte bis Tausende gleichzeitiger Benutzer benötigen.

Lakehouse//RT bietet Latenz im Subsekundenbereich bei SQL-Leseabfragen auf Ihre Unity Catalog-Tabellen, die Delta Lake- oder Apache Iceberg-Formate im Cloudspeicher verwenden. Es fragt Ihre Tabellen vor Ort ab, sodass Sie keine Daten in eine separate Datenbank mit niedriger Latenz kopieren müssen, um schnelle Antworten zu erhalten. Sie erstellen und verwalten Lakehouse//RT ähnlich wie andere SQL-Lagerhäuser. Ein Arbeitsbereichsadministrator oder ein privilegierter Benutzer erstellt einen oder mehrere pro Arbeitsbereich und weist Benutzern Berechtigungen zu.

Wann sollte man Lakehouse//RT nutzen

Lakehouse//RT eignet sich für Workloads mit vielen gleichzeitigen, selektiven Leseabfragen, bei denen jede einzelne in unter einer Sekunde beantwortet werden muss. Verwenden Sie die folgende Tabelle, um Rechenleistung für eine Workload auszuwählen:

Arbeitsbelastung Empfohlene Rechenleistung
Selektive SELECT Abfragen, die bei hoher Parallelität Antworten unter einer Sekunde benötigen, wie Anwendungsbackends und KI-Agent-Tools Lakehouse//RT
Langlaufende Abfragen, Joins über große Tabellen, Extrahieren, Transformieren und Laden (ETL)-Jobs, Schreibvorgänge oder Abfragen, die auf Nicht-ANSI-SQL-Verhalten basieren Serverloses SQL-Warehouse
Transaktionale Workloads mit häufigen Einfügungen, Aktualisierungen und Löschungen auf Zeilenebene Lakebase

Anforderungen

Um Lakehouse//RT zu verwenden, müssen Sie:

Aktivieren von Lakehouse//RT in Ihrem Arbeitsbereich

Arbeitsbereichsadministratoren können das Lakehouse//RT Beta in Ihrem Arbeitsbereich aktivieren:

  1. Wechseln Sie in Ihrem Arbeitsbereichsmenü (oben rechts) zu "Vorschauen".
  2. Suchen Sie nach Lakehouse RT.
  3. Aktivieren Sie die Vorschau.

Nachdem Sie die Vorschau aktiviert haben, wird der Echtzeit-Lagertyp im SQL-Lagererstellungsablauf für Ihren Arbeitsbereich verfügbar.

Ein Lakehouse//RT-Warehouse erstellen

So erstellen Sie ein Lakehouse//RT-Lager:

  1. Wechseln Sie zu Compute>SQL Warehouses>Create SQL Warehouse.
  2. Wählen Sie "Echtzeit" aus.
  3. Wählen Sie eine Abfragegröße aus: Klein, Mittel,Groß oder X-Groß, abhängig von der Leistung, die Ihre Abfragen benötigen.
  4. Konfigurieren Sie das Autoscaling, um die maximalen DBUs zu bestimmen, die Ihnen pro Stunde berechnet werden können.
  5. Stellen Sie Auto stop so ein, dass festgelegt wird, wann ein inaktives Lager stoppt.
  6. Geben Sie einen Namen für das Lager ein.
  7. Klicken Sie auf "Erstellen".

Um Berechtigungen zuzuweisen, erteilen Sie Benutzern und Gruppen Kann verwenden, Kann überwachen oder Kann verwalten, genau wie bei einem SQL-Warehouse. Siehe SQL-Lager-Zugriffssteuerungslisten (ACLs). Für die Einstellungen, die für jeden SQL-Warehouse-Typ gelten, siehe SQL-Warehouse erstellen.

Note

Sie können kein bestehendes SQL-Warehouse auf Lakehouse//RT aktualisieren oder ein bestehendes Lakehouse//RT-Warehouse auf einen anderen Warehouse-Typ herabstufen.

Größe und Maßstab eines Lakehouse//RT-Lagers

Lakehouse//RT hat Einstellungen, die Leistung und Kosten steuern:

  • Die Abfragegröße steuert die Rechenleistung, die einer einzelnen Abfrage zur Verfügung steht.
  • Autoscaling steuert , wie stark das Warehouse skaliert, um gleichzeitig angeforderte Abfragen zu bedienen.
  • Der automatische Stopp steuert, wie lange ein leeres Lager läuft, bevor es stoppt.

Abfragegröße und Autoskalierung funktionieren anders als die Größen- und Skalierungseinstellungen eines serverlosen SQL-Warehouses.

Abfragegröße

Die Abfragegröße legt die maximale Berechnung fest, die eine einzelne Abfrage benötigen kann, was bestimmt, wie schnell eine einzelne Abfrage ausgeführt werden kann. Außerdem legt sie die minimale Rechenleistung fest, mit der das Warehouse läuft, sowie die minimale Rechenleistung, die dir in Rechnung gestellt wird, solange das Warehouse läuft.

Du stellst die Abfragegröße beim Erstellen des Lagers ein. Wählen Sie Small, Medium, Large oder X-Large. Eine größere Größe verschafft jeder Abfrage mehr Rechenleistung für schnellere Ergebnisse zu höheren Mindestkosten.

Diese Einstellung ähnelt im Konzept der Größe eines serverlosen SQL-Warehouses, das die Rechenleistung ebenfalls auf eine einzelne Abfrage beschränkt.

Automatische Skalierung

Autoscaling ermöglicht es einem Warehouse, Rechenkapazität hinzuzufügen, um mehr gleichzeitige Abfragen zu verarbeiten, und sie wieder freizugeben, wenn die Nachfrage sinkt. Du legst die maximale Rechenleistung fest, auf die das Warehouse skalieren kann, gemessen in DBUs. Sie können das Maximum bis zu 960 DBUs pro Stunde festlegen.

Autoscaling auf Lakehouse//RT unterscheidet sich in einigen Punkten von Cluster-Skalierung auf einem serverlosen SQL-Warehouse:

  • Sie wird in DBUs gemessen, nicht in Clustern.
  • Das Maximum ist unabhängig von der Abfragegröße. Siehe Größe für Parallelität.
  • Lakehouse//RT-Autoscaling fügt genau die benötigte Rechenleistung hinzu und entfernt sie wieder, anstatt in ganzen Cluster-Einheiten zu skalieren.

Um zu sehen, wie stark ein Warehouse skaliert, nutze die Überwachungsseite.

Größe für gleichzeitige Abfragen

Um viele gleichzeitige Abfragen zu bedienen, nutzen Sie Autoscaling zur horizontalen Skalierung, anstatt eine größere Abfragegröße zu wählen:

  1. Wählen Sie die kleinste Abfragegröße, die Ihrem Latenzziel für eine einzelne Abfrage entspricht.
  2. Stellen Sie das Autoscaling-Maximum hoch genug ein, um Ihre Spitzenlast an gleichzeitigen Abfragen zu bewältigen.
  3. Beobachten Sie die in der Warteschlange befindlichen Abfragen auf der Monitoring-Seite. Wenn Abfragen bei Spitzenlast in Warteschlange stehen, erhöhen Sie das Autoskalierungsmaximum.

Ein einzelnes Lakehouse//RT-Warehouse mit einem hohen Autoscaling-Maximum kann so skaliert werden, dass viele gleichzeitige Abfragen verarbeitet werden, ohne dass Sie Warehouses hinzufügen müssen. Wenn Sie eine höhere Parallelität benötigen, wenden Sie sich bitte an Ihr Azure Databricks-Kontoteam.

Auto-Stopp

Der automatische Stopp beendet das Lager, nachdem es für eine bestimmte Anzahl Minuten im Leerlauf war, sodass ein stillgelegtes Lager keine Gebühren anhäuft. Du stellst das Leerlauf-Timeout ein, wenn du das Lager erstellst.

Der automatische Stopp bei Lakehouse//RT funktioniert genauso wie bei einem serverlosen SQL-Warehouse. Für die Standard- und Mindestwerte siehe SQL-Warehouse-Einstellungen konfigurieren.

Überwachen Sie die Lakehouse//RT-Aktivität

Sie können Lakehouse//RT-Warehouses sowie die von ihnen ausgeführten Abfragen genauso wie jedes andere SQL-Warehouse überwachen:

Bewerten Sie Ihre Arbeitsbelastung

Bevor Sie eine Workload nach Lakehouse//RT verschieben, testen Sie sie mit eigenen Abfragen und vergleichen Sie die Latenz mit Ihrem aktuellen Warehouse:

  1. Wählen Sie die Abfragen aus, die Ihre Anwendung oder Ihr Dashboard am häufigsten ausführen, und stellen Sie sicher, dass sie innerhalb weniger Sekunden auf einem serverlosen SQL-Warehouse ausgeführt werden.
  2. Erstellen Sie ein Lakehouse//RT-Warehouse und führen Sie die gleichen Abfragen darauf aus. Verwenden Sie dieselben Tabellen, daher ist keine Datenbewegung erforderlich.
  3. Behebe jede Abfrage, die fehlschlägt, weil sie eine nicht unterstützte Funktion verwendet oder ein Guardrail überschreitet.
  4. Vergleichen Sie die Latenz zwischen den beiden Warehouses in der Tabelle des Abfrageverlaufssystems.

Um die Median- und 90. Perzentillatenz zwischen den beiden Warehouses zu vergleichen, führen Sie die folgende Abfrage aus und ersetzen Sie die Platzhalter-IDs durch Ihre Warehouse-IDs. Du brauchst das SELECT Privileg auf der Tabelle system.query.history:

SELECT
  compute.warehouse_id,
  count(*) AS queries,
  percentile(total_duration_ms, 0.5) AS p50_ms,
  percentile(total_duration_ms, 0.9) AS p90_ms
FROM system.query.history
WHERE compute.warehouse_id IN ('<serverless-warehouse-id>', '<real-time-warehouse-id>')
  AND execution_status = 'FINISHED'
  AND start_time >= current_timestamp() - INTERVAL 1 DAY
GROUP BY compute.warehouse_id;

Die Abfrage vergleicht jede abgeschlossene Abfrage in jedem Lager am letzten Tag, sodass die Ergebnisse nur dann vergleichbar sind, wenn beide Lagerhäuser dieselbe Workload ausführten. Um den Vergleich auf Ihre Testabfragen zu beschränken, setzen Sie einen Abfragetag für diese und filtern Sie nach der Spalte query_tags. Siehe Referenz zur Systemtabelle des Abfrageverlaufs.

Leitplanken

Um eine geringe Latenz bei allen Abfragen zu gewährleisten, setzt Lakehouse//RT Ressourcengrenzen pro Abfrage durch. Eine Abfrage, die ein Guardrail überschreitet, liefert einen Fehler zurück, anstatt langsam ausgeführt zu werden, daher werden Abfragen so gestaltet, dass sie sich gut innerhalb dieser Grenzen halten.

Guardrail Limit Error
Abfragelaufzeit 2 Minuten QUERY_RESOURCE_LIMIT_EXCEEDED mit der QUERY_RUNTIME Unterklasse
Anweisungs-Timeout Standardmäßig 1 Minute. Sie können es bis zur Abfragelaufzeitgrenze von 2 Minuten konfigurieren. QUERY_EXECUTION_TIMEOUT_EXCEEDED
pro Stufe geschriebene Bytes 300 GB QUERY_RESOURCE_LIMIT_EXCEEDED mit der SHUFFLE_SIZE Unterklasse
Auslagerungsgröße 30 GB, wenn Spill aktiviert ist QUERY_RESOURCE_LIMIT_EXCEEDED mit der SPILL_SIZE Unterklasse
Nach der Bereinigung aufgeführte Dateien 10.000 Dateien, verstellbar bis zu 50.000 QUERY_RESOURCE_LIMIT_EXCEEDED mit der FILE_LIMIT Unterklasse

Azure Databricks kann diese Beschränkungen ändern. Der Fehler QUERY_RESOURCE_LIMIT_EXCEEDED gibt SQLSTATE 53400zurück.

Verwenden Sie folgende Ansätze, um innerhalb der Grenzen zu bleiben:

  • Abfragelaufzeit: Eine Abfrage, die sich dem Limit nähert, erreicht das Sub-Sekunden-Ziel nicht, selbst wenn sie abgeschlossen wird. Mehr filtern oder voraggregieren.
  • Shuffle Bytes: Breite Joins oder Aggregationen über große Tabellen hinweg können das Limit überschreiten. Voraggregieren Sie mit materialisierten Ansichten, anstatt große Tabellen zur Abfragezeit zusammenzufügen.
  • Aufgeführte Dateien: Filtern Sie nach Partitionsspalten oder liquid clustering-Spalten, sodass die Abfrage nur die benötigten Dateien liest.

Datenaktualität

Um die Latenz niedrig zu halten, verwendet Lakehouse//RT kürzlich zwischengespeicherte Tabellenmetadaten wieder. Abfrageergebnisse können den neuesten Commits in einer Tabelle um einige Sekunden hinterherhinken.

Bereiten Sie Ihre Workloads für Lakehouse//RT vor

Bereiten Sie Ihre Workloads vor, bevor Sie sie nach Lakehouse//RT verschieben. Um eine Workload end-to-end zu testen, lesen Sie Ihre Workload bewerten.

  • Verwenden Sie verwaltete Tabellen im Unity-Katalog. Verwaltete Tabellen mit prädiktiver Optimierung und flüssigem Clustering halten Ihre Daten für Ihre Abfragemuster geclustert.
  • Überprüfen Sie, ob Abfragen selektiv sind. Um eine Latenz von unter einer Sekunde zu erreichen, prüfen Sie, ob Ihre Abfragen weniger Daten scannen. Filtern Sie frühzeitig mit WHERE Klauseln, wählen Sie nur die benötigten Spalten aus, und stützen Sie sich auf Aggregationen. Das Verknüpfen über Tabellen hinweg wird unterstützt, aber wenn Sie feststellen, dass Ihre Abfrage komplex oder langsam wird, sollten Sie materialisierte Ansichten verwenden, die Ihre Daten für schnellere Latenzen vorab aggregieren.
  • Überprüfen Sie die SQL-Abdeckung. Lakehouse//RT unterstützt ausschließlich ANSI-konforme Leseabfragen und CREATE TABLE AS SELECT (CTAS). Vergewissern Sie sich, dass Ihre Workloads ANSI-kompatibel sind, und vermeiden Sie die unter "Einschränkungen" aufgeführten nicht unterstützten Anweisungen, Funktionen und Datentypen.

Unterstützte Funktionen

Dieser Abschnitt listet die Werkzeuge, Tabellentypen und Verbindungsmethoden auf, die Lakehouse//RT unterstützt. Für das, was es nicht unterstützt, siehe Einschränkungen.

Tools und Schnittstellen

Sie können Lakehouse//RT im Compute-Picker für eine der folgenden Azure Databricks-Funktionen auswählen:

Um KI/BI-Dashboards auf einem Lakehouse//RT-Lager zu erstellen, einschließlich Leitplanken und dashboardspezifischer Einschränkungen, siehe KI/BI-Dashboards in Lakehouse Echtzeit erstellen.

Tabellentypen

Lakehouse//RT fragt nur Unity Catalog-Daten ab. Für die beste Leistung verwenden Sie verwaltete Tabellen des Unity Catalog, die der Engine das benötigte Datenlayout für geringe Latenz bieten.

Lakehouse//RT unterstützt die folgenden Tabellentypen:

Connectivity

Lakehouse//RT akzeptiert nur Verbindungen, die die Anweisungsausführungs-API verwenden. Es unterstützt das alte Thrift-Protokoll nicht. Ein Treiber, der Abfragen an ein Lakehouse//RT-Warehouse über Thrift sendet, erhält einen Fehler mit SQLSTATE KP001.

Informationen zum Verbinden einer benutzerdefinierten Anwendung oder eines KI-Agenten finden Sie unter Anwendungen und Agenten für Lakehouse Real-Time erstellen.

Sie können auf folgende Weise eine Verbindung mit einem Lakehouse//RT-Lager herstellen:

  • Anweisungsausführungs-API: Rufen Sie die API direkt aus externen Anwendungen auf. Siehe Anweisungsausführungs-API: Ausführen von SQL auf Lagerhäusern. Es sind zwei Versionen verfügbar:

    • Statement Execution API Version 2: Verwenden Sie diese Version für die beste Lakehouse//RT-Performance. Es ist für Lakehouse//RT-Lagerhäuser optimiert, mit geringerer Latenz und höherer Parallelität, und akzeptiert bei jedem Aufruf warehouse_id als Pfadparameter. Derzeit unterstützt es nur Lakehouse//RT-Warehouses.
    • Statement Execution API Version 1: Funktioniert mit allen SQL-Warehouse-Typen. Du kannst auch Anweisungen auf Lakehouse//RT-Warehouses mit Version 1 ausführen, aber Version 2 ist dafür optimiert.
  • Databricks-Treiber: Weisen Sie den HTTP-Pfad des Treibers auf Ihr Lakehouse//RT-Warehouse und verwenden Sie mindestens die für den Treiber angegebene Version. In diesen Versionen erkennt der Treiber Lakehouse//RT automatisch und verwendet den dafür optimierten Verbindungspfad, ohne dass eine Einstellung erforderlich ist. Frühere Versionen können sich mit der angegebenen Einstellung verbinden, jedoch mit geringerer Leistung. Azure Databricks empfiehlt die neueste Treiberversion für vollständige Funktionen und beste Leistung.

    Note

    Ein Treiber, der explizit für die Verwendung von Thrift mit use_kernel=False, useKernel: false, WithUseKernel(false) oder UseThriftClient=1 konfiguriert ist, scheitert bei einem Lakehouse//RT-Warehouse mit SQLSTATE KP001.

  • Unterstützte Tools: Die folgenden Tools verbinden sich über eigene Connectors mit Lakehouse//RT:

Geospatial

Lakehouse//RT unterstützt die GEOGRAPHY und GEOMETRY Datentypen sowie die st_ und h3_ Funktionen, mit Ausnahme der unter Einschränkungen aufgeführten.

Feinkörnige Zugriffssteuerung

Lakehouse//RT unterstützt Leseabfragen auf Tabellen, materialisierten Ansichten und Streaming-Tabellen, die durch Zeilenfilter und Spaltenmasken geschützt sind, einschließlich integrierter Filter und Masken des Unity Catalog. Die Filter und Masken können direkt einer Tabelle zugewiesen oder über attributbasierte Zugriffskontrollrichtlinien (ABAC) angewendet werden. Siehe Zeilenfilter und Spaltenmasken sowie attributbasierte Zugriffskontrolle im Unity-Katalog.

Verwenden Sie Compute-Ressourcen, die das Policy-Management unterstützen, wie zum Beispiel ein serverloses SQL-Warehouse, um Zeilenfilter, Spaltenmasken und ABAC-Richtlinien zu erstellen oder zu ändern. Lakehouse//RT wendet bestehende Richtlinien beim Lesen von Tabellen an. Es unterstützt keine Richtlinienmanagement-Statements und schreibt nicht in Tabellen mit Richtlinien. Für Abfrageeinschränkungen siehe Fein-granulare Zugriffskontrollbeschränkungen.

Spaltenmasken-Ergebnistypen

Lakehouse//RT konvertiert das Ergebnis einer Spaltenmaske mithilfe der ANSI-Semantik zurück in den deklarierten Datentyp der Spalte. Dies gilt sowohl für Masken auf Tabellenebene als auch für ABAC-Masken. Wenn das Ergebnis nicht in den Typ der Spalte umgewandelt werden kann, schlägt die Abfrage fehl.

Beispiele:

  • Eine Maske, die die Zeichenkette 'REDACTED' für eine Spalte BOOLEAN zurückgibt, führt zum Fehlschlagen der Abfrage, weil die Zeichenkette nicht in BOOLEAN umgewandelt werden kann.
  • Eine Maske, die für eine 0-Spalte FALSE zurückgibt, erzeugt die ganze Zahl INT.

Auf Databricks Runtime stellt eine Spaltenmaske auf Tabellenebene den Rückgabetyp der Maske der Abfrage zur Verfügung. Das Verschieben derselben Abfrage nach Lakehouse//RT kann den Ergebnistyp ändern oder einen Cast-Fehler verursachen. ABAC-Masken wandeln Ergebnisse sowohl auf Databricks Runtime als auch auf Lakehouse//RT zurück in den Spaltentyp um. Databricks empfiehlt Maskierungsfunktionen, die denselben Typ wie die Spalte zurückgeben.

Abfragepläne und Profile für geschützte Tabellen

Für Abfragen, die Zeilenfilter oder Spaltenmasken verwenden, begrenzt Lakehouse//RT die in der Ausgabe und in EXPLAIN angezeigten Details, um Informationen über die zugrundeliegenden Daten und die Richtlinienlogik zu schützen:

  • EXPLAIN Output verbirgt Abfrageschritte, die geschützte Daten lesen oder Richtlinien anwenden. Außerdem werden Planstatistiken ausgelassen.
  • Abfrageprofile verbergen diese Abfrageschritte und lassen Statistiken für geschützte Tabellen weg.

Troubleshooting

Die folgende Tabelle listet häufige Fehler auf und wie sie behoben werden können:

Error Ursache Resolution
Thrift-Protokollfehler (SQLSTATE KP001) Der Treiber verbindet sich über Thrift. Konfigurieren Sie den Treiber für die Verwendung der Statement Execution API. Siehe Konnektivität.
UNSUPPORTED_FEATURE (SQLSTATE 0A000) Die Abfrage verwendet eine Anweisung, Funktion, einen Datentyp oder Tabellentyp, die Lakehouse//RT nicht unterstützt. Die Nachricht nennt das Feature. Schreib die Abfrage neu, um das Feature zu vermeiden, oder führe sie in einem serverlosen SQL-Warehouse aus. Informationen finden Sie unter Einschränkungen.
QUERY_RESOURCE_LIMIT_EXCEEDED (SQLSTATE 53400) Die Abfrage überschreitet eine Schutzgrenze. Die Fehlerunterklasse (QUERY_RUNTIME, SHUFFLE_SIZE, SPILL_SIZE, oder FILE_LIMIT) nennt das Limit. Früher filtern, weniger Spalten auswählen oder mit materialisierten Ansichten voraggregieren. Siehe Guardrails.
QUERY_EXECUTION_TIMEOUT_EXCEEDED Die Abfrage läuft länger als das Timeout der Anweisung. Optimieren Sie die Abfrage oder erhöhen Sie das Anweisungs-Timeout bis auf das Abfragelaufzeitlimit.
Ein Cast-Fehler auf einer Tabelle mit einer Spaltenmaske Die Maske gibt einen Wert zurück, der nicht in den Typ der Spalte umgewandelt werden kann. Verwenden Sie eine Maskierungsfunktion, die den Datentyp der Spalte zurückgibt. Siehe Ergebnistypen der Spaltenmaske.
403 Forbidden beim Lesen von Speicher Eine Speicher-Firewall blockiert serverloses Computing. Konfigurieren Sie Ihre Firewall für serverlose Datenverarbeitung. Weitere Informationen finden Sie unter Konfigurieren einer Firewall für Zugriff auf serverloses Computing.

Falls das Problem weiterhin besteht, sammeln Sie die folgenden Informationen, und wenden Sie sich an den Azure Databricks-Support:

  • Die Fehlermeldung.
  • Ein Export des Abfrageprofils, einschließlich des Rohabfragetextes.
  • Wenn die Abfrage in einem KI/BI-Dashboard ausgeführt wird, wird ein Link zum Dashboard angezeigt.
  • Bestätigung, dass dieselbe Abfrage auf einem serverlosen SQL-Warehouse ausgeführt wird.

Pricing

Preisinformationen finden Sie auf der Databricks-Preisseite.

Einschränkungen

Wenn eine Abfrage eine nicht unterstützte Funktion verwendet, gibt Lakehouse//RT einen Fehler zurück, in dem die Funktion genannt wird. Um die Abfrage erfolgreich auszuführen, verwenden Sie stattdessen ein serverloses SQL Warehouse.

Werkzeuge und Funktionen

Lakehouse//RT unterstützt nicht die folgenden Features:

  • Genie, einschließlich Genie-Agenten
  • Jobaufgaben

Tabellentypen

Lakehouse//RT unterstützt nicht die folgenden Tabellentypen:

  • Tabellen im Standardspeicher von Unity Catalog
  • Externe Tabellen im Unity-Katalog
  • Hive-Metastore-Tabellen (verwaltet oder extern)
  • Externe Tabellen und Abfrageverbund (Lakehouse Federation)
  • Delta Sharing-Tabellen
  • Temporäre Tabellen
  • Tabellen, die andere Datenformate verwenden (CSV, JSON, Avro, Parkett, ORC und Text)

Einschränkungen der feingranularen Zugriffskontrolle

Abfragen mit Zeilenfiltern oder Spaltenmasken haben folgende Einschränkungen:

  • Änderungsdatenfeed-Reads mit table_changes werden in geschützten Tabellen nicht unterstützt.
  • ABAC-Richtlinien, die an Views angehängt sind, werden nicht unterstützt.
  • Mehrere DISTINCT Argumentsätze in einem Aggregat innerhalb einer Richtlinienfunktion schlagen mit UNSUPPORTED_FEATURE fehl. Aggregate, die dieselben DISTINCT Argumente teilen, sowie Aggregate in der äußeren Abfrage bleiben weiterhin unterstützt.

Treiber und Konnektoren

Lakehouse//RT unterstützt weder den Simba Spark ODBC Driver noch den Databricks ODBC Driver. Verwenden Sie stattdessen den Databricks OSS ODBC-Treiber.

SQL-Sprache

Lakehouse//RT führt SQL-Leseabfragen nur im ANSI-Modus aus. Es wertet alle impliziten Typkoercionen aus und wandelt nach strengen ANSI SQL-Regeln um, und dieses Verhalten kann nicht deaktiviert werden. Unter DER ANSI-Semantik können Abfragen, die auf nicht-ANSI-Verhalten basieren, folgende Möglichkeiten haben:

  • Einen Laufzeitfehler auslösen, statt stillschweigend NULL zu erzeugen. Zum Beispiel die Konvertierung einer nicht numerischen Zeichenfolge in eine Zahl.
  • Lösen Sie einen Analysezeitfehler aus, wenn kein sicherer allgemeiner Typ vorhanden ist. Beispiel: COALESCE, CASE, IN oder Festlegen von Vorgängen für inkompatible Typen.
  • Gibt einen anderen Ergebnistyp als den Legacymodus zurück, da ANSI-Zeichenfolgenheraufstufung und numerische Erweiterung sichere, verlustlose Typen auswählen.

Um vorhersagbare Ergebnisse zu erhalten, verwenden Sie explizite CAST Ausdrücke, wenn implizite ANSI-Moduskonvertierungen nicht das erwartete Verhalten erzeugen.

Lakehouse//RT unterstützt folgendes nicht:

  • Funktionen: KI-Funktionen, Python-UDFs sowie XPath- und XML-Funktionen.
  • Räumliche Funktionen: st_buffer, st_concavehull, st_simplify, st_envelope_agg, und st_union_agg.
  • H3-Funktionen: h3_tessellateaswkb, h3_try_tessellateaswkb, und h3_getpentagoncellids.

Lakehouse//RT ist für Leseanfragen (SELECT) und Schreibvorgänge CREATE TABLE AS SELECT (CTAS). Andere Schreib- und ETL-Befehle werden nicht unterstützt, darunter:

  • Schreiboperationen: INSERT, UPDATE, DELETE, und MERGE.
  • DDL: CREATE (mit Ausnahme von CTAS), ALTER, DROP und andere Anweisungen, die Objekte erstellen oder ändern.
  • Sicherheitsanweisungen: GRANT und REVOKE.
  • Skripting, gespeicherte Prozeduren, temporäre Tabellen und Transaktionen mit mehreren Anweisungen.
  • Wartung des Delta Lake: OPTIMIZE, ANALYZE, VACUUM, und REFRESH.

Compliance

Lakehouse//RT unterstützt keine Compliance-Sicherheitsprofile.