Lakehouse Real-Time

Important

Deze functie bevindt zich in de bètaversie. Neem contact op met uw Databricks-accountteam om deze functie in te schakelen in uw account.

Lakehouse//RT is actief in ontwikkeling. Prestatiekenmerken en de ondersteunde functieset veranderen vóór algemene beschikbaarheid.

Lakehouse Real-Time (Lakehouse//RT) is een serverloze berekening die is gebouwd voor gebruiksscenario's met lage latentie, hoge gelijktijdigheid, zoals het leveren van analytische gegevens aan aangepaste toepassingen, het uitvoeren van operationele analyses of het inschakelen van BI-dashboards waarvoor sub-seconde antwoorden nodig zijn voor honderden tot duizenden gelijktijdige gebruikers.

Lakehouse//RT biedt een latentie van minder dan een seconde bij SQL-leesquery's op uw Unity Catalog-tabellen die gebruikmaken van Delta Lake- of Apache Iceberg-formaten in cloudopslag. U maakt en beheert Lakehouse//RT net als andere SQL-warehouses. Een werkruimtebeheerder of bevoegde gebruiker maakt een of meer per werkruimte en wijst machtigingen toe aan gebruikers.

Requirements

Als u Lakehouse/RT wilt gebruiken, moet u het volgende doen:

Lakehouse/RT inschakelen in uw werkruimte

Werkruimtebeheerders kunnen lakehouse//RT Beta inschakelen in uw werkruimte:

  1. Ga in het werkruimtemenu (rechterbovenhoek) naar Voorbeeldweergaven.
  2. Zoek naar Lakehouse RT.
  3. Schakel het voorbeeld in.

Nadat u de previewfunctie hebt ingeschakeld, is het warehousetype Real-Time beschikbaar in het maakproces voor SQL-warehouses voor uw werkruimte.

Een Lakehouse//RT-magazijn maken

Een Lakehouse//RT-magazijn maken:

  1. Ga naar Compute>SQL Warehouses>Create SQL Warehouse.
  2. Selecteer Realtime.
  3. Selecteer een grootte: Klein, Gemiddeld, Groot of X-Groot, afhankelijk van de prestaties die uw query's nodig hebben.
  4. Voer een naam in voor het magazijn.
  5. Klik op Create.

Als u machtigingen wilt toewijzen, verleent u Kan gebruiken, Kan controleren of Kan beheren aan gebruikers en groepen, net als voor een SQL-warehouse.

Note

U kunt momenteel geen bestaande SQL-warehouse upgraden naar Lakehouse//RT of een bestaand Lakehouse//RT-magazijn downgraden naar een ander magazijntype.

Lakehouse//RT-activiteit bewaken

U kunt Lakehouse//RT-query's op dezelfde manier bewaken als elke query die wordt uitgevoerd in een SQL Warehouse:

  • Querygeschiedenis: Lakehouse//RT-query's worden weergegeven in de gebruikersinterface voor querygeschiedenis en de tabel van het querygeschiedenissysteem.
  • Queryprofielen: Open een Lakehouse//RT-query in de gebruikersinterface voor querygeschiedenis om het queryprofiel te bekijken.
  • Bewakingspagina: Bewaak de querydoorvoer, query's in de wachtrij en querygeschiedenis op de bewakingspagina voor elk Lakehouse//RT-magazijn.
  • Facturering: Lakehouse//RT-gebruik wordt weergegeven in de tabellen van het factureringssysteem met een sku_name van Lakehouse_Serverless.

Beste praktijken

Als u de beste resultaten van Lakehouse//RT wilt krijgen, bereidt u uw workloads voor voordat u ze overzet:

  • Valideer eerst op serverloze SQL. Voer uw query's uit op een serverloze SQL Warehouse en controleer of ze binnen een paar seconden worden uitgevoerd.
  • Beheerde tabellen in Unity Catalog gebruiken. Beheerde tabellen met voorspellende optimalisatie en liquide clustering zorgen ervoor dat uw gegevens goed zijn geclusterd voor uw workloadpatronen.
  • Controleer of query's selectief zijn. Controleer voor latentie van minder seconden of uw query's minder hoeveelheden gegevens scannen. Filter vroegtijdig met WHERE clausules, selecteer alleen de kolommen die u nodig hebt en maak gebruik van aggregaties. Samenvoegen tussen tabellen wordt ondersteund, maar als u merkt dat uw query complex of traag wordt, kunt u overwegen gerealiseerde weergaven te gebruiken die uw gegevens vooraf aggregeren voor snellere latentie.
  • Controleer de SQL-dekking. Lakehouse//RT ondersteunt alleen ANSI-compatibele leesquery’s. Controleer of uw workloads compatibel zijn met ANSI en vermijd de niet-ondersteunde instructies, functies en gegevenstypen die worden vermeld onder Beperkingen.

Ondersteunde functies

Hulpmiddelen en interfaces

U kunt Lakehouse//RT selecteren in de rekenkiezer in een van de volgende Azure Databricks functies:

  • SQL-editor
  • SQL-notitieblokken
  • AI/BI-overzichten
  • Catalogusverkenner
  • Alerts

Tabeltypen

Lakehouse//RT voert alleen query's uit op Unity Catalog-gegevens. Voor de beste prestaties gebruikt u beheerde tabellen van Unity Catalog, die de engine voorzien van de gegevensindeling die nodig is voor lage latentie.

Lakehouse//RT ondersteunt de volgende tabeltypen:

  • Beheerde tabellen (Delta Lake- en Apache Iceberg-tabellen)
  • Gematerialiseerde weergaven en streamingtabellen
  • Metrische weergaven

Connectivity

Lakehouse//RT accepteert alleen verbindingen die gebruikmaken van de API voor het uitvoeren van instructies. Het biedt geen ondersteuning voor het verouderde Thrift-protocol, dus een stuurprogramma dat verbinding maakt zonder expliciet de API voor instructieuitvoering te gebruiken, ontvangt een 501 fout.

U kunt op de volgende manieren verbinding maken met een Lakehouse//RT-magazijn:

Pricing

Zie de prijzenpagina van Lakehouse Real-Time voor informatie over prijzen.

Limitations

Wanneer een query een niet-ondersteunde functie gebruikt, retourneert Lakehouse//RT een fout met de naam van de functie. Als u de query wilt uitvoeren, gebruikt u in plaats daarvan een serverloze SQL-warehouse.

Hulpprogramma's en functies

Lakehouse//RT biedt nog geen ondersteuning voor de volgende functies:

  • Genie
  • Genie agenten
  • Taken voor taken

Tabeltypen

De volgende tabeltypen worden nog niet ondersteund:

  • Systeemtabellen
  • Delta Sharing-tabellen
  • Tabellen in standaardopslag in Unity Catalog
  • Externe tabellen in Unity Catalog

Lakehouse//RT biedt geen ondersteuning voor de volgende tabeltypen:

  • Hive-metastore-tabellen (beheerd of extern)
  • Externe tabellen en queryfederatie (Lakehouse Federation)
  • Tijdelijke tabellen
  • Tabellen die andere gegevensindelingen gebruiken (CSV, JSON, Avro, Parquet, ORC en tekst)

Stuurprogramma's en connectoren

Lakehouse//RT biedt geen ondersteuning voor de volgende stuurprogramma's en connectors:

  • ADBC
  • ODBC
  • Go

SQL-taal

Lakehouse//RT voert alleen SQL-leesquery's uit in de ANSI-modus . Het evalueert alle impliciete type coercions en casts volgens strikte ANSI SQL-regels en dit gedrag kan niet worden uitgeschakeld. Onder ANSI-semantiek kunnen query's die afhankelijk zijn van niet-ANSI-gedrag:

  • Een runtimefout genereren in plaats van op de achtergrond te produceren NULL. Bijvoorbeeld het converteren van een niet-numerieke tekenreeks naar een getal.
  • Genereer tijdens de analyse een fout als er geen veilig gemeenschappelijk type is. Bijvoorbeeld, COALESCE, CASEINof stel bewerkingen in voor niet-compatibele typen.
  • Retourneer een ander resultaattype dan de verouderde modus, omdat ANSI-tekenreekspromotie en numerieke widening veilige, verliesloze typen kiezen.

Als u voorspelbare resultaten wilt krijgen, gebruikt u expliciete CAST expressies wanneer impliciete ANSI-conversies niet het gedrag produceren dat u verwacht.

Lakehouse//RT biedt geen ondersteuning voor het volgende:

  • Gegevenstypen: De GEOGRAPHY en GEOMETRY gegevenstypen.
  • Functies: AI-functies, Python UDF's, ruimtelijke SQL-functies en XPath- en XML-functies.
  • Governance: Op kenmerken gebaseerd toegangsbeheer (ABAC), inclusief beveiliging op rijniveau en kolommaskering.

Lakehouse//RT is uitsluitend voor leesSELECTquery’s. Schrijf- en ETL-opdrachten worden niet ondersteund, waaronder:

  • Schrijfbewerkingen:INSERT, UPDATE, DELETE, MERGE, en CREATE TABLE AS SELECT (CTAS).
  • DDL:CREATE, ALTER, en DROPandere instructies waarmee objecten worden gemaakt of gewijzigd.
  • Beveiligingsinstructies:GRANT en REVOKE.
  • Scripting, opgeslagen procedures, tijdelijke tabellen en transacties met meerdere statements.
  • Delta Lake-onderhoud:OPTIMIZE, ANALYZE, , VACUUMen REFRESH.

Netwerkbeveiliging

Lakehouse//RT biedt nog geen ondersteuning voor de volgende netwerkconfiguraties:

Compliance

Beveiligingsprofielen voor naleving worden momenteel niet ondersteund.

  • Last updated on