Lakehouse v reálném čase

Important

Tato funkce je v beta verzi. Spojte se s týmem účtu Databricks a povolte tuto funkci ve vašem účtu.

Lakehouse//RT je v aktivním vývoji. Charakteristiky výkonu a podporovaná sada funkcí se před obecnou dostupností změní.

Lakehouse Real-Time (Lakehouse//RT) je bezserverová výpočetní prostředí vytvořená pro případy použití s nízkou latencí a vysokou souběžností, jako je poskytování analytických dat vlastním aplikacím, spouštění provozních analýz nebo spouštění řídicích panelů BI, které vyžadují subsekundové odpovědi pro stovky až tisíce souběžných uživatelů.

Lakehouse//RT nabízí u čtecích dotazů SQL nad vašimi tabulkami v Unity Catalogu latenci kratší než jednu sekundu, pokud používají formáty Delta Lake nebo Apache Iceberg v cloudovém úložišti. Lakehouse///RT vytváříte a spravujete podobně jako ostatní sklady SQL. Správce pracovního prostoru nebo privilegovaný uživatel vytvoří jeden nebo více pracovních prostorů a přiřadí uživatelům oprávnění.

Požadavky

Pokud chcete použít Lakehouse//RT, musíte:

Povolení Lakehouse//RT v pracovním prostoru

Správci pracovního prostoru můžou ve vašem pracovním prostoru povolit beta verzi Lakehouse//RT:

  1. V nabídce pracovního prostoru (v pravém horním rohu) přejděte na Náhledy.
  2. Vyhledejte Lakehouse RT.
  3. Povolte náhled.

Po povolení verze Preview se typ skladu v reálném čase zpřístupní v toku vytváření SQL Warehouse pro váš pracovní prostor.

Vytvoření skladu Lakehouse//RT

Vytvoření skladu Lakehouse//RT:

  1. Přejděte na Compute>SQL Warehouses>Create SQL Warehouse.
  2. Vyberte možnost Real-Time.
  3. V závislosti na výkonu, který vaše dotazy vyžadují, vyberte velikost: Malá, Střední, Velká nebo X velká.
  4. Zadejte název skladu.
  5. Klikněte na Vytvořit.

Pokud chcete přiřadit oprávnění, udělte možnost Může používat, Může monitorovat nebo Může spravovat uživatelům a skupinám, stejně jako SQL Warehouse.

Note

V současné době není možné upgradovat existující sql warehouse na Lakehouse//RT nebo downgradovat existující sklad Lakehouse//RT na jiný typ skladu.

Monitorování aktivity Lakehouse//RT

Dotazy Lakehouse//RT můžete monitorovat stejně jako jakýkoli dotaz spuštěný ve službě SQL Warehouse:

Osvědčené postupy

Pokud chcete získat nejlepší výsledky z Lakehouse//RT, připravte úlohy před jejich přesunutím:

  • Nejprve ověřte bezserverový SQL. Spusťte dotazy v bezserverovém SQL Warehouse a ověřte, že běží během několika sekund.
  • Používejte spravované tabulky Unity Catalog. Spravované tabulky s prediktivní optimalizací a clusteringem liquid zajišťují, že jsou vaše data dobře clusterovaná pro vaše vzory úloh.
  • Ověřte, že dotazy jsou selektivní. V případě podsekundové latence ověřte, že vaše dotazy prohledávají menší objemy dat. Filtrujte co nejdříve pomocí klauzulí WHERE, vybírejte pouze sloupce, které potřebujete, a využívejte agregace. Spojení mezi tabulkami je podporované, ale pokud zjistíte, že dotaz je složitý nebo pomalý, zvažte použití materializovaných zobrazení, která předem agregují vaše data, aby se zrychlila latence.
  • Zkontrolujte pokrytí SQL. Lakehouse//RT podporuje pouze dotazy na čtení kompatibilní se standardem ANSI. Ověřte, že vaše úlohy jsou kompatibilní se standardem ANSI , a vyhněte se nepodporovaným příkazům, funkcím a datovým typům uvedeným v části Omezení.

Podporované funkce

Nástroje a rozhraní

V nástroji pro výběr výpočetních prostředků můžete vybrat Lakehouse//RT v kterékoli z následujících funkcí Azure Databricks:

  • SQL Editor
  • Poznámkové bloky SQL
  • Řídicí panely AI/BI
  • Průzkumník katalogu
  • Alerts

Typy tabulek

Lakehouse//RT dotazuje pouze data katalogu Unity. Pro dosažení nejlepšího výkonu používejte spravované tabulky Unity Catalog, které enginu poskytují uspořádání dat potřebné pro nízkou latenci.

Lakehouse//RT podporuje následující typy tabulek:

  • Spravované tabulky (tabulky Delta Lake a Apache Iceberg)
  • Materializovaná zobrazení a streamované tabulky
  • Zobrazení metrik

Connectivity

Lakehouse//RT přijímá pouze připojení, která používají rozhraní API pro spouštění příkazů. Nepodporuje starší protokol Thrift, takže ovladač, který se připojuje bez explicitního použití rozhraní API pro spouštění příkazů, obdrží 501 chybu.

K skladu Lakehouse//RT se můžete připojit následujícími způsoby:

Pricing

Informace o cenách najdete na stránce s cenami služby Lakehouse Real-Time .

Limitations

Pokud dotaz používá nepodporovanou funkci, vrátí Lakehouse//RT chybu při pojmenování funkce. Pokud chcete úspěšně spustit dotaz, použijte místo toho bezserverový SQL Warehouse.

Nástroje a funkce

Lakehouse//RT zatím nepodporuje následující funkce:

  • Džin
  • Agenti Genie
  • Úlohy

Typy tabulek

Následující typy tabulek se zatím nepodporují:

  • Systémové tabulky
  • Tabulky služby Delta Sharing
  • Tabulky ve výchozím úložišti Unity Catalog
  • Externí tabulky v katalogu Unity

Lakehouse//RT nepodporuje následující typy tabulek:

  • Tabulky metastore Hive (spravované nebo externí)
  • Cizí tabulky a federace dotazů (Lakehouse Federation)
  • Dočasné tabulky
  • Tabulky, které používají jiné formáty dat (CSV, JSON, Avro, Parquet, ORC a text)

Ovladače a konektory

Lakehouse//RT nepodporuje následující ovladače a konektory:

  • ADBC
  • rozhraní ODBC
  • Go

Jazyk SQL

Lakehouse//RT spouští dotazy SQL pro čtení pouze v režimu ANSI . Vyhodnotí všechny implicitní převody a přetypování typu podle striktních pravidel ANSI SQL a toto chování nelze vypnout. V sémantice ANSI můžou dotazy, které závisely na chování jiného než ANSI,:

  • Vyvolání chyby za běhu místo tichého vytváření NULL. Například přetypování nečíselného řetězce na číslo.
  • Vyvolání chyby v době analýzy, pokud neexistuje bezpečný běžný typ. Například , COALESCE, CASEINnebo nastavit operace napříč nekompatibilními typy.
  • Vrátí jiný typ výsledku než starší režim, protože povýšení řetězce ANSI a číselné rozšíření zvolte bezpečné a bezeztrátové typy.

Pokud chcete získat předvídatelné výsledky, použijte explicitní CAST výrazy, pokud implicitní převody režimu ANSI nevyvolávají očekávané chování.

Lakehouse//RT nepodporuje následující:

  • Datové typy: Datové typy GEOGRAPHY a GEOMETRY.
  • Funkce: Funkce AI, Python UDF, prostorové funkce SQL a funkce XPath a XML.
  • Správy: Řízení přístupu na základě atributů (ABAC), včetně zabezpečení na úrovni řádků a maskování sloupců

Lakehouse//RT je určen pouze pro dotazy určené ke čtení (SELECT). Příkazy pro zápis a ETL se nepodporují, včetně následujících:

  • Operace zápisu:INSERT, UPDATE, DELETE, MERGEa CREATE TABLE AS SELECT (CTAS).
  • DDL:CREATE, , ALTER, DROPa další příkazy, které vytvářejí nebo upravují objekty.
  • Bezpečnostní příkazy:GRANT a REVOKE.
  • Skriptování, uložené procedury, dočasné tabulky a transakce s více příkazy
  • Údržba Delta Lake:OPTIMIZE, ANALYZE, VACUUMa REFRESH.

Zabezpečení sítě

Lakehouse//RT zatím nepodporuje následující konfigurace sítě:

Compliance

Profily zabezpečení dodržování předpisů se v současné době nepodporují.

  • Last updated on