Poznámky k verzi SQL pro Databricks 2021

Následující informace popisují vylepšení a aktualizace v Databricks SQL od ledna do prosince 2021.

15. prosince 2021

• Databricks SQL je obecně dostupný. To představuje hlavní milník při poskytování první platformy lakehouse, která na jednom místě sjednocuje data, AI a úlohy BI. S ga můžete očekávat nejvyšší úroveň stability, podpory a připravenosti podniku od Databricks pro klíčové úlohy. Přečtěte si blog s oznámením GA a zjistěte více.
• Výstrahy jsou teď naplánované nezávisle na dotazech. Když vytvoříte nové upozornění a vytvoříte dotaz, zobrazí se výzva k vytvoření plánu upozornění. Pokud jste měli existující upozornění, duplikovali jsme plán z původního dotazu. Tato změna také umožňuje nastavit výstrahy pro dotazy Spustit jako vlastník a Spustit jako prohlížeč. Dotazy Spustit jako vlastníka se spouštějí podle určeného plánu upozornění s přihlašovacími údaji vlastníka dotazu. Spustit jako prohlížeč dotazy se spouštějí podle určeného plánu upozornění s přihlašovacími údaji tvůrce upozornění. Podívejte se na upozornění SQL služby Databricks a naplánujte dotaz.
• Nyní můžete změnit pořadí parametrů jak v editoru SQL , tak i v řídicích panelech .
• Dokumentace k vytváření vizualizací tepelných map byla rozšířena. Podívejte se na možnosti tepelné mapy.

9. prosince 2021

• Při vytváření vizualizace tabulky teď můžete nastavit barvu písma sloupce na statickou hodnotu nebo rozsah hodnot na základě hodnot pole sloupce. Hodnota literálu se porovnává s prahovou hodnotou. Chcete-li například obarvení výsledků, jejichž hodnoty překračují 500000, vytvořte prahovou hodnotu > 500000místo > 500,000. Viz Podmíněné formátování barev sloupců.
• Ikony v záložkovém prohlížeči schémat SQL editoru nyní umožňují rozlišovat mezi tabulkami a zobrazeními.

1. prosince 2021

• Teď můžete použít parametry konfigurace SQL na úrovni pracovního prostoru. Tyto parametry se automaticky vztahují na všechny existující a nové koncové body SQL v pracovním prostoru. Viz Konfigurace parametrů SQL.

18. listopadu 2021

• Když zobrazíte historii dotazu, nyní můžete filtrovat dotazy podle servisního principálu, který je spustil. Viz Zobrazení historie dotazů.

• Editor SQL teď můžete otevřít pomocí zástupce bočního panelu. Chcete-li otevřít editor SQL, klepněte na tlačítko SQL Editor.
• Pokud máte oprávnění vytvářet clustery pro datovou vědu a inženýrství &, nyní můžete vytvořit koncové body SQL kliknutím na Vytvořit na bočním panelu a následným kliknutím na SQL Endpoint.
• Správci teď můžou prostřednictvím uživatelského rozhraní převést vlastnictví dotazu, řídicího panelu nebo upozornění na jiného uživatele. Viz:
• Převod vlastnictví dotazu
• Převod vlastnictví starší verze řídicího panelu
• Převod vlastnictví výstrahy

4. listopadu 2021

• Ve vizualizaci mapy (Choropleth) vizualizaci došlo ke zvýšení maximálního počtu přechodových kroků barev v legendě z 11 na 20. Výchozí hodnota je 5 přechodových kroků včetně minimální barvy a maximální barvy .
• Editor SQL s kartami teď podporuje hromadnou správu karet. Pokud kliknete pravým tlačítkem myši na kartu, zobrazí se možnost Zavřít ostatní, Zavřít vlevo, Zavřít vpravo a Zavřít vše. Všimněte si, že pokud kliknete pravým tlačítkem myši na první nebo poslední kartu, neuvidíte možnosti Zavřít vlevo nebo Zavřít vpravo.

28. října 2021

• Při zobrazení tabulky v Průzkumníku katalogu máte dvě možnosti, jak zjednodušit interakci s tabulkou:
• Kliknutím na Vytvořit > Dotaz vytvořte dotaz, který vybere všechny sloupce a vrátí prvních 1 000 řádků.
• Kliknutím na Vytvořit > rychlý řídicí panel otevřete stránku konfigurace, kde můžete vybrat sloupce podle zájmu a vytvořit řídicí panel a podpůrné dotazy. Ty poskytují základní informace a zobrazují parametry na úrovni řídicího panelu a další funkce.

19. října 2021

• Nové klávesové zkratky jsou teď dostupné v editoru s kartami:
• Otevřít novou kartu:
  • Windows: Cmd+Alt+T
  • Gumák: Cmd+Option+T
• Zavřít aktuální panel
  • Windows: Cmd+Alt+W
  • Gumák: Cmd+Option+W
• Otevření dialogového okna dotazu
  • Windows: Cmd+Alt+O
  • Gumák: Cmd+Option+O

23. září 2021

• Nyní můžete vytvořit nový řídicí panel zkopírováním existujícího řídicího panelu, pokud máte práva SPUSTIT, UPRAVIT a SPRAVOVAT na řídicím panelu a všech nadřazených dotazech. Viz Klonování starší verze řídicího panelu.
• Nyní můžete použít GROUP BY ve vizualizaci s více sloupci pro osu Y. Viz bodový graf.
• Pomocí {{ @@yPercent}} teď můžete formátovat popisky dat v nenormalizovaném skládaném pruhovém grafu. Viz pruhový graf.
• Pokud používáte ověřování SAML a platnost přihlašovacích údajů SAML vyprší během několika minut, zobrazí se vám teď proaktivně výzva, abyste se před spuštěním dotazu nebo aktualizací řídicího panelu znovu přihlásili. To pomáhá zabránit přerušení kvůli přihlašovacím údajům, jejichž platnost vyprší během provádění dotazu.

20. září 2021

• Vlastnictví řídicích panelů, dotazů a upozornění teď můžete přenášet pomocí rozhraní REST API oprávnění. Viz ACL dotazů.

16. září 2021

• Ve výsledcích dotazu jsou výsledky BIGINT nyní serializovány jako řetězce, pokud jsou větší než 9007199254740991. Tím se opravuje problém, kdy výsledky BIGINT mohou být ve výsledcích dotazu zkráceny. Ostatní celočíselné výsledky jsou stále serializovány jako čísla. Formátování čísel na popiscích a v nápovědách osy se nevztahuje na výsledky BIGINT, které jsou serializovány jako řetězce. Další informace o datových typech v Databricks SQL najdete v tématuBIGINT Typ.

7. září 2021

Databricks zavádí změny, které následují v průběhu týdne. Váš pracovní prostor nemusí být pro tyto změny aktivován před 7. září.

• Databricks SQL je teď ve verzi Public Preview a povoluje se všem uživatelům v nových pracovních prostorech.

Poznámka:

Pokud byl váš pracovní prostor pro Databricks SQL povolený během verze Public Preview – to znamená před týdnem od 7. září 2021 – uživatelé si zachovají nárok přiřazený před tímto datem, pokud ho nezměníte. Jinými slovy, pokud uživatel neměl přístup k Databricks SQL během verze Public Preview, nebude ho mít teď, pokud mu ho správce neudělí.

• Správci můžou spravovat, kteří uživatelé mají přístup k Databricks SQL, tím, že uživatelům nebo skupinám přiřadí oprávnění k přístupu Databricks SQL (databricks-sql-access v rozhraní API). Ve výchozím nastavení mají noví uživatelé tento nárok.

Správci můžou omezit přístup uživatele nebo skupiny pouze na Databricks SQL a zabránit jim v přístupu k Data Science & Engineering nebo Databricks Mosaic AI tím, že odeberou oprávnění k přístupu k pracovnímu prostoru (workspace-access v API) od uživatele nebo skupiny. Ve výchozím nastavení mají noví uživatelé tento nárok.

Důležité

Pokud se chcete přihlásit a získat přístup ke službě Azure Databricks, musí mít uživatel buď oprávnění k přístupu do Databricks SQL nebo oprávnění k přístupu do pracovního prostoru (nebo obojí).

• Malý klasický SQL koncový bod s názvem Počáteční koncový bod je předem nakonfigurovaný ve všech pracovních prostorech, takže můžete okamžitě začít vytvářet dashboardy, vizualizace a dotazy. Pokud chcete zpracovávat složitější úlohy, můžete snadno zvětšit jeho velikost (snížit latenci) nebo počet podkladových clusterů (pro zpracování více souběžných uživatelů). Pro správu nákladů je počáteční koncový bod nakonfigurovaný tak, aby se ukončil po 120 minutách nečinnosti.

2. září 2021

• Uživatelé s oprávněním CAN EDIT na řídicím panelu teď můžou spravovat plán aktualizace řídicího panelu a seznam odběrů. Dříve se vyžadovalo oprávnění CAN MANAGE. Další informace najdete v tématu Automatické aktualizace řídicího panelu.

• Ve výchozím nastavení se vizualizace dynamicky nezmění na základě počtu vrácených výsledků, ale zachovávají stejnou výšku bez ohledu na počet výsledků. Pokud se chcete vrátit k předchozímu chování a nakonfigurovat vizualizaci tak, aby dynamicky změnila velikost, povolte v nastavení vizualizace na řídicím panelu Dynamicky měnit výšku panelu. Další informace naleznete v tématu Možnosti tabulky.
• Pokud máte přístup k více než jednomu pracovnímu prostoru ve stejném účtu, můžete přepnout pracovní prostory z Databricks SQL. Klikněte na v levém dolním rohu pracovního prostoru Azure Databricks a vyberte pracovní prostor, na který chcete přepnout.

1. července 2021

• Nový Průzkumník katalogu umožňuje snadno zkoumat a spravovat oprávnění k databázím a tabulkám. Uživatelé můžou zobrazit podrobnosti schématu, náhled ukázkových dat, a podrobnosti a vlastnosti tabulky. Správci můžou zobrazovat a měnit vlastníky datových objektů a vlastníci datových objektů můžou udělit a odvolat oprávnění. Podrobnosti najdete v tématu Co je Průzkumník katalogu?.
• Osy Y v vodorovných grafech byly aktualizovány tak, aby odrážely stejné pořadí jako v tabulkách. Pokud jste už dříve vybrali obrácené řazení, můžete k obrácení nového pořadí použít přepínač Obrácené pořadí na kartě osy Y.

23. června 2021

• Snadno konfigurovat koncové body SQL pomocí služebních principálů. Teď existuje ovládací prvek, který vám pomůže nakonfigurovat principál služby v globálním nastavení koncových bodů SQL. Podívejte se na Konfigurace služebního objektu.
• Dočasná zobrazení jsou nyní podporována.

17. června 2021

• Photon, nový vektorizovaný prováděcí modul Databricks, je teď ve výchozím nastavení zapnutý pro nově vytvořené koncové body SQL (uživatelské rozhraní i rozhraní REST API). Foton transparentně zrychluje
  • Píše do tabulek Parquet a Delta.
  • Mnoho dotazů SQL Viz Omezení.
• Snadno spravujte uživatele a skupiny pomocí příkazů CREATE GROUP, DROP GROUP, ALTER GROUP, SHOW GROUPSa SHOW USERS. Podrobnosti najdete v tématu Bezpečnostní prohlášení a Zobrazit prohlášení.
• Editor dotazů a prohlížeč schématu nyní pracují svižněji a rychleji u schémat s více než 100 tabulkami. Na těchto schématech prohlížeč schématu nenačte všechny sloupce automaticky; seznam tabulek se stále zobrazuje jako obvykle, ale sloupce se načítají jenom po kliknutí na tabulku. Tato změna má vliv na automatické dokončování dotazů v editoru dotazů, protože závisí na těchto informacích, aby se zobrazily návrhy. Dokud tabulku neroztáhnete a nenačtete její sloupce, nebudou tyto návrhy k dispozici.

3. června 2021

• Správci nově povolených pracovních prostorů Azure Databricks nyní ve výchozím nastavení obdrží oprávnění Databricks SQL a již není nutné, aby si sami udělovali přístup k Databricks SQL pomocí konzole pro správu.
• Photon je teď ve verzi Public Preview a ve výchozím nastavení je povolený pro nové koncové body SQL .
• Vyrovnávání zatížení s více clustery je teď ve verzi Public Preview.
• Teď můžete povolit spolupráci na řídicích panelech a dotazech s ostatními členy vaší organizace pomocí oprávnění CAN EDIT. Vizte seznamy řízení přístupu.

26. května 2021

• SQL Analytics se přejmenuje na Databricks SQL. Tato změna má následující dopady na zákazníky:

  • Byly aktualizovány odkazy ve webovém uživatelském rozhraní.

  • Oprávnění k udělení přístupu k Sql Databricks bylo přejmenováno:

    • uživatelského rozhraní: přístupu k SQL Databricks (dříve přístupu k SQL Analytics)
    • rozhraní API SCIM: databricks-sql-access (dříve sql-analytics-access)

    Uživatelé, skupiny a servisní uživatelé s předchozím nárokem byli migrováni na nový nárok.

  • Značky událostí protokolu auditu související s Sql Databricks se změnily:

    • Předpona událostí SQL Databricks je nyní databrickssql.
    • changeSqlAnalyticsAcl je nyní changeDatabricksSqlAcl.

• Aktualizace řídicích panelů

  • Název souboru exportu řídicího panelu byl aktualizován tak, aby byl název řídicího panelu + časové razítko, nikoli identifikátor UUID.
  • Limit exportních záznamů byl zvýšen z 22k na 64k.

13. května 2021

• Databricks SQL se už nepokusí hádat typy sloupců. Dříve byl sloupec s formátem xxxx-yy-dd automaticky považován za datum, i když se jednalo o identifikační kód. Teď už se sloupec automaticky nepovažuje za datum. Pokud to chcete, musíte ho zadat v dotazu. Tato změna může způsobit, že některé vizualizace, které závisely na předchozím chování, už nefungují. V této verzi můžete změnit >Nastavení>zpětná kompatibilita možnost vrátit se k předchozímu chování. V budoucí verzi tuto funkci odebereme.

• Editor dotazů teď obsahuje indikátor průběhu dotazu. Změny stavu se teď zobrazují v průběžně aktualizovaném indikátoru průběhu.

  

Opravené problémy

• SQL Editor Editor SQL teď při přepínání mezi kartami dotazů zachová vybraný text a pozici posouvání.
• SQL Editor Pokud kliknete na Spustit v dotazu v editoru SQL, přejděte na jinou stránku a vraťte se, když se dotaz stále spouští, editor zobrazí správný stav dotazu. Pokud se dotaz dokončí, když jste na jiné stránce, výsledky dotazu budou k dispozici po návratu na stránku editoru SQL.
• MySQL 8.0 teď můžete použít jako externí metastore.
• DESCRIBE DETAIL příkazy v tabulkách Delta už neselhávají s java.lang.ClassCastException: java.sql.Timestamp cannot be cast to java.time.Instant.
• Čtení souborů Parquet s časovými razítky INT96 již neselhává.
• Pokud má uživatel oprávnění k provedení dotazu a spustí ho, zobrazí historie dotazů jako spouštěče tohoto dotazu právě tohoto uživatele, pokud byl dotaz vytvořen jiným uživatelem.
• Hodnoty Null se teď při vykreslování grafu ignorují, což zlepšuje použitelnost grafů. Například pruhy v pruhovém grafu by dříve vypadaly velmi malé, když byly hodnoty null přítomny. Nyní jsou osy nastaveny pouze na základě hodnot, které nejsou null.