Databricks SQL Versionshinweise 2021

Im Folgenden werden die Verbesserungen und Updates in Databricks SQL von Januar bis Dezember 2021 beschrieben.

15. Dezember 2021

• Databricks SQL ist allgemein verfügbar. Dies markiert einen wichtigen Meilenstein bei der Bereitstellung der ersten Lakehouse-Plattform, die Daten, KI und BI-Workloads an einem zentralen Ort vereint. Mit GA können Sie das höchste Maß an Stabilität, Support und Unternehmensbereitschaft von Databricks für unternehmenskritische Workloads erwarten. Lesen Sie den GA-Ankündigungsblog, um mehr zu erfahren.
• Warnungen werden jetzt unabhängig von Abfragen geplant. Wenn Sie eine neue Warnung erstellen und eine Abfrage erstellen, werden Sie aufgefordert, auch einen Zeitplan für die Warnung zu erstellen. Wenn Sie eine vorhandene Warnung hatten, haben wir den Zeitplan aus der ursprünglichen Abfrage dupliziert. Diese Änderung ermöglicht Ihnen außerdem das Festlegen von Warnungen für Abfragen vom Typ Als Besitzer ausführen und Als Viewer ausführen. Als Eigentümer ausführen queries run on the designated alert schedule with the query owner's credential. Als Beobachter ausführen Abfragen, die mit den Anmeldeinformationen des Erstellers des Alarms nach dem festgelegten Zeitplan für den Alarm ausgeführt werden. Siehe Databricks SQL-Warnungen und Planen einer Abfrage.
• Sie können jetzt Parameter sowohl im SQL-Editor als auch in Dashboardsneu anordnen.
• Die Dokumentation zum Erstellen von Visualisierungen wurde erweitert. Siehe Wärmebildoptionen.

9. Dezember 2021

• Wenn Sie eine Tabellenvisualisierung erstellen, können Sie jetzt die Schriftfarbe für eine Spalte auf einen statischen Wert oder einen Wertebereich festlegen, der auf den Werten des Felds der Spalte basiert. Der Literalwert wird mit dem Schwellenwert verglichen. Um z. B. Ergebnisse zu färben, deren Werte 500000überschreiten, erstellen Sie den Schwellenwert > 500000und nicht > 500,000. Siehe Bedingtes Formatieren von Spaltenfarben.
• Symbole im SQL-Editor-Schemabrowser im Registerkartenformat ermöglichen es Ihnen jetzt, zwischen Tabellen und Ansichten zu unterscheiden.

1. Dezember 2021

• Sie können jetzt SQL-Konfigurationsparameter auf Arbeitsbereichsebene anwenden. Diese Parameter gelten automatisch für alle vorhandenen und neuen SQL-Endpunkte im Arbeitsbereich. Siehe Konfigurieren von SQL-Parametern.

18. November 2021

• Wenn Sie den Verlauf einer Abfrage anzeigen, können Sie jetzt Abfragen nach dem Dienstprinzipal filtern, der sie ausgeführt hat. Siehe Anzeigen des Abfrageverlaufs.

• Sie können den SQL-Editor ab sofort über eine Verknüpfung in der Seitenleiste öffnen. Klicken Sie zum Öffnen des SQL-Editors auf SQL-Editor.
• Wenn Sie über die Berechtigung zum Erstellen von Data Science & Engineering-Clustern verfügen, können Sie jetzt SQL-Endpunkte erstellen, indem Sie auf Erstellen in der Randleiste klicken und auf SQL-Endpunkt-klicken.
• Administratoren können jetzt den Besitz einer Abfrage, eines Dashboards oder einer Warnung an einen anderen Benutzer über die Benutzeroberfläche übertragen. Siehe:
• Übertragen des Besitzes einer Abfrage
• Übertragung des Eigentums an einem alten Dashboard
• Übertragung des Eigentums einer Warnung

4. November 2021

• Für Kartenvisualisierungen (Chloropleth) wurde die maximale Anzahl von Farbverlaufsschritten für Farben in der Legende von 11 auf 20 erhöht. Der Standardwert umfasst 5 Farbverlaufsschritte einschließlich Farbe für Mindestwert und Farbe für Höchstwert.
• Der SQL-Editor mit Registerkarten unterstützt jetzt die Verwaltung mehrerer Registerkarten. Wenn Sie mit der rechten Maustaste auf eine Registerkarte klicken, sehen Sie die Optionen Andere schließen, Links schließen, Rechts schließen, und Alles schließen. Wenn Sie mit der rechten Maustaste auf die erste oder letzte Registerkarte klicken, werden die Optionen zum Schließen links oder Rechts schließen nicht angezeigt.

28. Oktober 2021

• Wenn Sie eine Tabelle im Katalog-Explorer anzeigen, haben Sie zwei Optionen, um die Interaktion mit der Tabelle zu vereinfachen:
• Klicken Sie auf > Abfrage erstellen, um eine Abfrage zu erstellen, die alle Spalten auswählt und die ersten 1000 Zeilen zurückgibt.
• Klicken Sie auf Schnelldashboard erstellen >, um eine Konfigurationsseite zu öffnen, auf der Sie interessante Spalten auswählen und ein Dashboard sowie Dashboard-unterstützende Abfragen erstellen können, um grundlegende Informationen bereitzustellen, wobei diese Spalten genutzt werden, und um Parameter und weitere Funktionen auf Dashboard-Ebene zu präsentieren.

19. Oktober 2021

• Für den Editor im Registerkartenformat sind jetzt neue Tastenkombinationen verfügbar:
• Neue Registerkarte öffnen:
  • Fenster: Cmd+Alt+T
  • Mac: Cmd+Option+T
• Aktuelle Registerkarte schließen
  • Fenster: Cmd+Alt+W
  • Mac: Cmd+Option+W
• Dialogfeld "Abfrage öffnen"
  • Fenster: Cmd+Alt+O
  • Mac: Cmd+Option+O

23. September 2021

• Sie können jetzt ein neues Dashboard erstellen, indem Sie ein vorhandenes Dashboard klonen, solange Sie über die CAN RUN-, CAN EDIT- und CAN MANAGE-Berechtigung im Dashboard und alle upstream-Abfragen verfügen. Weitere Informationen finden Sie unter Klonen eines Legacy-Dashboards.
• Sie können jetzt GROUP BY in einer Visualisierung mit mehreren Y-Achsenspalten verwenden. Weitere Informationen finden Sie unter Punktdiagramm.
• Sie können jetzt {{ @@yPercent}} verwenden, um Datenbeschriftungen in einem nicht normalisierten gestapelten Balkendiagramm zu formatieren. Siehe Balkendiagramm.
• Wenn Sie die SAML-Authentifizierung verwenden und Ihre SAML-Anmeldeinformationen innerhalb weniger Minuten ablaufen, werden Sie jetzt proaktiv aufgefordert, sich erneut anzumelden, bevor Sie eine Abfrage ausführen oder ein Dashboard aktualisieren. Dadurch wird eine Unterbrechung aufgrund von Anmeldeinformationen verhindert, die während der Abfrageausführung ablaufen.

20. September 2021

• Sie können jetzt den Besitz von Dashboards, Abfragen und Warnungen mithilfe der REST-API "Berechtigungen" übertragen. Weitere Informationen finden Sie unter Abfragen von Zugriffssteuerungslisten.

16. September 2021

• In Abfrageergebnissen werden BIGINT Ergebnisse jetzt als Zeichenfolgen serialisiert, wenn sie größer als 9007199254740991 sind. Dadurch wird ein Problem behoben, bei dem BIGINT-Ergebnisse in Abfrageergebnissen gekürzt sein konnten. Andere ganzzahlige Ergebnisse werden weiterhin als Zahlen serialisiert. Die Zahlenformatierung bei Achsenbeschriftungen und Tooltips gilt nicht für BIGINT-Ergebnisse, die zu Zeichenfolgen serialisiert werden. Weitere Informationen zu Datentypen in Databricks SQL finden Sie unter BIGINT Typ.

7. September 2021

Databricks wird die folgenden Änderungen im Laufe einer Woche einführen. Ihr Arbeitsbereich ist möglicherweise erst nach dem 7. September für diese Änderungen aktiviert.

• Databricks SQL befindet sich jetzt in der öffentlichen Vorschau und ist für alle Benutzer in neuen Arbeitsbereichen aktiviert.

Hinweis

Wenn Ihr Arbeitsbereich für Databricks SQL während der öffentlichen Vorschau aktiviert wurde – d. h. vor beginn der Woche vom 7. September 2021 – behalten Benutzer die vor diesem Datum zugewiesene Berechtigung bei, es sei denn, Sie ändern sie. Anders ausgedrückt: Wenn ein Benutzer während der öffentlichen Testphase keinen Zugriff auf Databricks SQL hatte, wird er ihn jetzt nicht haben, es sei denn, ein Administrator erteilt ihnen diesen.

• Administratoren können verwalten, welche Benutzer Zugriff auf Databricks SQL haben, indem Sie den Databricks SQL-Zugriff Berechtigung (databricks-sql-access in der API) Benutzern oder Gruppen zuweisen. Standardmäßig verfügen neue Benutzer über diese Berechtigung.

Administratoren können einen Benutzer oder eine Gruppe auf den Zugriff auf Databricks SQL beschränken und verhindern, dass er auf Data Science & Engineering oder Databricks Mosaik AI zugreift, indem er die Arbeitsbereichszugriff Berechtigung (workspace-access in der API) vom Benutzer oder der Gruppe entfernt. Standardmäßig verfügen neue Benutzer über diese Berechtigung.

Von Bedeutung

Um sich anzumelden und auf Azure Databricks zuzugreifen, muss ein Benutzer entweder über die Berechtigung für Databricks SQL-Zugriff oder Arbeitsbereichszugriff (oder beides) verfügen.

• Ein kleiner klassischen SQL-Endpunkt namens Starter Endpoint ist in allen Arbeitsbereichen vorkonfiguriert, sodass Sie sofort mit dem Erstellen von Dashboards, Visualisierungen und Abfragen beginnen können. Um komplexere Workloads zu verarbeiten, können Sie ihre Größe (um die Latenz zu reduzieren) oder die Anzahl der zugrunde liegenden Cluster (um gleichzeitige Benutzer zu verarbeiten) leicht erhöhen. Um Kosten zu verwalten, wird der Startendpunkt so konfiguriert, dass er nach 120 Minuten im Leerlauf beendet wird.

2. September 2021

• Benutzer mit der BERECHTIGUNG CAN EDIT auf einem Dashboard können jetzt den Aktualisierungszeitplan und die Abonnementliste des Dashboards verwalten. Zuvor war die CAN MANAGE-Berechtigung erforderlich. Weitere Informationen finden Sie unter Automatische Aktualisierung eines Dashboards.

• Standardmäßig ändern Visualisierungen die Größe nicht mehr dynamisch basierend auf der Anzahl der zurückgegebenen Ergebnisse, behalten jedoch unabhängig von der Anzahl der Ergebnisse dieselbe Höhe bei. Um zum vorherigen Verhalten zurückzukehren und eine Visualisierung so zu konfigurieren, dass sie die Größe dynamisch ändert, aktivieren Sie Dynamische Größenänderung der Panelhöhe in den Einstellungen im Dashboard der Visualisierung. Weitere Informationen finden Sie unter Tabellenoptionen.
• Wenn Sie Zugriff auf mehrere Arbeitsbereiche im selben Konto haben, können Sie Arbeitsbereiche aus Databricks SQL wechseln. Klicken Sie auf in der unteren linken Ecke Ihres Azure Databricks-Arbeitsbereichs, und wählen Sie dann einen Arbeitsbereich aus, um zu diesem zu wechseln.

01. Juli 2021

• Mit dem neuen Katalog-Explorer können Sie berechtigungen für Datenbanken und Tabellen ganz einfach erkunden und verwalten. Benutzer können Schemadetails anzeigen, Beispieldaten in der Vorschau anzeigen und Tabellendetails und Eigenschaften anzeigen. Administratoren können Datenobjektbesitzer anzeigen und ändern, und Datenobjektbesitzer können Berechtigungen erteilen und widerrufen. Ausführliche Informationen finden Sie unter Was ist der Katalog-Explorer?.
• Y-Achsen in horizontalen Diagrammen wurden aktualisiert, um die gleiche Reihenfolge wie in Tabellen widerzuspiegeln. Wenn Sie zuvor die umgekehrte Reihenfolge ausgewählt haben, können Sie den Umschalter für umgekehrte Reihenfolge auf der Registerkarte "Y-Achse" verwenden, um die neue Reihenfolge umzukehren.

23. Juni 2021

• Konfigurieren Sie SQL-Endpunkte ganz einfach mit Dienstprinzipalen. Es gibt jetzt ein Steuerelement, mit dem Sie einen Dienstprinzipal in der Einstellung für globale SQL-Endpunkte konfigurieren können. Siehe Konfigurieren eines Service Principals.
• Temporäre Ansichten werden jetzt unterstützt.

17. Juni 2021

• Photon, das neue vektorisierte Ausführungsmodul von Databricks, ist jetzt standardmäßig für neu erstellte SQL-Endpunkte (UI und REST-API) aktiviert. Photon beschleunigt transparent:
  • Schreibvorgänge in Parquet- und Delta-Tabellen
  • Viele SQL-Abfragen. Informationen finden Sie unter Einschränkungen.
• Verwalten Sie Benutzer und Gruppen ganz einfach mit CREATE GROUP, DROP GROUP, ALTER GROUP, SHOW GROUPSund SHOW USERS Befehlen. Weitere Informationen finden Sie unter Sicherheitsanweisungen und Anweisungen anzeigen.
• Der Abfrage-Editor Schemabrowser ist reaktionsschneller und schneller bei Schemata mit mehr als 100 Tabellen. In solchen Schemas lädt der Schemabrowser nicht automatisch alle Spalten; die Liste der Tabellen wird weiterhin wie gewohnt angezeigt, aber Spalten werden nur geladen, wenn Sie auf eine Tabelle klicken. Diese Änderung wirkt sich auf das AutoVervollständigen von Abfragen im Abfrage-Editor aus, da sie von diesen Informationen abhängig ist, um Vorschläge anzuzeigen. Bis Sie eine Tabelle erweitern und die zugehörigen Spalten laden, sind diese Vorschläge nicht verfügbar.

03. Juni 2021

• Administratoren von neu aktivierten Azure Databricks-Arbeitsbereichen erhalten jetzt standardmäßig die SQL-Berechtigung "Databricks" und müssen sich nicht mehr über die Administratorkonsole die SQL-Zugriffsberechtigung für Databricks gewähren.
• Photon- befindet sich jetzt in der öffentlichen Vorschau und ist standardmäßig für neue SQL-Endpunkteaktiviert.
• Der Lastenausgleich mit Multi-Clustern befindet sich jetzt in der öffentlichen Vorschau.
• Sie können jetzt die Zusammenarbeit für Dashboards und Abfragen mit anderen Mitgliedern Ihrer Organisation mithilfe der CAN EDIT-Berechtigung aktivieren. Siehe Zugriffssteuerungslisten.

26. Mai 2021

• SQL Analytics wird in Databricks SQL umbenannt. Diese Änderung hat die folgenden auswirkungen auf kundenbezogene Auswirkungen:

  • Verweise auf der Web-UI wurden aktualisiert.

  • Die Berechtigung zum Gewähren des Zugriffs auf Databricks SQL wurde umbenannt:

    • UI: Databricks SQL access (ehemals SQL Analytics access)
    • SCIM-API-: databricks-sql-access (zuvor sql-analytics-access)

    Benutzer, Gruppen und Dienstprinzipale mit der vorherigen Berechtigung wurden zur neuen Berechtigung migriert.

  • Tags für Überwachungsprotokollereignisse im Zusammenhang mit Databricks SQL wurden geändert:

    • Das Präfix für Databricks SQL-Ereignisse ist jetzt databrickssql.
    • changeSqlAnalyticsAcl ist jetzt changeDatabricksSqlAcl.

• Aktualisierungen der Dashboards

  • Der Dateiname für den Dashboard-Export wurde aktualisiert und besteht nun aus dem Namen des Dashboards + Zeitstempel, anstatt aus einer UUID.
  • Der Grenzwert für Exportdatensätze wurde von 22k auf 64k erhöht.

13. Mai 2021

• Databricks SQL versucht nicht mehr, Spaltentypen zu erraten. Zuvor wurde eine Spalte mit dem Format xxxx-yy-dd automatisch als Datum behandelt, auch wenn es sich um einen Identifikationscode handelte. Jetzt wird diese Spalte nicht mehr automatisch als Datum behandelt. Sie müssen dies in der Abfrage angeben, wenn dies gewünscht ist. Diese Änderung kann dazu führen, dass einige Visualisierungen, die auf dem vorherigen Verhalten basieren, nicht mehr funktionieren. In dieser Version können Sie >Einstellungen>Abwärtskompatibilität Option ändern, um zum vorherigen Verhalten zurückzukehren. In einer zukünftigen Version werden wir diese Funktion entfernen.

• Der Abfrage-Editor verfügt jetzt über eine Abfragestatusanzeige. Statusänderungen sind jetzt in einer fortlaufend aktualisierten Statusanzeige sichtbar.

  

Behobene Probleme

• SQL-Editor. Der SQL-Editor behält nun markierten Text und die Scrollposition beim Wechseln zwischen Abfrageregisterkarten bei.
• SQL-Editor. Wenn Sie in einer Abfrage im SQL-Editor auf "Ausführen" klicken, navigieren Sie zu einer anderen Seite, und kehren Sie zurück, während die Abfrage noch ausgeführt wird, zeigt der Editor den richtigen Abfragestatus an. Wenn die Abfrage abgeschlossen ist, während Sie sich auf einer anderen Seite befinden, sind die Abfrageergebnisse bei der Rückkehr zur SQL-Editorseite verfügbar.
• Sie können MySQL 8.0 jetzt als externen Metastore verwenden.
• DESCRIBE DETAIL-Befehle auf Delta-Tabellen schlagen nicht mehr mit java.lang.ClassCastException: java.sql.Timestamp cannot be cast to java.time.Instant. fehl
• Lesen von Parquet-Dateien mit INT96-Zeitstempeln schlägt fehl.
• Wenn ein Benutzer über die BERECHTIGUNG CAN RUN für eine Abfrage verfügt und diese ausführt, wenn die Abfrage von einem anderen Benutzer erstellt wurde, zeigt der Abfrageverlauf den Läufer der Abfrage als Benutzer an.
• Nullwerte werden nun beim Rendern eines Diagramms ignoriert, wodurch die Benutzerfreundlichkeit von Diagrammen verbessert wird. Bisher würden Balken in einem Balkendiagramm beispielsweise sehr klein aussehen, wenn Nullwerte vorhanden waren. Jetzt werden die Achsen nur basierend auf Nicht-NULL-Werten festgelegt.