August 2023

Diese Features und Azure Databricks Plattformverbesserungen wurden im August 2023 veröffentlicht.

Hinweis

Releases werden gestaffelt. Ihr Azure Databricks Arbeitsbereich wird möglicherweise erst nach einer Woche oder mehr nach dem ursprünglichen Veröffentlichungsdatum aktualisiert.

31. August 2023

Tabellen, die in Unity Catalog registriert sind, werden jetzt in der Navigationssuche in der oberen Leiste angezeigt. Weitere Informationen finden Sie unter Suchen nach Arbeitsbereichsobjekten.

Databricks CLI auf Version 0.203.3 (Public Preview) aktualisiert

30. August 2023

Die Databricks-Befehlszeilenschnittstelle (Databricks CLI) wurde auf Version 0.203.3 aktualisiert. Details dazu finden Sie im Änderungsprotokoll für die Version 0.203.3.

Databricks-JDBC-Treiber 2.6.34

30. August 2023

Wir haben Version 2.6.34 des Databricks JDBC-Treibers veröffentlicht (Download). Dieses Release behebt durch das Aktualisieren von Drittanbieterbibliotheken eine Reihe von Sicherheitsrisiken. Darüber hinaus behebt dieses Release die folgenden Probleme:

  • Threadlecks, wenn eine Abfrage keine Verbindung mit dem Server herstellen kann.
  • Fehlende Kommentare in der Spalte REMARKS der Tabellenmetadaten.
  • Wenn ein Resultset-Abschlussvorgang einen Fehler zurückgibt, bereinigt der Connector nicht die Vorgangshandleeinträge aus dem Heartbeatthread.

Die Version verbessert auch die Behandlung von Fehlermeldungen, indem sie SQLState und Fehlercodes vom Server berücksichtigt und die Protokollversion des Servers ordnungsgemäß überprüft.

Databricks SDK für Go auf Version 0.18.0 (Beta) aktualisiert

29. August 2023

Databricks SDK für Go Version 0.18.0 führt 17 bahnbrechende API-Änderungen ein und fügt 30 APIs und etwa ein Dutzend Felder hinzu. Details finden Sie im Änderungsprotokoll für die Version 0.18.0.

Databricks SDK für Python auf Version 0.7.0 (Beta) aktualisiert

29. August 2023

Databricks SDK für Python Version 0.7.0 führt eine bahnbrechende Änderung für die Datei-API sowie 17 zusätzliche änderungen ein. In diesem Release werden auch 14 Felder und 27 Datenklassen hinzugefügt. Details finden Sie im Änderungsprotokoll für die Version 0.7.0.

Databricks Terraform-Anbieter auf Version 1.24.1 aktualisiert

29. August 2023

Databricks Terraform-Anbieterversion 1.24.1 enthält einen Fix zur Überprüfung der Erreichbarkeit des Arbeitsbereichs. Details finden Sie im Änderungsprotokoll für die Version 1.24.1.

Lebensdauer für Initialisierungsskripts auf DBFS bis zum 1. Dezember 2023 verlängert

29. August 2023

Databricks hat bereits angekündigt, dass Initialisierungsskripts für DBFS am 1. September 2023 das Ende der Lebensdauer erreichen würden. Das Ende der Lebensdauer wurde bis zum 1. Dezember 2023 verlängert.

Databricks Runtime 14.0 (Beta)

29. August 2023

Databricks Runtime 14.0 und Databricks Runtime 14.0 ML sind jetzt als Betaversionen verfügbar.

Siehe Databricks Runtime 14.0 (EoS) und Databricks Runtime 14.0 für Machine Learning (EoS).

Einheitliche Navigationsoberfläche ist allgemein verfügbar

28. August 2023

Die einheitliche Azure Databricks Navigationsoberfläche ist jetzt allgemein verfügbar. Benutzer können nicht mehr auf die klassische Navigationsoberfläche zurückgreifen. Weitere Informationen finden Sie unter Arbeitsbereichs-UI.

Databricks Terraform-Anbieter auf Version 1.24.0 aktualisiert

25. August 2023

Databricks Terraform-Anbieter Version 1.24.0 fügt API-Unterstützung auf Kontoebene für Unity Catalog-Objekte hinzu, fügt acl_principal_id mehreren Datenquellen hinzu und vieles mehr. Details finden Sie im Änderungsprotokoll für die Version 1.24.0.

Einstellung „Databricks Runtime für Genomics“ von der Seite „Administratoreinstellungen“ des Arbeitsbereichs entfernt

25. August 2023

Arbeitsbereichsadministratoren können Databricks Runtime für Genomics nicht mehr über die Seite mit den Einstellungen für den Arbeitsbereichsadministrator oder die Arbeitsbereichskonfigurations-API aktivieren oder deaktivieren. Die Databricks Genomics-Runtime ist veraltet, und die Unterstützung für Databricks Runtime für Genomics wurde am 24. September 2022 beendet.

Die Databricks Genomics Runtime wurde eingestellt. Informationen zu Open-Source-Entsprechungen finden Sie unter "siehe Repositories für genomics-pipelines und Glow".

Weitere Informationen zur Richtlinie und zum Zeitplan für die Einstellung der Databricks Runtime-Unterstützung finden Sie unter Unterstützte Databricks Runtime LTS-Releases.

Containerdienste-Einstellung von der Seite mit den Einstellungen für Arbeitsbereichsadministrierende entfernt

25. August 2023

Arbeitsbereichsadministratoren können Containerdienste nicht mehr auf der Seite mit den Einstellungen für den Arbeitsbereichsadministrator aktivieren oder deaktivieren. Mit Containerdiensten können Sie Kundencontainer in Ihren Clustern verwenden. Dies ist standardmäßig für alle neuen Arbeitsbereiche aktiviert. Containerdienste können weiterhin mithilfe der Arbeitsbereichskonfigurations-API aktiviert oder deaktiviert werden. Weitere Informationen finden Sie unter Aktivieren von Containerdiensten.

Databricks CLI auf Version 0.203.2 (Public Preview) aktualisiert

24. August 2023

Die Databricks-Befehlszeilenschnittstelle (Databricks CLI) wurde auf Version 0.203.2 aktualisiert. Details dazu finden Sie im Änderungsprotokoll für die Version 0.203.2.

Zur Definition für Funktionen und Variablen in Python Notizbüchern wechseln

24. August 2023

Wenn ein Python Notizbuch an einen Cluster angefügt ist, können Sie in Databricks Runtime 12.2 LTS und höher automatisch zur Definition einer Variablen oder Funktion navigieren, die in diesem Notizbuch definiert ist. Weitere Details finden Sie unter Zur Definition wechseln.

Databricks Runtime 13.3 LTS ist allgemein verfügbar

22. August 2023

Databricks Runtime 13.3 LTS und Databricks Runtime 13.3 LTS ML sind jetzt allgemein verfügbar.

Siehe Databricks Runtime 13.3 LTS und Databricks Runtime 13.3 LTS für Machine Learning.

Einführung von Tags mit Unity Catalog

22. August 2023

Sie können jetzt Tags auf Ihre sicherungsfähigen Objekte in Unity Catalog anwenden. Tags helfen Ihnen dabei, sicherungsfähige Objekte zu organisieren und die Suche und Ermittlung Ihrer Datenressourcen zu vereinfachen. Weitere Informationen finden Sie unter Anwenden von Tags auf sicherungsfähige Unity Catalog-Objekte.

Die Zulassungsliste für Initialisierungsskripts, JARs und Maven-Koordinaten in freigegebenen Unity Catalog-Clustern befindet sich in Public Preview

23. August 2023

Sie können jetzt den Unity-Katalog allowlist verwenden, um die Installation von Initialisierungsskripts, JARs und Maven-Koordinaten auf Compute mit freigegebenem Zugriffsmodus unter Ausführung von Databricks Runtime 13.3 und höher zu steuern. Weitere Informationen finden Sie unter Setzen von Bibliotheken und Inititalisierungsskripts auf Computeressourcen im Standardzugriffsmodus (ehemals freigegebener Zugriffsmodus) auf die Positivliste.

Volumes unterstützen Initialisierungsskripts und JARs in Public Preview

23. August 2023

Sie können jetzt Unity Catalog-Volumes verwenden, um Initialisierungsskripts und JARs auf einem Rechner zu speichern, der Databricks Runtime 13.3 und höher mit zugewiesenen oder freigegebenen Zugriffsmodi ausführt. Siehe Bibliotheken im Computebereich und Installieren von Bibliotheken aus einem Volume.

Einfachere Databricks-Repos .ipynb-Dateiausgabe commits

21. August 2023

Databricks Repos hat Funktionen hinzugefügt, um die Ausgabe von .ipynb-Datei-Commits einfacher zu steuern und anzuzeigen.

  • Repos können eine commit_output Konfigurationsdatei für Sie erstellen.
  • Benachrichtigungen in der Benutzeroberfläche informieren Sie über den Status von Output-Commits.
  • Im Menü „Datei“ können Sie steuern, ob Notebook-Ausgaben committet werden.

Weitere Informationen finden Sie unter Steuern von IPYNB-Notebookausgabecommits.

Die Unterstützung von IPYNB-Notizbüchern in Databricks Repos ist allgemein verfügbar.

21. August 2023

Die Unterstützung von IPYNB-Notizbuchdateien in Databricks Repos ist allgemein verfügbar. Weitere Informationen zu Repos finden Sie unter:

Databricks SDK für Go auf Version 0.17.0 (Beta) aktualisiert

18. August 2023

Databricks SDK für Go Version 0.17.0 fügt mehr als 30 APIs hinzu und benennt ca. 10 APIs um. Details finden Sie im Änderungsprotokoll für die Version 0.17.0.

Databricks SDK für Python auf Version 0.6.0 (Beta) aktualisiert

18. August 2023

Databricks SDK für Python Version 0.6.0 addiert ca. 20 Datenklassen, fügt ca. 10 APIs hinzu und enthält ca. 20 Umbenennungen. Details finden Sie im Änderungsprotokoll für die Version 0.6.0.

Databricks CLI auf Version 0.203.1 (Public Preview) aktualisiert

16. August 2023

Die Databricks-Befehlszeilenschnittstelle (Databricks CLI) wurde auf Version 0.203.1 aktualisiert. Details finden Sie im Änderungsprotokoll für die Version 0.203.1.

Einheitlicher Schemabrowser ist allgemein verfügbar

16. August 2023

Eine einheitliche Möglichkeit zum Navigieren in Ihren Daten ist jetzt für Notebooks, den SQL-Editor und den Katalog-Explorer verfügbar, einschließlich der folgenden neuen Funktionen:

  • Komprimierte Version der Struktur.
  • Anzeige der Unity Catalog-Objektanzahl auf Schemaebene beim Filtern.
  • Klicken Sie mit der rechten Maustaste auf das Menü, um Aktionen anzuzeigen.

Änderungen am serverlosen Subnetz können sich auf Sie auswirken, wenn Sie IDs in einem Skript oder einer Vorlage codieren

15. August 2023

Wenn Sie eine Azure Storage Firewall verwenden, werden bis Ende August einige Subnetz-IDs geändert. Diese wirkt sich nicht auf die meisten Kunden aus, da Azure Subnetz-IDs in vorhandenen Speicherfirewallregeln automatisch migriert. Diese Migration wirkt sich nicht auf vorhandene Workloads aus.

Wenn Sie die Liste der serverlosen Subnetze in einer Vorlage oder einem Skript codieren, die Ihre Azure Speicherfirewallregeln aktualisiert, müssen Sie die neueste Liste der Subnetz-IDs abrufen, bevor Sie versuchen, die Regeln zu aktualisieren. Die neuesten IDs für jede Region finden Sie unter Azure Databricks Regions.

Databricks SDK für Go auf Version 0.16.0 (Beta) aktualisiert

14. August 2023

Databricks SDK für Go Version 0.16.0 fügt etwa ein Dutzend Felder hinzu, entfernt etwa ein halbes Dutzend Felder und ändert die Signaturen von etwa einem halben Dutzend APIs. Details finden Sie im Änderungsprotokoll für die Version 0.16.0.

Partner Connect unterstützt Census

14. August 2023

Sie können partner Connect jetzt verwenden, um Ihren Azure Databricks Arbeitsbereich mit Census zu verbinden. Weitere Informationen finden Sie unter Herstellen einer Verbindung mit Census.

Azure Key Vault verwalteten HSM-Schlüssel werden jetzt für vom Kunden verwaltete Schlüssel unterstützt

14. August 2023

Einige Azure Databricks Dienste und Daten unterstützen das Hinzufügen eines vom Kunden verwalteten Schlüssels, um den Zugriff auf verschlüsselte Daten zu schützen und zu steuern. Azure Databricks verfügt über drei vom Kunden verwaltete Schlüsselfeatures, die unterschiedliche Arten von Daten und Speicherorten umfassen. Alle drei features unterstützen jetzt kundenverwaltete Schlüssel aus Azure Key Vault Managed HSM (Hardware Security Modules) neben Azure Key Vault Vaults. Weitere Informationen finden Sie unter Kundenseitig verwaltete Schlüssel für die Verschlüsselung.

Databricks SDK für Python auf Version 0.5.0 (Beta) aktualisiert

11. August 2023

Databricks SDK für Python Version 0.5.0 ändert die Signaturen einer halben Dutzend APIs, fügt ein Dutzend Felder hinzu, entfernt ein halbes Dutzend Felder und fügt einige Datenklassen hinzu. Details finden Sie im Änderungsprotokoll für die Version 0.5.0.

Programmgesteuerte Schreibunterstützung für Arbeitsbereichsdateien

11. August 2023

Cluster, die Databricks Runtime 11.2 und höher verwenden, unterstützen das Schreiben in Arbeitsbereichsdateien. Sie können Dateien und Verzeichnisse in Ihrem Arbeitsbereich programmgesteuert erstellen, aktualisieren und löschen.

Databricks CLI auf Version 0.203.0 (Public Preview) aktualisiert

10. August 2023

In Databricks-Befehlszeilenschnittstelle (Databricks CLI), Version 0.203.0, wurde der Befehl auth login und vieles mehr verbessert. Details finden Sie im Änderungsprotokoll für die Version 0.203.0.

Databricks Terraform-Anbieter auf Version 1.23.0 aktualisiert

9. August 2023

Die Databricks Terraform-Anbieterversion 1.23.0 erweitert RunJobTask um zusätzliche unterstützte Felder in databricks_job, fügt Exporterunterstützung für databricks_model_serving hinzu und vieles mehr. Details finden Sie im Änderungsprotokoll für die Version 1.23.0.

Gruppen können jetzt umbenannt werden

8. August 2023

Sie können jetzt vorhandene Kontogruppen und arbeitsbereichslokale Gruppen umbenennen. Weitere Informationen finden Sie unter Ändern des Namens einer Gruppe.

Databricks SDK für Go auf Version 0.15.0 (Betaversion) aktualisiert

7. August 2023

Databricks SDK für Go, Version 0.15.0, gestaltet berechtigungenbezogene APIs um, damit sie verständlicher und benutzerfreundlicher werden. Details finden Sie im Änderungsprotokoll für die Version 0.15.0.

Databricks SDK für Python auf Version 0.4.0 (Beta) aktualisiert

7. August 2023

Databricks SDK für Python Version 0.4.0 umgestaltet berechtigungenbezogene APIs, um sie verständlicher und einfacher zu verwenden. Details finden Sie im Änderungsprotokoll für die Version 0.4.0.

Die Konfigurationseinstellung für die Verhinderung des iFraming von Drittanbietern wurde entfernt

7. August 2023

Azure Databricks verringert das Risiko, dass Drittanbieterdomänen Azure Databricks "framen", indem es geeignete HTTP-Header hinzufügt. Die iFraming-Verhinderung von Drittanbietern ist weiterhin standardmäßig aktiviert, aber Azure Databricks die Arbeitsbereichsadministratoreinstellung entfernt, um sie zu deaktivieren. Wenn Sie das iFraming von Drittanbietern für einen Arbeitsbereich zuvor deaktiviert haben, ist das Feature weiterhin für diesen Arbeitsbereich deaktiviert. Um iFraming von Drittanbietern wieder zu aktivieren, wenden Sie sich an Ihr Azure Databricks Kontoteam.

Databricks-Erweiterung für Visual Studio Code auf Version 1.1.1 aktualisiert

4. August 2023

Die Databricks-Erweiterung für Visual Studio Code Version 1.1.1 bietet verschiedene kleinere Fixes, z. B. die ordnungsgemäße Behandlung der umgebungsvariablen HOME für Windows usw. Details finden Sie im Änderungsprotokoll für die Version 1.1.1.

LangChain verfügbar in Version 13.1 und höher

4. August 2023

LangChain ist als experimenteller MLflow-Geschmack verfügbar, mit dem LangChain-Kunden die robusten Tools und Experiment-Tracking-Funktionen von MLflow direkt aus der Azure Databricks Umgebung nutzen können.

LangChain ist ein Softwareframework, das entwickelt wurde, um Anwendungen zu erstellen, die große Sprachmodelle (LLMs) verwenden und diese mit externen Daten kombinieren, um mehr Trainingskontext für LLMs zu schaffen.

Databricks Runtime für Machine Learning enthält langchain in Databricks Runtime 13.1 ML und höher.

Feature Engineering in Unity Catalog ist Public Preview

3. August 2023

Mit Feature Engineering in Unity Catalog wird Unity Catalog zu Ihrem Featurespeicher. Sie können jede Delta-Tabelle mit einem Primärschlüssel als Featuretabelle für Modelltraining oder Rückschlüsse verwenden. Unity Catalog bietet Featureermittlung und Governance.

Verbesserte Fehlerbehandlung bei wiederholten fortlaufenden Auftragsfehlern

3. August 2023

Fortlaufende Aufträge, die einen Schwellenwert für aufeinanderfolgende Fehler überschreiten, verwenden jetzt ein exponentielles Backoff-Schema, um Auftragsausführungen effizient zu wiederholen und Aufträge nach vorübergehenden Problemen wiederherzustellen. Bisher wurden fortlaufende Aufträge, die den Fehlerschwellenwert überschritten, angehalten und nicht erneut versucht.

Serverlose SQL-Warehouses sind jetzt in zusätzlichen Regionen verfügbar

3. August 2023

Serverlose SQL-Warehouses sind in weiteren Regionen verfügbar: Australien (Osten), Kanada (Mitte), USA (Westen 2), USA (Süden, Mitte) und Südostasien. Siehe Azure Databricks Regions.

Wenn Sie beabsichtigen, eine Azure Storage Firewall zu verwenden, konfigurieren Sie die Firewall so, dass der Zugriff von serverlosen SQL-Warehouse-Subnetzen zugelassen wird. Siehe Azure Databricks Regions.

Freigeben von Schemas mithilfe von Delta Sharing (Public Preview)

2. August 2023

Sie können das Delta Sharing jetzt verwenden, um ein gesamtes Schema freizugeben, wodurch der Empfänger zum Zeitpunkt der Freigabe Zugriff auf alle Tabellen und Ansichten im Schema erhält, zusammen mit allen Tabellen und Ansichten, die dem Schema in Zukunft hinzugefügt werden. Das Hinzufügen von Schemas zu einer Freigabe mithilfe von SQL-Befehlen erfordert ein SQL-Warehouse oder einen Cluster, in dem Databricks Runtime 13.2 oder höher ausgeführt wird. Die gleiche Vorgehensweise mit dem Katalog-Explorer hat keine Computeanforderungen. Weitere Informationen finden Sie unter Hinzufügen von Schemas zu einer Freigabe.

Bedingte Ausführung von Aufgaben in Ihren Azure Databricks Aufträgen

2. August 2023

Sie können die neue Run ifBedingung verwenden, um eine Auftragsaufgabe basierend auf dem Status der Abhängigkeiten der Aufgabe auszuführen, wodurch mehr Flexibilität bei der Implementierung eines Workflows mit einem Azure Databricks Auftrag gewährleistet wird. Sie können beispielsweise die Run if Bedingung verwenden, um eine Aufgabe auszuführen, wenn einige oder alle Abhängigkeiten der Aufgabe fehlgeschlagen sind. Siehe Konfigurieren Sie Aufgabenabhängigkeiten.

Databricks Terraform-Anbieter auf Version 1.22.0 aktualisiert

1. August 2023

Databricks Terraform Provider, Version 1.22.0, führt eine databricks_access_control_rule_set-Ressource, die Datenquellen databricks_metastore und databricks_metastore und vieles mehr ein. Details finden Sie im Änderungsprotokoll für die Version 1.22.0.

Erweiterte Sicherheits- und Compliance-Funktionen

1. August 2023

Sie können das Compliance-Sicherheitsprofil aktivieren, das zusätzliche Überwachungsmöglichkeiten, ein gehärtetes Rechenabbild und andere Funktionen für Ihre Arbeitsbereiche bietet. Das Compliancesicherheitsprofil muss Azure Databricks verwenden, um Daten zu verarbeiten, die durch PCI-DSS geregelt sind, aber Sie können das Profil aktivieren, wenn Sie solche Daten nicht verarbeiten. Sie sind allein dafür verantwortlich, dass Sie alle geltenden Gesetze und Vorschriften einhalten.

Alternativ können Sie die erweiterte Sicherheitsüberwachung separat aktivieren, die zusätzliche Überwachung und ein gehärtetes Computeimage bietet.

Beide Features sind im Rahmen des neuen Add-Ons Erweiterte Sicherheit und Compliance verfügbar. Wenn Sie eine dieser Features in einem Arbeitsbereich aktivieren, wird Ihnen das neue Add-On in Rechnung gestellt, wie auf der Preisseite beschrieben. Beide Features erfordern den Premium-Tarif.

Lakehouse-Überwachung ist Public Preview

1. August 2023

Databricks Lakehouse Monitoring integriert Daten- und Modellqualitätsüberwachung in die Databricks-Plattform. Es bietet sofort einsatzbereite Qualitätsmetriken wie zusammenfassende Statistiken, Änderungen in der Verteilung im Zeitverlauf und Modellleistung einschließlich Fairness und Vorurteile. Lakehouse Monitoring generiert automatisch ein Zusammenfassungs-Dashboard, um die Datenqualität im Zeitverlauf zu visualisieren. Sie können auch Warnungen basierend auf den Daten einrichten.

Databricks Runtime 13.3 LTS (Beta)

1. August 2023

Databricks Runtime 13.3 LTS und Databricks Runtime 13.3 LTS ML sind jetzt als Betaversionen verfügbar.

Siehe Databricks Runtime 13.3 LTS und Databricks Runtime 13.3 LTS für Machine Learning.

Neue Git-Vorgänge sind allgemein verfügbar: Merge Branches, Rebase und Pull mit Konfliktlösung

1. August 2023

Die folgenden Git-Vorgänge sind jetzt allgemein in Databricks Repos verfügbar:

  • Zusammenführen und Neubasis: Sie können jetzt Git merge oder rebase zwei Zweigniederlassungen direkt in Azure Databricks. Dies vereinfacht das Kombinieren von Branches und bietet die Möglichkeit, Konflikte zu lösen, die während des Vorgangs auftreten.
  • Pull mit Konfliktauflösung: Sie können jetzt Databricks-Repos verwenden, um Konflikte zu verwalten und zu lösen, die auftreten, wenn Sie ein Git-Remote-Repository mit Azure Databricks abrufen.

Mit diesen leistungsstarken neuen Konfliktlösungstools wird die Zusammenarbeit an Code mithilfe von Databricks Repos noch reibungsloser und effizienter.

  • Last updated on