Januar 2024

  • Artikel

Diese Features und Verbesserungen der Azure Databricks-Plattform wurden im Januar 2024 veröffentlicht.

Hinweis

Releases werden gestaffelt. Ihr Azure Databricks-Konto wird möglicherweise erst eine Woche oder länger nach dem ursprünglichen Veröffentlichungsdatum aktualisiert.

Unterstützung für native XML-Dateiformate (Public Preview)

31. Januar 2024

Native XML-Dateiformatunterstützung befindet sich jetzt in der Public Preview. Die XML-Dateiformatunterstützung ermöglicht das Aufnehmen, Abfragen und Analysieren von XML-Daten für die Batchverarbeitung oder das Streaming. Sie kann Schema- und Datentypen automatisch ableiten und entwickeln, SQL-Ausdrücke wie from_xml unterstützen und XML-Dokumente generieren. Sie erfordert keine externen Jars und arbeitet nahtlos mit Auto Loader, read_files, COPY INTO und Delta Live Tables. Weitere Informationen finden Sie unter Lesen und Schreiben von XML-Dateien.

Freigeben von KI-Modellen mithilfe von Databricks Marketplace (Public Preview)

31. Januar 2024

Sie können jetzt Marketplace verwenden, um Modelle freizugeben, die in Unity Catalog registriert sind. Sowohl der Anbieter- als auch der Consumerarbeitsbereich müssen für Unity Catalog aktiviert sein, um Modelle freizugeben.

Weitere Informationen finden Sie unter Was ist Databricks Marketplace? und Hinzufügen von Modellen zu einer Freigabe.

Updates an Netzwerksicherheitsgruppen-Regeln

31. Januar 2023

Um die Plattformskalierbarkeit zu verbessern, erfordert die Azure Databricks-Steuerungsebene jetzt neue Endpunkte für die Verbindung mit der klassischen Datenebene. Für Arbeitsbereiche, die in Ihrem eigenen Azure-VNet bereitgestellt werden, werden der vorhandenen Sicherheitsregel für das Ziel AzureDatabricks, bei welchem der ausgehende Datenverkehr bisher auf Port 443 beschränkt war, nun die beiden Netzwerkports 3306 und 8443-8451 hinzugefügt.

Weitere Informationen finden Sie unter Netzwerksicherheitsgruppen-Regeln.

Update des Arbeitsbereichspfads

In der Vergangenheit mussten Benutzer*innen das Pfadpräfix /Workspace für einige Databricks-APIs (%sh) einschließen, für andere (%run, REST-API-Eingaben) jedoch nicht. Jetzt können Benutzer Arbeitsbereichspfade überall in Databricks mit dem /Workspace-Präfix bereitstellen. Alte Verweise auf Pfade ohne das Präfix /Workspace werden umgeleitet und funktionieren weiterhin. Databricks empfiehlt, alle Arbeitsbereichspfade mit dem Präfix /Workspace zu versehen, um sie von Volume- und DBFS-Pfaden unterscheiden zu können.

Unterstützung für die Azure Storage-Firewall über serverloses Computing ist allgemein verfügbar (GA)

30. Januar 2024

Die Unterstützung für die Azure Storage-Firewall über serverloses Computing ist nun allgemein verfügbar (GA). Sie können erzwingen, dass serverlose SQL-Warehouses stabile Subnetz-IDs verwenden, um eine Verbindung mit Azure Storage herzustellen, und diese Bezeichner auf die Positivliste Ihrer Azure-Ressourcenfirewall setzen. Weitere Informationen finden Sie unter Konfigurieren einer Firewall für Zugriff auf serverloses Computing.

Optimierte Erstellung von Azure Databricks-Aufträgen

29. Januar 2024

Ein leerer Auftrag wird jetzt sofort erstellt, nachdem Sie auf die Schaltfläche geklickt haben, um einen Auftrag zu erstellen, sodass Sie Einstellungen auf Auftragsebene wie Tags, Zeitplan oder Benachrichtigungseinstellungen bearbeiten können, bevor Sie die erste Aufgabe hinzufügen. Zuvor mussten Sie die erste Aufgabe erstellen, bevor Sie Zugriff auf Einstellungen auf Auftragsebene erhalten. Weitere Informationen finden Sie unter Erstellen und Ausführen von Azure Databricks-Aufträgen.

Überwachen der GPU-Workloads für die Modellbereitstellung mithilfe von Rückschlusstabellen

29. Januar 2024

Sie können nun die GPU-Workloads für die Modellbereitstellung mithilfe von Rückschlusstabellen überwachen. Siehe Rückschlusstabellen für Überwachungs- und Debuggingmodelle.

Pfadbasierter URI-Zugriff auf externe Unity Catalog-Volumes

25. Januar 2024

Sie können jetzt Cloudspeicher-URIs für den pfadbasierten Zugriff auf Daten verwenden, die vom Unity-Katalog gesteuert werden und in externen Volumes gespeichert sind. Weitere Informationen finden Sie unter Welcher Pfad wird für den Zugriff auf Dateien auf einem Volume verwendet?.

Zugriffssteuerungslisten können in aktualisierten Arbeitsbereiche aktiviert werden

24. Januar 2024

Zugriffssteuerungseinstellungen wurden im November 2023 in allen Arbeitsbereichen im Premium-Plan aktiviert.

Für Arbeitsbereiche, die vom Standardplan auf den Premium-Plan aktualisiert werden, sind Zugriffssteuerungseinstellungen standardmäßig deaktiviert. Arbeitsbereichsadministrator*innen können jetzt die folgenden Zugriffssteuerungseinstellungen für aktualisierte Arbeitsbereiche aktivieren:

  • Zugriffssteuerung für Arbeitsbereiche: Ermöglicht Benutzer*innen das Konfigurieren von Berechtigungen für Arbeitsbereichsobjekte.
  • Zugriffssteuerung für Cluster, Pools und Aufträge: Ermöglicht Benutzer*innen das Konfigurieren von Berechtigungen für Cluster, Pools und Aufträge.
  • Steuerung für die Clustersichtbarkeit: Verhindert, dass Cluster für Benutzer*innen sichtbar sind, die keine Berechtigungen für sie besitzen.
  • Steuerung für die Auftragssichtbarkeit: Verhindert, dass Aufträge für Benutzer*innen sichtbar sind, die keine Berechtigungen für sie besitzen.
  • Steuerung für die Arbeitsbereichssichtbarkeit: Verhindert, dass Notebooks und Ordner für Benutzer*innen sichtbar sind, die keine Berechtigungen für sie besitzen.

Nachdem eine Zugriffssteuerungseinstellung aktiviert ist, kann sie nicht deaktiviert werden. Weitere Informationen finden Sie unter Zugriffssteuerungslisten.

Systemtabelle für Marketplace-Einträge ist jetzt verfügbar (Public Preview)

24. Januar 2024>

Das Marketplace-Systemschema enthält jetzt eine Tabelle mit Verkaufstrichterereignissen zu Angeboten (system.marketplace.listing_funnel_events), mit der Sie Consumeraktionen mit Ihren Angeboten überwachen können. Weitere Informationen finden Sie unter Tabelle mit Verkaufstrichterereignissen zu Angeboten.

Aktualisierte Benutzeroberfläche für Notebookzellen (Public Preview)

24. Januar 2024

Es ist ein aktualisiertes Notebook-Zellendesign verfügbar. Um das neue Zellendesign zu aktivieren, öffnen Sie die Seite Editor-Einstellungen im Arbeitsbereich. Klicken Sie auf der Randleiste auf Developer. Schalten Sie unter Experimentelle Features auf Neue Zellenbenutzeroberfläche um. Ausführliche Informationen zum Arbeiten mit Notebook-Zellen in der ursprünglichen und der neuen Benutzeroberfläche finden Sie unter Databricks-Notizbücher: Ausrichtung auf die neue Zellenbenutzeroberfläche.

Schnelle Problembehebung für Syntaxfehler im Notebook

24. Januar 2024

Mithilfe der schnellen Problembehebung können Sie Hilfe vom Databricks-Assistenten zu Syntaxfehlern erhalten. Ausführliche Informationen finden Sie unter Mögliche Aktionen bei Syntaxfehlern und Warnungen.

Databricks Runtime 14.3 LTS (Beta)

22. Januar 2024

Databricks Runtime 14.3 LTS und Databricks Runtime 14.3 LTS ML sind jetzt als Betaversionen verfügbar.

Weitere Informationen unter Databricks Runtime 14.3 LTS und Databricks Runtime 14.3 LTS für Machine Learning.

Freigeben von KI-Modellen mithilfe von Delta Sharing (Public Preview)

19. Januar 2024

Sie können jetzt Delta Sharing verwenden, um Modelle freizugeben, die in Unity Catalog registriert sind. Sowohl der Anbieter- als auch der Empfängerarbeitsbereich müssen für Unity-Catalog aktiviert sein, um Modelle freizugeben.

Siehe Hinzufügen von Modellen zu einer Freigabe.

Databricks Marketplace unterstützt die Volumenfreigabe

18. Januar 2023

Databricks Marketplace bietet jetzt Zugriff auf Volumes (nicht tabellarische Daten), solange Sie über einen Unity Catalog-aktivierten Databricks-Arbeitsbereich verfügen. Volumes sind Unity Catalog-Objekte, die ein logisches Speichervolumen am Speicherort eines Cloudobjekts darstellen, und sie bieten eine Möglichkeit zum Verwalten der Governance und zur Freigabe von nicht tabellarischen Datenressourcen.

Weitere Informationen finden Sie unter Anfordern von und Zugreifen auf Datenprodukte im Databricks Marketplace (Unity Catalog-fähige Arbeitsbereiche).

Erstellen von Widgets aus der Databricks-Benutzeroberfläche

18. Januar 2024

Sie können jetzt Databricks-Widgets mithilfe der Databricks-Benutzeroberfläche erstellen. Ausführliche Informationen finden Sie unter Erstellen eines Widgets mithilfe der Benutzeroberfläche.

Die Systemtabelle für Warehouseereignisse ist jetzt verfügbar (Public Preview)

18. Januar 2024

Die system.compute.warehouse_events-Tabelle zeichnet auf, wann SQL-Warehouses beginnen, beenden, hoch oder herunter skalieren. Sie können die Tabelle verwenden, um die SQL-Warehouses in Ihren Arbeitsbereichen zu überwachen und zu verwalten. Siehe Referenz zur Systemtabelle für Warehouseereignisse.

Dateigrößenbeschränkung für Arbeitsbereiche beträgt jetzt 500 MB

15. Januar 2023

Einzelne Arbeitsbereichsdateien sind jetzt auf 500 MB begrenzt. Zuvor lag das Maximum bei 200 MB. Weitere Informationen finden Sie unter Einschränkungen.

Hinweis zur Entfernung von Features für die Legacy-Git-Integration in Databricks

12. Januar 2024

Nach dem 31. Januar 2024 entfernt Databricks Legacy-Notebook-Git-Integrationen. Dieses Feature hat seit mehr als zwei Jahren den Legacystatus, und seit November 2023 wird in der Produktbenutzeroberfläche ein Hinweis auf seine Veraltung angezeigt.

Ausführliche Informationen zum Migrieren zu Databricks Git-Ordnern (Repos) finden Sie unter Wechseln zu Databricks-Repos von der Legacy-Git-Integration. Wenn Sie von dieser Entfernung betroffen sind und eine Verlängerung benötigen, wenden Sie sich an Ihren Databricks Account Executive.

Databricks-ODBC-Treiber 2.7.7

9. Januar 2024

Wir haben die Version 2.7.7 des Databricks-ODBC-Treibers veröffentlicht (Download). Mit diesem Release werden die folgenden neuen Features und Verbesserungen hinzugefügt:

  • Authentifizierung mit von Azure verwalteten Identitäten.
  • Unterstützung für asynchrone Metadatenvorgänge. Der Server muss SPARK_CLI_SERVICE_PROTOCOL_V9 und höher unterstützen.
  • Unterstützung für parametrisierte Abfragen im nativen Abfragemodus. Der Server muss SPARK_CLI_SERVICE_PROTOCOL_V8 und höher unterstützen.
  • OAuth-Erweiterung: Der Connector kann nun den Tokencache für den browserbasierten Authentifizierungsflow deaktivieren.

Darüber hinaus werden durch dieses Release folgende Probleme in 2.7.7 behoben:

  • Der Connector ignoriert bei Verwendung des Windows-Vertrauensspeichersdie private Stammzertifizierungsstelle.
  • Wenn ein Vorgang fehlschlägt, schließt der Connector die Heartbeat-Threads nicht.
  • Der Connector unterstützt das optionale Aktualisierungstoken nicht.
  • Der Connector kann Tabellen mit Fremdnamen beim Abfragen nicht lesen.
  • Wenn die Zeichenfolgenlänge des HOST kleiner als 20 ist, wird der Connector unerwartet beendet, wenn die OAuth-Authentifizierung verwendet wird.

Der Support für die Databricks Runtime 13.2-Serie endet am

6. Januar 2024

Der Support für Databricks Runtime 13.2 und Databricks Runtime 13.2 für Machine Learning endet am 6. Januar. Weitere Informationen finden Sie unter Supportlebenszyklus für Databricks Runtime.

KI-Hilfsfunktionen sind standardmäßig aktiviert

2.–8. Januar 2024

KI-Hilfsfunktionen sind jetzt standardmäßig für Arbeitsbereiche ohne aktiviertes Compliance-Sicherheitsprofil aktiviert. Dazu gehören:

Administrator*innen können die KI-Hilfsfunktionen für alle Arbeitsbereiche in ihrem Konto oder für eine Untergruppe von Arbeitsbereichen deaktivieren. Weitere Informationen unter Aktivieren oder Deaktivieren des Databricks-Assistenten.