August 2022

Diese Features und Azure Databricks-Plattformverbesserungen wurden im August 2022 veröffentlicht.

Hinweis

Releases werden gestaffelt. Ihr Azure Databricks-Konto wird möglicherweise erst eine Woche nach dem Datum der ersten Veröffentlichung oder später aktualisiert.

Kontobenutzer können auf die Kontokonsole zugreifen

1.–31. August 2022

Kontobenutzer können auf die Azure Databricks-Kontokonsole zugreifen, um eine Liste ihrer Arbeitsbereiche anzuzeigen. Kontobenutzer können nur Arbeitsbereiche anzeigen, auf die Ihnen Zugriff gewährt wurde. Siehe Verwalten Ihres Azure Databricks-Kontos.

Benutzer aus Arbeitsbereichen werden automatisch mit Ihrem Konto als Kontobenutzer synchronisiert. Weitere Informationen finden Sie unter Wie weisen Administrator*innen dem Konto Benutzer zu?.

Databricks-ODBC-Treiber 2.6.26

29. August 2022

Wir haben die Version 2.6.26 des Databricks ODBC-Treibers veröffentlicht (Download). Diese Version aktualisiert die Abfrageunterstützung. Sie können Abfragen jetzt asynchron auf HTTP-Verbindungen auf API-Anforderung abbrechen.

Darüber hinaus werden durch dieses Release folgende Probleme behoben:

• Beim Verwenden benutzerdefinierte Abfragen in Spotfire reagiert der Konnektor nicht mehr.

Databricks-JDBC-Treiber 2.6.29

29. August 2022

Wir haben Version 2.6.29 des Databricks JDBC-Treibers veröffentlicht (Download). Darüber hinaus werden durch dieses Release folgende Probleme behoben:

• Beim Verwenden eines HTTP-Proxys mit aktiviertem Cloud Fetch gibt der Konnektor keine großen Dataset-Ergebnisse zurück.
• Geringfügige Textprobleme im Databricks-Lizenztext. Dokumentationslinks fehlten.
• Die JAR-Dateinamen waren falsch. Statt SparkJDBC41.jar sollte es „DatabricksJDBC41.jar“ sein. Statt SparkJDBC42.jar sollte es „DatabricksJDBC42.jar“ sein.

Databricks Feature Store-Client jetzt auf PyPI verfügbar

26. August 2022

Der Featurespeicher-Client ist jetzt in PyPI verfügbar. Für den Client ist mindestens Databricks Runtime 9.1 LTS erforderlich, und er kann mit dem folgenden Befehl installiert werden:

%pip install databricks-feature-store

Der Client ist bereits mit Databricks Runtime für Machine Learning 9.1 LTS und höher verpackt.

Der Client kann nicht außerhalb von Databricks ausgeführt werden. Sie können ihn jedoch lokal installieren, um Komponententests und zusätzliche IDE-Unterstützung zu ermöglichen (z. B. AutoVervollständigen). Weitere Informationen finden Sie unter Python-API für den Databricks-Featurespeicher.

Unity-Katalog ist GA

25. August 2022

Unity Catalog ist allgemein verfügbar. Ausführliche Ankündigungen und Einschränkungen von Features finden Sie unter Versionshinweise für Unity Catalog GA.

Delta-Sharing ist GA

25. August 2022

Delta Sharing ist nun ab Databricks Runtime 11.1 allgemein verfügbar. Ausführliche Informationen finden Sie unter Sicheres Freigeben von Daten und KI-Ressourcen mithilfe von Delta Sharing.

• Delta Sharing zwischen Databricks-Instanzen ist vollständig verwaltet und funktioniert ohne Tokenaustausch.
• Erstellen und Verwalten von Anbietern, Empfängern und Freigaben mit einer benutzerfreundlichen Benutzeroberfläche
• Erstellen und Verwalten von Anbietern, Empfängern und Freigaben mit SQL- und REST-APIs mit vollständiger CLI- und Terraform-Unterstützung
• Abfragen von Änderungen an Daten oder Freigeben inkrementeller Versionen mit Änderungsdatenfeeds
• Einschränken des Empfängerzugriffs auf das Herunterladen von Anmeldeinformationsdateien oder das Abfragen von Daten mithilfe von IP-Zugriffslisten und Regionseinschränkungen
• Die Verwendung von Delta Sharing zum Freigeben von Daten innerhalb desselben Azure Databricks-Kontos ist standardmäßig aktiviert.
• Erzwingen der Trennung von Aufgaben durch Delegieren der Verwaltung von Delta Sharing an Nicht-Administratoren

Databricks Runtime 11.2 (Beta)

23. August 2022

Databricks Runtime 11.2, 11.2 Photon und 11.2 ML sind jetzt als Betaversionen verfügbar.

Weitere Informationen finden Sie in den vollständigen Versionshinweisen zu Databricks Runtime 11.2 (ohne Support) und Databricks Runtime 11.2 für Machine Learning (ohne Support).

Reduziertes Nachrichtenvolumen in der Benutzeroberfläche von Delta Live Tables für kontinuierliche Pipelines

22.-29. August 2022: Version 3.79

Mit dieser Version werden die Statusübergänge für Livetabellen in einer kontinuierlichen Delta Live Tables-Pipeline nur auf der Benutzeroberfläche angezeigt, bis die Tabellen in den Ausführungszustand wechseln. Alle Übergänge im Zusammenhang mit der erfolgreichen Neuberechnung der Tabellen werden nicht auf der Benutzeroberfläche angezeigt, sind aber im Delta Live Tables-Ereignisprotokoll auf Metrikebene verfügbar. Alle Übergänge zu Fehlerzuständen werden weiterhin auf der Benutzeroberfläche angezeigt. Zuvor wurden alle Statusübergänge auf der Benutzeroberfläche für Livetabellen angezeigt. Diese Änderung reduziert das Volumen von Pipelineereignissen, die auf der Benutzeroberfläche angezeigt werden, und erleichtert die Suche nach wichtigen Nachrichten für Ihre Pipelines. Weitere Informationen zum Abfragen des Ereignisprotokolls finden Sie unter Was ist das Delta Live Tables-Ereignisprotokoll.

Einfachere Clusterkonfiguration für Ihre Delta Live Tables-Pipelines

22.-29. August 2022: Version 3.79

Sie können jetzt einen Clustermodus (automatische Skalierung oder feste Größe) direkt auf der Benutzeroberfläche von Delta Live Tables auswählen, wenn Sie eine Pipeline erstellen. Das Konfigurieren eines Clusters mit automatischer Skalierung erforderte zuvor Änderungen an den JSON-Einstellungen der Pipeline. Weitere Informationen zum Erstellen einer Pipeline und zur neuen Einstellung für den Clustermodus finden Sie unter Ausführen eines Updates für eine Delta Live Tables-Pipeline.

Orchestrieren Sie dbt-Aufgaben in Ihren Databricks-Workflows (öffentliche Vorschau)

22.-29. August 2022: Version 3.79

Sie können Ihr dbt-Core-Projekt als Aufgabe in einem Azure Databricks-Auftrag mit der neuen dbt-Aufgabe ausführen, sodass Sie Ihre dbt-Transformationen in einen Datenverarbeitungsworkflow einbeziehen können. Ihr Workflow kann beispielsweise Daten mit Auto Loader aufnehmen, die Daten mit dbt transformieren und die Daten mit einer Notebook-Aufgabe analysieren. Weitere Informationen zur dbt-Aufgabe, einschließlich eines Beispiels, finden Sie unter Verwenden von dbt-Transformationen in an Azure Databricks-Auftrag. Weitere Informationen zum Erstellen, Ausführen und Planen eines Workflows, der eine dbt-Aufgabe enthält, finden Sie unter Erstellen und Ausführen von Azure Databricks-Aufträgen.

Identity Federation ist GA

25. August 2022

Der Identitätsverbund vereinfacht die Verwaltung von Azure Databricks, da Sie Benutzer auf Kontoebene, Dienstprinzipale und Gruppen zu Identitätsverbundarbeitsbereichen zuweisen können. Sie können nun alle Benutzer, Dienstprinzipale und Gruppen einmal in der Kontokonsole konfigurieren und verwalten, anstatt die Konfiguration separat in jedem Arbeitsbereich zu wiederholen. Weitere Informationen zum Identitätsverbund finden Sie unter Wie weisen Administratoren Arbeitsbereichen Benutzer zu?. Informationen zu den ersten Schritten finden Sie unter Wie aktivieren Administratoren den Identitätsverbund in einem Arbeitsbereich?.

Partner Connect unterstützt die Verbindung zu Stardog

24. August 2022

Sie können jetzt mithilfe von Partner Connect einfach eine Verbindung zwischen Stardog und Ihrem Azure Databricks-Arbeitsbereich herstellen. Stardog bietet eine Knowledge Graph-Plattform, um komplexe Abfragen über Datensilos hinweg zu verarbeiten.

Databricks Feature Store-Integration mit serverloser Echtzeit-Inferenz

22.-29. August 2022: Version 3.79

Databricks Feature Store unterstützt jetzt die automatische Funktionssuche für Serverlose Real-Time Inference. Details finden Sie unter Automatische Featuresuche mit MLFlow-Modellen auf Databricks.

Unterstützung zusätzlicher Datentypen für die automatische Featuresuche im Databricks-Featurespeicher

22.-29. August 2022: Version 3.79

Databricks Feature Store unterstützt jetzt BooleanType für die automatische Featuresuche. Weitere Informationen finden Sie unter Automatische Featuresuche mit MLFlow-Modellen auf Databricks.

Bringen Sie Ihren eigenen Schlüssel mit: Verschlüsseln mit Git-Anmeldeinformationen

23. bis 29. August 2022

Sie können einen Verschlüsselungsschlüssel für Git-Anmeldeinformationen für Databricks-Repositorys verwenden.

Weitere Informationen finden Sie unter Bring Your Own Key: Verschlüsseln von Git-Anmeldeinformationen.

Der Vorschau- und Zugriffsmodus der Cluster-Benutzeroberfläche ersetzt den Sicherheitsmodus

19. August 2022

Die neue Benutzeroberfläche zum Erstellen von Clustern befindet sich in der Vorschau. Siehe Computekonfigurationsreferenz.

Unity Catalog-Einschränkungen (öffentliche Vorschau)

16. August 2022

• Scala, R und Workloads, die die Machine Learning Runtime verwenden, werden nur auf Clustern unterstützt, die den Einzelbenutzerzugriffsmodus verwenden. Workloads in diesen Sprachen unterstützen nicht die Verwendung dynamischer Sichten für die Sicherheit auf Zeilen- oder Spaltenebene.
• Flache Klone werden nicht unterstützt, wenn Sie Unity Catalog als Quelle oder Ziel des Klons verwenden.
• Bucketing wird für Unity Catalog-Tabellen nicht unterstützt. Befehle, die versuchen, eine Buckettabelle in Unity Catalog zu erstellen, lösen eine Ausnahme aus.
• Der Überschreibmodus für Dataframeschreibvorgänge in Unity Catalog wird nur für Delta-Tabellen unterstützt, nicht für andere Dateiformate. Der Benutzer muss die CREATE-Berechtigung für das übergeordnete Schema haben und Eigentümer des vorhandenen Objekts sein.
• Das Streaming hat derzeit die folgenden Einschränkungen:
  • In Clustern, die den freigegebenen Zugriffsmodus verwenden, wird es nicht unterstützt. Für Streamingworkloads müssen Sie den Zugriffsmodus für Einzelbenutzer verwenden.
  • Asynchrone Prüfpunktausführung wird noch nicht unterstützt.
  • Bei Streamingabfragen, die länger als 30 Tage dauern, wird bei allen Zweck- oder Auftragsclustern eine Ausnahme ausgelöst. Für zeitintensive Abfragen konfigurieren Sie automatische Wiederholungsversuche für den Auftrag.
• Der Verweis auf Unity Catalog-Tabellen aus Delta Live Tables-Pipelines wird derzeit nicht unterstützt.
• Zuvor in einem Arbeitsbereich erstellte Gruppen können nicht in GRANT-Anweisungen von Unity Catalog verwendet werden. Dadurch soll eine konsistente Ansicht von Gruppen sichergestellt werden, die sich über mehrere Arbeitsbereiche erstrecken kann. Um Gruppen in GRANT-Anweisungen zu verwenden, erstellen Sie Ihre Gruppen in der Kontokonsole und aktualisieren Sie alle Automatisierungen für die Prinzipal- oder Gruppenverwaltung (z. B. SCIM-, Okta- und Microsoft Entra ID-Connectors und Terraform), um auf Kontoendpunkte anstelle von Arbeitsbereichsendpunkten zu verweisen.

Unity Catalog ist in den folgenden Regionen verfügbar:

• canadacentral
• centralus
• francecentral
• germanywestcentral
• japaneast
• norwayeast
• southafricanorth
• swedencentral
• switzerlandnorth
• switzerlandwest
• uaenorth
• westcentralus
• westus3
• australiaeast
• brazilsouth
• centralindia
• eastus
• eastus2
• koreacentral
• northcentralus
• northeurope
• southeastasia
• ukwest
• westeurope
• westus

Wenden Sie sich an Ihr Kundenberatungsteam, um Unity Catalog in einer anderen Region zu verwenden.

Serverlose Real-Time Inference in der öffentlichen Vorschau

16. August 2022

Der serverlose Echtzeitrückschluss verarbeitet Ihre Machine Learning-Modelle mithilfe von MLflow und stellt sie als REST-API-Endpunkte bereit. Diese Funktionalität verwendet serverloses Computing, was bedeutet, dass die Endpunkte und die zugehörigen Computeressourcen im Azure Databricks-Cloudkonto verwaltet und ausgeführt werden. Die anfallenden Nutzungs- und Speicherkosten sind derzeit kostenlos, aber Azure Databricks wird Sie über den Beginn der Abrechnung informieren.

Workspace-Administratoren müssen in Ihrem Workspace Serverless Real-Time Inference aktivieren, damit Sie diese Funktion verwenden können.

Weitere Informationen finden Sie unter Worum handelt es sich beim serverlosen Echtzeitrückschluss?. Wenden Sie sich an Ihr Azure Databricks-Kundenberatungsteam, um an der Public Preview für den serverlosen Echtzeitrückschluss teilzunehmen.

Verbesserte Arbeitsbereichssuche jetzt allgemein verfügbar

9. August 2022

Sie können jetzt nach Notebooks, Bibliotheken, Ordnern, Dateien und Repositorys anhand ihres Namens suchen. Sie können auch nach Inhalten in einem Notebook suchen und eine Vorschau des übereinstimmenden Inhalts anzeigen. Die Suchergebnisse können nach dem Typ gefiltert werden. Weitere Informationen finden Sie unter Suchen nach Arbeitsbereichsobjekten.

Verwenden Sie generierte Spalten, wenn Sie Delta Live Tables-Datasets erstellen

8.-15. August 2022: Version 3.78

Sie können jetzt generierte Spalten verwenden, wenn Sie Tabellen in Ihren Delta Live Tables-Pipelines definieren. Generierte Spalten werden von den Delta Live Tables Python und SQL-Schnittstellen unterstützt.

Verbesserte Bearbeitung für Notebooks mit Monaco-basiertem Editor (experimentell)

8. bis 15. August 2022

Ein neuer, auf Monaco basierender Code-Editor ist für Python-Notebooks verfügbar. Um ihn zu aktivieren, navigieren Sie zur Seite „Benutzereinstellungen“, und aktivieren Sie auf der Registerkarte Editor-Einstellungen die Option Neuen Notebook-Editor aktivieren.

Der neue Editor enthält Hinweise zum Parametertyp, Objektüberprüfung bei Hovering, Codefaltung, Multi-Cursor-Unterstützung, Spaltenauswahl (Box) und parallele Unterschiede im Versionsverlauf des Notebooks.

Der Support für die Databricks Runtime 10.3-Serie wird eingestellt

2. August 2022

Die Unterstützung für Databricks Runtime 10.3 und Databricks Runtime 10.3 für Machine Learning wurde am 2. August beendet. Weitere Informationen finden Sie unter Supportlebenszyklus für Databricks Runtime.

Aktivieren der privaten Konnektivität mit Azure Private Link (Public Preview)

2. August 2022

Azure Databricks unterstützt jetzt die Aktivierung von Azure Private Link-Verbindungen für private Konnektivität zwischen Benutzer*innen und ihren Azure Databricks-Arbeitsbereichen sowie zwischen Clustern auf der Computeebene und den Kerndiensten auf der Steuerungsebene innerhalb der Databricks-Arbeitsbereichsinfrastruktur. Azure Private Link stellt eine direkte Verbindung mit Diensten her, ohne den Datenverkehr dem öffentlichen Netzwerk auszusetzen. Dieses Feature ist als Public Preview verfügbar. Weitere Informationen finden Sie unter Aktivieren von Back-End- und Front-End-Verbindungen für Azure Private Link.

Aktivieren von Serverless-SQL-Warehouses für Ihren Arbeitsbereich (Public Preview)

2. August 2022

Serverlose SQL-Warehouses sind jetzt für Konten und Arbeitsbereiche in Azure Databricks als Public Preview verfügbar. Für dieses Feature ist der Premium-Tarif erforderlich. Bevor Sie SQL-Warehouses der Ebene „Serverless“ erstellen, muss ein Administrator sie für den Arbeitsbereich aktivieren.

Delta Live Tables unterstützt jetzt das Aktualisieren nur ausgewählter Tabellen in Pipelineupdates

2. bis 24. August 2022

Sie können jetzt ein Update nur für ausgewählte Tabellen in einer Delta Live Tables-Pipeline starten. Dieses Feature beschleunigt das Testen von Pipelines und die Behebung von Fehlern, da Sie ein Pipelineupdate starten können, bei dem nur ausgewählte Tabellen aktualisiert werden. Informationen zum Starten eines Updates nur für ausgewählte Tabellen finden Sie unter Ausführen eines Updates für eine Delta Live Tables-Pipeline.

Die Auftragsausführung wartet jetzt darauf, dass die Installation der Clusterbibliotheken abgeschlossen ist

1. August 2022

Wenn ein Cluster gestartet wird, warten Ihre Databricks-Aufträge jetzt, bis die Installation von Clusterbibliotheken abgeschlossen ist, bevor sie ausgeführt werden. Zuvor haben Auftragsausführungen nur gewartet, bis Bibliotheken auf allen universellen Clustern installiert wurden, wenn sie als abhängige Bibliothek für den Auftrag angegeben wurden. Weitere Informationen zum Konfigurieren abhängiger Bibliotheken für Aufträge finden Sie unter Konfigurieren von abhängigen Bibliotheken.