November 2023

Diese Features und Azure Databricks-Plattformverbesserungen wurden im November 2023 veröffentlicht.

Hinweis

Releases werden gestaffelt. Ihr Azure Databricks-Arbeitsbereich wird möglicherweise erst eine Woche oder länger nach dem ursprünglichen Veröffentlichungsdatum aktualisiert.

Mosaic AI-Vektorsuche ist in der öffentlichen Vorschau

30. November 2023

Die Mosaic AI-Vektorsuche ist eine serverlose Ähnlichkeitssuchmaschine, mit der Sie eine Vektordarstellung Ihrer Daten, einschließlich Metadaten, in einer Vektordatenbank speichern können. Im Rahmen dieser Funktionalität können Sie automatisch aktualisierende Vektorsuchindizes aus Daten im Unity-Katalog erstellen und mit einer einfachen API abfragen, um die ähnlichsten Vektoren als Teil Ihrer RAG-Workflows zurückzugeben. Weitere Informationen finden Sie unter Mosaic AI-Vektorsuche.

Zugriffssteuerungslisten können nicht mehr deaktiviert werden

29. November 2023

Die folgenden Einstellungen sind für alle Premium-Planarbeitsbereiche aktiviert und können nicht mehr über die Seite „Arbeitsbereichsadministratoreinstellungen“ oder die Workspace Conf-API deaktiviert werden:

• Arbeitsbereichszugriffssteuerung: Ermöglicht Benutzern das Konfigurieren von Berechtigungen für Arbeitsbereichsobjekte.
• Cluster, Pool, Auftragszugriffskontrolle: Ermöglicht Benutzern das Konfigurieren von Berechtigungen für Cluster, Pools und Aufträge.
• Steuerelement für die Clustersichtbarkeit: Verhindert, dass Cluster für Benutzer sichtbar sind, für die keine Berechtigungen vorhanden sind.
• Kontrolle der Sichtbarkeit von Aufträgen: Verhindert, dass Aufträge für Benutzer sichtbar sind, die keine Berechtigungen für sie besitzen.
• Einstellung für die Sichtbarkeit des Arbeitsbereichs: Verhindert, dass Notebooks und Ordner für Benutzer sichtbar sind, die keine Berechtigungen für sie besitzen.

Die Einstellungen für die Zugriffssteuerung sind seit März 2018 standardmäßig für neue Arbeitsbereiche aktiviert, und die Einstellungen für die Sichtbarkeitssteuerung sind seit Dezember 2020 standardmäßig aktiviert.

Weitere Informationen finden Sie unter Zugriffssteuerungslisten.

Neue Verhaltensweisen und Aktionen im Katalog-Explorer für Volumes

22. November 2023

Sie können jetzt ein neues Volume im Zielschema über die Benutzeroberfläche Auf Volume hochladen erstellen, wenn keins vorhanden ist. Weitere Informationen finden Sie unter Hochladen von Dateien auf ein Unity Catalog-Volume.

Aktionen wie Datei löschen und Datei herunterladen wurden dem Katalog-Explorer für Dateien in Volumes hinzugefügt.

Databricks Runtime 14.2 ist GA

22. November 2023

Databricks Runtime 14.2 und Databricks Runtime 14.2 ML sind jetzt allgemein verfügbar.

Siehe Databricks Runtime 14.2 (EoS) und Databricks Runtime 14.2 für Machine Learning (EoS).

Databricks SQL Connector für Python Version 3.0.0

17. November 2023

Sie können jetzt pip install databricks-sql-connector==3.0.0 ausführen.

In diesem Release:

• Entfernt Unterstützung für Python 3.7
• Fügt Unterstützung für systemeigene parametrisierte SQL-Abfragen hinzu. Erfordert DBR 14.2 und höher. Weitere Informationen finden Sie unter Verwendung Nativer Parameter in dem databricks-sql-python GitHub-Repository.
• Umfasst unseren komplett umgeschriebenen SQLAlchemy-Dialekt:
  • Fügt Unterstützung für SQLAlchemy >= 2.0 und Unterstützung für SQLAlchemy 1.x hinzu
  • Vollständige End-to-End-Testabdeckung aller unterstützten Features
  • Detaillierte Nutzungshinweise finden Sie hier
  • Fügt Unterstützung hinzu für:
    • Neue Typen: TIME, TIMESTAMP, TIMESTAMP_NTZ, TINYINT
    • Numeric-Typskalierung und Genauigkeit, z. B. Numeric(10,2)
    • Lesen und Schreiben von PrimaryKeyConstraint und ForeignKeyConstraint
    • Lesen und Schreiben zusammengesetzter Schlüssel
    • Lesen und Schreiben aus Ansichten
    • Schreiben von Identity in Tabellen (automatisches Erhöhen von Primärschlüsseln)
    • LIMIT und OFFSET für das Paging durch Ergebnisse
    • Zwischenspeichern von Metadatenaufrufen
• Aktiviert Cloud Fetch standardmäßig. Um dies zu deaktivieren, legen Sie use_cloud_fetch=False beim Erstellen von databricks.sql.client fest.
• Hinzufügen von Integrationstests für Azure Databricks Unity Catalog-Volumes-Erfassungsabfragen
• Wiederholungsversuche:
  • Konfiguration _retry_max_redirects hinzufügen
  • Legen Sie _enable_v3_retries=True fest, und warnen Sie, wenn Benutzer es außer Kraft setzen.
• Sicherheit: Erhöht Mindestversion von Pyarrow auf 14.0.1 (CVE-2023-47248)

Bibliotheken in Arbeitsbereichsdateien, die für freigegebene Cluster ohne Isolation unterstützt werden

15. November 2023

Sie können jetzt Bibliotheken, die als Arbeitsbereichsdateien gespeichert sind, auf Computern installieren, die mit dem gemeinsamen Zugriffsmodus ohne Isolierung in Databricks Runtime 14.1 und höher konfiguriert sind.

Eingestellte Unterstützung für Arbeitsbereichsbibliotheken

15. November 2023

Arbeitsbereichsbibliotheken sind jetzt veraltet und das Erstellen neuer Arbeitsbereichsbibliotheken wurde deaktiviert. Vorhandene Arbeitsbereichsbibliotheken funktionieren weiterhin. Beachten Sie, dass sich das Speichern von Bibliotheken als Arbeitsbereichsdateien von Arbeitsbereichsbibliotheken unterscheidet und weiterhin vollständig unterstützt wird. Sie können Bibliotheken, die als Arbeitsbereichsdateien gespeichert sind, direkt installieren, um Aufgaben zu berechnen oder zu erledigen. Weitere Informationen finden Sie unter Bibliotheken.

Unterstützung für Azure Confidential Computing-VM-Typen ist jetzt allgemein verfügbar

15. November 2023

Azure Databricks-Unterstützung für Azure Confidential Computing-VM-Typen ist jetzt allgemein verfügbar. Azure Confidential Computing schützt verwendete Daten und verhindert, dass der Cloudanbieter Zugriff auf vertrauliche Daten hat. Weitere Informationen finden Sie unter Azure Confidential Computing-VMs.

Suche nach Databricks Marketplace-Einträgen mithilfe der globalen Arbeitsbereichssuche

13. November 2023

Sie können jetzt Datensätze, KI-Modelle und Databricks Solution Accelerators in Databricks Marketplace mithilfe der globalen Suchleiste in der Benutzeroberfläche des Azure Databricks-Arbeitsbereichs finden. Weitere Informationen finden Sie unter Was ist Databricks Marketplace? und Suchen nach Arbeitsbereichsobjekten.

Nutzen von Datenprodukten im Databricks Marketplace mithilfe externer Plattformen

10. November 2023

Verbraucher ohne einen Azure Databricks-Arbeitsbereich mit Unity-Katalog können jetzt auf Datenprodukte im Databricks Marketplace zugreifen. Sie können Open Sharing-Connectors für die Delta-Freigabe verwenden, um auf Marketplace-Daten zuzugreifen, indem Sie eine Reihe gängiger Plattformen verwenden, einschließlich Microsoft Power BI, Microsoft Excel, Pandas, Apache Spark und Nicht-Unity Catalog-Databricks-Arbeitsbereiche. Nur tabellarische Datensätze sind auf externen Plattformen verfügbar (z. B. Databricks-Notizbücher oder -modelle). Weitere Informationen finden Sie unter Anfordern und Zugriff auf Datenprodukte im Databricks Marketplace mithilfe externer Plattformen.

Unterstützung für serverlose SQL-Warehouses, die mehreren Azure-Regionen hinzugefügt wurden

9. November 2023

Die folgenden Azure-Regionen unterstützen jetzt serverlose SQL-Warehouses:

• Brasilien Süden (brasiliensouth)
• Indien, Mitte (centralindia)
• Japan, Osten (japaneast)
• USA, Norden-Mitte (northcentralus)
• Vereinigtes Königreich, Süden (UKS)

Siehe Azure Databricks-Regionen und Aktivieren Sie serverlose SQL-Warehouses.

Automatische Aktivierung des Unity-Katalogs für neue Arbeitsbereiche

9. November 2023

Databricks hat bereits begonnen, Unity Catalog automatisch für neue Arbeitsbereiche zu aktivieren. Dadurch müssen Kontoadministratoren nicht länger den Unity-Katalog konfigurieren, nachdem ein Arbeitsbereich erstellt wurde. Der Rollout erfolgt schrittweise über Konten hinweg. Siehe Automatische Aktivierung des Unity Catalog.

Databricks Runtime 14.2 (Betaversion)

8. November 2023

Databricks Runtime 14.2 und Databricks Runtime 14.2 ML sind jetzt als Betaversionen verfügbar.

Siehe Databricks Runtime 14.2 (EoS) und Databricks Runtime 14.2 für Machine Learning (EoS).

Databricks Marketplace umfasst Databricks Solution Accelerators

7. November 2023

Databricks Marketplace bietet Ihnen jetzt Zugriff auf Databricks Solution Accelerators, also zweckorientierte Leitfäden, die voll funktionsfähige Notebooks, Anleitungen zu Best Practices und Beispieldaten bereitstellen, um einen schnellen Start mit vielen beliebten Anwendungsfällen in Azure Databricks zu ermöglichen. Weitere Informationen finden Sie unter Zugriff auf Databricks Solution Accelerators.

Lakehouse Federation bietet Unterstützung für Google BigQuery

3. November 2023

Sie können nun Lakehouse Federation so konfigurieren, dass Verbundabfragen mit dem BigQuery-Connectortyp ausgeführt werden. Der neue BigQuery-Connector wird in SQL-Warehouses vom Typ „Pro“ und „Serverless“ und in Databricks Runtime 13.3 LTS und höher unterstützt. Weitere Informationen unter Ausführen von Partnerabfragen für Google BigQuery.