Freigeben über

Juni 2020

  • Artikel

Diese Features und Azure Databricks-Plattformverbesserungen wurden im Juni 2020 veröffentlicht.

Hinweis

Releases werden gestaffelt. Ihr Azure Databricks-Konto wird möglicherweise erst eine Woche nach dem Datum der ersten Veröffentlichung aktualisiert.

Databricks Connect unterstützt jetzt Databricks Runtime 6.6.

26. Juni 2020

Databricks Connect unterstützt jetzt Databricks Runtime 6.6.

Allgemeine Verfügbarkeit von Databricks Runtime 7.0 ML

22. Juni 2020

Databricks Runtime 7.0 ML basiert auf Databricks Runtime 7.0 und verfügt über die folgenden neuen Features:

  • Notebookbezogene Python-Bibliotheken und benutzerdefinierte Umgebungen, die durch „Conda“- und „pip“-Befehle verwaltet werden
  • Updates für wichtige Python-Pakete, darunter „tensorflow“, „tensorboard“, „pytorch“, „xgboost“, „sparkdl“ und „hyperopt“
  • Neu hinzugefügte Python-Pakete: „lightgbm“, „nltk“, „petastorm“ und „plotly“
  • RStudio Server Open Source v1.2

Weitere Informationen finden Sie in den vollständigen Versionshinweisen zu Databricks Runtime 7.0 ML (EoS).

Allgemeine Verfügbarkeit von Databricks Runtime 7.0, unterstützt von Apache Spark 3.0

18. Juni 2020

Databricks Runtime 7.0 wird von Apache Spark 3.0 unterstützt und unterstützt jetzt Scala 2.12.

Spark 3.0 bietet viele zusätzliche Features und Verbesserungen, unter anderem:

  • Adaptive Query Execution, ein flexibles Framework für die adaptive Ausführung in Spark SQL und eine Unterstützung zum Ändern der Anzahl von Reducern während der Laufzeit
  • Pandas-UDFs mit neuer Gestaltung und Typhinweisen
  • Webbenutzeroberfläche für strukturiertes Streaming
  • Bessere Kompatibilität mit ANSI SQL-Standards
  • Join-Hinweise

Durch Databricks Runtime 7.0 wird Folgendes hinzugefügt:

  • Verbesserter Auto Loader zum inkrementellen Verarbeiten neuer Datendateien, wenn sie während dem ETL in einem Cloudblobspeicher eintreffen
  • Verbesserter COPY INTO-Befehl zum Laden von Daten mit idempotenten Wiederholungen nach Delta Lake
  • Viele Verbesserungen, Bibliothekserweiterungen und -upgrades sowie Fehlerbehebungen

Weitere Informationen finden Sie in den vollständigen Versionshinweisen zu Databricks Runtime 7.0 (EoS).

Allgemeine Verfügbarkeit von Databricks Runtime 7.0 für Genomics

18. Juni 2020

Databricks Runtime 7.0 für Genomics basiert auf Databricks Runtime 7.0 und enthält die folgenden Bibliotheksänderungen:

  • Die Bibliothek „ADAM“ wurde von Version 0.30.0 auf 0.32.0 aktualisiert.
  • Die Bibliothek „Hail“ ist in Databricks Runtime 7.0 für Genomics nicht enthalten, da es kein Release gibt, das auf Apache Spark 3.0 basiert.

Stufenabhängige Zugriffssteuerung für MLflow-Modelle

16.–23. Juni 2020: Version 3.22

Sie können Benutzer, Benutzerinnen oder Gruppen jetzt phasenabhängige Zugriffssteuerungen zuweisen, sodass sie MLflow-Modelle verwalten können, die in der MLflow-Modellregistrierung in der Staging- oder Produktionsphase registriert sind. Zwei neue Berechtigungsebenen wurden eingeführt: KANN STAGINGVERSIONEN VERWALTEN und KANN PRODUKTIONSVERSIONEN VERWALTEN. Benutzer*innen mit diesen Berechtigungen können Übergänge zwischen den für die Ebene zulässigen Phasen durchführen.

Weitere Informationen finden Sie unter Zugriffssteuerungslisten für MLFlow-Modelle.

Notebooks unterstützen jetzt die Deaktivierung des automatischen Bildlaufs.

16.–23. Juni 2020: Version 3.22

Wenn Sie eine Notebookzelle mit UMSCHALT+EINGABETASTE ausführen, besteht das Standardverhalten des Notebooks darin, automatisch zur nächsten Zelle zu scrollen, wenn die Zelle nicht sichtbar ist. Sie können das automatische Scrollen jetzt unter Symbol „Benutzereinstellungen“ > Benutzereinstellungen > Editor-Einstellungen deaktivieren. Wenn Sie das automatische Scrollen deaktivieren, wird der Fokus bei UMSCHALT+EINGABE zur nächsten Zelle verschoben, doch das Notebook scrollt nicht zu dieser Zelle.

Änderung der Metastore-IP-Adressen am 30. Juni 2020

11. Juni 2020

Der Standardmetastore für Azure Databricks verwendet Azure Database for MySQL. Alle IP-Adressen von Azure Database for MySQL für Azure Databricks-Metastores werden am 30. Juni 2020 geändert. Wenn Sie in Ihrem eigenen virtuellen Netzwerk einen Azure Databricks-Arbeitsbereich bereitgestellt haben, könnte Ihre Routingtabelle für diese Bereitstellung über eine IP-Adresse für einen Azure Databricks-Metastore oder eine Route zu einer Firewall oder einer Proxyanwendung mit einer Zugriffsliste verfügen, die diese Adresse enthält. Wenn dies der Fall ist, müssen Sie vor dem 30. Juni 2020 Ihre Azure Databricks-Routingtabellen oder -Firewalls mit neuen MySQL-IP-Adressen aktualisieren, um Unterbrechungen zu vermeiden.

Die Unterstützung von Internet Explorer 11 endet am 15. August.

9. Juni 2020

Im Einklang mit Branchentrends und zum Sicherstellen einer stabilen und konsistenten Benutzeroberfläche für unsere Kunden wird Azure Databricks den Support für Internet Explorer 11 am 15. August 2020 beenden.

Der Support für die Databricks Runtime 6.2-Serie läuft aus.

3. Juni 2020

Der Support für Databricks Runtime 6.2, Databricks Runtime 6.2 für Machine Learning und Databricks Runtime 6.2 für Genomics wurde am 3. Juni eingestellt. Weitere Informationen finden Sie unter Databricks-Supportlebenszyklus.

Vereinfachen und Steuern der Clustererstellung mithilfe von Clusterrichtlinien (Public Preview)

2.–9. Juni 2020: Version 3.21

Clusterrichtlinien sind von Administrator*innen definierte, wiederverwendbare Clustervorlagen, die Regeln für Clusterattribute erzwingen und so sicherstellen, dass Benutzer*innen Cluster erstellen, die diesen Regeln entsprechen. Als Azure Databricks-Administrator*in können Sie jetzt Clusterrichtlinien erstellen und Benutzer*innen Richtlinienberechtigungen erteilen. Dadurch haben Sie mehr Kontrolle über die erstellten Ressourcen, bieten Benutzer*innen die Flexibilität, die sie für ihre Arbeit benötigen, und vereinfachen die Clustererstellung deutlich.

Für weitere Details siehe Erstellen und Verwalten von Computerichtlinien.

Der SCIM-/Me-Endpunkt gibt nun eine SCIM-konforme Antwort zurück.

2.–9. Juni 2020: Version 3.21

Der persönliche SCIM-Endpunkt (Me) gibt jetzt die gleichen Informationen wie der /users/{id}-Endpunkt zurück, einschließlich Informationen wie Gruppen und Berechtigungen.

Weitere Informationen finden Sie unter AktuellerNutzer-API.

Einschränken des Zugriffs auf Azure Databricks mithilfe von IP-Zugriffslisten (Public Preview)

1\. Juni 2020

Azure Databricks-Arbeitsbereiche können jetzt so konfiguriert werden, dass Benutzer*innen nur über bestehende Unternehmensnetzwerke mit sicherem Umkreis eine Verbindung zum Dienst herstellen können. Azure Databricks-Administrator*innen können die IP-Zugriffslisten-API verwenden, um eine Gruppe genehmigter IP-Adressen einschließlich Zulassungs- und Blockierungslisten zu definieren. Für den eingehenden Zugriff auf die Webanwendung und die REST-APIs müssen Benutzer*innen eine Verbindung über eine autorisierte IP-Adresse herstellen. So wird sichergestellt, dass nicht über öffentliche Netzwerke in einem Café oder an einem Flughafen auf Arbeitsbereiche zugegriffen werden kann, es sei denn, Ihre Benutzer*innen verwenden ein VPN.

Für dieses Feature ist der Premium-Plan erforderlich.

Weitere Informationen finden Sie unter Konfigurieren von IP-Zugriffslisten für Arbeitsbereiche.