Freigeben über

Fabric Runtime 1.3 (GA)

  • Artikel

Die Fabric-Runtime bietet eine nahtlose Integration in Azure. Sie bietet eine fortschrittliche Umgebung für Datentechnik- und Data Science-Projekte, bei denen Apache Spark zum Einsatz kommt. Dieser Artikel enthält eine Übersicht über die wichtigen Features und Komponenten der Fabric-Runtime 1.3, der neuesten Runtime für Big Data-Berechnungen.

Microsoft Fabric Runtime 1.3 ist die neueste GA-Laufzeitversion und enthält die folgenden Komponenten und Upgrades, die entwickelt wurden, um Ihre Datenverarbeitungsfunktionen zu verbessern:

  • Apache Spark 3.5
  • Betriebssystem: Mariner 2.0
  • Java: 11
  • Scala: 2.12.17
  • Python: 3.11
  • Delta Lake: 3.2
  • R: 4.4.1

Tipp

Um aktuelle Informationen, eine ausführliche Liste der Änderungen und spezifische Versionshinweise für Fabric-Runtimes zu erhalten, sollten Sie Spark-Runtimes – Versionen und Updates lesen und abonnieren.

Halten Sie sich an die folgenden Anweisungen, um die Runtime 1.3 in Ihren Arbeitsbereich zu integrieren und die neuen Features zu verwenden:

  1. Navigieren Sie im Fabric-Arbeitsbereich zur Registerkarte Arbeitsbereichseinstellungen.
  2. Wechseln Sie zur Registerkarte Datentechnik/Data Science, und wählen Sie Spark-Einstellungen aus.
  3. Wählen Sie die Registerkarte Umgebung aus.
  4. Erweitern Sie unter den Laufzeitversionen das Dropdownmenü.
  5. Wählen Sie 1.3 (Spark 3.5, Delta 3.2) aus, und speichern Sie Ihre Änderungen. Hiermit wird 1.3 als Standard-Runtime für Ihren Arbeitsbereich festgelegt.

Screenshot: Auswählen der Runtimeversion.

Sie können jetzt mit den neuesten Verbesserungen und Funktionen arbeiten, die in Fabric Runtime 1.3 (Spark 3.5 und Delta Lake 3.2) eingeführt wurden.

Wichtigste Highlights

Apache Spark 3.5

Apache Spark 3.5.0 ist die sechste Version der 3.x-Reihe. Diese Version ist das Ergebnis einer umfassenden Zusammenarbeit in der Open-Source-Community. Dabei wurden mehr als 1.300 Probleme behoben, wie in Jira aufgezeichnet.

In dieser Version gibt es ein Upgrade in der Kompatibilität für strukturiertes Streaming. Darüber hinaus erweitert diese Version die Funktionalität in PySpark und SQL. Es kommen Features wie die SQL-Bezeichnerklausel, benannte Argumente in SQL-Funktionsaufrufen und die Einbeziehung von SQL-Funktionen für ungefähre HyperLogLog-Aggregationen hinzu. Zu den weiteren neuen Funktionen gehören benutzerdefinierte Python-Tabellenfunktionen, die Vereinfachung des verteilten Trainings über DeepSpeed und neue Funktionen für strukturiertes Streaming wie die Grenzwertverteilung und der Vorgang DropDuplicatesWithinWatermark.

Die vollständige Liste und detaillierte Änderungen finden Sie hier: https://spark.apache.org/releases/spark-release-3-5-0.html.

Delta Spark

Delta Lake 3.2 ist ein kollektives Engagement, Delta Lake in formatübergreifenden Formaten, einfacher zu arbeiten und leistungsfähiger zu machen. Delta Spark 3.2 basiert auf Apache Spark™ 3.5. Das Maven-Artefakt von Delta Spark wurde von delta-core in delta-spark umbenannt.

Die vollständige Liste und detaillierte Änderungen finden Sie hier: https://docs.delta.io/3.2.0/index.html.

Zugehöriger Inhalt