Runtime 1.2

  • Artikel

Die Microsoft Fabric Runtime ist eine in Azure integrierte Plattform, die auf Apache Spark basiert und die Ausführung und Verwaltung von Data Engineering- und Data Science-Umgebungen ermöglicht. Dieses Dokument behandelt die Runtime 1.2-Komponenten und -Versionen.

Microsoft Fabric Runtime 1.2 ist die neueste Runtime-Version mit allgemeiner Verfügbarkeit. Zu den Hauptkomponenten von Runtime 1.2 gehören:

  • Apache Spark 3.4.1
  • Betriebssystem: Mariner 2.0
  • Java: 11
  • Scala: 2.12.17
  • Python: 3.10
  • Delta Lake: 2.4.0
  • R: 4.2.2

Screenshot showing where to select runtime version.

Microsoft Fabric Runtime 1.2 enthält eine Sammlung von Paketen auf Standardebene, einschließlich einer vollständigen Anaconda-Installation und häufig verwendeter Bibliotheken für Java/Scala, Python und R. Diese Bibliotheken werden automatisch einbezogen, wenn Notebooks oder Aufträge auf der Microsoft Fabric-Plattform verwendet werden. Eine vollständige Liste der Bibliotheken finden Sie in der Dokumentation. Microsoft Fabric veröffentlicht regelmäßig Wartungsupdates für Runtime 1.2, die Fehlerbehebungen, Leistungsverbesserungen und Sicherheitspatches bieten. Immer auf dem neuesten Stand zu bleiben, sorgt für optimale Leistung und Zuverlässigkeit für Ihre Datenverarbeitungsaufgaben.

Neue Features und Verbesserungen von Spark-Release 3.4.1

Apache Spark 3.4.0 ist das fünfte Release in der 3.x-Linie. Dieses Release, getragen von der Open-Source-Community, hat über 2.600 Jira-Tickets aufgelöst. Es führt einen Python-Client für Spark Connect ein, verbessert strukturiertes Streaming mit asynchroner Statusverfolgung und Python-Zustandsverarbeitung. Es erweitert die Pandas-API-Abdeckung mit NumPy-Eingabeunterstützung, vereinfacht die Migration von herkömmlichen Data Warehouses über ANSI-Compliance und neue integrierte Funktionen. Außerdem verbessert es die Produktivität der Entwicklung und die Debugbarkeit mit Speicherprofilerstellung. Darüber hinaus basiert Runtime 1.2 auf Apache Spark 3.4.1, einer Wartungsversion, die sich auf Stabilitätsfixes konzentriert.

Wichtigste Highlights

  • Unterstützung für DEFAULT-Werte für Spalten in Tabellen implementieren (SPARK-38334)
  • Unterstützung von ZEITSTEMPEL OHNE ZEITZONEN-Datentyp (SPARK-35662)
  • Unterstützung von „Lateral Column Alias References“ (SPARK-27561)
  • Härten der Verwendung von SQLSTATE für Fehlerklassen (SPARK-41994)
  • Standardmäßige Aktivierung von Bloom-Filterjoins (SPARK-38841)
  • Bessere Skalierbarkeit der Spark-Benutzeroberfläche und Treiberstabilität für große Anwendungen(SPARK-41053)
  • Asynchrone Fortschrittsverfolgung in strukturiertem Streaming (SPARK-39591)
  • Beliebige zustandsbehaftete Verarbeitung im strukturierten Streaming mit Python (SPARK-40434)
  • Verbesserungen der Pandas-API-Abdeckung (SPARK-42882) und NumPy-Eingabeunterstützung in PySpark (SPARK-39405)
  • Bereitstellen eines Speicherprofilers für benutzerdefinierte PySpark-Funktionen (SPARK-40281)
  • Implementieren des PyTorch-Verteilers (SPARK-41589)
  • Veröffentlichen von SBOM (Software Bill of Materials)--Artefakten (SPARK-41893)
  • Unterstützung für DEFAULT-Werte für Spalten in Tabellen implementieren (SPARK-38334)
  • Unterstützung von parametrisierter SQL (SPARK-41271, SPARK-42702)
  • Unterstützung für DEFAULT-Werte für Spalten in Tabellen implementieren (SPARK-38334)
  • Hinzufügen von Dataset.as(StructType) (SPARK-39625)
  • Unterstützung von parametrisierter SQL (SPARK-41271, SPARK-42702)
  • Hinzufügen von Entpivot/Melt (SPARK-38864, SPARK-39876)
  • Unterstützung von „Lateral Column Alias References“ (SPARK-27561)
  • Unterstützung der Ergebnis-Offset-Klausel (SPARK-28330, SPARK-39159)
  • Unterstützung von Zeitstempel ohne Zeitzonendatentyp (SPARK-35662)
  • Unterstützung von skalare Unterabfragen in der Zeitreise (SPARK-39306)
  • Kompatibilität der Katalog-API mit dem 3-Layer-Namespace (SPARK-39235)
  • Unterstützung von timestamp in Sekunden für TimeTravel mit Dataframe-Optionen (SPARK-39633)
  • Hinzufügen von SparkSession.config(Map) (SPARK-40163)
  • Ändern der Standarddatenbank für den Sitzungskatalogs wird unterstützt (SPARK-35242)
  • Protobuf-Unterstützung für Spark – from_protobuf AND to_protobuf (SPARK-40654)
  • Hinzufügen der WHEN NOT MATCHED BY SOURCE-Klausel zu MERGE INTO (SPARK-40921)
  • Aufheben der Einschränkung für die Reihenfolge für CREATE TABLE-Spaltenoptionen (SPARK-40944)
  • SQL-Äquivalent für Befehl zum Überschreiben des Dataframe (SPARK-40956)
  • Unterstützung von Generieren ohne erforderliche Ausgabe von untergeordneten Elementen zum Hosten äußerer Verweise (SPARK-41441)
  • ORDER BY ALL (SPARK-41637)
  • GROUP BY ALL (SPARK-41635)
  • Hinzufügen von flatMapSortedGroups und cogroupSorted (SPARK-38591)
  • Unterstützung von Unterabfragen mit korrelierten Ungleichheitsprädikaten (SPARK-36114)
  • Unterstützung von Unterabfragen mit Korrelation über UNION/INTERSECT/EXCEPT (SPARK-36124)
  • Behebung von: OOM-Fehler kann nicht gemeldet werden, wenn AQE (Adaptive Query Execution, adaptive Abfrageausführung) auf (SPARK-42290)
  • Behebung von: Kürzungslogik hat ASCII-Steuerzeichen nicht ordnungsgemäß behandelt (SPARK-44383)
  • Der äußere Join von Dataframe.joinWith sollte einen NULL-Wert für nicht übereinstimmende Zeilen zurückgeben (SPARK-37829)
  • Verwenden der Hilfsprogramme, um den Schalter für die im lokalen Prüfpunkt verwendete dynamische Zuordnung abzurufen (SPARK-42421)
  • Hinzufügen von CapturedException zu utils (SPARK-42078)
  • Unterstützen von SELECT DEFAULT mit ORDER BY, LIMIT, OFFSET für INSERT-Quellbeziehung (SPARK-43071)
  • Python-Client für Spark Connect (SPARK-39375)

Lesen Sie die Vollversion der Versionshinweise für eine bestimmte Apache Spark-Version, indem Sie sowohl Spark 3.4.0 als auch Spark 3.4.1 besuchen.

Neue benutzerdefinierte Abfrageoptimierungen

Unterstützung für gleichzeitige Schreibvorgänge in Spark

Das Auftreten eines 404-Fehlers mit der Meldung „Vorgang fehlgeschlagen: Der angegebene Pfad ist nicht vorhanden“ ist ein häufiges Problem beim Ausführen paralleler Dateneinfügungen in dieselbe Tabelle mithilfe einer SQL INSERT INTO-Abfrage. Dieser Fehler kann zu Datenverlust führen. Unser neues Feature, der Dateiausgabe-Committeralgorithmus, behebt dieses Problem, sodass Kunden eine nahtlose parallele Dateneinfügung durchführen können.

Um auf dieses Feature zuzugreifen, aktivieren Sie das spark.sql.enable.concurrentWrites-Feature-Flag, das standardmäßig ab Runtime 1.2 (Spark 3.4) aktiviert ist. Obwohl dieses Feature auch in anderen Spark 3-Versionen verfügbar ist, ist es standardmäßig nicht aktiviert. Dieses Feature unterstützt keine parallele Ausführung von INSERT OVERWRITE-Abfragen, bei denen jeder gleichzeitige Auftrag Daten auf verschiedenen Partitionen derselben Tabelle dynamisch überschreibt. Zu diesem Zweck bietet Spark ein alternatives Feature, das durch Konfigurieren der spark.sql.sources.partitionOverwriteMode-Einstellung auf dynamisch aktiviert werden kann.

Intelligente Lesevorgänge, mit denen Dateien von fehlgeschlagenen Aufträgen übersprungen werden

Wenn ein Auftrag zum Einfügen in eine Tabelle fehlschlägt, aber einige Aufgaben erfolgreich sind, koexistieren die von den erfolgreichen Aufgaben generierten Dateien im aktuellen Spark-Committer-System mit Dateien aus dem fehlgeschlagenen Auftrag. Diese Koexistenz kann Verwirrung für Benutzer verursachen, da es schwierig wird, zwischen Dateien zu unterscheiden, die zu erfolgreichen und erfolglosen Aufträgen gehören. Wenn ein Auftrag aus einer Tabelle liest, während ein anderer Daten gleichzeitig in dieselbe Tabelle einfügt, greift der Leseauftrag möglicherweise auf nicht committete Daten zu. Wenn ein Schreibauftrag fehlschlägt, kann der Leseauftrag falsche Daten verarbeiten.

Das spark.sql.auto.cleanup.enabled-Flag steuert unser neues Feature, das dieses Problem behebt. Wenn diese Option aktiviert ist, überspringt Spark automatisch das Lesen von Dateien, die beim Ausführen von spark.read oder Auswählen von Abfragen aus einer Tabelle nicht committet wurden. Dateien, die vor dem Aktivieren dieses Features geschrieben wurden, werden weiterhin wie gewohnt gelesen.

Hier sind die sichtbaren Änderungen:

  • Alle Dateien enthalten nun einen tid-{jobID}-Bezeichner in ihren Dateinamen.
  • Anstelle des _success-Markers, der in der Regel am Ausgabespeicherort nach erfolgreichem Auftragsabschluss erstellt wurde, wird ein neuer _committed_{jobID}-Marker generiert. Dieser Marker ordnet erfolgreiche Auftrags-IDs bestimmten Dateinamen zu.
  • Wir haben einen neuen SQL-Befehl eingeführt, den Benutzer regelmäßig ausführen können, um Speicher zu verwalten und nicht committete Dateien zu bereinigen. Die Syntax für diesen Befehl lautet wie folgt:
    • So bereinigen Sie ein bestimmtes Verzeichnis: CLEANUP ('/path/to/dir') [RETAIN number HOURS];
    • Zum Bereinigen einer bestimmten Tabelle: CLEANUP [db_name.]table_name [RETAIN number HOURS]; In dieser Syntax stellt path/to/dir den Speicherort-URI dar, bei dem die Bereinigung erforderlich ist, und number ist ein doppelter Typwert, der den Aufbewahrungszeitraum darstellt. Der Standardaufbewahrungszeitraum beträgt 7 Tage.
  • Wir haben eine neue Konfigurationsoption namens spark.sql.deleteUncommittedFilesWhileListing eingeführt, die standardmäßig auf false eingestellt ist. Wenn Sie diese Option aktivieren, wird die automatische Löschung von nicht committeten Dateien während Lesevorgängen durchgeführt. In diesem Szenario werden Lesevorgänge jedoch möglicherweise verlangsamt. Es wird empfohlen, den Bereinigungsbefehl manuell auszuführen, wenn der Cluster im Leerlauf ist, anstatt dieses Flag zu aktivieren.

Migrationsleitfaden von Runtime 1.1 zu Runtime 1.2

Überprüfen Sie bei der Migration von Runtime 1.1, unterstützt von Apache Spark 3.3, zu Runtime 1.2, unterstützt von Apache Spark 3.4, den offiziellen Migrationsleitfaden. Hier sind die wichtigsten Highlights:

Core

  • Seit Spark 3.4 besitzt der Spark-Treiber PersistentVolumnClaims und versucht, sie wiederzuverwenden, wenn sie nicht Live-Ausführern zugewiesen sind. Um das Verhalten vor Spark 3.4 wiederherzustellen, können Sie spark.kubernetes.driver.ownPersistentVolumeClaim auf false und spark.kubernetes.driver.reusePersistentVolumeClaim auf false festlegen.
  • Seit Spark 3.4 verfolgt Spark-Treiber Shuffle-Daten, wenn die dynamische Zuordnung ohne Shuffle-Dienst aktiviert ist. Um das Verhalten vor Spark 3.4 wiederherzustellen, können Sie spark.dynamicAllocation.shuffleTracking.enabled auf false festlegen.
  • Seit Spark 3.4 versucht Spark, zwischengespeicherte RDD (Resilient Distributed Dataset, resilientes verteiltes Dataset) und Shuffle-Blöcke außer Betrieb zu setzen, wenn sowohl spark.decommission.enabled als auch spark.storage.decommission.enabled true sind. Um das Verhalten vor Spark 3.4 wiederherzustellen, können Sie sowohl spark.storage.decommission.rddBlocks.enabled als auch spark.storage.decommission.shuffleBlocks.enabled auf false festlegen.
  • Seit Spark 3.4 verwendet Spark RocksDB-Speicher, wenn spark.history.store.hybridStore.enabled true ist. Um das Verhalten vor Spark 3.4 wiederherzustellen, können Sie spark.history.store.hybridStore.diskBackend auf LEVELDB festlegen.

PySpark

  • In Spark 3.4 wird das Schema einer Arrayspalte abgeleitet, indem die Schemas aller Elemente im Array zusammengeführt werden. Um das vorherige Verhalten wiederherzustellen, bei dem das Schema nur vom ersten Element abgeleitet ist, können Sie spark.sql.pyspark.legacy.inferArrayTypeFromFirstElement.enabled auf true festlegen.
  • Wenn in Spark 3.4 bei Verwendung der Pandas auf Spark-API Groupby.apply der Rückgabetyp des func-Parameters nicht angegeben und compute.shortcut_limit auf 0 festgelegt ist, wird die Anzahl der Samplingzeilen automatisch auf 2 festgelegt. Durch diese Anpassung wird sichergestellt, dass immer mindestens zwei Samplingzeilen vorhanden sind, um eine genaue Schemaableitung aufrechtzuerhalten.
  • Wenn in Spark 3.4 die Pandas auf Spark-API Index.insert außerhalb des gültigen Bereichs liegt, löst sie IndexError mit index {} is out of bounds for axis 0 with size {} aus, um dem Verhalten von Pandas 1.4 zu folgen.
  • In Spark 3.4 wird der Serienname in der Pandas auf Spark-API Series.mode beibehalten, um dem Verhalten von Pandas 1.4 zu entsprechen.
  • In Spark 3.4 überprüft die Pandas auf Spark-API Index.__setitem__ zuerst, ob der value Typ Column ist, um das Auslösen von unerwartetem ValueError in is_list_like zu vermeiden, wie z. B. „Spalte kann nicht in bool konvertiert werden: Verwenden Sie „&“ für „und“, „|“ für „oder“, „~“ für „nicht“, wenn Sie boolesche Ausdrücke für DataFrame erstellen.
  • In Spark 3.4 aktualisiert die Pandas auf Spark-API astype('category') auch categories.dtype entsprechend den ursprünglichen Daten dtype, um dem Verhalten von Pandas 1.4 zu folgen.
  • In Spark 3.4 unterstützt die Pandas auf Spark-API die Gruppe durch Positionsindizierung in GroupBy.head und GroupBy.tail, um Pandas 1.4 zu folgen. Negative Argumente funktionieren jetzt ordnungsgemäß und führen zu Bereichen relativ zum Ende und Anfang jeder Gruppe. Zuvor haben negative Argumente leere Frames zurückgegeben.
  • In Spark 3.4 wird der Schemaableitungsprozess von groupby.apply in Pandas auf Spark zunächst den Pandas-Typ ableiten, um die Genauigkeit der Pandas dtype so weit wie möglich sicherzustellen.
  • In Spark 3.4 wird der Series.concat-Sortierparameter beachtet, um Pandas 1.4-Verhalten zu folgen.
  • In Spark 3.4 erstellt der DataFrame.__setitem__ eine Kopie und ersetzt vorhandene Arrays, die NICHT überschreiben werden, um dem Verhalten von Pandas 1.4 zu folgen.
  • In Spark 3.4 haben der SparkSession.sql und die Pandas auf Spark-API sql den neuen Parameter args erhalten, der die Bindung benannter Parameter an ihre SQL-Literale bereitstellt.
  • In Spark 3.4 folgt Pandas API auf Spark für die Pandas 2.0, und einige APIs wurden in Spark 3.4 gemäß den Änderungen in Pandas 2.0 eingestellt oder entfernt. Weitere Informationen finden Sie in den [Versionshinweisen von Pandas](https://pandas.pydata.org/docs/dev/whatsnew/).

SQL, Datasets und DataFrame

  • Seit Spark 3.4 fügen INSERT INTO-Befehle mit expliziter Spaltenliste mit weniger Spalten als die Zieltabelle automatisch die entsprechenden Standardwerte für die verbleibenden Spalten hinzu (oder NULL für jede Spalte ohne explizit zugewiesenen Standardwert). In Spark 3.3 oder früheren Versionen schlugen diese Befehle fehl, und es wurden Fehler zurückgegeben, die meldeten, dass die Anzahl der bereitgestellten Spalten nicht mit der Anzahl der Spalten in der Zieltabelle übereinstimmt. Durch deaktivieren von spark.sql.defaultColumn.useNullsForMissingDefaultValues wird das vorherige Verhalten wiederhergestellt.
  • Seit Spark 3.4 wird Number oder Number(*) von Teradata als Decimal(38,18) behandelt. In Spark 3.3 oder früher wird Number oder Number(*) aus Teradata als Decimal(38, 0) behandelt. In diesem Fall wird der Bruchteil entfernt.
  • Seit Spark 3.4 enthält v1-Datenbank, Tabelle, permanente Ansicht und Funktions-ID „spark_catalog“ als Katalogname, wenn die Datenbank definiert ist, z. B. ist ein Tabellenbezeichner: spark_catalog.default.t. Um das Legacyverhalten wiederherzustellen, setzen Sie spark.sql.legacy.v1IdentifierNoCatalog auf true.
  • Seit Spark 3.4 gibt Spark SQL, wenn ANSI SQL mode(configuration spark.sql.ansi.enabled) aktiviert ist, immer NULL-Ergebnisse zurück, wenn ein Kartenwert mit einem nicht vorhandenen Schlüssel abgerufen wird. In Spark 3.3 oder früheren Versionen ist ein Fehler aufgetreten.
  • Seit Spark 3.4 druckt die SQL CLI spark-sql das Präfix Error in query: nicht vor der Fehlermeldung von AnalysisException.
  • Seit Spark 3.4 ignoriert die split-Funktion nachfolgende leere Zeichenfolgen, wenn der regex-Parameter leer ist.
  • Seit Spark 3.4 löst die to_binary-Funktion einen Fehler für eine falsch formatierte str-Eingabe aus. Verwenden Sie try_to_binary, um fehlerhafte Eingaben zu tolerieren und stattdessen NULL zurückzugeben.
    • Gültige Base64-Zeichenfolgen sollten Symbole aus dem base64-Alphabet (A-Za-z0-9+/), optionalen Abstand (=) und optionale Leerzeichen enthalten. Leerzeichen werden in der Konvertierung übersprungen, es sei denn, es stehen Abstandssymbole vor ihnen. Wenn der Abstand vorhanden ist, sollte sie die Zeichenfolge abschließen und die in RFC 4648 § 4 beschriebenen Regeln befolgen.
    • Gültige Hexadezimalzeichenfolgen sollten nur zulässige Symbole enthalten (0-9A-Fa-f).
    • Gültige Werte für fmt sind hex, base64, utf-8 und utf8, wobei die Groß-/Kleinschreibung nicht beachtet wird.
  • Seit Spark 3.4 löst Spark nur PartitionsAlreadyExistException aus, wenn es Partitionen erstellt, aber einige davon bereits vorhanden sind. In Spark 3.3 oder früher kann Spark entweder PartitionsAlreadyExistException oder PartitionAlreadyExistsException auslösen.
  • Seit Spark 3.4 überprüft Spark die Partitionsspezifikationen in ALTER PARTITION, um das Verhalten von spark.sql.storeAssignmentPolicy zu befolgen, was zu einer Ausnahme führen kann, wenn die Typkonvertierung fehlschlägt, z. B. ALTER TABLE .. ADD PARTITION(p='a') wenn Spalte p vom int-Typ ist. Um das Legacyverhalten wiederherzustellen, setzen Sie spark.sql.legacy.skipTypeValidationOnAlterPartition auf true.
  • Seit Spark 3.4 sind vektorisierte Leser standardmäßig für die geschachtelten Datentypen (Array, Zuordnung und Struktur) aktiviert. Um das Legacyverhalten wiederherzustellen, setzen Sie spark.sql.orc.enableNestedColumnVectorizedReader und spark.sql.parquet.enableNestedColumnVectorizedReader auf false.
  • Seit Spark 3.4 wird BinaryType in der CSV-Datenquelle nicht unterstützt. In Spark 3.3 oder früheren Versionen können Benutzer binäre Spalten in der CSV-Datenquelle schreiben, aber der Ausgabeinhalt in CSV-Dateien ist Object.toString(), was bedeutungslos ist. Wenn Benutzer unterdessen CSV-Tabellen mit Binärspalten lesen, löst Spark eine Unsupported type: binary-Ausnahme aus.
  • Seit Spark 3.4 sind Bloom-Filter-Joins standardmäßig aktiviert. Um das Legacyverhalten wiederherzustellen, legen Sie spark.sql.optimizer.runtime.bloomFilter.enabled auf false fest.

Strukturiertes Streaming

  • Seit Spark 3.4 ist Trigger.Once veraltet, und Benutzer werden ermutigt, von Trigger.Once zu Trigger.AvailableNow zu migrieren. Weitere Informationen finden Sie unter SPARK-39805.
  • Seit Spark 3.4 wird der Standardwert der Konfiguration für das Abrufen des Kafka-Versatzes (spark.sql.streaming.kafka.useDeprecatedOffsetFetching) von true in false geändert. Der Standardwert basiert nicht mehr auf einer Consumergruppen-basierten Planung, was sich auf die erforderliche ACL auswirkt. Weitere Informationen finden Sie unter Kafka-Integration für strukturiertes Streaming.

Neue Features und Verbesserungen von Delta Lake 2.4

Delta Lake ist ein Open-Source-Projekt zum Erstellen einer Lakehouse-Architektur auf der Grundlage von Data Lakes. Delta Lake ermöglicht ACID-Transaktionen, die skalierbare Metadatenverarbeitung sowie die Vereinheitlichung der Streaming- und Batchdatenverarbeitung auf der Grundlage vorhandener Data Lakes.

Delta Lake bietet insbesondere Folgendes:

  • ACID-Transaktionen in Spark: Serialisierbare Isolationsstufen stellen sicher, dass Reader niemals inkonsistente Daten vorfinden.
  • Skalierbare Metadatenverarbeitung: Die verteilte Verarbeitungsleistung von Spark wird genutzt, um alle Metadaten für Tabellen im Petabytebereich, die Milliarden von Dateien enthalten, problemlos zu verarbeiten.
  • Streaming- und Batch-Vereinheitlichung: Eine Tabelle in Delta Lake ist eine Batchtabelle und eine Streamingquelle und -senke. Die Erfassung von Streamingdaten, der Abgleich älterer Batches und interaktive Abfragen sind standardmäßig möglich.
  • Schemaerzwingung: Schemavariationen werden automatisch verarbeitet, um das Einfügen fehlerhafter Datensätze während der Erfassung zu verhindern.
  • Zeitreise: Die Datenversionierung ermöglicht Rollbacks, vollständige Verlaufsüberwachungspfade und reproduzierbare Machine-Learning-Experimente.
  • Upsert- und Löschvorgänge: Zusammenführungs-, Aktualisierungs- und Löschvorgänge werden unterstützt, um komplexe Anwendungsfälle wie CDC-Vorgänge (Change Data Capture), SCD-Vorgänge (Slowly-Changing Dimension), Streamingupserts und mehr zu ermöglichen.

Dies sind die wichtigsten Features in dieser Version

  • Unterstützung für Apache Spark 3.4.
  • Unterstützt das Schreiben von Löschvektoren für den DELETE-Befehl. Beim Löschen von Zeilen aus einer Delta-Tabelle wurden zuvor alle Dateien mit mindestens einer übereinstimmenden Zeile umgeschrieben. Mit Löschvektoren können diese kostspieligen Umschreibungen vermieden werden. Weitere Informationen finden Sie unter Was sind Löschvektoren?
  • Unterstützung für alle Schreibvorgänge für Tabellen mit aktivierten Löschvektoren.
  • UnterstützungPURGE zum Entfernen von Löschvektoren aus der aktuellen Version einer Delta-Tabelle durch Umschreiben von Datendateien mit Löschvektoren. Weitere Details finden Sie in der -Dokumentation.
  • Unterstützung des Lesens des Änderungsdatenfeeds für Tabellen mit aktivierten Löschvektoren.
  • UnterstützungREPLACE WHERE von Ausdrücken in SQL, um Daten selektiv zu überschreiben. Zuvor wurden „replaceWhere“-Optionen nur in den DataFrameWriter-APIs unterstützt.
  • UnterstützungWHEN NOT MATCHED BY SOURCE von Klauseln in SQL für den Befehl „Zusammenführen“.
  • Unterstützung des Weglassens generierter Spalten aus der Spaltenliste für SQL INSERT INTO-Abfragen. Delta generiert automatisch die Werte für alle nicht angegebenen generierten Spalten.
  • Unterstützung des TimestampNTZ-Datentyps, der in Spark 3.3 hinzugefügt wurde. Für die Nutzung von TimestampNTZ ist ein Delta-Protokollupgrade erforderlich. Weitere Informationen finden Sie in der Dokumentation .
  • Zulassen des Änderns des Spaltentyps einer char- oder varchar-Spalte in einen kompatiblen Typ im ALTER TABLE-Befehl. Das neue Verhalten ist das gleiche wie bei Apache Spark und ermöglicht das Upcasting von char oder varchar zu varchar oder string.
  • Block, der overwriteSchema mit dynamischer Partitionsüberschreibung verwendet. In diesem Szenario kann die Tabelle beschädigt werden, da nicht alle Daten entfernt werden können, und das Schema der neu geschriebenen Partitionen kann nicht mit dem Schema der unveränderten Partitionen übereinstimmen.
  • Geben einen leeren DataFrame für Änderungsdatenfeed-Auslesungen zurück, wenn innerhalb des angegebenen Zeitstempelbereichs keine Commits vorhanden sind. Zuvor wurde ein Fehler ausgelöst.
  • Behebung eines Fehlers im Änderungsdatenfeed für Datensätze, die während der mehrdeutigen Stunde erstellt wurden, wenn die Sommerzeit in Kraft tritt.
  • Behebung eines Fehlers, bei dem das Abfragen einer externen Delta-Tabelle am Stamm eines S3-Buckets einen Fehler auslöste.
  • Entfernen von offengelegten internen Spark-Metadaten aus dem Delta-Protokoll, um alle betroffenen Tabellen wieder lesbar zu machen.

Lesen Sie die Vollversion der Versionshinweise für Delta Lake 2.4.

Pakete auf Standardebene für Java/Scala-Bibliotheken

In der folgenden Tabelle werden alle Pakete auf Standardebene für Java/Scala und deren jeweilige Versionen aufgeführt.

GroupId ArtifactId Version
com.aliyun aliyun-java-sdk-core 4.5.10
com.aliyun aliyun-java-sdk-kms 2.11.0
com.aliyun aliyun-java-sdk-ram 3.1.0
com.aliyun aliyun-sdk-oss 3.13.0
com.amazonaws aws-java-sdk-bundle 1.12.262
com.clearspring.analytics Datenstrom 2.9.6
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml.jackson jackson-annotations 2.14.2
com.fasterxml.jackson jackson-core 2.14.2
com.fasterxml.jackson jackson-core-asl 1.9.13
com.fasterxml.jackson jackson-databind 2.14.2
com.fasterxml.jackson jackson-dataformat-cbor 2.14.2
com.fasterxml.jackson jackson-mapper-asl 1.9.13
com.fasterxml.jackson jackson-module-scala_2.12 2.14.2
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.5.2-5
com.github.vowpalwabbit vw-jni 9.3.0
com.github.wendykierp JTransforms 3.1
com.google.cloud.bigdataoss gcs-connector hadoop3-2.2.11
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.crypto.tink tink 1.7.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 14.0.1
com.google.protobuf protobuf-java 2.5.0
com.googlecode.json-simple json-simple 1.1.1
com.jcraft jsch 0.1.54
com.jolbox bonecp 0.8.0.RELEASE
com.linkedin.isolation-forest isolation-forest_3.2.0_2.12 2.0.8
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.azure azure-eventhubs 3.3.0
com.microsoft.azure azure-eventhubs-spark_2.12 2.3.22
com.microsoft.azure azure-keyvault-core 1.0.0
com.microsoft.azure azure-storage 7.0.1
com.microsoft.azure cosmos-analytics-spark-3.4.1-connector_2.12 1.8.10
com.microsoft.azure qpid-proton-j-extensions 1.2.4
com.microsoft.azure synapseml_2.12 0.11.2-spark3.4
com.microsoft.azure synapseml-cognitive_2.12 0.11.2-spark3.4
com.microsoft.azure synapseml-core_2.12 0.11.2-spark3.4
com.microsoft.azure synapseml-deep-learning_2.12 0.11.2-spark3.4
com.microsoft.azure synapseml-internal_2.12 0.11.2-spark3.4
com.microsoft.azure synapseml-lightgbm_2.12 0.11.2-spark3.4
com.microsoft.azure synapseml-opencv_2.12 0.11.2-spark3.4
com.microsoft.azure synapseml-vw_2.12 0.11.2-spark3.4
com.microsoft.azure.kusto kusto-data 3.2.1
com.microsoft.azure.kusto kusto-ingest 3.2.1
com.microsoft.azure.kusto kusto-spark_3.0_2.12 3.1.16
com.microsoft.azure.kusto spark-kusto-synapse-connector_3.1_2.12 1.3.3
com.microsoft.cognitiveservices.speech client-jar-sdk 1.14.0
com.microsoft.sqlserver msslq-jdbc 8.4.1.jre8
com.ning compress-lzf 1.1.2
com.sun.istack istack-commons-runtime 3.0.8
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.typesafe config 1.3.4
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 2.5.1
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4.jar
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
io.airlift aircompressor 0,21
io.delta delta-core_2.12 2.4.0
io.delta delta-storage 2.4.0
io.dropwizard.metrics metrics-core 4.2.15
io.dropwizard.metrics metrics-graphite 4.2.15
io.dropwizard.metrics metrics-jmx 4.2.15
io.dropwizard.metrics metrics-json 4.2.15
io.dropwizard.metrics metrics-jvm 4.2.15
io.github.resilience4j resilience4j-core 1.7.1
io.github.resilience4j resilience4j-retry 1.7.1
io.netty netty-all 4.1.87.Final
io.netty netty-buffer 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-http-4 4.1.87.Final
io.netty netty-codec-socks 4.1.87.Final
io.netty netty-common 4.1.87.Final
io.netty netty-handler 4.1.87.Final
io.netty netty-handler-proxy 4.1.87.Final
io.netty netty-resolver 4.1.87.Final
io.netty netty-transport 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.87.Final
io.opentracing opentracing-api 0.33.0
io.opentracing opentracing-noop 0.33.0
io.opentracing opentracing-util 0.33.0
io.spray spray-json_2.12 1.3.5
io.vavr vavr 0.10.4
io.vavr vavr-match 0.10.4
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.inject jakarta.inject 2.6.1
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
jakarta.xml.bind jakarta.xml.bind-api 2.3.2
javax.activation activation 1.1.1
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.2
mysql mysql-connector-java 8.0.18
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.py4j py4j 0.10.9.7
net.sourceforge.f2j arpack_combined_all 0,1
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.apache.arrow arrow-format 11.0.0
org.apache.arrow arrow-memory-core 11.0.0
org.apache.arrow arrow-memory-netty 11.0.0
org.apache.arrow arrow-vector 11.0.0
org.apache.avro avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.22
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-pool2 2.11.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-aliyun 3.3.4.5.3-105251583
org.apache.hadoop hadoop-annotations 3.3.4.5.3-105251583
org.apache.hadoop hadoop-aws 3.3.4.5.3-105251583
org.apache.hadoop hadoop-azure 3.3.4.5.3-105251583
org.apache.hadoop hadoop-azure-datalake 3.3.4.5.3-105251583
org.apache.hadoop hadoop-client-api 3.3.4.5.3-105251583
org.apache.hadoop hadoop-client-runtime 3.3.4.5.3-105251583
org.apache.hadoop hadoop-cloud-storage 3.3.4.5.3-105251583
org.apache.hadoop hadoop-openstack 3.3.4.5.3-105251583
org.apache.hadoop hadoop-shaded-guava 1.1.1
org.apache.hadoop hadoop-yarn-server-web-proxy 3.3.4.5.3-105251583
org.apache.hive hive-common 2.3.9
org.apache.hive hive-exec 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-metastore 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims-0.23 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-shims-common 2.3.9
org.apache.hive hive-shims-scheduler 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.httpcomponents httpmime 4.5.14
org.apache.httpcomponents.client5 httpclient5 5.1.3
org.apache.iceberg delta-iceberg 2.4.0.6
org.apache.ivy ivy 2.5.1
org.apache.kafka kafka-clients 3.3.2
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j-impl 2.19.0
org.apache.orc orc-core 1.8.4
org.apache.orc orc-mapreduce 1.8.4
org.apache.orc orc-shims 1.8.4
org.apache.parquet parquet-column 1.12.3
org.apache.parquet parquet-common 1.12.3
org.apache.parquet parquet-encoding 1.12.3
org.apache.parquet parquet-format-structures 1.12.3
org.apache.parquet parquet-hadoop 1.12.3
org.apache.parquet parquet-jackson 1.12.3
org.apache.qpid proton-j 0.33.8
org.apache.spark spark-avro_2.12 3.4.1.5.3-105251583
org.apache.spark spark-catalyst_2.12 3.4.1.5.3-105251583
org.apache.spark spark-core_2.12 3.4.1.5.3-105251583
org.apache.spark spark-graphx_2.12 3.4.1.5.3-105251583
org.apache.spark spark-hadoop-cloud_2.12 3.4.1.5.3-105251583
org.apache.spark spark-hive_2.12 3.4.1.5.3-105251583
org.apache.spark spark-kvstore_2.12 3.4.1.5.3-105251583
org.apache.spark spark-launcher_2.12 3.4.1.5.3-105251583
org.apache.spark spark-mllib_2.12 3.4.1.5.3-105251583
org.apache.spark spark-mllib-local_2.12 3.4.1.5.3-105251583
org.apache.spark spark-network-common_2.12 3.4.1.5.3-105251583
org.apache.spark spark-network-shuffle_2.12 3.4.1.5.3-105251583
org.apache.spark spark-repl_2.12 3.4.1.5.3-105251583
org.apache.spark spark-sketch_2.12 3.4.1.5.3-105251583
org.apache.spark spark-sql_2.12 3.4.1.5.3-105251583
org.apache.spark spark-sql-kafka-0-10_2.12 3.4.1.5.3-105251583
org.apache.spark spark-streaming_2.12 3.4.1.5.3-105251583
org.apache.spark spark-streaming-kafka-0-10-assembly_2.12 3.4.1.5.3-105251583
org.apache.spark spark-tags_2.12 3.4.1.5.3-105251583
org.apache.spark spark-token-provider-kafka-0-10_2.12 3.4.1.5.3-105251583
org.apache.spark spark-unsafe_2.12 3.4.1.5.3-105251583
org.apache.spark spark-yarn_2.12 3.4.1.5.3-105251583
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4,22
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.3.5.3-105251583
org.apache.zookeeper zookeeper-jute 3.6.3.5.3-105251583
org.apiguardian apiguardian-api 1.1.0
org.codehaus.janino commons-compiler 3.1.9
org.codehaus.janino janino 3.1.9
org.codehaus.jettison jettison 1.1
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleusjavax.jdo 3.2.0-m3
org.eclipse.jetty jetty-util 9.4.50.v20221201
org.eclipse.jetty jetty-util-ajax 9.4.50.v20221201
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2,36
org.glassfish.jersey.containers jersey-container-servlet-core 2,36
org.glassfish.jersey.core jersey-client 2,36
org.glassfish.jersey.core jersey-common 2,36
org.glassfish.jersey.core jersey-server 2,36
org.glassfish.jersey.inject jersey-hk2 2,36
org.ini4j ini4j 0.5.4
org.javassist javassist 3.25.0-GA
org.javatuples javatuples 1.2
org.jdom jdom2 2.0.6
org.jetbrains annotations 17.0.0
org.jodd jodd-core 3.5.2
org.json json 20210307
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.junit.jupiter junit-jupiter 5.5.2
org.junit.jupiter junit-jupiter-api 5.5.2
org.junit.jupiter junit-jupiter-engine 5.5.2
org.junit.jupiter junit-jupiter-params 5.5.2
org.junit.platform junit-platform-commons 1.5.2
org.junit.platform junit-platform-engine 1.5.2
org.lz4 lz4-java 1.8.0
org.objenesis objenesis 3.2
org.openpnp opencv 3.2.0-1
org.opentest4j opentest4j 1.2.0
org.postgresql postgresql 42.2.9
org.roaringbitmap RoaringBitmap 0.9.38
org.roaringbitmap shims 0.9.38
org.rocksdb rocksdbjni 7.9.2
org.scala-lang scala-compiler 2.12.17
org.scala-lang scala-library 2.12.17
org.scala-lang scala-reflect 2.12.17
org.scala-lang.modules scala-collection-compat_2.12 2.7.0
org.scala-lang.modules scala-java8-compat_2.12 0.9.0
org.scala-lang.modules scala-parser-combinators_2.12 2.1.1
org.scala-lang.modules scala-xml_2.12 2.1.0
org.scalactic scalactic_2.12 3.2.14
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire_2.12 0.17.0
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial.snappy snappy-java 1.1.10.1
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
stax stax-api 1.0.1

Pakete auf Standardebene für Python-Bibliotheken

In der folgenden Tabelle werden alle Pakete auf Standardebene für Python und deren jeweilige Versionen aufgeführt.

Bibliothek Version Bibliothek Version Bibliothek Version
_libgcc_mutex 0.1 jupyter_client 8.5.0 pycosat 0.6.6
_openmp_mutex 4,5 jupyter_core 5.4.0 pycparser 2.21
_py-xgboost-mutex 2.0 jupyter_events 0.8.0 pydantic 1.10.9
absl-py 2.0.0 jupyter_server 2.7.3 pygments 2.16.1
adal 1.2.7 jupyter_server_terminals 0.4.4 pyjwt 2.8.0
adlfs 2023.4.0 jupyterlab_pygments 0.2.2 pynacl 1.5.0
aiohttp 3.8.6 jupyterlab_widgets 3.0.9 pyodbc 4.0.39
aiosignal 1.3.1 keras 2.12.0 pyopenssl 23.2.0
alembic 1.12.0 keras-preprocessing 1.1.2 pyparsing 3.0.9
alsa-lib 1.2.10 keyutils 1.6.1 pyperclip 1.8.2
ansi2html 1.8.0 kiwisolver 1.4.5 pypika 0.48.9
anyio 3.7.1 krb5 1.21.2 pyqt 5.15.9
appdirs 1.4.4 lame 3.100 pyqt5-sip 12.12.2
argon2-cffi 23.1.0 lcms2 2.15 pysocks 1.7.1
argon2-cffi-bindings 21.2.0 ld_impl_linux-64 2.40 Python 3.10.12
Pfeil 1.3.0 lerc 4.0.0 Python-dateutil 2.8.2
asttokens 2.4.0 liac-arff 2.5.0 python-fastjsonschema 2.18.1
astunparse 1.6.3 libabseil 20230125.3 python-flatbuffers 23.5.26
async-timeout 4.0.3 libaec 1.1.2 python-graphviz 0.20.1
atk-1.0 2.38.0 libarrow 12.0.1 python-json-logger 2.0.7
attr 2.5.1 libbrotlicommon 1.0.9 python-tzdata 2023.3
attrs 23.1.0 libbrotlidec 1.0.9 python-xxhash 3.4.1
autopage 0.5.2 libbrotlienc 1.0.9 python_abi 3.10
aws-c-auth 0.7.3 libcap 2.69 pythonnet 3.0.1
aws-c-cal 0.6.1 libclang 15.0.7 pytorch 2.0.1
aws-c-common 0.9.0 libclang13 15.0.7 pytorch-mutex 1.0
aws-c-compression 0.2.17 libcrc32c 1.1.2 pytz 2023.3.post1
aws-c-event-stream 0.3.1 libcups 2.3.3 pyu2f 0.1.5
aws-c-http 0.7.11 libcurl 8.4.0 pywin32-on-windows 0.1.0
aws-c-io 0.13.32 libdeflate 1.19 pyyaml 6.0.1
aws-c-mqtt 0.9.3 libebm 0.4.3 pyzmq 25.1.1
aws-c-s3 0.3.14 libedit 3.1.20191231 qt-main 5.15.8
aws-c-sdkutils 0.1.12 libev 4.33 rdma-core 28,9
aws-checksums 0.1.17 libevent 2.1.12 re2 2023.03.02
aws-crt-cpp 0.21.0 libexpat 2.5.0 readline 8,2
aws-sdk-cpp 1.10.57 libffi 3.4.2 referencing 0.30.2
azure-core 1.29.4 libflac 1.4.3 regex 2023.8.8
azure-datalake-store 0.0.51 libgcc-ng 13.2.0 requests 2.31.0
azure-identity 1.14.1 libgcrypt 1.10.1 requests-oauthlib 1.3.1
azure-storage-blob 12.18.3 libgd 2.3.3 retrying 1.3.3
azure-storage-file-datalake 12.12.0 libgfortran-ng 13.2.0 rfc3339-validator 0.1.4
backcall 0.2.0 libgfortran5 13.2.0 rfc3986-validator 0.1.1
backoff 1.11.1 libglib 2.78.0 rich 13.6.0
backports 1.0 libgoogle-cloud 2.12.0 rpds-py 0.10.6
backports.functools_lru_cache 1.6.5 libgpg-error 1,47 rsa 4,9
bcrypt 4.0.1 libgrpc 1.54.3 ruamel.yaml 0.17.32
beautifulsoup4 4.12.2 libhwloc 2.9.3 ruamel.yaml.clib 0.2.7
blas 1.0 libiconv 1.17 ruamel_yaml 0.15.80
bleach 6.1.0 libjpeg-turbo 2.1.5.1 s2n 1.3.49
blinker 1.6.3 libllvm14 14.0.6 sacremoses 0.0.53
Brotli 1.0.9 libllvm15 15.0.7 salib 1.4.7
brotli-bin 1.0.9 libnghttp2 1.52.0 scikit-learn 1.3.0
brotli-python 1.0.9 libnsl 2.0.1 scipy 1.10.1
BZIP2 1.0.8 libnuma 2.0.16 seaborn 0.12.2
c-ares 1.20.1 libogg 1.3.4 seaborn-base 0.12.2
ca-certificates 2023.7.22 libopus 1.3.1 send2trash 1.8.2
cached-property=1.5.2 1.5.2 libpng 1.6.39 sentence-transformers 2.0.0
cached_property 1.5.2 libpq 15.4 sentry-sdk 1.32.0
cachetools 5.3.2 libprotobuf 3.21.12 seqeval 1.2.2
cairo 1.18.0 libpulsar 3.2.0 setproctitle 1.3.3
catboost 1.1.1 librsvg 2.56.3 setuptools 68.2.2
certifi 2023.7.22 libsndfile 1.2.2 shap 0.42.1
cffi 1.16.0 libsodium 1.0.18 shellingham 1.5.4
charset-normalizer 3.3.1 libsqlite 3.43.2 sip 6.7.12
chroma-hnswlib 0.7.3 libssh2 1.11.0 sechs 1.16.0
chromadb 0.4.13 libstdcxx-ng 13.2.0 slicer 0.0.7
Klicken 8.1.7 libsystemd0 254 smmap 5.0.0
cliff 4.2.0 libthrift 0.18.1 snappy 1.1.10
cloudpickle 2.2.1 libtiff 4.6.0 sniffio 1.3.0
clr_loader 0.2.6 libtool 2.4.7 soupsieve 2.5
cmaes 0.10.0 libutf8proc 2.8.0 sqlalchemy 2.0.22
cmd2 2.4.3 libuuid 2.38.1 sqlparse 0.4.4
colorama 0.4.6 libuv 1.46.0 stack_data 0.6.2
coloredlogs 15.0.1 libvorbis 1.3.7 starlette 0.27.0
colorlog 6.7.0 libwebp 1.3.2 statsmodels 0.14.0
comm 0.1.4 libwebp-base 1.3.2 stevedore 5.1.0
conda-package-handling 2.2.0 libxcb 1.15 sympy 1.12
conda-package-streaming 0.9.0 libxgboost 1.7.6 tabulate 0.9.0
configparser 5.3.0 libxkbcommon 1.6.0 tbb 2021.10.0
contourpy 1.1.1 libxml2 2.11.5 tenacity 8.2.3
Kryptografie 41.0.5 libxslt 1.1.37 tensorboard 2.12.3
cycler 0.12.1 libzlib 1.2.13 tensorboard-data-server 0.7.0
cython 3.0.4 lightgbm 4.0.0 tensorflow 2.12.1
Gedankenstrich 2.14.0 lime 0.2.0.1 tensorflow-base 2.12.1
dash-core-components 2.0.0 llvm-openmp 17.0.3 tensorflow-estimator 2.12.1
dash-html-components 2.0.0 llvmlite 0.40.1 termcolor 2.3.0
dash-table 5.0.0 lxml 4.9.3 terminado 0.17.1
dash_cytoscape 0.2.0 lz4-c 1.9.4 threadpoolctl 3.2.0
databricks-cli 0.18.0 mako 1.2.4 tiktoken 0.5.1
dataclasses 0.8 markdown 3.4.4 tinycss2 1.2.1
datasets 2.14.6 markdown-it-py 3.0.0 tk 8.6.13
dbus 1.13.6 markupsafe 2.1.3 tokenizers 0.13.3
debugpy 1.8.0 matplotlib 3.7.2 toml 0.10.2
decorator 5.1.1 matplotlib-base 3.7.2 tomli 2.0.1
defusedxml 0.7.1 matplotlib-inline 0.1.6 toolz 0.12.0
dill 0.3.7 mdurl 0.1.0 tornado 6.3.3
diskcache 5.6.3 mistune 3.0.1 tqdm 4.66.1
distlib 0.3.7 mkl 2021.4.0 traitlets 5.12.0
docker-py 6.1.3 mkl-service 2.4.0 transformers 4.26.0
docker-pycreds 0.4.0 mkl_fft 1.3.1 treeinterpreter 0.2.2
entrypoints 0,4 mkl_random 1.2.2 typed-ast 1.5.5
et_xmlfile 1.1.0 ml_dtypes 0.3.1 typer 0.9.0
exceptiongroup 1.1.3 mlflow-skinny 2.6.0 types-python-dateutil 2.8.19.14
wird ausgeführt 1.2.0 monotonic 1.5 types-pytz 2023.3.1.1
expat 2.5.0 mpc 1.3.1 typing_extensions 4.5.0
fastapi 0.103.2 mpfr 4.2.1 typing_utils 0.1.0
flaml 2.1.1dev2 mpg123 1.32.3 tzdata 2023c
flask 3.0.0 mpmath 1.3.0 ucx 1.14.1
flatbuffers 23.5.26 msal 1.24.1 unicodedata2 15.1.0
font-ttf-dejavu-sans-mono 2,37 msal_extensions 1.0.0 unixodbc 2.3.12
font-ttf-inconsolata 3.000 multidict 6.0.4 uri-template 1.3.0
font-ttf-source-code-pro 2.038 multiprocess 0.70.15 urllib3 1.26.17
font-ttf-ubuntu 0,83 munkres 1.1.4 uvicorn 0.23.2
fontconfig 2.14.2 mysql-common 8.0.33 virtualenv 20.23.1
fonts-conda-ecosystem 1 mysql-libs 8.0.33 wandb 0.15.12
fonts-conda-forge 1 nbclient 0.8.0 wcwidth 0.2.8
fonttools 4.43.1 nbconvert-core 7.9.2 webcolors 1.13
fqdn 1.5.1 nbformat 5.9.2 webencodings 0.5.1
freetype 2.12.1 ncurses 6.4 websocket-client 1.6.4
fribidi 1.0.10 nest-asyncio 1.5.8 werkzeug 3.0.1
frozenlist 1.4.0 networkx 3.2 wheel 0.41.2
fsspec 2023.10.0 nltk 3.8.1 widgetsnbextension 4.0.9
gast 0.4.0 nspr 4.35 wrapt 1.15.0
gdk-pixbuf 2.42.10 nss 3,94 xcb-util 0.4.0
geographiclib 1.52 numba 0.57.1 xcb-util-image 0.4.0
geopy 2.3.0 numpy 1.24.3 xcb-util-keysyms 0.4.0
gettext 0.21.1 numpy-base 1.24.3 xcb-util-renderutil 0.3.9
gevent 23.9.0.post1 oauthlib 3.2.2 xcb-util-wm 0.4.1
gflags 2.2.2 onnxruntime 1.16.1 xgboost 1.7.6
giflib 5.2.1 openai 0.27.8 xkeyboard-config 2.40
gitdb 4.0.11 openjpeg 2.5.0 xorg-kbproto 1.0.7
gitpython 3.1.40 openpyxl 3.1.2 xorg-libice 1.1.1
glib 2.78.0 openssl 3.1.4 xorg-libsm 1.2.4
glib-tools 2.78.0 opt-einsum 3.3.0 xorg-libx11 1.8.7
glog 0.6.0 opt_einsum 3.3.0 xorg-libxau 1.0.11
gmp 6.2.1 optuna 2.8.0 xorg-libxdmcp 1.1.3
gmpy2 2.1.2 orc 1.9.0 xorg-libxext 1.3.4
google-auth 2.23.3 overrides 7.4.0 xorg-libxrender 0.9.11
google-auth-oauthlib 1.0.0 Packen 23,2 xorg-renderproto 0.11.1
google-pasta 0.2.0 Pandas 2.0.3 xorg-xextproto 7.3.0
graphite2 1.3.13 pandas-stubs 2.1.1.230928 xorg-xf86vidmodeproto 2.3.1
graphviz 8.1.0 pandasql 0.7.3 xorg-xproto 7.0.31
greenlet 3.0.1 pandocfilters 1.5.0 xxhash 0.8.2
grpcio 1.54.3 pango 1.50.14 xz 5.2.6
gst-plugins-base 1.22.6 paramiko 3.3.1 yaml 0.2.5
gstreamer 1.22.6 parso 0.8.3 yarl 1.9.2
gtk2 2.24.33 pathos 0.3.1 zeromq 4.3.5
gts 0.7.6 pathtools 0.1.2 zipp 3.17.0
h11 0.14.0 patsy 0.5.3 zlib 1.2.13
h5py 3.10.0 pbr 5.11.1 zope.event 5.0
harfbuzz 8.2.1 pcre2 10.40 zope.interface 6.1
hdf5 1.14.2 pexpect 4.8.0 zstandard 0.21.0
Feiertage 0,35 pickleshare 0.7.5 zstd 1.5.5
html5lib 1.1 pillow 10.0.1 astor 0.8.1
huggingface_hub 0.18.0 pip 23.1.2 contextlib2 21.6.0
humanfriendly 10,0 pixman 0.42.2 filelock 3.11.0
icu 73.2 pkgutil-resolve-name 1.3.10 fluent-logger 0.10.0
idna 3.4 platformdirs 3.5.1 gson 0.0.3
imageio 2.31.1 plotly 5.16.1 jaraco-context 4.3.0
importlib-metadata 6.8.0 ply 3,11 joblibspark 0.5.2
importlib-resources 6.1.0 pooch 1.8.0 json-tricks 3.17.3
importlib_metadata 6.8.0 portalocker 2.8.2 jupyter-ui-poll 0.2.2
importlib_resources 6.1.0 posthog 3.0.2 more-itertools 10.1.0
intel-openmp 2021.4.0 pox 0.3.3 msgpack 1.0.7
Interpretieren 0.4.3 ppft 1.7.6.7 mypy 1.4.1
interpret-core 0.4.3 prettytable 3.8.0 mypy-extensions 1.0.0
ipykernel 6.26.0 prometheus_client 0.17.1 nni 2.10.1
ipython 8.14.0 prompt-toolkit 3.0.39 powerbiclient 3.1.1
ipywidgets 8.0.7 prompt_toolkit 3.0.39 pyspark 3.4.1.5.3.20230713
isodate 0.6.1 protobuf 4.21.12 pythonwebhdfs 0.2.3
isoduration 20.11.0 psutil 5.9.5 Antworten 0.23.3
itsdangerous 2.1.2 pthread-stubs 0,4 rouge-score 0.1.2
jax 0.4.17 ptyprocess 0.7.0 schema 0.7.5
jaxlib 0.4.14 pulsar-client 3.3.0 simplejson 3.19.2
jedi 0.19.1 pulseaudio-client 16.1 synapseml-mlflow 1.0.22.post2
jinja2 3.1.2 pure_eval 0.2.2 synapseml-utils 1.0.18.post1
joblib 1.3.2 py-xgboost 1.7.6 typeguard 2.13.3
jsonpointer 2.4 py4j 0.10.9.7 types-pyyaml 6.0.12.12
jsonschema 4.19.1 pyarrow 12.0.1 typing-extensions 4.8.0
jsonschema-specifications 2023.7.1 pyasn1 0.5.0 websockets 12.0
jsonschema-with-format-nongpl 4.19.1 pyasn1-modules 0.3.0 wolframalpha 5.0.0
xmltodict 0.13.0

Standardpakete für R

In der folgenden Tabelle werden alle Pakete auf Standardebene für R und deren jeweilige Versionen aufgeführt.

Bibliothek Version Bibliothek Version Bibliothek Version
_libgcc_mutex 0.1 r-caret 6.0_94 r-praise 1.0.0
_openmp_mutex 4,5 r-cellranger 1.1.0 r-prettyunits 1.2.0
_r-mutex 1.0.1 r-class 7.3_22 r-proc 1.18.4
_r-xgboost-mutex 2.0 r-cli 3.6.1 r-processx 3.8.2
aws-c-auth 0.7.0 r-clipr 0.8.0 r-prodlim 2023.08.28
aws-c-cal 0.6.0 r-clock 0.7.0 r-profvis 0.3.8
aws-c-common 0.8.23 r-codetools 0.2_19 r-progress 1.2.2
aws-c-compression 0.2.17 r-collections 0.3.7 r-progressr 0.14.0
aws-c-event-stream 0.3.1 r-colorspace 2.1_0 r-promises 1.2.1
aws-c-http 0.7.10 r-commonmark 1.9.0 r-proxy 0.4_27
aws-c-io 0.13.27 r-config 0.3.2 r-pryr 0.1.6
aws-c-mqtt 0.8.13 r-conflicted 1.2.0 r-ps 1.7.5
aws-c-s3 0.3.12 r-coro 1.0.3 r-purrr 1.0.2
aws-c-sdkutils 0.1.11 r-cpp11 0.4.6 r-quantmod 0.4.25
aws-checksums 0.1.16 r-crayon 1.5.2 r-r2d3 0.2.6
aws-crt-cpp 0.20.2 r-credentials 2.0.1 r-r6 2.5.1
aws-sdk-cpp 1.10.57 r-crosstalk 1.2.0 r-r6p 0.3.0
binutils_impl_linux-64 2.40 r-crul 1.4.0 r-ragg 1.2.6
bwidget 1.9.14 r-curl 5.1.0 r-rappdirs 0.3.3
BZIP2 1.0.8 r-data.table 1.14.8 r-rbokeh 0.5.2
c-ares 1.20.1 r-dbi 1.1.3 r-rcmdcheck 1.4.0
ca-certificates 2023.7.22 r-dbplyr 2.3.4 r-rcolorbrewer 1.1_3
cairo 1.18.0 r-desc 1.4.2 r-rcpp 1.0.11
cmake 3.27.6 r-devtools 2.4.5 r-reactable 0.4.4
curl 8.4.0 r-diagram 1.6.5 r-reactr 0.5.0
expat 2.5.0 r-dials 1.2.0 r-readr 2.1.4
font-ttf-dejavu-sans-mono 2,37 r-dicedesign 1.9 r-readxl 1.4.3
font-ttf-inconsolata 3.000 r-diffobj 0.3.5 r-recipes 1.0.8
font-ttf-source-code-pro 2.038 r-digest 0.6.33 r-rematch 2.0.0
font-ttf-ubuntu 0,83 r-downlit 0.4.3 r-rematch2 2.1.2
fontconfig 2.14.2 r-dplyr 1.1.3 r-remotes 2.4.2.1
fonts-conda-ecosystem 1 r-dtplyr 1.3.1 r-reprex 2.0.2
fonts-conda-forge 1 r-e1071 1.7_13 r-reshape2 1.4.4
freetype 2.12.1 r-ellipsis 0.3.2 r-rjson 0.2.21
fribidi 1.0.10 r-evaluate 0,23 r-rlang 1.1.1
gcc_impl_linux-64 13.2.0 r-fansi 1.0.5 r-rlist 0.4.6.2
gettext 0.21.1 r-farver 2.1.1 r-rmarkdown 2.22
gflags 2.2.2 r-fastmap 1.1.1 r-rodbc 1.3_20
gfortran_impl_linux-64 13.2.0 r-fontawesome 0.5.2 r-roxygen2 7.2.3
glog 0.6.0 r-forcats 1.0.0 r-rpart 4.1.21
glpk 5.0 r-foreach 1.5.2 r-rprojroot 2.0.3
gmp 6.2.1 r-forge 0.2.0 r-rsample 1.2.0
graphite2 1.3.13 r-fs 1.6.3 r-rstudioapi 0.15.0
gsl 2.7 r-furrr 0.3.1 r-rversions 2.1.2
gxx_impl_linux-64 13.2.0 r-future 1.33.0 r-rvest 1.0.3
harfbuzz 8.2.1 r-future.apply 1.11.0 r-sass 0.4.7
icu 73.2 r-gargle 1.5.2 r-scales 1.2.1
kernel-headers_linux-64 2.6.32 r-generics 0.1.3 r-selectr 0.4_2
keyutils 1.6.1 r-gert 2.0.0 r-sessioninfo 1.2.2
krb5 1.21.2 r-ggplot2 3.4.2 r-shape 1.4.6
ld_impl_linux-64 2.40 r-gh 1.4.0 r-shiny 1.7.5.1
lerc 4.0.0 r-gistr 0.9.0 r-slider 0.3.1
libabseil 20230125.3 r-gitcreds 0.1.2 r-sourcetools 0.1.7_1
libarrow 12.0.0 r-globals 0.16.2 r-sparklyr 1.8.2
libblas 3.9.0 r-glue 1.6.2 r-squarem 2021.1
libbrotlicommon 1.0.9 r-googledrive 2.1.1 r-stringi 1.7.12
libbrotlidec 1.0.9 r-googlesheets4 1.1.1 r-stringr 1.5.0
libbrotlienc 1.0.9 r-gower 1.0.1 r-survival 3.5_7
libcblas 3.9.0 r-gpfit 1.0_8 r-sys 3.4.2
libcrc32c 1.1.2 r-gt 0.9.0 r-systemfonts 1.0.5
libcurl 8.4.0 r-gtable 0.3.4 r-testthat 3.2.0
libdeflate 1.19 r-gtsummary 1.7.2 r-textshaping 0.3.7
libedit 3.1.20191231 r-hardhat 1.3.0 r-tibble 3.2.1
libev 4.33 r-haven 2.5.3 r-tidymodels 1.1.0
libevent 2.1.12 r-hexbin 1.28.3 r-tidyr 1.3.0
libexpat 2.5.0 r-highcharter 0.9.4 r-tidyselect 1.2.0
libffi 3.4.2 r-highr 0,10 r-tidyverse 2.0.0
libgcc-devel_linux-64 13.2.0 r-hms 1.1.3 r-timechange 0.2.0
libgcc-ng 13.2.0 r-htmltools 0.5.6.1 r-timedate 4022.108
libgfortran-ng 13.2.0 r-htmlwidgets 1.6.2 r-tinytex 0,48
libgfortran5 13.2.0 r-httpcode 0.3.0 r-torch 0.11.0
libgit2 1.7.1 r-httpuv 1.6.12 r-triebeard 0.4.1
libglib 2.78.0 r-httr 1.4.7 r-ttr 0.24.3
libgomp 13.2.0 r-httr2 0.2.3 r-tune 1.1.2
libgoogle-cloud 2.12.0 r-ids 1.0.1 r-tzdb 0.4.0
libgrpc 1.55.1 r-igraph 1.5.1 r-urlchecker 1.0.1
libiconv 1.17 r-infer 1.0.5 r-urltools 1.7.3
libjpeg-turbo 3.0.0 r-ini 0.3.1 r-usethis 2.2.2
liblapack 3.9.0 r-ipred 0.9_14 r-utf8 1.2.4
libnghttp2 1.55.1 r-isoband 0.2.7 r-uuid 1.1_1
libnuma 2.0.16 r-iterators 1.0.14 r-v8 4.4.0
libopenblas 0.3.24 r-jose 1.2.0 r-vctrs 0.6.4
libpng 1.6.39 r-jquerylib 0.1.4 r-viridislite 0.4.2
libprotobuf 4.23.2 r-jsonlite 1.8.7 r-vroom 1.6.4
libsanitizer 13.2.0 r-juicyjuice 0.1.0 r-waldo 0.5.1
libssh2 1.11.0 r-kernsmooth 2.23_22 r-warp 0.2.0
libstdcxx-devel_linux-64 13.2.0 r-knitr 1,45 r-whisker 0.4.1
libstdcxx-ng 13.2.0 r-labeling 0.4.3 r-withr 2.5.2
libthrift 0.18.1 r-labelled 2.12.0 r-workflows 1.1.3
libtiff 4.6.0 r-later 1.3.1 r-workflowsets 1.0.1
libutf8proc 2.8.0 r-lattice 0.22_5 r-xfun 0,41
libuuid 2.38.1 r-lava 1.7.2.1 r-xgboost 1.7.4
libuv 1.46.0 r-lazyeval 0.2.2 r-xml 3.99_0.14
libv8 8.9.83 r-lhs 1.1.6 r-xml2 1.3.5
libwebp-base 1.3.2 r-lifecycle 1.0.3 r-xopen 1.0.0
libxcb 1.15 r-lightgbm 3.3.5 r-xtable 1.8_4
libxgboost 1.7.4 r-listenv 0.9.0 r-xts 0.13.1
libxml2 2.11.5 r-lobstr 1.1.2 r-yaml 2.3.7
libzlib 1.2.13 r-lubridate 1.9.3 r-yardstick 1.2.0
lz4-c 1.9.4 r-magrittr 2.0.3 r-zip 2.3.0
make 4.3 r-maps 3.4.1 r-zoo 1.8_12
ncurses 6.4 r-markdown 1.11 rdma-core 28,9
openssl 3.1.4 r-mass 7.3_60 re2 2023.03.02
orc 1.8.4 r-matrix 1.6_1.1 readline 8,2
pandoc 2.19.2 r-memoise 2.0.1 rhash 1.4.4
pango 1.50.14 r-mgcv 1.9_0 s2n 1.3.46
pcre2 10.40 r-mime 0,12 sed 4.8
pixman 0.42.2 r-miniui 0.1.1.1 snappy 1.1.10
pthread-stubs 0,4 r-modeldata 1.2.0 sysroot_linux-64 2,12
r-arrow 12.0.0 r-modelenv 0.1.1 tk 8.6.13
r-askpass 1.2.0 r-modelmetrics 1.2.2.2 tktable 2,10
r-assertthat 0.2.1 r-modelr 0.1.11 ucx 1.14.1
r-backports 1.4.1 r-munsell 0.5.0 unixodbc 2.3.12
r-base 4.2.3 r-nlme 3.1_163 xorg-kbproto 1.0.7
r-base64enc 0.1_3 r-nnet 7.3_19 xorg-libice 1.1.1
r-bigd 0.2.0 r-numderiv 2016.8_1.1 xorg-libsm 1.2.4
r-bit 4.0.5 r-openssl 2.1.1 xorg-libx11 1.8.7
r-bit64 4.0.5 r-parallelly 1.36.0 xorg-libxau 1.0.11
r-bitops 1.0_7 r-parsnip 1.1.1 xorg-libxdmcp 1.1.3
r-blob 1.2.4 r-patchwork 1.1.3 xorg-libxext 1.3.4
r-brew 1.0_8 r-pillar 1.9.0 xorg-libxrender 0.9.11
r-brio 1.1.3 r-pkgbuild 1.4.2 xorg-libxt 1.3.0
r-broom 1.0.5 r-pkgconfig 2.0.3 xorg-renderproto 0.11.1
r-broom.helpers 1.14.0 r-pkgdown 2.0.7 xorg-xextproto 7.3.0
r-bslib 0.5.1 r-pkgload 1.3.3 xorg-xproto 7.0.31
r-cachem 1.0.8 r-plotly 4.10.2 xz 5.2.6
r-callr 3.7.3 r-plyr 1.8.9 zlib 1.2.13
zstd 1.5.5

Zugehöriger Inhalt