Share via

Databricks Runtime 13.1 (nicht unterstützt)

  • Artikel

Azure Databricks hat diese Images im Mai 2023 veröffentlicht.

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 13.1, unterstützt von Apache Spark 3.4.0.

Neue Features und Verbesserungen

Clusterunterstützung für JDK 17 (Public Preview)

Databricks bietet jetzt Clusterunterstützung für Java Development Kit (JDK) 17. Siehe Databricks SDK für Java.

Hinzufügen, Ändern oder Löschen von Daten in Streamingtabellen

Sie können jetzt DML-Anweisungen verwenden, um Streamingtabellen zu ändern, die von Delta Live Tables-Pipelines in Unity Catalog veröffentlicht wurden. Weitere Informationen finden Sie unter Hinzufügen, Ändern oder Löschen von Daten in einer Streamingtabelle und unter Hinzufügen, Ändern oder Löschen von Daten in einer Zielstreamingtabelle. Sie können auch DML-Anweisungen verwenden, um in Databricks SQL erstellte Streamingtabellen zu ändern.

Lesen von Kafka mit SQL

Sie können jetzt die SQL-Funktion read_kafka zum Lesen von Kafka-Daten verwenden. Streaming mit SQL wird nur in Delta Live Tables oder mit Streamingtabellen in Databricks SQL unterstützt. Siehe Tabellenwertfunktion „read_kafka“

Neue integrierte SQL-Funktionen

Die folgenden analytischen Funktionen wurden hinzugefügt:

Unity Catalog-Unterstützung für Python-Bibliotheken im Clusterbereich

Unity Catalog weist einige Einschränkungen bei der Bibliotheksnutzung auf. In Databricks Runtime 13.1 und höher werden clusterspezifische Python-Bibliotheken unterstützt, einschließlich Python-Wheel-Dateien, die als Arbeitsbereichsdateien hochgeladen werden. Bibliotheken, auf die mithilfe von Databricks File System(DBFS)-Dateipfaden verwiesen wird, werden nicht unterstützt, unabhängig davon, ob sie sich im DBFS-Stamm oder an einem externen Speicherort befinden, der in einem DBFS eingebunden ist. Nicht-Python-Bibliotheken werden nicht unterstützt. Weitere Informationen finden Sie unter Clusterbibliotheken.

In Databricks Runtime 13.0 und niedriger werden clusterspezifische Bibliotheken, die den Modus für den gemeinsamen Zugriff in einem Arbeitsbereich mit Unity Catalog-Unterstützung verwenden, nicht unterstützt.

Erweiterte Standardaktivierung für optimierte Schreibvorgänge in Unity Catalog

Die standardmäßige optimierte Schreibunterstützung für Delta-Tabellen, die in Unity Catalog registriert sind, wurde erweitert, um CTAS-Anweisungen und INSERT-Vorgänge für partitionierte Tabellen einzuschließen. Dieses Verhalten richtet sich an den Standardwerten in SQL-Warehouses aus. Weitere Informationen finden Sie unter Optimierte Schreibvorgänge für Delta Lake in Azure Databricks.

Erweiterte Unterstützung für zustandsbehaftete Operatoren in Workloads für strukturiertes Streaming

Sie können jetzt mehrere zustandsbehaftete Operatoren miteinander verketten, was bedeutet, dass Sie die Ausgabe eines Vorgangs, z. B. einer Fensteraggregation, an einen anderen zustandsbehafteten Vorgang wie z. B. eine Verknüpfung übertragen können. Informationen hierzu finden Sie unter Optimieren zustandsbehafteter Abfragen für strukturiertes Streaming

Delta-Klon für Unity Catalog befindet sich in der Phase „Public Preview”

Sie können jetzt flache Klone verwenden, um neue verwaltete Unity Catalog-Tabellen aus vorhandenen verwalteten Unity Catalog-Tabellen zu erstellen. Siehe Flache Klone für verwaltete Unity Catalog-Tabellen.

Pub/Sub-Unterstützung für strukturiertes Streaming

Sie können jetzt einen integrierten Connector verwenden, um Google Pub/Sub mit strukturiertem Streaming zu abonnieren. Weitere Informationen finden Sie unter Abonnieren von Google Pub/Sub.

Löschen von Duplikaten innerhalb von Wasserzeichen in strukturiertem Streaming

Sie können jetzt dropDuplicatesWithinWatermark in Kombination mit einem angegebenen Wasserzeichen-Schwellenwert verwenden, um Datensätze in strukturiertem Streaming zu deduplizieren. Informationen finden Sie unter Löschen von Duplikaten innerhalb eines Wasserzeichens.

Erweiterte Unterstützung für Delta-Konvertierungen aus Iceberg-Tabellen mit abgeschnittenen Partitionsspalten

Sie können jetzt CLONE und CONVERT TO DELTA mit Iceberg-Tabellen verwenden, die Partitionen für abgeschnittene Spalten der Typen int, long und string definiert haben. Abgeschnittene Spalten vom Typ decimal werden nicht unterstützt.

Streamschemaänderungen mit Spaltenzuordnung in Delta Lake

Sie können jetzt einen Speicherort für die Schemanachverfolgung bereitstellen, um das Streaming von Delta-Tabellen mit aktivierter Spaltenzuordnung zu ermöglichen. Weitere Informationen finden Sie unter Streaming mit Spaltenzuordnung und Schemaänderungen.

Entfernen von START VERSION

START VERSION ist jetzt für ALTER SHARE veraltet.

Neue H3-Ausdrücke in Python verfügbar

Die Ausdrücke h3_coverash3 und h3_coverash3string sind in Python verfügbar.

Fehlerkorrekturen

Bei Parquet failOnUnknownFields werden Daten bei Typkonflikten nicht mehr automatisch gelöscht

Wenn eine Parquet-Datei nur mit der failOnUnknownFields-Option oder mit Autoloader im failOnNewColumns-Schemaentwicklungsmodus gelesen wird, schlagen Spalten mit unterschiedlichen Datentypen jetzt fehl und empfehlen die Verwendung von rescuedDataColumn. Autoloader liest jetzt korrekt Integer-, Short- und Byte-Typen, sodass keine Wiederherstellung erforderlich ist, wenn einer dieser Datentypen bereitgestellt wird. Die Parquet-Datei schlägt einen der beiden anderen Typen vor.

Aktuelle Änderungen

Upgrade der sqlite-jdbc-Version auf 3.42.0.0 zum Behandeln von CVE-2023-32697

Führen Sie ein Upgrade der sqlite-jdbc-Version von 3.8.11.2 auf 3.42.0.0 durch. Die APIs der Version 3.42.0.0 sind nicht vollständig mit 3.8.11.2 kompatibel. Wenn Sie sqlite-jdbc in Ihrem Code verwenden, überprüfen Sie den sqlite-jdbc-Kompatibilitätsbericht auf Details. Wenn Sie zu 13.1 migrieren und sqlite verwenden, bestätigen Sie Ihre Methoden und den Rückgabetyp in Version 3.42.0.0.

Bibliotheksupgrades

  • Aktualisierte Python-Bibliotheken:
    • facets-overview von 1.0.2 auf 1.0.3
    • filelock von 3.10.7 auf 3.12.0
    • pyarrow von 7.0.0 auf 8.0.0
    • tenacity von 8.0.1 auf 8.1.0
  • Aktualisierte R-Bibliotheken:
  • Aktualisierte Java-Bibliotheken:
    • com.github.ben-manes.caffeine.caffeine von 2.3.4 auf 2.9.3
    • org.apache.orc.orc-core von 1.8.2-shaded-protobuf auf 1.8.3-shaded-protobuf
    • org.apache.orc.orc-mapreduce von 1.8.2-shaded-protobuf auf 1.8.3-shaded-protobuf
    • org.apache.orc.orc-shims von 1.8.2 auf 1.8.3
    • org.checkerframework.checker-qual von 3.5.0 auf 3.19.0
    • org.scalactic.scalactic_2.12 von 3.0.8 auf 3.2.15
    • org.scalatest.scalatest_2.12 von 3.0.8 auf 3.2.15
    • org.xerial.sqlite-jdbc von 3.8.11.2 auf 3.42.0.0

Apache Spark

Databricks Runtime 13.1 enthält Apache Spark 3.4.0. Dieses Release enthält alle Spark-Fixes und -Verbesserungen, die in Databricks Runtime 13.0 (nicht unterstützt) enthalten sind, sowie die folgenden zusätzlichen Bugfixes und Verbesserungen für Spark:

  • [SPARK-42719] [DBRRM-199][SC-131578] Zurücksetzen von [SC-125225] `MapOutputTracker#getMap…
  • [SPARK-39696] [DBRRM-166][SC-130056][CORE] Zurücksetzen von [SC-127830]/
  • [SPARK-43331] [SC-130064][CONNECT] Hinzufügen von SparkSession.interruptAll in Spark Connect
  • [SPARK-16484] [13.1][CHERRY_PICK][SC-130076][SQL] Verwenden des 8-Bit-Registers für die Darstellung von DataSketches
  • [SPARK-43332] [SC-130051][CONNECT][PYTHON] Ermöglichen der Erweiterung von ChannelBuilder für SparkConnectClient
  • [SPARK-43323] [SC-129966][SQL][PYTHON] Korrigieren von DataFrame.toPandas mit Arrow-Aktivierung, um Ausnahmen ordnungsgemäß zu behandeln
  • [SPARK-42940] [SC-129896][SS][CONNECT] Verbessern der Sitzungsverwaltung für Streamingabfragen
  • [SPARK-43336] [SQL] Für Umwandlung zwischen Timestamp und Timestamp NTZ Zeitzone erforderlich
  • [SPARK-43032] [SC-125756] [CONNECT][SS] Hinzufügen von Streamingabfrage-Manager
  • [SPARK-16484] [SC-129975][SQL] Hinzufügen von Unterstützung für Datasketches HllSketch
  • [SPARK-43260] [SC-129281][PYTHON] Migrieren der Arrow-Typfehler von Spark SQL Pandas zur Fehlerklasse.
  • [SPARK-41766] [SC-129964][CORE] Behandeln von Außerbetriebsetzungsanforderungen, die vor der Executorregistrierung gesendet werden
  • [SPARK-43307] [SC-129971][PYTHON] Migrieren von PandasUDF-Wertfehlern zur Fehlerklasse
  • [SPARK-43206] [SC-129903] [SS] [CONNECT] StreamingQuery exception() umfasst Stapelüberwachung
  • [SPARK-43311] [SC-129905][SS] Hinzufügen von Verbesserungen an der Arbeitsspeicherverwaltung von RocksDB-Zustandsspeicheranbieter
  • [SPARK-43237] [SC-129898][CORE] Behandeln von NULL-Ausnahmemeldung im Ereignisprotokoll
  • [SPARK-43320] [SC-129899][SQL][HIVE] Direkter Aufruf von Hive 2.3.9-API
  • [SPARK-43270] [SC-129897][PYTHON] Implementieren von __dir__() in pyspark.sql.dataframe.DataFrame zum Einschließen von Spalten
  • [SPARK-43183] Zurücksetzen von „[SC-128938][SS] Einführen eines neuen Rückrufs ...“
  • [SPARK-43143] [SC-129902] [SS] [CONNECT] Scala StreamingQuery awaitTermination()
  • [SPARK-43257] [SC-129675][SQL] Ersetzen der Fehlerklasse _LEGACY_ERROR_TEMP_2022 durch einen internen Fehler
  • [SPARK-43198] [SC-129470][CONNECT] Korrigieren von „Klasse ammonite... konnte nicht initialisiert werden“ Fehler bei Verwendung des Filters
  • [SPARK-43165] [SC-129777][SQL] Verschieben von canWrite zu DataTypeUtils
  • [SPARK-43298] [SC-129729][PYTHON][ML] predict_batch_udf mit skalarer Eingabe schlägt bei Batchgröße 1 fehl
  • [SPARK-43298] [SC-129700]Zurücksetzen von „[PYTHON][ML] predict_batch_udf mit skalarer Eingabe schlägt bei Batchgröße 1 fehl“
  • [SPARK-43052] [SC-129663][CORE] Verarbeiten von stacktrace mit NULL-Dateinamen im Ereignisprotokoll
  • [SPARK-43183] [SC-128938][SS] Einführen eines neuen Rückrufs „onQueryIdle“ für StreamingQueryListener
  • [SPARK-43209] [SC-129190][CONNECT][PYTHON] Migrieren von Ausdrucksfehlern zur Fehlerklasse
  • [SPARK-42151] [SC-128754][SQL] Ausrichten von UPDATE-Zuweisungen an Tabellenattributen
  • [SPARK-43134] [SC-129468] [CONNECT] [SS] StreamingQuery exception()-API auf JVM-Client
  • [SPARK-43298] [SC-129699][PYTHON][ML] predict_batch_udf mit skalarer Eingabe schlägt bei Batchgröße 1 fehl
  • [SPARK-43248] [SC-129660][SQL] Unnötige Serialisierung/Deserialisierung von Pfad beim parallelen Sammeln von Partitionsstatistiken
  • [SPARK-43274] [SC-129464][SPARK-43275][PYTHON][CONNECT] Einführen von PySparkNotImplementedError
  • [SPARK-43146] [SC-128804][CONNECT][PYTHON] Implementieren der Eager Evaluation für repr und repr_html
  • [SPARK-42953] [SC-129469][Connect][Followup] Korrigieren des Maven-Testbuilds für Scala-Client-UDF-Tests
  • [SPARK-43144] [SC-129280] DataStreamReader table()-API auf Scala-Client
  • [SPARK-43136] [SC-129358][CONNECT] Hinzufügen der Funktionen groupByKey, mapGroup und coGroup
  • [SPARK-43156] [SC-129672][SC-128532][SQL] Korrigieren des Fehlers COUNT(*) is null in korrelierter skalarer Unterabfrage
  • [SPARK-43046] [SC-129110] [SS] [Connect] Implementieren der Python-API dropDuplicatesWithinWatermark für Spark Connect
  • [SPARK-43199] [SC-129467][SQL] Ermöglichen von Idempotenz für InlineCTE
  • [SPARK-43293] [SC-129657][SQL] __qualified_access_only sollte in normalen Spalten ignoriert werden
  • [SPARK-43276] [SC-129461][CONNECT][PYTHON] Migrieren von Spark Connect-Fensterfehlern zur Fehlerklasse
  • [SPARK-43174] [SC-129109][SQL] Korrigieren der SparkSQLCLIDriver-Vervollständigung
  • [SPARK-43084] [SC-128654] [SS] Hinzufügen von ApplyInPandasWithState-Unterstützung für Spark Connect
  • [SPARK-43119] [SC-129040][SQL] Unterstützen des dynamischen Abrufs von SQL-Schlüsselwörtern über JDBC-API und TVF
  • [SPARK-43082] [SC-129112][CONNECT][PYTHON] Arrow-optimierte Python-UDFs in Spark Connect
  • [SPARK-43085] [SC-128432][SQL] Unterstützen der DEFAULT-Spaltenzuweisung für mehrteilige Tabellennamen
  • [SPARK-43156] [SC-129463][SPARK-43098][SQL] Erweitern der skalaren Unterabfrage „count bug test“ mit deaktivierter decorrelateInnerQuery
  • [SPARK-43226] [LC-671] Definieren von Extraktionsfunktionen für Dateikonstantenmetadaten
  • [SPARK-43210] [SC-129189][CONNECT][PYTHON] Einführen von PySparkAssertionError
  • [SPARK-43214] [SC-129199][SQL] Treiberseitig nachgeschaltete Metriken für LocalTableScanExec/CommandResultExec
  • [SPARK-43285] [SC-129347] Korrigieren des konsistenten ReplE2ESuite-Fehlers mit JDK 17
  • [SPARK-43268] [SC-129249][SQL] Verwenden der richtigen Fehlerklassen, wenn Ausnahmen mit einer Meldung erstellt werden
  • [SPARK-43142] [SC-129299] Korrigieren von DSL-Ausdrücken für Attribute mit Sonderzeichen
  • [SPARK-43129] [SC-128896] Scala-Core-API für das Streamen von Spark Connect
  • [SPARK-43233] [SC-129250] [SS] Hinzufügen von Protokollierung für Kafka-Batchlesevorgänge für Themenpartition, Offsetbereich und Aufgaben-ID
  • [SPARK-43249] [SC-129195][CONNECT] Korrigieren fehlender Statistiken für SQL-Befehl
  • [SPARK-42945] [SC-129188][CONNECT] Unterstützen von PYSPARK_JVM_STACKTRACE_ENABLED in Spark Connect
  • [SPARK-43178] [SC-129197][CONNECT][PYTHON] Migrieren von UDF-Fehlern in PySpark-Fehlerframework
  • [SPARK-43123] [SC-128494][SQL] Interne Feldmetadaten sollten nicht an Kataloge weitergegeben werden
  • [SPARK-43217] [SC-129205] Korrekte Rekursion in geschachtelten Karten/Arrays in findNestedField
  • [SPARK-43243] [SC-129294][PYTHON][CONNECT] Hinzufügen eines Ebenenparameters zu printSchema für Python
  • [SPARK-43230] [SC-129191][CONNECT] Vereinfachen von DataFrameNaFunctions.fillna
  • [SPARK-43088] [SC-128403][SQL] Beachten von RequiresDistributionAndOrdering in CTAS/RTAS
  • [SPARK-43234] [SC-129192][CONNECT][PYTHON] Migrieren von ValueError von Connect DataFrame zur Fehlerklasse
  • [SPARK-43212] [SC-129187][SS][PYTHON] Migrieren von Fehlern beim strukturierten Streaming in die Fehlerklasse
  • [SPARK-43239] [SC-129186][PS] Entfernen von null_counts aus info()
  • [SPARK-43190] [SC-128930][SQL] ListQuery.childOutput sollte mit der untergeordneten Ausgabe konsistent sein
  • [SPARK-43191] [SC-128924][CORE] Ersetzen der Reflexion durch direktes Aufrufen für Hadoop CallerContext
  • [SPARK-43193] [SC-129042][SS] Entfernen der Problemumgehung für HADOOP-12074
  • [SPARK-42657] [SC-128621][CONNECT] Unterstützung für das Suchen und Übertragen clientseitiger REPL-Klassendateien auf den Server als Artefakte
  • [SPARK-43098] [SC-77059][SQL] Korrigieren der Richtigkeit von „COUNT bug“, wenn die skalare Unterabfrage eine „group by“-Klausel aufweist
  • [SPARK-43213] [SC-129062][PYTHON] Hinzufügen von DataFrame.offset zu Vanilla PySpark
  • [SPARK-42982] [SC-128400][CONNECT][PYTHON] Korrigieren von createDataFrame zum Berücksichtigen der angegebenen Schema-DDL
  • [SPARK-43124] [SC-129011][SQL] Lokales Projizieren von CommandResults mit Dataset.show
  • [SPARK-42998] [SC-127422][CONNECT][PYTHON] Korrigieren von DataFrame.collect mit NULL-Struktur
  • [SPARK-41498] [SC-125343]Zurücksetzen von „Weitergeben von Metadaten über Union“
  • [SPARK-42960] [SC-129010] [CONNECT] [SS] Hinzufügen von await_termination()- und exception()-API für Streamingabfrage in Python
  • [SPARK-42552] [SC-128824][SQL] Korrigieren der zweistufigen Parsingstrategie des antlr-Parsers
  • [SPARK-43207] [SC-128937][CONNECT] Hinzufügen von Hilfsfunktionen zum Extrahieren von Werten aus literalen Ausdrücken
  • [SPARK-43186] [SC-128841][SQL][HIVE] Entfernen der Problemumgehung für FileSinkDesc
  • [SPARK-43107] [SC-128533][SQL] Zusammenfügen von Buckets in Join, die auf der Broadcastjoin-Streamseite angewendet wurden
  • [SPARK-43195] [SC-128922][CORE] Entfernen unnötiger serialisierbarer Wrapper in HadoopFSUtils
  • [SPARK-43137] [SC-128828][SQL] Verbessern von ArrayInsert, wenn die Position faltbar und positiv ist
  • [SPARK-37829] [SC-128827][SQL] Der äußere Join von Dataframe.joinWith sollte einen NULL-Wert für nicht übereinstimmende Zeilen zurückgeben
  • [SPARK-43042] [SC-128602] [SS] [Connect] Hinzufügen von table()-API-Unterstützung für DataStreamReader
  • [SPARK-43153] [SC-128753][CONNECT] Überspringen der Spark-Ausführung bei lokalem Dataframe
  • [SPARK-43064] [SC-128496][SQL] SQL-Registerkarte in Spark SQL CLI sollte nur einmal eine Anweisung anzeigen
  • [SPARK-43126] [SC-128447][SQL] Markieren von zwei Hive-UDF-Ausdrücke als zustandsbehaftet
  • [SPARK-43111] [SC-128750][PS][CONNECT][PYTHON] Zusammenführen geschachtelter if-Anweisungen in einzelne if-Anweisungen
  • [SPARK-43113] [SC-128749][SQL] Auswerten streamseitiger Variablen beim Generieren von Code für eine gebundene Bedingung
  • [SPARK-42895] [SC-127258][CONNECT] Verbessern von Fehlermeldungen für beendete Spark-Sitzungen
  • [SPARK-42884] [SC-126662][CONNECT] Hinzufügen der Ammonite-REPL-Integration
  • [SPARK-43168] [SC-128674][SQL] Entfernen der Methode zum Abrufen von PhysicalDataType aus der Datatype-Klasse
  • [SPARK-43121] [SC-128455][SQL] Verwenden von BytesWritable.copyBytes statt manueller Kopie in HiveInspectors
  • [SPARK-42916] [SC-128389][SQL] JDBCTableCatalog behält Char/Varchar-Metadaten auf der Leseseite bei
  • [SPARK-43050] [SC-128550][SQL] Korrigieren von Konstruktaggregatausdrücken durch Ersetzen von Gruppierungsfunktionen
  • [SPARK-43095] [SC-128549][SQL] Idempotenz der Strategie "Einmal vermeiden" für den Batch unterbrochen: Infer Filters
  • [SPARK-43130] [SC-128597][SQL] Verschieben von InternalType zu PhysicalDataType
  • [SPARK-43105] [SC-128456][CONNECT] Abkürzen von Bytes und Zeichenfolgen in Proto-Nachricht
  • [SPARK-43099] [SC-128596][SQL] Verwenden von getName anstelle von getCanonicalName, um den Namen der Builderklasse beim Registrieren der UDF bei FunctionRegistry abzurufen
  • [SPARK-42994] [SC-128586][ML][CONNECT] Unterstützung von PyTorch-Verteiler für lokalen Modus
  • [SPARK-42859] Zurücksetzen von "[SC-127935][CONNECT][PS] Grundlegende Unterstützung für Pandas-API in Spark Connect"
  • [SPARK-43021] [SC-128472][SQL] CoalesceBucketsInJoin funktioniert nicht bei Verwendung von AQE
  • [SPARK-43125] [SC-128477][CONNECT] Korrigieren des Problems, dass Connect-Server keine Ausnahme mit NULL-Nachricht verarbeiten kann
  • [SPARK-43147] [SC-128594] Korrigieren von Flake8-Lint für die lokale Überprüfung
  • [SPARK-43031] [SC-128360] [SS] [Connect] Aktivieren von Komponententest und Doctest für Streaming
  • [SPARK-43039] [LC-67] Unterstützen benutzerdefinierter Felder in der _metadata-Spalte der Dateiquelle
  • [SPARK-43120] [SC-128407][SS] Hinzufügen von Unterstützung für die Nachverfolgung der Speicherauslastung angehefteter Blöcke für den RocksDB-Zustandsspeicher
  • [SPARK-43110] [SC-128381][SQL] Verschieben von asIntegral zu PhysicalDataType
  • [SPARK-43118] [SC-128398][SS] Entfernen von unnötigem Assert für UninterruptibleThread in KafkaMicroBatchStream
  • [SPARK-43055] [SC-128331][CONNECT][PYTHON] Unterstützen doppelter geschachtelter Feldnamen
  • [SPARK-42437] [SC-128339][PYTHON][CONNECT] PySpark catalog.cacheTable ermöglicht das Angeben der Speicherebene
  • [SPARK-42985] [SC-128332][CONNECT][PYTHON] Korrigieren von createDataFrame zum Berücksichtigen der SQL-Konfigurationen
  • [SPARK-39696] [SC-127830][CORE] Korrigieren des Data Race beim Zugriff auf TaskMetrics.externalAccums
  • [SPARK-43103] [SC-128335][SQL] Verschieben von Integral zu PhysicalDataType
  • [SPARK-42741] [SC-125547][SQL] Kein Aufheben der Umschließung von Umwandlungen im binären Vergleich, wenn Literal NULL ist
  • [SPARK-43057] [SC-127948][CONNECT][PYTHON] Migrieren von Spark Connect-Spaltenfehlern zur Fehlerklasse
  • [SPARK-42859] [SC-127935][CONNECT][PS] Grundlegende Unterstützung für Pandas-API in Spark Connect
  • [SPARK-43013] [SC-127773][PYTHON] Migrieren von ValueError von DataFrame zu PySparkValueError
  • [SPARK-43089] [SC-128051][CONNECT] Bearbeiten von Debugzeichenfolge in der Benutzeroberfläche
  • [SPARK-43028] [SC-128070][SQL] Hinzufügen der Fehlerklasse SQL_CONF_NOT_FOUND
  • [SPARK-42999] [SC-127842][CONNECT] Dataset#foreach, foreachPartition
  • [SPARK-43066] [SC-127937][SQL] Hinzufügen eines Tests für dropDuplicates in JavaDatasetSuite
  • [SPARK-43075] [SC-127939][CONNECT] Ändern von gRPC in grpcio, wenn keine Installation vorliegt
  • [SPARK-42953] [SC-127809][Connect] Typisieren von filter, map, flatMap, mapPartitions
  • [SPARK-42597] [SC-125506][SQL] Unterstützen des Aufhebens der Umschließung des Datumstyps in den Zeitstempeltyp
  • [SPARK-42931] [SC-127933][SS] Einführen von dropDuplicatesWithinWatermark
  • [SPARK-43073] [SC-127943][CONNECT] Hinzufügen von Proto-Datentypkonstanten
  • [SPARK-43077] [SC-128050][SQL] Verbessern der Fehlermeldung von UNRECOGNIZED_SQL_TYPE
  • [SPARK-42951] [SC-128030][SS][Connect] DataStreamReader-APIs
  • [SPARK-43049] [SC-127846][SQL] Verwenden von CLOB anstelle von VARCHAR(255) für StringType für Oracle JDBC
  • [SPARK-43018] [SC-127762][SQL] Beheben des Fehlers für INSERT-Befehle mit Zeitstempelliteralen
  • [SPARK-42855] [SC-127722][SQL] Verwenden von NULL-Überprüfungen zur Laufzeit in TableOutputResolver
  • [SPARK-43030] [SC-127847][SQL] Deduplizieren von Beziehungen mit Metadatenspalten
  • [SPARK-42993] [SC-127829][ML][CONNECT] Herstellen von Kompatibilität des PyTorch-Verteilers mit Spark Connect
  • [SPARK-43058] [SC-128072][SQL] Verschieben von Numeric und Fractional zu PhysicalDataType
  • [SPARK-43056] [SC-127946][SS] RocksDB-Zustandsspeichercommit sollte Hintergrundaufgaben nur im angehaltenen Zustand fortsetzen
  • [SPARK-43059] [SC-127947][CONNECT][PYTHON] Migrieren von TypeError aus DataFrame(Reader|Writer) zur Fehlerklasse
  • [SPARK-43071] [SC-128018][SQL] Unterstützen von SELECT DEFAULT mit ORDER BY, LIMIT, OFFSET für INSERT-Quellbeziehung
  • [SPARK-43061] [SC-127956][CORE][SQL] Einführen von PartitionEvaluator für die Ausführung des SQL-Operators
  • [SPARK-43067] [SC-127938][SS] Korrigieren des Speicherorts der Fehlerklassen-Ressourcendatei im Kafka-Connector
  • [SPARK-43019] [SC-127844][SQL] Verschieben von Ordering zu PhysicalDataType
  • [SPARK-43010] [SC-127759][PYTHON] Migrieren von Spaltenfehlern zur Fehlerklasse
  • [SPARK-42840] [SC-127782][SQL] Ändern des Fehlers _LEGACY_ERROR_TEMP_2004 in internen Fehler
  • [SPARK-43041] [SC-127765][SQL] Wiederherstellen der Konstruktoren von Ausnahmen zur Kompatibilität in der Connector-API
  • [SPARK-42939] [SC-127761][SS][CONNECT] Core-Streaming-Python-API für Spark Connect
  • [SPARK-42844] [SC-127766][SQL] Aktualisieren der Fehlerklasse _LEGACY_ERROR_TEMP_2008 auf INVALID_URL
  • [SPARK-42316] [SC-127720][SQL] Zuweisen eines Namens zu _LEGACY_ERROR_TEMP_2044
  • [SPARK-42995] [SC-127723][CONNECT][PYTHON] Migrieren von Spark Connect-DataFrame-Fehlern zur Fehlerklasse
  • [SPARK-42983] [SC-127717][CONNECT][PYTHON] Korrigieren von createDataFrame zum ordnungsgemäßen Verarbeiten von NumPy-Array der Dimension 0
  • [SPARK-42955] [SC-127476][SQL] Überspringen von classifyException und Umschließen von AnalysisException für SparkThrowable
  • [SPARK-42949] [SC-127255][SQL] Vereinfachen von Code für NAAJ
  • [SPARK-43011][SC-127577][SQL] array_insert sollte mit Index 0 fehlschlagen
  • [SPARK-42974] [SC-127487][CORE] Wiederherstellen von Utils.createTempDir zum Verwenden von ShutdownHookManager und Bereinigen der Methode JavaUtils.createTempDir
  • [SPARK-42964] [SC-127585][SQL] PosgresDialect '42P07' bedeutet auch, dass die Tabelle bereits vorhanden ist
  • [SPARK-42978] [SC-127351][SQL] Derby&PG: RENAME kann new-table-Name nicht mit schema-Name qualifizieren
  • [SPARK-37980] [SC-127668][SQL] Zugreifen auf row_index über _metadata in Tests, falls möglich
  • [SPARK-42655] [SC-127591][SQL] Fehler durch falschen mehrdeutigen Spaltenverweis
  • [SPARK-43009] [SC-127596][SQL] sql() mit Any-Konstanten parametrisiert
  • [SPARK-43026] [SC-127590][SQL] Anwenden von AQE mit Nicht-Exchange-Tabellencache
  • [SPARK-42963] [SC-127576][SQL] Erweitern von SparkSessionExtensions, um Regeln in die Stageoptimierung der AQE-Abfrage einzufügen
  • [SPARK-42918] [SC-127357] Verallgemeinern der Verarbeitung von Metadatenattributen in FileSourceStrategy
  • [SPARK-42806] [SC-127452][SPARK-42811][CONNECT] Hinzufügen von Unterstützung für Catalog
  • [SPARK-42997] [SC-127535][SQL] TableOutputResolver muss in Fehlermeldungen für Arrays und Zuordnungen die richtigen Spaltenpfade verwenden
  • [SPARK-43006] [SC-127486][PYSPARK] Korrigieren eines Tippfehlers in StorageLevel eq()
  • [SPARK-43005] [SC-127485][PYSPARK] Korrigieren eines Tippfehlers in pyspark/pandas/config.py
  • [SPARK-43004] [SC-127457][CORE] Korrigieren eines Tippfehlers in ResourceRequest.equals()
  • [SPARK-42907] [SC-126984][CONNECT][PYTHON] Implementieren von Avro-Funktionen
  • [SPARK-42979] [SC-127272][SQL] Definieren von Literalkonstruktoren als Schlüsselwörter
  • [SPARK-42946] [SC-127252][SQL] Bearbeiten sensibler Daten, die durch Variablenersetzung geschachtelt werden
  • [SPARK-42952] [SC-127260][SQL] Vereinfachen des Parameters der Analyseregel PreprocessTableCreation und DataSourceAnalysis
  • [SPARK-42683] [LC-75] Automatisches Umbenennen in Konflikt stehender Metadatenspalten
  • [SPARK-42853] [SC-126101][FollowUp] Beheben von Konflikten
  • [SPARK-42929] [SC-126748][CONNECT] Ermöglichen der Unterstützung von mapInPandas/mapInArrow für „is_barrier“
  • [SPARK-42968] [SC-127271][SS] Hinzufügen der Option zum Überspringen des Commitkoordinators als Teil der StreamingWrite-API für DSv2-Quellen/-Senken
  • [SPARK-42954] [SC-127261][PYTHON][CONNECT] Hinzufügen von YearMonthIntervalType zum PySpark- und Spark Connect-Python-Client
  • [SPARK-41359] [SC-127256][SQL] Verwenden von PhysicalDataType anstelle von DataType in UnsafeRow
  • [SPARK-42873] [SC-127262][SQL] Definieren von Spark SQL-Typen als Schlüsselwörter
  • [SPARK-42808] [SC-126302][CORE] Vermeiden, dass jedes Mal availableProcessors in MapOutputTrackerMaster#getStatistics abgerufen werden
  • [SPARK-42937] [SC-126880][SQL] PlanSubqueries sollte InSubqueryExec#shouldBroadcast auf TRUE festgelegen
  • [SPARK-42896] [SC-126729][SQL][PYTHON] Ermöglichen der Unterstützung von mapInPandas / mapInArrow für die Ausführung des Barrieremodus
  • [SPARK-42874] [SC-126442][SQL] Aktivieren eines neuen goldenen Dateitestframeworks für die Analyse aller Eingabedateien
  • [SPARK-42922] [SC-126850][SQL] Wechsel von Random zu SecureRandom
  • [SPARK-42753] [SC-126369] ReusedExchange bezieht sich auf nicht vorhandene Knoten
  • [SPARK-40822] [SC-126274][SQL] Stabile abgeleitete Spaltenaliase
  • [SPARK-42908] [SC-126856][PYTHON] Auslösen von RuntimeError, wenn SparkContext erforderlich, aber nicht initialisiert ist
  • [SPARK-42779] [SC-126042][SQL] Zulassen von V2-Schreibvorgängen, um Größenempfehlung für Shufflepartitionen anzugeben
  • [SPARK-42914] [SC-126727][PYTHON] Wiederverwenden von transformUnregisteredFunction für DistributedSequenceID
  • [SPARK-42878] [SC-126882][CONNECT] Tabellen-API in DataFrameReader kann auch Optionen akzeptieren
  • [SPARK-42927] [SC-126883][CORE] Ändern des Zugriffsbereichs von o.a.spark.util.Iterators#size in private[util]
  • [SPARK-42943] [SC-126879][SQL] Verwenden von LONGTEXT anstelle von TEXT für StringType für effektive Länge
  • [SPARK-37677] [SC-126855][CORE] Beim Entzippen können Dateiberechtigungen beibehalten werden
  • [SPARK-42891] [13.x][SC-126458][CONNECT][PYTHON] Implementieren der CoGrouped Map-API
  • [SPARK-41876] [SC-126849][CONNECT][PYTHON] Implementieren von DataFrame.toLocalIterator
  • [SPARK-42930] [SC-126761][CORE][SQL] Ändern des Zugriffsbereichs von mit ProtobufSerDe verwandten Implementierungen in private[protobuf]
  • [SPARK-42819] [SC-125879][SS] Hinzufügen von Unterstützung für das Festlegen von max_write_buffer_number und write_buffer_size für beim Streaming verwendete RocksDB
  • [SPARK-42924] [SC-126737][SQL][CONNECT][PYTHON] Erläutern des Kommentars parametrisierter SQL-Argumente
  • [SPARK-42748] [SC-126455][CONNECT] Serverseitige Artefaktverwaltung
  • [SPARK-42816] [SC-126365][CONNECT] Unterstützen einer maximalen Nachrichtengröße von bis zu 128 MB
  • [SPARK-42850] [SC-126109][SQL] Entfernen duplizierter Regel „CombineFilters“ im Optimierer
  • [SPARK-42662] [SC-126355][CONNECT][PS] Hinzufügen einer Proto-Nachricht für Pandas-API im Spark-Standardindex
  • [SPARK-42720] [SC-126136][PS][SQL] Verwendet Ausdruck für Standardindex mit verteilter Sequenz anstelle von Plan
  • [SPARK-42790] [SC-126174][SQL] Abstrahieren der ausgeschlossenen Methode zum besseren Testen für JDBC-Docker-Tests
  • [SPARK-42900] [SC-126473][CONNECT][PYTHON] Korrigieren von createDataFrame zum Berücksichtigen von Rückschluss und Spaltennamen
  • [SPARK-42917] [SC-126657][SQL] Korrigieren von GetUpdateColumnNullabilityQuery für DerbyDialect
  • [SPARK-42684] [SC-125157][SQL] v2-Katalog sollte standardmäßig keinen Spaltenstandardwert zulassen
  • [SPARK-42861] [SC-126635][SQL] Verwenden von private[sql] anstelle von protected[sql], um das Generieren einer API-Dokumentation zu vermeiden
  • [SPARK-42920] [SC-126728][CONNECT][PYTHON] Aktivieren von Tests für UDF mit UDT
  • [SPARK-42791] [SC-126617][SQL] Erstellen eines neuen goldenen Dateitestframeworks für die Analyse
  • [SPARK-42911] [SC-126652][PYTHON] Einführen grundlegenderer Ausnahmen
  • [SPARK-42904] [SC-126634][SQL] Char/Varchar-Unterstützung für JDBC-Katalog
  • [SPARK-42901] [SC-126459][CONNECT][PYTHON] Verschieben von StorageLevel in eine separate Datei, um das potenzielle Problem file recursively imports zu vermeiden
  • [SPARK-42894] [SC-126451][CONNECT] Unterstützen von cache/persist/unpersist/storageLevel für Spark Connect-JVM-Client
  • [SPARK-42792] [SC-125852][SS] Hinzufügen von Unterstützung für WRITE_FLUSH_BYTES für beim Streaming zustandsbehafteter Operatoren verwendete RocksDB
  • [SPARK-41233] [SC-126441][CONNECT][PYTHON] Hinzufügen von array_prepend zum Spark Connect-Python-Client
  • [SPARK-42681] [SC-125149][SQL] Lockern der Sortiereinschränkung für ALTER TABLE ADD|REPLACE-Spaltendeskriptor
  • [SPARK-42889] [SC-126367][CONNECT][PYTHON] Implementieren von cache, persist, unpersist und storageLevel
  • [SPARK-42824] [SC-125985][CONNECT][PYTHON] Angeben einer eindeutigen Fehlermeldung für nicht unterstützte JVM-Attribute
  • [SPARK-42340] [SC-126131][CONNECT][PYTHON] Implementieren der Grouped Map-API
  • [SPARK-42892] [SC-126454][SQL] Verschieben von sameType und relevanten Methoden aus DataType
  • [SPARK-42827] [SC-126126][CONNECT] Unterstützen von functions#array_prepend für Scala Connect-Client
  • [SPARK-42823] [SC-125987][SQL] spark-sql-Shell unterstützt mehrteilige Namespaces für die Initialisierung
  • [SPARK-42817] [SC-125960][CORE] Einmalies Protokollieren des Shuffle-Dienstnamens in ApplicationMaster
  • [SPARK-42786] [SC-126438][Connect] Typisierte Select-Methode
  • [SPARK-42800] [SC-125868][CONNECT][PYTHON] Implementieren der ML-Funktion {array_to_vector, vector_to_array}
  • [SPARK-42052] [SC-126439][SQL] Codegen-Unterstützung für HiveSimpleUDF
  • [SPARK-41233] [SC-126110][SQL][PYTHON] Hinzufügen der Funktion array_prepend
  • [SPARK-42864] [SC-126268][ML][3.4] Festlegen von IsotonicRegression.PointsAccumulator als privat
  • [SPARK-42876] [SC-126281][SQL] PhysicalDataType von DataType muss private[sql] sein
  • [SPARK-42101] [SC-125437][SQL] Ermöglichen der Unterstützung von AQE für inMemoryTableScanExec
  • [SPARK-41290] [SC-124030][SQL] Unterstützen von GENERATED ALWAYS AS-Ausdrücken für Spalten in CREATE/REPLACE TABLE-Anweisungen
  • [SPARK-42870] [SC-126220][CONNECT] Verschieben von toCatalystValue zu connect-common
  • [SPARK-42247] [SC-126107][CONNECT][PYTHON] Korrigieren von UserDefinedFunction mit returnType
  • [SPARK-42875] [SC-126258][CONNECT][PYTHON] Korrigieren von toPandas, um Zeitzonen- und Zuordnungstypen ordnungsgemäß zu behandeln
  • [SPARK-42757] [SC-125626][CONNECT] Implementieren von textFile für DataFrameReader
  • [SPARK-42803] [SC-126081][CORE][SQL][ML] Verwenden der getParameterCount-Funktion anstelle von getParameterTypes.length
  • [SPARK-42833] [SC-126043][SQL] Umgestalten von applyExtensions in SparkSession
  • [SPARK-41765] Zurücksetzen von „[SC-123550][SQL] Abrufen von v1-Schreibmetriken...“
  • [SPARK-42848] [SC-126105][CONNECT][PYTHON] Implementieren von DataFrame.registerTempTable
  • [SPARK-42020] [SC-126103][CONNECT][PYTHON] Unterstützen von UserDefinedType in Spark Connect
  • [SPARK-42818] [SC-125861][CONNECT][PYTHON] Implementieren von DataFrameReader/Writer.jdbc
  • [SPARK-42812] [SC-125867][CONNECT] Hinzufügen von client_type zu AddArtifactsRequest-Protobuf-Nachricht
  • [SPARK-42772] [SC-125860][SQL] Ändern des Standardwerts der JDBC-Optionen für Pushdown in TRUE
  • [SPARK-42771] [SC-125855][SQL] Umgestalten von HiveGenericUDF
  • [SPARK-25050] [SC-123839][SQL] Avro: Schreiben komplexer Unions
  • [SPARK-42765] [SC-125850][CONNECT][PYTHON] Aktivieren des Imports von pandas_udf aus pyspark.sql.connect.functions
  • [SPARK-42719] [SC-125225][CORE] MapOutputTracker#getMapLocation sollte spark.shuffle.reduceLocality.enabled berücksichtigen
  • [SPARK-42480] [SC-125173][SQL] Verbessern der Leistung beim Löschen von Partitionen
  • [SPARK-42689] [SC-125195][CORE][SHUFFLE] Ermöglichen der Deklaration der zuverlässigen Speicherung von Shuffledaten für ShuffleDriverComponent
  • [SPARK-42726] [SC-125279][CONNECT][PYTHON] Implementieren von DataFrame.mapInArrow
  • [SPARK-41765] [SC-123550][SQL] Abrufen von v1-Schreibmetriken in WriteFiles
  • [SPARK-41171] [SC-124191][SQL] Rückschließen und Herabsetzen des Fensterlimits, wenn partitionSpec leer ist
  • [SPARK-42686] [SC-125292][CORE] Zurückstellen der Formatierung für Debugnachrichten in TaskMemoryManager
  • [SPARK-42756] [SC-125443][CONNECT][PYTHON] Hilfsfunktion zum Konvertieren von Proto-Literal in einen Wert im Python-Client
  • [SPARK-42793] [SC-125627][CONNECT] connect-Modul erfordert build_profile_flags
  • [SPARK-42701] [SC-125192][SQL] Hinzufügen der try_aes_decrypt()-Funktion
  • [SPARK-42679] [SC-125438][CONNECT][PYTHON] createDataFrame funktioniert nicht mit einem Non-Nullable-Schema
  • [SPARK-42733] [SC-125542][CONNECT][Followup] Schreiben ohne Pfad oder Tabelle
  • [SPARK-42777] [SC-125525][SQL] Unterstützen der Konvertierung von TimestampNTZ-Katalogstatistiken in Planstatistiken
  • [SPARK-42770] [SC-125558][CONNECT] Hinzufügen von truncatedTo(ChronoUnit.MICROS), damit SQLImplicitsTestSuite in Java 17 die tägliche Test-GA-Aufgabe erfolgreich durchläuft
  • [SPARK-42752] [SC-125550][PYSPARK][SQL] Ermöglichen des Druckens von PySpark-Ausnahmen während der Initialisierung
  • [SPARK-42732] [SC-125544][PYSPARK][CONNECT] Unterstützen der getActiveSession-Methode der Spark Connect-Sitzung
  • [SPARK-42755] [SC-125442][CONNECT] Ausklammern der Literalwertkonvertierung in connect-common
  • [SPARK-42747] [SC-125399][ML] Korrigieren eines falschen internen Status von LoR und AFT
  • [SPARK-42740] [SC-125439][SQL] Beheben des Fehlers, dass ein Pushdown von Offset oder Paging für einen integrierten Dialekt ungültig ist
  • [SPARK-42745] [SC-125332][SQL] AliasAwareOutputExpression wurde verbessert und funktioniert mit DSv2
  • [SPARK-42743] [SC-125330][SQL] Unterstützen der Analyse von TimestampNTZ-Spalten
  • [SPARK-42721] [SC-125371][CONNECT] RPC-Protokollierungsinterceptor
  • [SPARK-42691] [SC-125397][CONNECT][PYTHON] Implementieren von Dataset.semanticHash
  • [SPARK-42688] [SC-124922][CONNECT] Umbenennen von client_id in session_id in Connect-Proto-Anforderung
  • [SPARK-42310] [SC-122792][SQL] Zuweisen eines Namens zu _LEGACY_ERROR_TEMP_1289
  • [SPARK-42685] [SC-125339][CORE] Optimieren von Utils.bytesToString-Routinen
  • [SPARK-42725] [SC-125296][CONNECT][PYTHON] Ermöglichen der Unterstützung von LiteralExpression für Arrayparameter
  • [SPARK-42702] [SC-125293][SPARK-42623][SQL] Unterstützen parametrisierter Abfragen in Unterabfragen und CTE
  • [SPARK-42697] [SC-125189][WEBUI] Korrigieren von /api/v1/applications, um die Gesamtverfügbarkeit anstelle von 0 im Feld für die Dauer zurückzugeben
  • [SPARK-42733] [SC-125278][CONNECT][PYTHON] Korrigieren von DataFrameWriter.save für die Funktion ohne path-Parameter
  • [SPARK-42376] [SC-124928][SS] Einführen der Wasserzeichenweitergabe zwischen Operatoren
  • [SPARK-42710] [SC-125205][CONNECT][PYTHON] Umbenennen von FrameMap-Proto in MapPartitions
  • [SPARK-37099] [SC-123542][SQL] Einführen des Fenster-Gruppengrenzwerts für rangbasierte Filter zur Optimierung der Top-K-Berechnung
  • [SPARK-42630] [SC-125207][CONNECT][PYTHON] Einführen von UnparsedDataType und Verzögern des Parsens der DDL-Zeichenfolge, bis SparkConnectClient verfügbar ist
  • [SPARK-42690] [SC-125193][CONNECT] Implementieren von CSV-/JSON-Parsingfunktionen für den Scala-Client
  • [SPARK-42709] [SC-125172][PYTHON] Entfernen der Annahme, dass __file__ verfügbar ist
  • [SPARK-42318] [SC-122648][SPARK-42319][SQL] Zuweisen eines Namens zu _LEGACY_ERROR_TEMP(2123|2125)
  • [SPARK-42723] [SC-125183][SQL] Unterstützen der Parserdatentyp-JSON „timestamp_ltz“ als TimestampType
  • [SPARK-42722] [SC-125175][CONNECT][PYTHON] Python Connect def schema() sollte das Schema nicht zwischenspeichern
  • [SPARK-42643] [SC-125152][CONNECT][PYTHON] Registrieren benutzerdefinierter Java-Funktionen (aggregiert)
  • [SPARK-42656] [SC-125177][CONNECT][Followup] Korrigieren des spark-connect-Skripts
  • [SPARK-41516] [SC-123899] [SQL] Ermöglichen des Überschreibens der Abfrage zum Erstellen einer Tabelle für JDBC-Dialekte
  • [SPARK-41725] [SC-124396][CONNECT] Eager Execution von DF.sql()
  • [SPARK-42687] [SC-124896][SS] Verbesserte Fehlermeldung für nicht unterstützten pivot-Vorgang in Streaming
  • [SPARK-42676] [SC-124809][SS] Schreiben temporärer Prüfpunkte zum Streamen von Abfragen an das lokale Dateisystem, auch wenn Standard-FS anders festgelegt ist
  • [SPARK-42303] [SC-122644][SQL] Zuweisen eines Namens zu _LEGACY_ERROR_TEMP_1326
  • [SPARK-42553] [SC-124560][SQL] Sicherstellen von mindestens einer Zeiteinheit nach „Intervall“
  • [SPARK-42649] [SC-124576][CORE] Entfernen des Apache-Standardlizenzheaders vom Anfang der Quelldateien von Drittanbietern
  • [SPARK-42611] [SC-124395][SQL] Einfügen von Char-/Varchar-Längenüberprüfungen für innere Felder während der Auflösung
  • [SPARK-42419] [SC-124019][CONNECT][PYTHON] Migrieren zum Fehlerframework für die Spark Connect-Spalten-API
  • [SPARK-42637] [SC-124522][CONNECT] Hinzufügen von SparkSession.stop()
  • [SPARK-42647] [SC-124647][PYTHON] Ändern des Alias für veraltete und entfernte NumPy-Typen
  • [SPARK-42616] [SC-124389][SQL] SparkSQLCLIDriver darf nur gestartete hive sessionState schließen
  • [SPARK-42593] [SC-124405][PS] Einstellen und Entfernen der APIs, die in Pandas 2.0 entfernt werden.
  • [SPARK-41870] [SC-124402][CONNECT][PYTHON] Korrigieren von createDataFrame zum Behandeln doppelter Spaltennamen
  • [SPARK-42569] [SC-124379][CONNECT] Auslösen von Ausnahmen für nicht unterstützte Sitzungs-API
  • [SPARK-42631] [SC-124526][CONNECT] Unterstützen benutzerdefinierter Erweiterungen im Scala-Client
  • [SPARK-41868] [SC-124387][CONNECT][PYTHON] Korrigieren von createDataFrame zum Unterstützen von Dauerangaben
  • [SPARK-42572] [SC-124171][SQL][SS] Korrigieren des Verhaltens für StateStoreProvider.validateStateRowFormat

Wartungsupdates

Informationen finden Sie unter Wartungsupdates für Databricks Runtime 13.1.

Systemumgebung

  • Betriebssystem: Ubuntu 22.04.2 LTS
  • Java: Zulu 8.70.0.23-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.2.2
  • Delta Lake: 2.4.0

Installierte Python-Bibliotheken

Bibliothek Version Bibliothek Version Bibliothek Version
appdirs 1.4.4 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.2.1 attrs 21.4.0 backcall 0.2.0
beautifulsoup4 4.11.1 black 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.28
certifi 2022.9.14 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 Klicken 8.0.4 cryptography 37.0.1
cycler 0.11.0 Cython 0.29.32 dbus-python 1.2.18
debugpy 1.5.1 decorator 5.1.1 defusedxml 0.7.1
distlib 0.3.6 docstring-to-markdown 0,12 entrypoints 0,4
executing 1.2.0 facets-overview 1.0.3 fastjsonschema 2.16.3
filelock 3.12.0 fonttools 4.25.0 googleapis-common-protos 1.56.4
grpcio 1.48.1 grpcio-status 1.48.1 httplib2 0.20.2
idna 3.3 importlib-metadata 4.6.4 ipykernel 6.17.1
ipython 8.10.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 jeepney 0.7.1 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.16.0
jupyter-client 7.3.4 jupyter_core 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 keyring 23.5.0 kiwisolver 1.4.2
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
MarkupSafe 2.0.1 matplotlib 3.5.2 matplotlib-inline 0.1.6
mccabe 0.7.0 mistune 0.8.4 more-itertools 8.10.0
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.5.0 nest-asyncio 1.5.5 nodeenv 1.7.0
Notebook 6.4.12 numpy 1.21.5 oauthlib 3.2.0
Packen 21,3 Pandas 1.4.4 pandocfilters 1.5.0
parso 0.8.3 pathspec 0.9.0 patsy 0.5.2
pexpect 4.8.0 pickleshare 0.7.5 Pillow 9.2.0
pip 22.2.2 platformdirs 2.5.2 plotly 5.9.0
pluggy 1.0.0 prometheus-client 0.14.1 prompt-toolkit 3.0.36
protobuf 3.19.4 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 8.0.0
pycparser 2.21 pydantic 1.10.6 pyflakes 3.0.1
Pygments 2.11.2 PyGObject 3.42.1 PyJWT 2.3.0
pyodbc 4.0.32 pyparsing 3.0.9 pyright 1.1.294
pyrsistent 0.18.0 Python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0
python-lsp-server 1.7.1 pytoolconfig 1.2.2 pytz 2022.1
pyzmq 23.2.0 requests 2.28.1 rope 1.7.0
s3transfer 0.6.0 scikit-learn 1.1.1 scipy 1.9.1
seaborn 0.11.2 SecretStorage 3.3.1 Send2Trash 1.8.0
setuptools 63.4.1 sechs 1.16.0 soupsieve 2.3.1
ssh-import-id 5.11 stack-data 0.6.2 statsmodels 0.13.2
tenacity 8.1.0 terminado 0.13.1 testpath 0.6.0
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlets 5.1.1 typing_extensions 4.3.0
ujson 5.4.0 unattended-upgrades 0,1 urllib3 1.26.11
virtualenv 20.16.3 wadllib 1.3.6 wcwidth 0.2.5
webencodings 0.5.1 whatthepatch 1.0.2 wheel 0.37.1
widgetsnbextension 3.6.1 yapf 0.31.0 zipp 1.0.0

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Microsoft CRAN-Momentaufnahme vom 10.02.2023 installiert.

Bibliothek Version Bibliothek Version Bibliothek Version
Pfeil 10.0.1 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 Blob 1.2.3
boot 1.3-28 brew 1,0 - 8 brio 1.1.3
broom 1.0.3 bslib 0.4.2 cachem 1.0.6
callr 3.7.3 caret 6.0-93 cellranger 1.1.0
chron 2.3-59 class 7.3-21 cli 3.6.0
clipr 0.8.0 clock 0.6.1 cluster 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.8.1
compiler 4.2.2 config 0.3.1 cpp11 0.4.3
crayon 1.5.2 Anmeldeinformationen 1.3.2 curl 5.0.0
data.table 1.14.6 datasets 4.2.2 DBI 1.1.3
dbplyr 2.3.0 desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 digest 0.6.31 downlit 0.4.2
dplyr 1.1.0 dtplyr 1.2.2 e1071 1.7-13
ellipsis 0.3.2 Evaluieren 0,20 fansi 1.0.4
farver 2.1.1 fastmap 1.1.0 fontawesome 0.5.0
forcats 1.0.0 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.6.1 future 1.31.0
future.apply 1.10.0 gargle 1.3.0 generics 0.1.3
gert 1.9.2 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-6 globals 0.16.2
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
gower 1.0.1 Grafiken 4.2.2 grDevices 4.2.2
grid 4.2.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.1 hardhat 1.2.0 haven 2.5.1
highr 0,10 hms 1.1.2 htmltools 0.5.4
htmlwidgets 1.6.1 httpuv 1.6.8 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.7 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 KernSmooth 2.23-20 knitr 1.42
labeling 0.4.2 later 1.3.0 lattice 0.20-45
lava 1.7.1 Lebenszyklus 1.0.3 listenv 0.9.0
lubridate 1.9.1 magrittr 2.0.3 markdown 1.5
MASS 7.3-58.2 Matrix 1.5-1 memoise 2.0.1
methods 4.2.2 mgcv 1.8-41 mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.10
munsell 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.5 parallel 4.2.2
parallelly 1.34.0 pillar 1.8.1 pkgbuild 1.4.0
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2
plogr 0.2.0 plyr 1.8.8 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 Fortschritt 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.2 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.10 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.2 recipes 1.0.4
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2,20 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.20 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 sass 0.4.5 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.4 sourcetools 0.1.7-1 sparklyr 1.7.9
SparkR 3.4.0 spatial 7.3-15 splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.2.2
stats4 4.2.2 stringi 1.7.12 stringr 1.5.0
survival 3.5-3 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.6 textshaping 0.3.6
tibble 3.1.8 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.2.0 timeDate 4022.108
tinytex 0.44 Tools 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.3
utils 4.2.2 uuid 1.1-0 vctrs 0.5.2
viridisLite 0.4.1 vroom 1.6.1 waldo 0.4.0
whisker 0.4.1 withr 2.5.0 xfun 0,37
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 zip 2.2.2

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)

Gruppen-ID Artefakt-ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics Datenstrom 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.14.2
com.fasterxml.jackson.core jackson-core 2.14.2
com.fasterxml.jackson.core jackson-databind 2.14.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.14.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.9
com.google.crypto.tink tink 1.7.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.214
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,21
io.delta delta-sharing-spark_2.12 0.6.4
io.dropwizard.metrics metrics-core 4.2.10
io.dropwizard.metrics metrics-graphite 4.2.10
io.dropwizard.metrics metrics-healthchecks 4.2.10
io.dropwizard.metrics metrics-jetty9 4.2.10
io.dropwizard.metrics metrics-jmx 4.2.10
io.dropwizard.metrics metrics-json 4.2.10
io.dropwizard.metrics metrics-jvm 4.2.10
io.dropwizard.metrics metrics-servlets 4.2.10
io.netty netty-all 4.1.87.Final
io.netty netty-buffer 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty netty-codec-http 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-socks 4.1.87.Final
io.netty netty-common 4.1.87.Final
io.netty netty-handler 4.1.87.Final
io.netty netty-handler-proxy 4.1.87.Final
io.netty netty-resolver 4.1.87.Final
io.netty netty-transport 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.87.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Sammlung 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 11.0.0
org.apache.arrow arrow-memory-core 11.0.0
org.apache.arrow arrow-memory-netty 11.0.0
org.apache.arrow arrow-vector 11.0.0
org.apache.avro avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.8.3-shaded-protobuf
org.apache.orc orc-mapreduce 1.8.3-shaded-protobuf
org.apache.orc orc-shims 1.8.3
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4,22
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.19.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.50.v20221201
org.eclipse.jetty jetty-continuation 9.4.50.v20221201
org.eclipse.jetty jetty-http 9.4.50.v20221201
org.eclipse.jetty jetty-io 9.4.50.v20221201
org.eclipse.jetty jetty-jndi 9.4.50.v20221201
org.eclipse.jetty jetty-plus 9.4.50.v20221201
org.eclipse.jetty jetty-proxy 9.4.50.v20221201
org.eclipse.jetty jetty-security 9.4.50.v20221201
org.eclipse.jetty jetty-server 9.4.50.v20221201
org.eclipse.jetty jetty-servlet 9.4.50.v20221201
org.eclipse.jetty jetty-servlets 9.4.50.v20221201
org.eclipse.jetty jetty-util 9.4.50.v20221201
org.eclipse.jetty jetty-util-ajax 9.4.50.v20221201
org.eclipse.jetty jetty-webapp 9.4.50.v20221201
org.eclipse.jetty jetty-xml 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-api 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-client 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-common 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-server 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-servlet 9.4.50.v20221201
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,36
org.glassfish.jersey.containers jersey-container-servlet-core 2,36
org.glassfish.jersey.core jersey-client 2,36
org.glassfish.jersey.core jersey-common 2,36
org.glassfish.jersey.core jersey-server 2,36
org.glassfish.jersey.inject jersey-hk2 2,36
org.hibernate.validator hibernate-validator 6.1.7.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.8
org.roaringbitmap RoaringBitmap 0.9.39
org.roaringbitmap shims 0.9.39
org.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,33
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1