Databricks Runtime 13.2 (EoS)

Hinweis

Die Unterstützung für diese Databricks-Runtime-Version wurde beendet. Informationen zum Enddatum des Supports finden Sie unter "Ende des Supports" und "Ende des Lebenszyklus". Eine Übersicht aller unterstützten Databricks Runtime-Versionen finden Sie unter Versionshinweise und Kompatibilität von Databricks Runtime.

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 13.2, unterstützt von Apache Spark 3.4.0.

Diese Version wurde von Databricks im Juli 2023 veröffentlicht.

Neue Features und Verbesserungen

Changelog-Checkpoints für den RocksDB-Statusspeicher

Sie können Änderungsprotokoll-Prüfpunkte aktivieren, um die Prüfpunktdauer und End-to-End-Latenz für zustandsbehaftete strukturierte Streamingworkloads zu verringern. Databricks empfiehlt, Änderungsprotokollprüfpunkte für alle zustandsbehafteten Abfragen von strukturiertem Streaming zu aktivieren. Weitere Informationen unter Aktivieren der Änderungsprotokollprüfpunkte.

Verbesserte Zuverlässigkeit für VACUUM mit flachem Klon in Unity Catalog.

Wenn Sie verwaltete Unity Catalog-Tabellen für die Quelle und das Ziel eines flachen Klonvorgangs verwenden, verwaltet Unity Catalog die zugrunde liegenden Datendateien zum Verbessern der Zuverlässigkeit für die Quelle und das Ziel des Klonvorgangs. Durch das Ausführen von VACUUM auf die Quelle eines flachen Klons wird die geklonte Tabelle nicht beschädigt. Weitere Informationen finden Sie unter Verwenden von VACUUM mit flachen Klonen in Unity Catalog.

Unterstützung für Python UDFs in SQL

Sie können jetzt benutzerdefinierte Funktionen mithilfe von Python in SQL-CREATE FUNCTION-Anweisungen im Unity-Katalog deklarieren. Siehe SQL und Python benutzerdefinierte Funktionen (UDFs) im Unity-Katalog.

Delta Lake UniForm für Apache Iceberg befindet sich in öffentlicher Beta-Version

Mit dem Delta Lake Universal Format (UniForm) können Sie Delta-Tabellen mit Apache Iceberg-Clients lesen. Siehe Delta Lake-Tabellen mit Iceberg-Clients mithilfe von UniForm lesen.

Delta Lake Liquid Clustering befindet sich in der öffentlichen Vorschau

Delta Lake Liquid Clustering ersetzt Tabellenpartitionierung und ZORDER, um Entscheidungen zum Datenlayout zu vereinfachen und die Abfrageleistung zu optimieren. Siehe Verwenden von Flüssigclustering für Tabellen.

Archivierungsunterstützung in Azure Databricks

Die Archivierungsunterstützung in Azure Databricks führt eine Sammlung von Funktionen ein, mit denen Sie cloudbasierte Lebenszyklusrichtlinien auf Cloud-Objektspeicher mit Delta-Tabellen anwenden können, um Dateien in Archivierungsspeicherebenen zu verschieben. Siehe Archivalunterstützung in Azure Databricks.

Unterstützung für IDENTIFIER-Klausel

Verwenden Sie IDENTIFIER(:mytable), um Tabellen-, Spalten-, Funktions- und Schemanamen in vielen SQL-Anweisungen sicher zu parametrisieren.

Unity-Katalogunterstützung für Python- und Pandas-User Defined Functions (UDFs)

Auf Databricks Runtime 13.2 und höher werden in Python geschriebene benutzerdefinierte Funktionen (USER-Defined Functions, UDFs) in Clustern unterstützt, die den Standardzugriffsmodus (ehemals gemeinsam genutzten Zugriffsmodus) in einem Unity-Katalog-fähigen Arbeitsbereich verwenden. Dazu gehören Python und Pandas UDFs. Ausführliche Informationen zu Python-UDFs finden Sie unter Benutzerdefinierte skalare Python-Funktionen (UDFs).

Freigeben von Schemas mithilfe von Delta Sharing

In Databricks Runtime 13.2 bietet die Möglichkeit, ALTER SHARE <share-name> ADD SCHEMA <schema-name> zu verwenden, um über Delta Sharing ein gesamtes Schema freizugeben. So erhält der Empfänger zum Zeitpunkt der Freigabe Zugriff auf alle Tabellen und Ansichten im Schema sowie auf alle Tabellen und Ansichten, die dem Schema künftig hinzugefügt werden. Weitere Informationen finden Sie unter Hinzufügen von Schemas zu einer Freigabe und ALTER SHARE.

Fehlerkorrekturen

  • Es wurde ein Fehler mit dem JSON-Reader behoben, bei dem Datensätze im PERMISSIVE-Modus analysiert wurden, wenn failOnUnknownFieldsmode aktiviert war. Datensätze werden jetzt im DROPMALFORMEDparser-Modus gelöscht oder in den badRecordsPath geschrieben, wenn eine dieser Optionen festgelegt ist. FAILFAST löst einen Fehler aus, wenn ein Spaltentyp nicht übereinstimmt.

Verbesserungen der Bibliothek

  • Aktualisierte Python-Bibliotheken:
    • nodeenv von 1.7.0 auf 1.8.0
  • Aktualisierte R-Bibliotheken:
  • Aktualisierte Java-Bibliotheken:
    • io.delta.delta-sharing-spark_2.12 von 0.6.7 auf 0.7.0

Apache Spark

Databricks Runtime 13.2 enthält Apache Spark 3.4.0. Diese Version enthält alle Spark-Fixes und -Verbesserungen, die in Databricks Runtime 13.1 (EoS) enthalten sind, sowie die folgenden zusätzlichen Fehlerkorrekturen und Verbesserungen an Spark:

  • [SPARK-42750] [SC-133452][dbrrm-273] Unterstützung der Insert By Name Anweisung
  • [SPARK-43133] [SC-133728] DataStreamWriter-Foreach-Unterstützung in Scala-Client
  • [SPARK-43663] [SC-134135][connect][PS] SeriesParityTests.test_compare aktivieren
  • [SPARK-43684] [SC-134162][spark-43685][SPARK-43686][spark-43691][CONNECT][ps] Fix (NullOps|NumOps).(eq|ne) für Spark Connect.
  • [SPARK-44021] [SC-134109][sql] Hinzufügen spark.sql.files.maxPartitionNum
  • [SPARK-43910] [SC-132936][sql] Entfernen Sie __auto_generated_subquery_name aus IDs in Fehlermeldungen
  • [SPARK-43976] [SC-133375][core] Behandeln Sie den Fall, in dem modifiedConfigs in Ereignisprotokollen nicht vorhanden ist.
  • [SPARK-32559] [SC-133992][sql] Fehler behoben, bei dem die Trim-Logik ASCII-Steuerzeichen nicht korrekt verarbeitet hat
  • [SPARK-43421] [SC-132930][ss] Changelog-basierte Prüfpunkte für den RocksDB State Store Provider implementieren
  • [SPARK-43594] [SC-133851][sql] Hinzufügen von LocalDateTime zu anyToMicros
  • [SPARK-43884] [SC-133867] Parameter-Marker in DDL
  • [SPARK-43398] [SC-133894][core] Executor-Timeout sollte das Maximum aus Idle-Shuffle- und RDD-Timeout sein
  • [SPARK-43610] [SC-133892][connect][PS] In Spark Connect aktivieren InternalFrame.attach_distributed_column .
  • [SPARK-43971] [SC-133826][connect][PYTHON] Unterstützen Sie Python createDataFrame im Streaming
  • [SPARK-44006] [SC-133652][connect][PYTHON] Cache-Artefakte unterstützen
  • [SPARK-43790] [SC-133468][python][CONNECT][ml] Api hinzufügen copyFromLocalToFs
  • [SPARK-43921] [SC-133461][protobuf] Generieren von Protobuf-Deskriptordateien während des Erstellungsprozesses
  • [SPARK-43906] [SC-133638][sc-133404][PYTHON][connect] Implementieren der Dateiunterstützung in SparkSession.addArtifacts
  • [SPARK-44010] [SC-133744][python][SS][minor] Korrektur des Typs für rowsPerSecond in Python StreamingQueryProgress
  • [SPARK-43768] [SC-132398][python][CONNECT] Python Unterstützung der Abhängigkeitsverwaltung in Python Spark Connect
  • [SPARK-43979] [13.X] Zurücksetzen von „[SC-133456][sql] CollectedMetrics should be treated as the same one for self-join“
  • [SPARK-42290] [SC-133696][sql] Fehler behoben, bei dem der OOM-Fehler bei aktiviertem AQE nicht gemeldet werden kann
  • [SPARK-43943] [SC-133648][sql][PYTHON][connect] Hinzufügen von SQL-mathematischen Funktionen zu Scala und Python
  • [SPARK-43747] [SC-132047][python][CONNECT] Implementieren der Pyfile-Unterstützung in SparkSession.addArtifacts
  • [SPARK-43700] [SC-133726][spark-43701][CONNECT][ps] Mit Spark Connect aktivieren TimedeltaOps.(sub|rsub)
  • [SPARK-43712] [SC-133641][spark-43713][CONNECT][ps] Aktivieren Sie den Paritätstest: test_line_plot, test_pie_plot.
  • [SPARK-43867] [ SC-132895][sql] Verbessern vorgeschlagener Kandidaten für ein nicht aufgelöstes Attribut
  • [SPARK-43901] [SC-133454][sql] Avro unterstützt benutzerdefinierten, auf Long basierenden Dezimaltyp
  • [SPARK-43267] [SC-133024][jdbc] Unbekannte benutzerdefinierte Postgres-Spalte als String im Array behandeln
  • [SPARK-43935] [SC-133637][sql][PYTHON][connect] Fügen Sie xpath_*-Funktionen zu Scala und Python
  • [SPARK-43916] [SC-133647][sql][PYTHON][connect] Hinzufügen eines Perzentils zur Scala- und Python-API
  • [SPARK-43717] [SC-133455][connect] Scala-Client reduce agg kann Null-Partitionen für primitive Scala-Eingaben nicht verarbeiten
  • [SPARK-43984] [ SC-133469][sql][PROTOBUF] Ändern, um foreach zu verwenden, wenn map keine Ergebnisse liefert
  • [SPARK-43612] [SC-132011][connect][PYTHON] Implementieren von SparkSession.addArtifact(s) in Python Client
  • [SPARK-44002] [SC-133606][connect] Handler für Artefaktstatus korrigieren
  • [SPARK-43933] [SC-133470][sql][PYTHON][connect] Hinzufügen linearer Regressionsaggregatfunktionen zu Scala und Python
  • [SPARK-43920] [SC-133614][sql][CONNECT] Sql/API-Modul erstellen
  • [SPARK-43979] [SC-133456][sql] Gesammelte Metriken sollten beim Self-Join als dieselben behandelt werden.
  • [SPARK-43977] [SC-133373][connect] Unerwartetes Prüfergebnis von dev/connect-jvm-client-mima-check korrigieren
  • [SPARK-43985] [SC-133412][protobuf] spark protobuf: Fehler bei Enums als Integer beheben
  • [SPARK-43930] [SC-133406][sql][PYTHON][connect] Fügen Sie unix_*-Funktionen zu Scala und Python
  • [SPARK-43807] [SC-132545][sql] Migrieren _LEGACY_ERROR_TEMP_1269 zu PARTITION_SCHEMA_IS_EMPTY
  • [SPARK-43956] [SC-133123][sql] Fehler behoben, bei dem das SQL der Spalte für Percentile[Cont|Disc] nicht angezeigt wird
  • [SPARK-42626] [SC-133248][connect] Hinzufügen destruktiver Iterator für SparkResult
  • [SPARK-43333] [SC-132898][sql] Avro das Konvertieren von Union-Typen in SQL mit typstabilem Feldnamen erlauben
  • [SPARK-43953] [SC-133134][connect] Entfernen pass
  • [SPARK-43970] [SC-133403][python][CONNECT] Ausblenden nicht unterstützter Dataframemethoden aus automatischer Vervollständigung
  • [SPARK-43973] [SC-133272][ss][UI] Strukturierte Streaming-Benutzeroberfläche sollte fehlerhafte Abfragen korrekt anzeigen
  • [SPARK-42577] [SC-125445][core] Begrenzung der maximalen Anzahl von Versuchen für Phasen hinzufügen, um potenzielle unendliche Wiederholungen zu vermeiden.
  • [SPARK-43841] [ SC-132699][sql] Behandlung von Kandidatenattributen ohne Präfix in StringUtils#orderSuggestedIdentifiersBySimilarity
  • [SPARK-41497] [SC-124795][Core][Follow UP]Ändern der Konfigurationsunterstützungsversion spark.rdd.cache.visibilityTracking.enabled auf 3.5.0
  • de-DE: [SPARK-37942] [SC-130983][core][SQL] Fehlerklassen migrieren
  • [SPARK-43898] [SC-132926][core] immutable.ArraySeq$ofRef automatisch bei KryoSerializer für Scala 2.13 registrieren
  • [SPARK-43775] [SC-132891][sql] DataSource V2: Zulassen, dass Aktualisierungen als Lösch- und Einfügungen dargestellt werden
  • [SPARK-43817] [SC-132662][spark-43702][PYTHON] UserDefinedType in createDataFrame aus pandas DataFrame und toPandas unterstützen
  • [SPARK-43418] [SC-132753][sc-130685][CONNECT] SparkSession.Builder.getOrCreate hinzufügen
  • [SPARK-43549] [SC-132383][sql] _LEGACY_ERROR_TEMP_0036 in INVALID_SQL_SYNTAX.ANALYZE_TABLE_UNEXPECTED_NOSCAN konvertieren
  • [SPARK-41497] [SC-124644][core] Akkumulator-Untererfassung bei Wiederholungsaufgabe mit RDD-Cache beheben
  • [SPARK-43892] [ SC-133006][python] Hinzufügen von AutoVervollständigen-Unterstützung für df[|] in pyspark.sql.dataframe.DataFrame
  • [SPARK-43881] [SC-133140][sql][PYTHON][connect] Fügen Sie optionales Muster für Catalog.listDatabases hinzu.
  • [SPARK-43205] [SC-132623] IDENTIFIER Klausel
  • [SPARK-43545] [SC-132378][sql][PYTHON] Unterstützung des geschachtelten Zeitstempeltyps
  • [SPARK-43949] [SC-133048][python] Upgrade cloudpickle auf 2.2.1
  • [SPARK-43760] [SC-132809][sql] Nullierbarkeit von skalaren Unterabfrageergebnissen
  • [SPARK-43696] [SC-132737][spark-43697][SPARK-43698][spark-43699][PS] Fix TimedeltaOps für Spark Connect
  • [SPARK-43895] [SC-132897][connect][GO] Go-Paketpfad vorbereiten
  • [SPARK-43894] [ SC-132892][python] Fehler in df.cache() beheben
  • [SPARK-43509] [SC-131625][connect] Unterstützung beim Erstellen mehrerer Spark Connect-Sitzungen
  • [SPARK-43882] [SC-132888][sql] Weisen Sie _LEGACY_ERROR_TEMP_2122 einen Namen zu
  • [SPARK-43687] [SC-132747][spark-43688][SPARK-43689][spark-43690][PS] Fix NumOps für Spark Connect
  • [SPARK-43604] [SC-132165][sql] INVALID_SQL_SYNTAX umgestalten, um das Einbetten von Fehlertexten in den Quellcode zu vermeiden
  • [SPARK-43859] [SC-132883][sql] toString in LateralColumnAliasReference überschreiben
  • [SPARK-43792] [SC-132939][sql][PYTHON][connect] Fügen Sie optionales Muster für Catalog.listCatalogs hinzu.
  • [SPARK-43353] Zurücksetzen von „[SC-132734][python] Migrate remaining session errors into error class“
  • [SPARK-43375] [SC-130309][connect] Verbessern Sie die Fehlermeldungen für INVALID_CONNECT_URL
  • [SPARK-43863] [SC-132721][connect] Entfernen von überflüssigem toSeq aus SparkConnectPlanner für Scala 2.13
  • [SPARK-43676] [SC-132708][spark-43677][SPARK-43678][spark-43679][PS] Fix DatetimeOps für Spark Connect
  • [SPARK-43666] [SC-132689][spark-43667][SPARK-43668][spark-43669][PS] Fix BinaryOps für Spark Connect
  • [SPARK-43680] [SC-132709][spark-43681][SPARK-43682][spark-43683][PS] Fix NullOps für Spark Connect
  • [SPARK-43782] [SC-132885][core] Konfiguration der Protokollebene mit statischer Spark-Konfiguration unterstützen
  • [SPARK-43132] [SC-131623] [SS] [CONNECT] Python-Client-API für DataStreamWriter.foreach()
  • [SPARK-43290] [SC-131961][sql] Fügt AES IV- und AAD-Unterstützung zu ExpressionImplUtils hinzu
  • [SPARK-43795] [ SC-132532][connect] Parameter entfernen, die für SparkConnectPlanner nicht verwendet werden
  • [SPARK-42317] [SC-129194][sql] _LEGACY_ERROR_TEMP_2247 einen Namen zuweisen: CANNOT_MERGE_SCHEMAS
  • [SPARK-43597] [SC-131960][sql] Weisen Sie der Fehlerklasse _LEGACY_ERROR_TEMP_0017 einen Namen zu
  • [SPARK-43834] [SC-132679][sql] Verwenden von Fehlerklassen bei Kompilierungsfehlern ResolveDefaultColumns
  • [SPARK-43749] [SC-132423][spark-43750][SQL] Weisen Sie Namen der Fehlerklasse _LEGACY_ERROR_TEMP_240[4-5] zu.
  • [SPARK-43576] [ SC-132533][Kern] Entfernen nicht verwendeter Deklarationen aus dem Core-Modul
  • [SPARK-43314] [SC-129970][connect][PYTHON] Spark Connect-Clientfehler in Fehlerklasse überführen
  • [SPARK-43799] [SC-132715][python] Eine binäre Deskriptor-Option zur Pyspark-Protobuf-API hinzufügen
  • [SPARK-43837] [SC-132678][sql] Weisen Sie der Fehlerklasse einen Namen zu_LEGACY_ERROR_TEMP_103[1-2]
  • [SPARK-43862] [SC-132750][sql] Weisen Sie der Fehlerklasse einen Namen LEGACY_ERROR_TEMP(1254 & 1315) zu.
  • [SPARK-43886] [SC-132808][python] Generics-Tupel als Eingabehinweise für Pandas-UDF akzeptieren
  • [SPARK-43530] [ SC-132653][protobuf] Deskriptordatei nur einmal lesen
  • [SPARK-43820] [SC-132676][spark-43822][SPARK-43823][spark-43826][SPARK-43827] Weisen Sie der Fehlerklasse Namen _LEGACY_ERROR_TEMP_241[1-7] zu.
  • [SPARK-43671] [SC-132519][spark-43672][SPARK-43673][spark-43674][PS] Fix CategoricalOps für Spark Connect
  • [SPARK-39979] [SC-132685][sql] Option zur Verwendung großer Vektoren mit variabler Breite für Arrow-UDF-Vorgänge hinzufügen
  • [SPARK-43692] [SC-132660][spark-43693][SPARK-43694][spark-43695][PS] Fix StringOps für Spark Connect
  • [SPARK-43353] [SC-132734][python] Migriere verbleibende Sitzungsfehler in Fehlerklasse
  • [SPARK-43815] [SC-132781][sql] Alias to_varchar hinzufügen für to_char
  • [SPARK-43543] [13.x][sc-131839][PYTHON] Behebung von Problemen mit dem geschachtelten MapType-Verhalten in Pandas UDF.
  • [SPARK-43361] [SC-131789][protobuf] Aktualisierung der Dokumentation für Fehler im Zusammenhang mit der Enum-Serialisierung
  • [SPARK-43740] [SC-132035][python][CONNECT] Ausblenden nicht unterstützter session Methoden aus der automatischen Vervollständigung
  • [SPARK-43022] [SC-131681][connect] Unterstützung von Protobuf-Funktionen für Scala-Client
  • [SPARK-43304] [13.x][sc-129969][CONNECT][python] Migrieren NotImplementedError zu PySparkNotImplementedError
  • [SPARK-43860] [SC-132713][sql] Endrekursion wo immer möglich aktivieren
  • [SPARK-42421] [SC-132695][core] Verwenden Sie die Utils, um den Switch für die dynamische Zuordnung abzurufen, die im lokalen Checkpoint verwendet wird.
  • [SPARK-43590] [SC-132012][connect] connect-jvm-client-mima-check so anpassen, dass MiMa-Prüfung mit protobuf-Modul unterstützt wird
  • [SPARK-43315] [13.x][connect][PYTHON][ss] Verbleibende Fehler von DataFrame(Reader|Writer) in Fehlerklasse verschieben
  • [SPARK-43361] [SC-130980][protobuf] spark-protobuf: SerDe mit Enum als Ints zulassen
  • [SPARK-43789] [SC-132397][r] Verwendet standardmäßig „spark.sql.execution.arrow.maxRecordsPerBatch“ in R createDataFrame mit Arrow
  • [SPARK-43596] [SC-126994][sql] Behandle das IsNull-Prädikat in rewriteDomainJoins
  • [SPARK-42249] [SC-122565][sql] Verfeinerung des HTML-Links für die Dokumentation in Fehlermeldungen.
  • [SPARK-43128] [SC-131628][connect][SS] recentProgress und lastProgress so anpassen, dass StreamingQueryProgress konsistent mit der nativen Scala-API zurückgegeben wird
  • [SPARK-43387] [SC-130448][sql] Stellen Sie einen lesbaren Fehlercode für _LEGACY_ERROR_TEMP_1168 bereit.
  • [SPARK-43334] [SC-132358] [UI] Beheben eines Fehlers beim Serialisieren von ExecutorPeakMetricsDistributions in API-Antwort
  • [SPARK-42958] [SC-131475][connect] connect-jvm-client-mima-check umgestalten, um MiMa-Prüfung mit Avro-Modul zu unterstützen
  • [SPARK-43591] [SC-131977][sql] Weisen Sie der Fehlerklasse _LEGACY_ERROR_TEMP_0013 einen Namen zu
  • [SPARK-38464] [SC-132211][core] Verwenden von Fehlerklassen in org.apache.spark.io
  • [SPARK-43759] [SC-132189][sql][PYTHON] Verfügbarmachen von TimestampNTZType in pyspark.sql.types
  • [SPARK-43649] [SC-132036][spark-43650][SPARK-43651][sql] Weisen Sie der Fehlerklasse Namen _LEGACY_ERROR_TEMP_240[1-3] zu.
  • [SPARK-43719] [SC-132016][webui] Feld missing row.excludedInStages verarbeiten
  • [SPARK-42956] [SC-127257][connect] Unterstützung von Avro-Funktionen für den Scala-Client
  • [SPARK-43487] [SC-131975][sql] Fehlermeldung für verschachtelte CTE korrigieren
  • [SPARK-43265] [SC-129653] Verschieben des Fehlerframeworks in ein allgemeines utils-Modul
  • [SPARK-40912] [SC-131547][core] Overhead von Ausnahmen in KryoDeserializationStream
  • [SPARK-43583] [SC-131976][core] MergedBlockedMetaReqHandler von dem Delegierten anstelle der SaslRpcHandler-Instanz abrufen.
  • [SPARK-42996] [SC-131997][connect][PS][ml] Erstellen und Zuweisen ordnungsgemäßer JIRA-Tickets für alle Fehlerhaften Tests.
  • [SPARK-38469] [SC-131425][core] Verwenden Sie die Fehlerklasse in org.apache.spark.network
  • [SPARK-43718] [SC-132014][sql] Nullable für Schlüssel in USING-Joins korrekt festlegen
  • [SPARK-43502] [ SC-131419][python][CONNECT] DataFrame.drop sollte leere Spalte akzeptieren
  • [SPARK-43743] [SC-132038][sql] Port HIVE-12188(DoAs funktioniert in nicht Kerberos-sicheren HS2 nicht ordnungsgemäß)
  • [SPARK-43598] [SC-131929][sql] Weisen Sie der Fehlerklasse _LEGACY_ERROR_TEMP_2400 einen Namen zu.
  • [SPARK-43138] [SC-131031][core] Fix ClassNotFoundException während der Migration
  • [SPARK-43360] [SC-131526][ss][CONNECT] Scala-Client StreamingQueryManager
  • [SPARK-38467] [SC-131025][core] Verwenden von Fehlerklassen in org.apache.spark.memory
  • [SPARK-43345] [SC-131790][spark-43346][SQL] Benennen Sie die Fehlerklassen LEGACY_ERROR_TEMP[0041|1206] um.
  • [SPARK-42815] [SC-126450][sql] Eliminierung von Unterausdrücken unterstützt Shortcut-Ausdruck
  • [SPARK-38462] [SC-130449][core] Fehlerklasse INTERNAL_ERROR_EXECUTOR hinzufügen
  • [SPARK-43589] [SC-131798][sql] cannotBroadcastTableOverMaxTableBytesError beheben, um bytesToString zu verwenden
  • [SPARK-43539] [SC-131830][sql] Weisen Sie der Fehlerklasse einen Namen zu_LEGACY_ERROR_TEMP_0003
  • [SPARK-43157] [SC-131688][sql] InMemoryRelation-Zwischenspeicherplan klonen, um zu verhindern, dass der geklonte Plan auf dieselben Objekte verweist.
  • [SPARK-43309] [SC-129746][spark-38461][CORE] INTERNAL_ERROR um Kategorien erweitern und Fehlerklasse INTERNAL_ERROR_BROADCAST hinzufügen
  • [SPARK-43281] [SC-131370][sql] Beheben, dass ein gleichzeitiger Schreiber keine Dateimetriken aktualisiert.
  • [SPARK-43383] [SC-130660][sql] Hinzufügen von rowCount Statistiken zu LocalRelation
  • [SPARK-43574] [SC-131739][python][SQL] Unterstützung zum Festlegen der ausführbaren Python-Datei für UDF- und pandas-Funktions-APIs in Workern zur Laufzeit
  • [SPARK-43569] [SC-131694][sql] Problemumgehung für HADOOP-14067 entfernen
  • [SPARK-43183] [SC-128938][ss][13.x] Führt einen neuen Rückruf "onQueryIdle" in StreamingQueryListener ein
  • [SPARK-43528] [SC-131531][sql][PYTHON] Duplizierte Feldnamen in createDataFrame mit pandas DataFrame unterstützen
  • [SPARK-43548] [SC-131686][ss] Problemumgehung für HADOOP-16255 entfernen
  • [SPARK-43494] [SC-131272][core] replicate() für HdfsDataOutputStreamBuilder direkt aufrufen, anstatt Reflektion in SparkHadoopUtil#createFile zu verwenden
  • [SPARK-43471] [SC-131063][core] Fehlende hadoopProperties und metricsProperties behandeln
  • [SPARK-42899] [SC-126456][sql] Korrigiert DataFrame.to(schema), um den Fall zu behandeln, in dem ein nicht-nullwertiges geschachteltes Feld in einem nullfähigen Feld vorhanden ist.
  • [SPARK-43302] [SC-129747][sql] Machen Sie Python UDAF zu einer Aggregatfunktion
  • [SPARK-43223] [SC-131270][connect] Typisierte agg-, reduce-Funktionen, RelationalGroupedDataset#as
  • [SPARK-43482] [SC-131375][ss] Erweitern Sie QueryTerminatedEvent, um fehlerklasse zu enthalten, wenn sie in Ausnahme vorhanden ist
  • [SPARK-43359] [SC-131463][sql] Löschen aus Hive-Tabelle sollte „UNSUPPORTED_FEATURE.TABLE_OPERATION“ auslösen
  • [SPARK-43284] [SC-130313] Zurückwechseln zu URL-codierten Zeichenfolgen
  • [SPARK-43492] [SC-131227][sql] Funktionsaliase DATE_ADD und DATE_DIFF mit 3 Argumenten hinzufügen
  • [SPARK-43473] [SC-131372][python] Strukturtyp in createDataFrame aus pandas DataFrame unterstützen
  • [SPARK-43386] [SC-131110][sql] Verbesserung der Liste der vorgeschlagenen Spalten/Attribute in der UNRESOLVED_COLUMN.WITH_SUGGESTION Fehlerklasse
  • [SPARK-43443] [SC-131332][sql] Benchmark für die Typinferenz von Zeitstempeln bei ungültigen Werten hinzufügen.
  • [SPARK-43518] [SC-131420][sql] _LEGACY_ERROR_TEMP_2029 in INTERNAL_ERROR konvertieren
  • [SPARK-42604] [SC-130648][connect] functions.typedlit implementieren
  • [SPARK-42323] [ES-669513] Zurücksetzen von „[SC-123479][sql] Assign name to _LEGACY_ERROR_TEMP_2332“
  • [SPARK-43357] [SC-130649][sql] Datumstyp filtern, Datum in Anführungszeichen setzen
  • [SPARK-43410] [SC-130526][sql] Vektorisierte Schleife für Packed skipValues verbessern
  • [SPARK-43441] [SC-130995][core] makeDotNode sollte nicht fehlschlagen, wenn DeterministicLevel nicht vorhanden ist.
  • [SPARK-43324] [SC-130455][sql] UPDATE-Befehle für Delta-basierte Quellen behandeln
  • [SPARK-43272] [SC-131168][Kern] Rufen Sie direkt createFile anstelle der Reflexion auf
  • [SPARK-43296] [13.x][sc-130627][CONNECT][python] Spark Connect-Sitzungsfehler in Fehlerklasse migrieren
  • [SPARK-43405] [SC-130987][sql] Entfernen Nutzlos getRowFormatSQL, , inputRowFormatSQLoutputRowFormatSQL Methode
  • [SPARK-43447] [SC-131017][r] Unterstützung für R 4.3.0
  • [SPARK-43425] [ SC-130981][sql] Hinzufügen TimestampNTZType zu ColumnarBatchRow
  • [SPARK-41532] [SC-130523][connect][CLIENT] Fügen Sie die Überprüfung auf Vorgänge hinzu, die mehrere Datenframes umfassen
  • [SPARK-43262] [SC-129270][connect][SS][Python] Migration von Spark Connect Structured Streaming-Fehlern in die Fehlerklasse
  • [SPARK-42992] [13.x][sc-129465][PYTHON] Stellt PySparkRuntimeError vor
  • [SPARK-43422] [SC-130982][sql] Tags bei LogicalRelation mit Metadaten-Ausgabe beibehalten
  • [SPARK-43390] [SC-130646][sql] DSv2 ermöglicht CTAS/RTAS, die Nullierbarkeit des Schemas zu reservieren.
  • [SPARK-43430] [ SC-130989][connect][PROTO] ExecutePlanRequest unterstützt beliebige Anforderungsoptionen.
  • [SPARK-43313] [SC-130254][sql] Hinzufügung fehlender Spalten-Standardwerte für MERGE-Aktionen INSERT
  • [SPARK-42842] [SC-130438][sql] Zusammenführen der Fehlerklasse _LEGACY_ERROR_TEMP_2006 in REGEX_GROUP_INDEX
  • [SPARK-43377] [SC-130405][sql] Standardmäßig aktivieren spark.sql.thriftServer.interruptOnCancel
  • [SPARK-43292] [SC-130525][core][CONNECT] Wechsle ExecutorClassLoader zu core Modul und vereinfache Executor#addReplClassLoaderIfNeeded
  • [SPARK-43040] [SC-130310][sql] Unterstützung für TimestampNTZ-Typ in JDBC-Datenquelle verbessern
  • [SPARK-43343] [SC-130629][ss] FileStreamSource sollte beim Erstellen von DataSource eine zusätzliche Datei-Globprüfung deaktivieren.
  • [SPARK-43312] [SC-130294][protobuf] Option zum Konvertieren von Feldern in JSON
  • [SPARK-43404] [SC-130586][ss] Umgehen der erneuten Verwendung der sst-Datei für dieselbe Version des RocksDB-Zustandsspeichers, um einen ID-Fehlübereinstimmungsfehler zu vermeiden.
  • [SPARK-43397] [SC-130614][core] Dauer der Executor-Außerbetriebnahme in executorLost-Methode protokollieren
  • [SPARK-42388] [SC-128568][sql] Zweimaliges Lesen des Parquet-Footers im vektorisierten Reader vermeiden
  • [SPARK-43306] [13.x][sc-130320][PYTHON] Migrieren von ValueError aus Spark SQL-Typen in fehlerklasse
  • [SPARK-43337] [SC-130353][ui][3.4] Asc/desc-Pfeilsymbole zum Sortieren von Spalten werden in der Tabellenspalte nicht angezeigt
  • [SPARK-43279] [SC-130351][core] Nicht verwendete Member aus SparkHadoopUtil bereinigen
  • [SPARK-43250] [SC-130147][sql] Ersetzen Sie die Fehlerklasse _LEGACY_ERROR_TEMP_2014 durch einen internen Fehler.
  • [SPARK-43363] [SC-130299][sql][PYTHON] astype für den Kategorietyp nur aufrufen, wenn der Arrow-Typ nicht angegeben ist
  • [SPARK-43261] [SC-130154][python] Migrieren TypeError von Spark SQL-Typen zu Fehlerklasse
  • [SPARK-41971] [SC-130230][sql][PYTHON] Konfiguration für pandas-Konvertierung zur Behandlung von Strukturtypen hinzufügen
  • [SPARK-43381] [SC-130464][connect] "transformStatCov" lazy machen
  • [SPARK-43362] [SC-130481][sql] Spezielle Behandlung des JSON-Typs für MySQL-Connector
  • [SPARK-42843] [SC-130196][sql] Aktualisieren der Fehlerklasse _LEGACY_ERROR_TEMP_2007 auf REGEX_GROUP_INDEX
  • [SPARK-42585] [SC-129968][connect] Streaming von lokalen Relationen
  • [SPARK-43181] [SC-130476][sql] Ui-WebURL in spark-sql Shell anzeigen
  • [SPARK-43051] [SC-130194][connect] Option zum Ausgeben von Standardwerten hinzufügen
  • [SPARK-43204] [SC-129296][sql] Ausrichten von MERGE-Zuordnungen an Tabellenattributen
  • [SPARK-43348] [SC-130082][python] Unterstützung für Python 3.8 in PyPy3
  • [SPARK-42845] [SC-130078][sql] Aktualisieren der Fehlerklasse _LEGACY_ERROR_TEMP_2010 auf InternalError
  • [SPARK-43211] [ SC-128978][hive] Entfernen der Hadoop2-Unterstützung in IsolatedClientLoader

Systemumgebung

  • Betriebssystem: Ubuntu 22.04.2 LTS
  • Java: Zulu 8.70.0.23-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.2.2
  • Delta Lake: 2.4.0

Installierte Python-Bibliotheken

Bibliothek Version Bibliothek Version Bibliothek Version
AppDirs 1.4.4 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.2.1 attrs 21.4.0 backcall 0.2.0
beautifulsoup4 4.11.1 schwarz 22.6.0 Bleichmittel 4.1.0
Blinker 1.4 boto3 1.24.28 Botocore 1.27.28
Zertifikat 2022.9.14 cffi 1.15.1 chardet 4.0.0
Charset-Normalizer 2.0.4 klicken 8.0.4 Kryptografie 37.0.1
Fahrradfahrer 0.11.0 Cython 0.29.32 Databricks-SDK 0.1.6
dbus-python 1.2.18 debugpy 1.5.1 Dekorateur 5.1.1
defusedxml 0.7.1 distlib 0.3.6 docstring-to-markdown 0,12
Einstiegspunkte 0,4 ausführen 1.2.0 Übersicht der Facetten 1.0.3
fastjsonschema 2.16.3 Dateisperrung 3.12.0 fonttools 4.25.0
googleapis-common-protos 1.56.4 grpcio 1.48.1 grpcio-status 1.48.1
httplib2 0.20.2 IDNA 3.3 importlib-metadata 4.6.4
ipykernel 6.17.1 ipython 8.10.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 Jedi 0.18.1 Jeepney 0.7.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.2.0
jsonschema 4.16.0 Jupyter-Client 7.3.4 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 Schlüsselring 23.5.0
kiwisolver 1.4.2 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 MarkupSafe 2.0.1 matplotlib 3.5.2
matplotlib-inline 0.1.6 mccabe 0.7.0 mistune 0.8.4
more-itertools 8.10.0 mypy-Erweiterungen 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.5.0 nest-asyncio 1.5.5
nodeenv 1.8.0 Notebook 6.4.12 numpy 1.21.5
oauthlib 3.2.0 Verpackung 21,3 Pandas 1.4.4
pandocfilters 1.5.0 Parso 0.8.3 pathspec 0.9.0
patsy 0.5.2 pexpect 4.8.0 pickleshare 0.7.5
Kissen 9.2.0 pip 22.2.2 platformdirs 2.5.2
plotly 5.9.0 pluggy 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 3.19.4 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
Pyarrow 8.0.0 pycparser 2.21 pydantic 1.10.6
Pyflakes 3.0.1 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.32 pyparsing 3.0.9
pyright 1.1.294 pyrsistent 0.18.0 Python-dateutil 2.8.2
python-lsp-jsonrpc 1.0.0 Python-LSP-Server 1.7.1 pytoolconfig 1.2.2
pytz 2022.1 pyzmq 23.2.0 requests 2.28.1
Seil 1.7.0 s3transfer 0.6.0 scikit-learn 1.1.1
scipy 1.9.1 Seegeboren 0.11.2 SecretStorage 3.3.1
Send2Trash 1.8.0 setuptools 63.4.1 Sechs 1.16.0
soupsieve 2.3.1 ssh-import-id 5.11 Stapeldaten 0.6.2
StatistikModelle 0.13.2 Hartnäckigkeit 8.1.0 terminado 0.13.1
Testpfad 0.6.0 Threadpoolctl 2.2.0 tokenize-rt 4.2.1
tomli 2.0.1 tornado 6.1 traitlets 5.1.1
typing_extensions 4.3.0 ujson 5.4.0 unbeaufsichtigte Aktualisierungen 0,1
urllib3 1.26.11 virtualenv 20.16.3 wadllib 1.3.6
wcwidth (Breite eines Zeichens) 0.2.5 Webkodierungen 0.5.1 whatthepatch 1.0.2
Rad 0.37.1 widgetsnbextension 3.6.1 yapf 0.31.0
zipp 1.0.0

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Momentaufnahme von Microsoft CRAN vom 10.02.2023 installiert.

Bibliothek Version Bibliothek Version Bibliothek Version
Pfeil 10.0.1 Askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 Klumpen 1.2.3
boot 1.3-28 brew 1,0 - 8 brio 1.1.3
Besen 1.0.3 bslib 0.4.2 cachem 1.0.6
callr 3.7.3 caret 6.0-93 CellRanger 1.1.0
chron 2.3-59 class 7.3-21 Kommandozeilenschnittstelle (CLI) 3.6.0
Clipr 0.8.0 Uhr 0.6.1 cluster 2.1.4
Codetools 0.2-19 colorspace 2.1-0 commonmark 1.8.1
Kompilierer 4.2.2 Konfiguration 0.3.1 cpp11 0.4.3
Buntstift 1.5.2 Zugangsdaten 1.3.2 cURL 5.0.0
data.table 1.14.6 Datensätze 4.2.2 DBI 1.1.3
dbplyr 2.3.0 desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 verdauen 0.6.31 downlit 0.4.2
dplyr 1.1.0 dtplyr 1.2.2 e1071 1.7-13
Ellipse 0.3.2 auswerten 0,20 Fans 1.0.4
farver 2.1.1 fastmap 1.1.0 fontawesome 0.5.0
forcats 1.0.0 foreach 1.5.2 foreign 0.8-82
schmieden 0.2.0 fs 1.6.1 Zukunft 1.31.0
future.apply 1.10.0 gurgeln 1.3.0 Generika 0.1.3
gert 1.9.2 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-6 globals 0.16.2
Klebstoff 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
gower 1.0.1 Graphik 4.2.2 grDevices 4.2.2
grid 4.2.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.1 hardhat 1.2.0 Hafen 2.5.1
highr 0,10 hms 1.1.2 HTML-Werkzeuge 0.5.4
htmlwidgets 1.6.1 httpuv 1.6.8 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.7 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 KernSmooth 2.23-20 knitr 1.42
Etikettierung 0.4.2 later 1.3.0 lattice 0.20-45
lava 1.7.1 Lebenszyklus 1.0.3 listenv 0.9.0
lubridate 1.9.1 magrittr 2.0.3 markdown 1.5
Masse 7.3-58.2 Matrix 1.5-1 memoise 2.0.1
Methodik 4.2.2 mgcv 1.8-41 Mime-Kunst 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 Modellierer 0.1.10
munsell 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016.8 bis 1.1 OpenSSL 2.0.5 parallel 4.2.2
parallelly 1.34.0 Säule 1.8.1 pkgbuild 1.4.0
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2
plogr 0.2.0 plyr 1.8.8 loben 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 Fortschritt 1.2.2
progressr 0.13.0 Versprechungen 1.2.0.1 proto 1.0.0
proxy 0.4-27 P.S. 1.7.2 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.10 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl (Softwarepaket zum Lesen von Excel-Dateien) 1.4.2 Rezepte 1.0.4
Rückspiel 1.0.1 Rückspiel2 2.1.2 Fernzugriffe 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2,20 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.20 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 sass 0.4.5 Waagen 1.2.1
Selektor 0.4-2 Sitzungsinformationen 1.2.2 Gestalt 1.4.6
glänzend 1.7.4 sourcetools 0.1.7-1 sparklyr 1.7.9
SparkR 3.4.0 räumlich 7.3-15 splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 Statistiken 4.2.2
Statistiken4 4.2.2 stringi 1.7.12 stringr 1.5.0
Überleben 3.5-3 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.6 Textgestaltung 0.3.6
Tibble 3.1.8 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 1.3.2 Zeitumstellung 0.2.0 timeDate 4022.108
tinytex 0.44 Werkzeuge 4.2.2 Zeitzonendatenbank (tzdb) 0.3.0
URL-Prüfer 1.0.1 Nutze dies 2.1.6 utf8 1.2.3
utils 4.2.2 Universelle eindeutige Kennung (UUID) 1.1-0 vctrs 0.5.2
viridisLite 0.4.1 Vroom 1.6.1 Waldo 0.4.0
whisker 0.4.1 withr 2.5.0 xfun 0,37
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 Zip-Datei 2.2.2

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)

Gruppen-ID Artefakt-ID Version
antlr antlr 2.7.7
com.amazonaws Amazon-Kinesis-Client 1.12.0
com.amazonaws AWS Java SDK für Auto Scaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch (Cloud-Suchdienst) 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws AWS-Java-SDK-Konfiguration 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk (Java SDK für Elastic Beanstalk von AWS) 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-Protokolle 1.12.390
com.amazonaws aws-java-sdk-machinelearning (Maschinelles Lernen) 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway (AWS-Storage-Gateway-SDK) 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-Support (Unterstützung für AWS Java SDK) 1.12.390
com.amazonaws AWS-Java-SDK-SWF-Bibliotheken 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics Datenstrom 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware Minlog 1.3.0
com.fasterxml Klassenkamerad 1.3.4
com.fasterxml.jackson.core Jackson-Anmerkungen 2.14.2
com.fasterxml.jackson.core jackson-core 2.14.2
com.fasterxml.jackson.core jackson-databind 2.14.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.14.2
com.github.ben-manes.caffeine Koffein 2.9.3
com.github.fommil Jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-Einheimische
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-Einheimische
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-Einheimische
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-Einheimische
com.github.luben zstd-jni 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.9
com.google.crypto.tink tink 1.7.0
com.google.errorprone fehleranfällige Annotationen 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava Guava 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.214
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox Bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure Azure Data Lake Store SDK (Software Development Kit für Azure Data Lake Store) 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses linsen_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe Konfiguration 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
Commons-Dateihochladen Commons-Dateihochladen 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift Luftkompressor 0,21
io.delta delta-sharing-spark_2.12 0.7.0
io.dropwizard.metrics metrics-core 4.2.10
io.dropwizard.metrics metrics-graphite 4.2.10
io.dropwizard.metrics Metriken-Gesundheitsprüfungen 4.2.10
io.dropwizard.metrics metrics-jetty9 4.2.10
io.dropwizard.metrics metrics-jmx 4.2.10
io.dropwizard.metrics metrics-json 4.2.10
io.dropwizard.metrics metrics-jvm 4.2.10
io.dropwizard.metrics Metrik-Servlets 4.2.10
io.netty netty-all 4.1.87.Final
io.netty netty-buffer 4.1.87.Final
io.netty Netty Codec 4.1.87.Final
io.netty netty-codec-http 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-socks 4.1.87.Final
io.netty netty-common 4.1.87.Final
io.netty Netty-Handler 4.1.87.Final
io.netty netty-handler-proxy 4.1.87.Final
io.netty netty-resolver 4.1.87.Final
io.netty netty-transport 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.87.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Sammler 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation Aktivierung 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Java Transaction API (JTA) 1.1
javax.transaction Transaktions-API 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
net.java.dev.jna jna 5.8.0
net.razorvine Gurke 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake Snowflake-JDBC 3.13.29
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr StringTemplate 3.2.1
org.apache.ant Ameise 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow Pfeilformat 11.0.0
org.apache.arrow arrow-memory-core 11.0.0
org.apache.arrow arrow-memory-netty 11.0.0
org.apache.arrow Pfeil-Vektor 11.0.0
org.apache.avro avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator Kurator-Klient 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator Rezepte des Kurators 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop Hadoop-Client-Laufzeit 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.8.3-shaded-protobuf
org.apache.orc orc-mapreduce 1.8.3-shaded-protobuf
org.apache.orc orc-shims 1.8.3
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4,22
org.apache.yetus Zuschauer-Anmerkungen 0.13.0
org.apache.zookeeper Tierpfleger 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.19.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino Commons-Compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty Jetty-Client 9.4.50.v20221201
org.eclipse.jetty jetty-continuation 9.4.50.v20221201
org.eclipse.jetty Jetty-HTTP 9.4.50.v20221201
org.eclipse.jetty Jetty-IO 9.4.50.v20221201
org.eclipse.jetty jetty-jndi 9.4.50.v20221201
org.eclipse.jetty Jetty-Plus 9.4.50.v20221201
org.eclipse.jetty Jetty-Proxy 9.4.50.v20221201
org.eclipse.jetty Jetty-Sicherheit 9.4.50.v20221201
org.eclipse.jetty Jetty Server 9.4.50.v20221201
org.eclipse.jetty jetty-servlet 9.4.50.v20221201
org.eclipse.jetty jetty-servlets 9.4.50.v20221201
org.eclipse.jetty jetty-util 9.4.50.v20221201
org.eclipse.jetty jetty-util-ajax 9.4.50.v20221201
org.eclipse.jetty Jetty-Webanwendung 9.4.50.v20221201
org.eclipse.jetty jetty-xml 9.4.50.v20221201
org.eclipse.jetty.websocket WebSocket-API 9.4.50.v20221201
org.eclipse.jetty.websocket WebSocket-Client 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-common 9.4.50.v20221201
org.eclipse.jetty.websocket WebSocket-Server 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-servlet 9.4.50.v20221201
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,36
org.glassfish.jersey.containers jersey-container-servlet-core 2,36
org.glassfish.jersey.core jersey-client 2,36
org.glassfish.jersey.core jersey-common 2,36
org.glassfish.jersey.core jersey-server 2,36
org.glassfish.jersey.inject jersey-hk2 2,36
org.hibernate.validator hibernate-validator 6.1.7.Endgültig
org.javassist Javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anmerkungen 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.8
org.roaringbitmap RoaringBitmap 0.9.39
org.roaringbitmap shims 0.9.39
org.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt Testoberfläche 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest ScalaTest-kompatibel 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,33
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
  • Last updated on