Freigeben über

Databricks Runtime 15.3 (EoS)

Anmerkung

Die Unterstützung für diese Databricks-Runtime-Version wurde beendet. Das Datum des Supportendes finden Sie im Verlauf zum Supportende. Alle unterstützten Databricks Runtime-Versionen finden Sie unter Databricks Runtime-Versionshinweise – Versionen und Kompatibilität.

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 15.3, unterstützt von Apache Spark 3.5.0.

Databricks hat diese Version im Juni 2024 veröffentlicht.

Neue Features und Verbesserungen

PySpark DataSources unterstützen jetzt Streamlese- und Schreibvorgänge

PySpark DataSources, die das Lesen aus benutzerdefinierten Datenquellen und das Schreiben in benutzerdefinierte Datensenken ermöglichen, unterstützen jetzt das Lesen und Schreiben von Datenstrom. Siehe PySpark benutzerdefinierte Datenquellen.

Deaktivieren der Spaltenzuordnung mit dem Ablegefeature

Sie können jetzt DROP FEATURE verwenden, um die Spaltenzuordnung in Delta-Tabellen zu deaktivieren und das Tabellenprotokoll zu downgradeen. Siehe Spaltenzuordnung deaktivieren.

Syntax und Funktionen des Variant-Typs in der öffentlichen Vorschau

Native Apache Spark-Unterstützung für die Arbeit mit halbstrukturierten Daten als VARIANT Typ ist jetzt in Spark DataFrames und SQL verfügbar. Siehe Abfragevariantendaten.

Variant-Typunterstützung für Delta Lake in der öffentlichen Vorschauversion

Sie können jetzt VARIANT verwenden, um halbstrukturierte Daten in Tabellen zu speichern, die von Delta Lake unterstützt werden. Siehe Unterstützung von Varianten im Delta Lake.

Unterstützung für verschiedene Modi der Schemaentwicklung in Ansichten

mit CREATE VIEW und ALTER VIEW können Sie jetzt einen Schemabindungsmodus festlegen und verbessern, wie Ansichten Schemaänderungen in zugrunde liegenden Objekten behandeln. Dieses Feature ermöglicht Es Ansichten, Schemaänderungen in den zugrunde liegenden Objekten zu tolerieren oder anzupassen. Es behandelt Änderungen im Abfrageschema, die sich aus Änderungen an Objektdefinitionen ergeben.

Unterstützung für observe() Methoden, die dem Spark Connect Scala-Client hinzugefügt wurden

Der Spark Connect Scala-Client unterstützt jetzt die Dataset.observe() Methoden. Mithilfe der Dataset- oder ds.observe("name", metrics...)-Methoden können Sie Metriken definieren, die für ein ds.observe(observationObject, metrics...)-Objekt zu beobachten sind.

Verbesserte Latenz des Datenstromneustarts für das automatische Laden

Diese Version enthält eine Änderung, die die Neustartlatenz des Datenstroms für Auto Loader verbessert. Diese Verbesserung wird dadurch umgesetzt, dass das Laden des Zustands durch den RocksDB-Statusspeicher asynchron erfolgt. Mit dieser Änderung sollten Sie eine Verbesserung der Startzeiten für Datenströme mit großen Zuständen sehen, z. B. Datenströme mit einer großen Anzahl bereits aufgenommener Dateien.

Geben Sie einen DataFrame als pyarrow.Table zurück.

Um das direkte Schreiben eines DataFrame in ein Apache Arrow pyarrow.Table-Objekt zu unterstützen, enthält diese Version die DataFrame.toArrow()-Funktion. Weitere Informationen zur Verwendung von Arrow in PySpark finden Sie unter Apache Arrow in PySpark.

Leistungsverbesserung für einige Fensterfunktionen

Diese Version enthält eine Änderung, die die Leistung einiger Spark-Fensterfunktionen verbessert, insbesondere Funktionen, die keine ORDER BY Klausel oder einen window_frame Parameter enthalten. In diesen Fällen kann das System die Abfrage neu schreiben, um sie mit einer Aggregatfunktion auszuführen. Mit dieser Änderung kann die Abfrage schneller ausgeführt werden, indem eine partielle Aggregation verwendet wird und der Aufwand der laufenden Fensterfunktionen vermieden wird. Der Spark-Konfigurationsparameter spark.databricks.optimizer.replaceWindowsWithAggregates.enabled steuert diese Optimierung und ist standardmäßig auf true festgelegt. Um diese Optimierung zu deaktivieren, legen Sie spark.databricks.optimizer.replaceWindowsWithAggregates.enabled auf falsefest.

Unterstützung für die try_mod-Funktion hinzugefügt

Diese Version fügt Unterstützung für die PySpark-try_mod()-Funktion hinzu. Diese Funktion unterstützt die ANSI-SQL-kompatible Berechnung des ganzzahligen Rests aus der Division zweier numerischer Werte. Wenn das Argument divisor 0 ist, gibt die try_mod()-Funktion null zurück, anstatt eine Ausnahme zu auslösen. Sie können die try_mod()-Funktion anstelle von mod oder %verwenden, wodurch eine Ausnahme ausgelöst wird, wenn das Argument divisor 0 ist und ANSI SQL aktiviert ist.

Unterstützung für einen optionalen Bereichsparameter in list_secrets()

Mit dieser Version können Sie die Ergebnisse der list_secrets() Tabellenfunktion auf einen bestimmten Bereich beschränken.

Fehlerbehebungen

WriteIntoDeltaCommand-Metriken in der Spark-Benutzeroberfläche werden jetzt ordnungsgemäß angezeigt

Diese Version enthält einen Fix für die Metriken, die auf der REGISTERKARTE SQL der Spark-Benutzeroberfläche für den Knoten Execute WriteIntoDeltaCommand angezeigt werden. Zuvor waren die für diesen Knoten angezeigten Metriken alle null.

Die funktion groupby() in der Pandas-API hat das argument as_index=False ignoriert.

Diese Version enthält einen Fix für ein Problem mit der funktion groupby() in der Pandas-API auf Spark. Vor diesem Fix enthielt eine groupby() mit Umbenennung der Aggregatspalten und dm Argument as_index=False keine Gruppenschlüssel im resultierenden DataFrame.

Analysefehler bei Funktionen mit mehreren Fenstern, die auf die Ausgabe der anderen Funktionen verweisen

Diese Version behebt ein Problem, das auftreten kann, wenn eine Spark-Abfrage über mehrere aufeinander folgende Fensterfunktionen verfügt, wobei die Fensterfunktionen auf die Ausgabe der anderen Fensterfunktionen verweisen. In seltenen Fällen kann das System einen der Verweise ablegen, was zu Fehlern bei der Auswertung der Abfrage führt. Mit dieser Korrektur werden diese Verweise projiziert, um die Auswertung der Abfragen sicherzustellen. Diese Änderung wird durch den Spark-Konfigurationsparameter spark.databricks.optimizer.collapseWindows.projectReferencesgesteuert, der standardmäßig auf true festgelegt ist. Um diese Änderung zu deaktivieren, legen Sie spark.databricks.optimizer.collapseWindows.projectReferences auf falsefest.

Bibliotheksaktualisierungen

  • Aktualisierte Python-Bibliotheken:
    • filelock von 3.13.1 bis 3.13.4
  • Aktualisierte R-Bibliotheken:
  • Aktualisierte Java-Bibliotheken:
    • org.rocksdb.rocksdbjni von 8.3.2 auf 8.11.4

Apache Spark

Databricks Runtime 15.3 umfasst Apache Spark 3.5.0. Diese Version enthält alle Spark Fixes und Verbesserungen, die in Databricks Runtime 15.2 (EoS)enthalten sind, sowie die folgenden zusätzlichen Fehlerbehebungen und Verbesserungen, die an Spark vorgenommen wurden:

  • [SPARK-48211] [ DBRRM-1041][15.x][15.3] Zurücksetzen "[SC-165552][sql] DB2: Read SMALLINT as Sho...
  • [SPARK-47904] [DBRRM-1040][verhalten-33][SC-163409] Revert SPARK-47904: Beibehalten des Falls im Avro-Schema bei Verwendung von enableStableIdentifiersForUnionType
  • [SPARK-48288] [SC-166141] Hinzufügen des Quelldatentyps für den Connector-Umwandlungsausdruck
  • [SPARK-48175] [SC-166341][sql][PYTHON] Speichern von Sortierungsinformationen in Metadaten und nicht im Typ für SER/DE
  • [SPARK-48172] [SC-166078][sql] Beheben von Escaping-Problemen in JDBCDialects
  • [SPARK-48186] [SC-165544][sql] Hinzufügen von Unterstützung für AbstractMapType
  • [SPARK-48031] [SC-166523] Legacy-Ansichten für SCHEMA BINDING übernehmen
  • [SPARK-48369] [ SC-166566][sql][PYTHON][connect] Funktion hinzufügen timestamp_add
  • [SPARK-48330] [SC-166458][ss][PYTHON] Beheben des Problems mit dem Timeout der Python-Streamingdatenquelle für große Triggerintervalle
  • [SPARK-48369] Rückgängig machen “[SC-166494][sql][PYTHON][connect] Add function timestamp_add”
  • [SPARK-48336] [SC-166495][ps][CONNECT] Implementieren ps.sql in Spark Connect
  • [SPARK-48369] [ SC-166494][sql][PYTHON][connect] Funktion hinzufügen timestamp_add
  • [SPARK-47354] [SC-165546][sql] Hinzufügen der Sortierunterstützung für Variantenausdrücke
  • [SPARK-48161] [SC-165325][sql] Zurückgesetztes PR beheben – Kollationsunterstützung für JSON-Ausdrücke hinzufügen
  • [SPARK-48031] [SC-166391] Zerlegen der viewSchemaMode-Konfiguration, Unterstützung für SHOW CREATE TABLE hinzufügen.
  • [SPARK-48268] [SC-166217][core] Hinzufügen einer Konfiguration für SparkContext.setCheckpointDir
  • [SPARK-48312] [ES-1076198][sql] Verbessern von Alias.removeNonInheritableMetadata-Leistung
  • [SPARK-48294] [SC-166205][sql] Umgang mit Kleinbuchstaben in nestedTypeMissingElementTypeError
  • [SPARK-47254] [SC-158847][sql] Weisen Sie den Fehlerklassen Namen _LEGACY_ERROR_TEMP_325[1-9] zu.
  • [SPARK-47255] [SC-158749][sql] Weisen Sie den Fehlerklassen Namen _LEGACY_ERROR_TEMP_323[6-7] und _LEGACY_ERROR_TEMP_324[7-9] zu.
  • [SPARK-48310] [SC-166239][python][CONNECT] Zwischengespeicherte Eigenschaften müssen Kopien zurückgeben
  • [SPARK-48308] [SC-166152][core] Vereinheitlichung des Abrufs von Datenschemas ohne Partitionsspalten in FileSourceStrategy
  • [SPARK-48301] [ SC-166143][sql] Umbenennen CREATE_FUNC_WITH_IF_NOT_EXISTS_AND_REPLACE in CREATE_ROUTINE_WITH_IF_NOT_EXISTS_AND_REPLACE
  • [SPARK-48287] [SC-166139][ps][CONNECT] Wenden Sie die integrierte Methode an.timestamp_diff
  • [SPARK-47607] [SC-166129] Hinzufügen von Dokumentationen für das Framework für strukturierte Protokollierung
  • [SPARK-48297] [SC-166136][sql] Behebung eines Rückschritts in der TRANSFORM-Klausel mit char/varchar
  • [SPARK-47045] [ SC-156808][sql] Ersetzen IllegalArgumentException durch SparkIllegalArgumentException in sql/api
  • [SPARK-46991] [ SC-156399][sql] Ersetzen IllegalArgumentException durch SparkIllegalArgumentException in catalyst
  • [SPARK-48031] [ SC-165805][sql] Unterstützung der Ansichtsschemaentwicklung
  • [SPARK-48276] [ SC-166116][python][CONNECT] Fügen Sie die fehlende __repr__ Methode für SQLExpression
  • [SPARK-48278] [ SC-166071][python][CONNECT] Verfeinern der Zeichenfolgendarstellung von Cast
  • [SPARK-48272] [ SC-166069][sql][PYTHON][connect] Funktion hinzufügen timestamp_diff
  • [SPARK-47798] [SC-162492][sql] Anreichern der Fehlermeldung für die Lesefehler von Dezimalwerten
  • [SPARK-47158] [SC-158078][sql] Vergabe eines geeigneten Namens und sqlState_LEGACY_ERROR_TEMP_(2134|2231)
  • [SPARK-48218] [SC-166082][core] TransportClientFactory.createClient kann eine NPE verursachen, die zu einer FetchFailedException führt.
  • [SPARK-48277] [SC-166066] Fehlermeldung für ErrorClassesJsonReader.getErrorMessage verbessern
  • [SPARK-47545] [SC-165444][connect] Unterstützung für Datasets observe für den Scala-Client
  • [SPARK-48954] [SC-171672][sql] Funktion hinzufügen try_mod
  • [SPARK-43258] [SC-158151][sql] Namen für Fehler _LEGACY_ERROR_TEMP_202[3,5] zuweisen
  • [SPARK-48267] [SC-165903][ss] Regression e2e Test mit SPARK-47305
  • [SPARK-48263] [SC-165925] Sortierfunktionsunterstützung für nicht UTF8_BINARY-Zeichenfolgen
  • [SPARK-48260] [SC-165883][sql] Deaktivieren Sie die Output Committer-Koordination in einem Test von LaminatIOSuite.
  • [SPARK-47834] [SC-165645][sql][CONNECT] Veraltete Funktionen mit @deprecated in SQLImplicits kennzeichnen
  • [SPARK-48011] [SC-164061][core] Store LogKey-Name als Wert, um das Generieren neuer Zeichenfolgeninstanzen zu vermeiden
  • [SPARK-48074] [SC-164647][Kern] Verbesserung der Lesbarkeit von JSON-Protokollierungen
  • [SPARK-44953] [SC-165866][core] Protokolliert eine Warnung, wenn die Shuffle-Nachverfolgung parallel zu einem anderen unterstützten DA-Mechanismus aktiviert ist
  • [SPARK-48266] [SC-165897][connect] Verschieben des Paketobjekts org.apache.spark.sql.connect.dsl in das Testverzeichnis
  • [SPARK-47847] [ SC-165651][core] Veraltet spark.network.remoteReadNioBufferConversion
  • [SPARK-48171] [SC-165178][Kern] Bereinigen der Verwendung veralteter Konstruktoren von o.rocksdb.Logger
  • [SPARK-48235] [SC-165669][sql] Übergeben Sie die Verknüpfung direkt anstelle aller Argumente an 'getBroadcastBuildSide' und 'getShuffleHashJoinBuildSide'.
  • [SPARK-48224] [SC-165648][sql] Zuordnungsschlüssel vom Typ "Variante" nicht zulassen
  • [SPARK-48248] [SC-165791][python] Geschachteltes Array korrigieren, um die Legacy-Einstellung für das Ableiten des Array-Typs aus dem ersten Element zu berücksichtigen.
  • [SPARK-47409] [SC-165568][sql] Unterstützung für die Sortierung für den StringTrim-Typ von Funktionen/Ausdrücken hinzufügen (für UTF8_BINARY & LCASE)
  • [SPARK-48143] [ES-1095638][sql] Verwenden Sie einfache Ausnahmen für den Kontrollfluss zwischen UnivocityParser und FailureSafeParser.
  • [SPARK-48146] [SC-165668][sql] Aggregatfunktion im "With-Ausdruck" bei der Kind-Assertion korrigieren
  • [SPARK-48161] Rückgängigmachen „[SC-165325][sql] Hinzufügen der Sortierungsunterstützung für JSON-Ausdrücke“
  • [SPARK-47963] [CORE] Lassen Sie das externe Spark-Ökosystem strukturierte Protokollierungsmechanismen verwenden
  • [SPARK-48180] [SC-165632][sql] Verbessern des Fehlers, wenn UDTF-Aufruf mit TABLE Arge Klammern um mehrere PARTITION/ORDER BY Auslöser vergessen
  • [SPARK-48002] [SC-164132][python][SS] Hinzufügen von Test für beobachtete Metriken in PySpark StreamingQueryListener
  • [SPARK-47421] [SC-165548][sql] Hinzufügen der Sortierunterstützung für URL-Ausdrücke
  • [SPARK-48161] [SC-165325][sql] Hinzufügen von Sortierunterstützung für JSON-Ausdrücke
  • [SPARK-47359] [SC-164328][sql] Unterstützung der TRANSLATE-Funktion für die Arbeit mit kollationierten Zeichenfolgen
  • [SPARK-47365] [ SC-165643][python] Hinzufügen der toArrow()-Methode für DataFrames zu PySpark
  • [SPARK-48228] [SC-165649][python][CONNECT] Implementieren der fehlenden Funktionsüberprüfung in ApplyInXXX
  • [SPARK-47986] [SC-165549][connect][PYTHON] Kann keine neue Sitzung erstellen, wenn die Standardsitzung vom Server geschlossen wird
  • [SPARK-47963] Zurücksetzen von „[CORE] Zulassen, dass das externe Spark-Ökosystem strukturierte Protokollierungsmechanismen verwenden kann“
  • [SPARK-47963] [CORE] Lassen Sie das externe Spark-Ökosystem strukturierte Protokollierungsmechanismen verwenden
  • [SPARK-48208] [SC-165547][ss] Überspringen Sie die Bereitstellung von Speichernutzungsmetriken von RocksDB, wenn die speichergebundene Speicherauslastung aktiviert ist.
  • [SPARK-47566] [SC-164314][sql] Unterstützen der SubstringIndex-Funktion zum Arbeiten mit sortierten Zeichenfolgen
  • [SPARK-47589] [SC-162127][sql]Hive-Thriftserver: Migrieren von logError mit Variablen zum strukturierten Protokollierungsframework
  • [SPARK-48205] [SC-165501][python] Entfernen sie den privaten[sql]-Modifizierer für Python-Datenquellen.
  • [SPARK-48173] [SC-165181][sql] CheckAnalysis sollte den gesamten Abfrageplan sehen
  • [SPARK-48197] [SC-165520][sql] Vermeiden des Bestätigungsfehlers für ungültige Lambda-Funktion
  • [SPARK-47318] [SC-162573][core] Fügt eine HKDF-Runde zur AuthEngine-Schlüsselableitung hinzu, um den Standard-KEX-Methoden zu folgen.
  • [SPARK-48184] [SC-165335][python][CONNECT] Setzen Sie immer den Seed von Dataframe.sample auf der Client-Seite
  • [SPARK-48128] [SC-165004][sql] Für BitwiseCount/bit_count-Ausdruck wird der Codegen-Syntaxfehler für boolesche Typ-Eingaben behoben.
  • [SPARK-48147] [SC-165144][ss][CONNECT] Entfernen clientseitiger Listener, wenn lokale Spark-Sitzung gelöscht wird
  • [SPARK-48045] [SC-165299][python] Pandas-API groupby mit multi-agg-relabel ignoriert as_index=False
  • [SPARK-48191] [SC-165323][sql] Unterstützung von UTF-32 für das Codieren und Decodieren von Zeichenfolgen.
  • [SPARK-45352] [ SC-137627][sql] Entfernen faltbarer Fensterpartitionen
  • [SPARK-47297] [SC-165179][sql] Hinzufügen der Sortierunterstützung für Formatausdrücke
  • [SPARK-47267] [SC-165170][sql] Hinzufügen der Sortierunterstützung für Hashausdrücke
  • [SPARK-47965] [SC-163822][core] Vermeiden Sie orNull in TypedConfigBuilder und OptionalConfigEntry
  • [SPARK-48166] [SQL] Vermeiden Sie die Verwendung von BadRecordException als Benutzerfehler in VariantExpressionEvalUtils
  • [SPARK-48105] [SC-165132][ss] Beheben des Rennzustands zwischen dem Entladen des Zustands-Speichers und der Erstellung von Momentaufnahmen
  • [SPARK-47922] [ SC-163997][sql] Implementieren der try_parse_json Funktion
  • [SPARK-47719] [SC-161909][sql] spark.sql.legacy.timeParse ändern…
  • [SPARK-48035] [SC-165136][sql] try_add/try_multiply semantisch gleichbedeutend wie add/multiply korrigieren
  • [SPARK-48107] [ SC-164878][python] Ausschließen von Tests aus der Python-Verteilung
  • [SPARK-46894] [SC-164447][python] Verschieben von PySpark-Fehlerbedingungen in eigenständige JSON-Datei
  • [SPARK-47583] [SC-163825][Core] SQL Core: Migrieren von logError mit Variablen zum strukturierten Protokollierungsframework
  • [SPARK-48064] Rückgängig machen von "[SC-164697][sql] Aktualisierung der Fehlermeldungen für routinebezogene Fehlerklassen"
  • [SPARK-48048] [SC-164846][connect][SS] Unterstützung für clientseitige Listener für Scala hinzugefügt
  • [SPARK-48064] [SC-164697][sql] Aktualisieren von Fehlermeldungen für routinebezogene Fehlerklassen
  • [SPARK-48056] [SC-164715][connect][PYTHON] Plan erneut ausführen, wenn ein SESSION_NOT_FOUND-Fehler auftritt und keine Teilantwort erhalten wurde.
  • [SPARK-48124] [SC-165009][core] Deaktivieren der strukturierten Protokollierung für Connect-Repl standardmäßig
  • [SPARK-47922] Rückgängig machen von "[SC-163997][sql] Implementierung des try_parse_json-Ausdrucks"
  • [SPARK-48065] [SC-164817][sql] SPJ: allowJoinKeysSubsetOfPartitionKeys ist zu streng
  • [SPARK-48114] [ SC-164956][Core] Precompile template regex, um unnötige Arbeit zu vermeiden
  • [SPARK-48067] [SC-164773][sql] Behebung von Standardspalten für Varianten
  • [SPARK-47922] [ SC-163997][sql] Implementieren der try_parse_json Funktion
  • [SPARK-48075] [SC-164709] [SS] Fügen Sie Typüberprüfung für PySpark-Avro-Funktionen hinzu
  • [SPARK-47793] [SC-164324][ss][PYTHON] Implementieren von SimpleDataSourceStreamReader für python-Streamingdatenquelle
  • [SPARK-48081] [SC-164719] Behebt die ClassCastException in NTile.checkInputDataTypes(), wenn Argument nicht zusammenfaltbar ist oder vom falschen Typ.
  • [SPARK-48102] [SC-164853][ss] Verfolgung der Dauer beim Erfassen von Quell- und Senkenmetriken während der Fortschrittsmeldung für Streaming-Abfragen
  • [SPARK-47671] [SC-164854][Core] Aktivieren der strukturierten Protokollierung in log4j2.properties.template und Aktualisieren von Dokumenten
  • [SPARK-47904] [SC-163409][sql] Beibehalten des Falls im Avro-Schema bei Verwendung von enableStableIdentifiersForUnionType
  • [SPARK-48058] [SC-164695][spark-43727][PYTHON][connect] UserDefinedFunction.returnType analysieren die DDL-Zeichenfolge
  • [SPARK-46922] [SC-156102][core][SQL] Zur Laufzeit auftretende nutzerseitige Fehler nicht einhüllen
  • [SPARK-48047] [ SC-164576][sql] Reduzieren des Speicherdrucks leerer TreeNode-Tags
  • [SPARK-47934] [SC-164648] [CORE] Sicherstellen nachgestellter Schrägstriche in HistoryServer-URL-Umleitungen
  • [SPARK-47921] [SC-163826][connect] Fix ExecuteJobTag-Erstellung in ExecuteHolder
  • [SPARK-48014] [SC-164150][sql] Ändern des MakeFromJava-Fehlers in EvaluatePython in einen benutzerorientierten Fehler
  • [SPARK-47903] [SC-163424][python] Hinzufügen von Unterstützung für verbleibende Skalartypen in der PySpark Variant-Bibliothek
  • [SPARK-48068] [SC-164579][python] mypy sollte parameter haben --python-executable
  • [SPARK-47846] [SC-163074][sql] Unterstützung für Variant-Typ im from_json-Ausdruck hinzufügen
  • [SPARK-48050] [SC-164322][ss] Logischen Plan beim Start der Abfrage protokollieren
  • [SPARK-47810] [SC-163076][sql] Ersetzen eines gleichwertigen Ausdrucks durch <=> in der Verknüpfungsbedingung
  • [SPARK-47741] [SC-164290] Hinzugefügte Stapelüberlaufbehandlung im Parser
  • [SPARK-48053] [SC-164309][python][CONNECT] SparkSession.createDataFrame sollte vor nicht unterstützten Optionen gewarnt werden.
  • [SPARK-47939] [SC-164171][sql] Implementieren einer neuen Analyzer-Regel zum Verschieben parametrisierterQuery in ExplainCommand und DescribeQueryCommand
  • [SPARK-48063] [SC-164432][core] Standardmäßig aktivieren spark.stage.ignoreDecommissionFetchFailure
  • [SPARK-48016] [SC-164280][sql] Behebung eines Fehlers in der try_divide Funktion bei Dezimalzahlen
  • [SPARK-48033] [SC-164291][sql] Fix RuntimeReplaceable Ausdrücke, die in Standardspalten verwendet werden
  • [SPARK-48010] [SC-164051][sql][ES-1109148] Vermeiden wiederholter Aufrufe von conf.resolver in resolveExpression
  • [SPARK-48003] [ SC-164323][sql] Hinzufügen von Sortierunterstützung für hll-Skizzenaggregat
  • [SPARK-47994] [SC-164175][sql] Beheben eines Fehlers mit CASE WHEN-Spaltenfilter-Pushdown in SQLServer
  • [SPARK-47984] [ SC-163837][ml][SQL] MetricsAggregate/V2Aggregator#serialize/deserialize ändern, um SparkSerDeUtils#serialize/deserialize aufzurufen
  • [SPARK-48042] [SC-164202][sql] Verwenden Sie einen Zeitstempelformatierer mit Zeitzone auf Klassenebene, anstatt Kopien auf Methodenebene zu erstellen.
  • [SPARK-47596] [ SPARK-47600][spark-47604][SPARK-47804] Strukturierte Protokollmigrationen
  • [SPARK-47594] [ SPARK-47590][spark-47588][SPARK-47584] Strukturierte Protokollmigrationen
  • [SPARK-47567] [SC-164172][sql] Unterstützung der LOCATE-Funktion zum Arbeiten mit sortierten Zeichenfolgen
  • [SPARK-47764] [SC-163820][core][SQL] Bereinigung von Shuffle-Abhängigkeiten basierend auf ShuffleCleanupMode
  • [SPARK-48039] [SC-164174][python][CONNECT] Aktualisieren der Fehlerklasse für group.apply
  • [SPARK-47414] [SC-163831][sql] Unterstützung für die Sortierung in Kleinbuchstaben für regexp-Ausdrücke
  • [SPARK-47418] [SC-163818][sql] Hinzufügen von handgefertigten Implementierungen für Unicode-bewusste Kleinbuchstaben, contains, startsWith und endsWith, und Optimierung von UTF8_BINARY_LCASE.
  • [SPARK-47580] [SC-163834][sql] SQL-Katalysator: Entfernen nicht benannter Variablen in Fehlerprotokollen
  • [SPARK-47351] [SC-164008][sql] Hinzufügen der Sortierunterstützung für StringToMap & Mask-Zeichenfolgenausdrücke
  • [SPARK-47292] [SC-164151][ss] safeMapToJValue sollte null typierte Werte in Betracht ziehen
  • [SPARK-47476] [SC-164014][sql] Unterstützen die REPLACE-Funktion zum Arbeiten mit sortierten Zeichenfolgen
  • [SPARK-47408] [SC-164104][sql] Korrigieren sie mathExpressions, die StringType verwenden
  • [SPARK-47350] [SC-164006][sql] Unterstützung für Kollation in SplitPart-Zeichenfolgenausdruck hinzufügen
  • [SPARK-47692] [SC-163819][sql] Fixierung der Standard-StringType-Bedeutung beim impliziten Casting
  • [SPARK-47094] [SC-161957][sql] SPJ: Dynamischer Neuausgleich der Bucket-Anzahl, wenn diese ungleich sind
  • [SPARK-48001] [SC-164000][Kern] Entfernen der ungenutzten private implicit def arrayToArrayWritable aus SparkContext
  • [SPARK-47986] [SC-163999][connect][PYTHON] Kann keine neue Sitzung erstellen, wenn die Standardsitzung vom Server geschlossen wird
  • [SPARK-48019] [SC-164121] Falsches Verhalten in ColumnVector/ColumnarArray mit Wörterbuch und Nullen beheben
  • [SPARK-47743] [SPARK-47592][spark-47589][SPARK-47581][spark-47586][SPARK-47593][spark-47595][SPARK-47587][spark-47603] Strukturierte Protokollmigrationen
  • [SPARK-47999] [SC-163998][ss] Protokollierung verbessern bei der Erstellung von Snapshots sowie beim Hinzufügen/Entfernen von Einträgen in der Zustands-Cache-Karte im HDFS-gestützten Zustandsspeicheranbieter
  • [SPARK-47417] [SC-162872][sql] Sortierungsunterstützung: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences
  • [SPARK-47712] [ SC-161871][connect] Verbinden von Plug-Ins zum Erstellen und Verarbeiten von Datasets zulassen
  • [SPARK-47411] [SC-163351][sql] Unterstützt StringInstr- & FindInSet-Funktionen zum Arbeiten mit kollationierten Zeichenfolgen
  • [SPARK-47360] [SC-163014][sql] Unterstützung für die Kollation: Overlay, FormatString, Length, BitLength, OctetLength, SoundEx, Luhncheck
  • [SPARK-47413] [SC-163323][sql] – Unterstützung für Sortierungen zu Substr/left/right hinzufügen
  • [SPARK-47983] [SC-163835][sql] spark.sql.pyspark.legacy.inferArrayTypeFromFirstElement.enabled zu einer internen Einstellung machen
  • [SPARK-47964] [SC-163816][python][CONNECT] SqlContext und HiveContext in pyspark-connect ausblenden
  • [SPARK-47985] [ SC-163841][python] Vereinfachen von Funktionen mit lit
  • [SPARK-47633] [SC-163453][sql] Rechtsseitige Planausgabe in LateralJoin#allAttributes einbeziehen für eine konsistentere Kanonisierung.
  • [SPARK-47909] “[PYTHON][connect] Übergeordnete DataFrame-Klasse zurücksetzen f…
  • [SPARK-47767] [SC-163096][sql] Offsetwert in TakeOrderedAndProjectExec anzeigen
  • [SPARK-47822] [SC-162968][sql] Verhindern von Hashausdrücken beim Hashing des Variant-Datentyps
  • [SPARK-47490] [SC-160494][ss] Behebung der Verwendung des Logger-Konstruktors von RocksDB, um Veraltetkeitswarnungen zu vermeiden
  • [SPARK-47417] Revert "[SC-162872][sql] Kollationsunterstützung: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences"
  • [SPARK-47352] [SC-163460][sql] Behebung der Groß-/Kleinschreibung und InitCap-Kollationsbewusstsein
  • [SPARK-47909] [PYTHON][connect] Übergeordnete DataFrame-Klasse für Spark Connect und Spark Classic
  • [SPARK-47417] [SC-162872][sql] Sortierungsunterstützung: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences

Databricks ODBC/JDBC-Treiberunterstützung

Databricks unterstützt ODBC/JDBC-Treiber, die in den letzten 2 Jahren veröffentlicht wurden. Laden Sie die kürzlich veröffentlichten Treiber herunter und führen Sie ein Upgrade durch (ODBC herunterladen, JDBC herunterladen).

Weitere Informationen finden Sie unter Wartungsupdates für Databricks Runtime 15.3.

Systemumgebung

  • Betriebssystem: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.78.0.19-CA-linux64
  • Skala: 2.12.18
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.2.0

Installierte Python-Bibliotheken

Bibliothek Version Bibliothek Version Bibliothek Version
asttokens 2.0.5 astunparse 1.6.3 Azure Core 1.30.1
Azure Storage Blob 12.19.1 Azure-Storage-Datei-Datalake 12.14.0 Rückruf 0.2.0
schwarz 23.3.0 Blinker 1.4 Boto3 1.34.39
Botocore 1.34.39 CacheWerkzeuge 5.3.3 Zertifikat 2023.7.22
cffi 1.15.1 Chardet 4.0.0 Charset-Normalizer 2.0.4
klicken 8.0.4 Cloudpickle 2.2.1 comm 0.1.2
Contourpy 1.0.5 Kryptographie 41.0.3 Fahrradfahrer 0.11.0
Cython 0.29.32 Databricks-SDK 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 Dekorateur 5.1.1 Distlib 0.3.8
Einstiegspunkte 0,4 ausführen 0.8.3 Facetten-Übersicht 1.1.1
Dateisperrung 3.13.4 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 Google-Authentifizierung 2.29.0
Google-Cloud-Core 2.4.1 Google-Cloud-Speicher 2.16.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 GRPCIO 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
Isodate 0.6.1 Jedi 0.18.1 jeepney 0.7.1
jmespath 0.10.0 joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 Schlüsselring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.3
more-itertools 8.10.0 mypy-Erweiterungen 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 Verpackung 23.2
Pandas 1.5.3 Parso 0.8.3 pathspec 0.10.3
Sündenbock 0.5.3 pexpect 4.8.0 Pickleshare 0.7.5
Kissen 9.4.0 Pip 23.2.1 platformdirs 3.10.0
Plotly 5.9.0 Prompt-Toolkit 3.0.36 proto-plus 1.23.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 Pyarrow 14.0.1
Pyasn1 0.4.8 Pyasn1-Module 0.2.8 Pyccolo 0.0.52
Pycparser 2.21 Pydantisch 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 Pyodbc 4.0.38
Pyparsing 3.0.9 Python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1
Pytz 2022.7 PyYAML 6,0 pyzmq 23.2.0
Anfragen 2.31.0 rsa 4,9 s3transfer 0.10.1
scikit-learn – Maschinelles Lernwerkzeug 1.3.0 SciPy 1.11.1 Seegeboren 0.12.2
SecretStorage 3.3.1 setuptools 68.0.0 Sechs 1.16.0
smmap 5.0.1 sqlparse 0.5.0 ssh-import-id 5.11
Stapeldaten 0.2.0 StatistikModelle 0.14.0 Zähigkeit 8.2.2
Threadpoolctl 2.2.0 tokenize-rt 4.2.1 Tornado 6.3.2
Traitlets 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 unbeaufsichtigte Aktualisierungen 0,1 urllib3 1.26.16
virtualenv 20.24.2 Wadllib 1.3.6 wcwidth 0.2.5
Rad 0.38.4 Reißverschluss 3.11.0

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Momentaufnahme des Posit Package Manager CRAN installiert.

Bibliothek Version Bibliothek Version Bibliothek Version
Pfeil 14.0.0.2 Askpass 1.2.0 prüfen, dass 0.2.1
Backports 1.4.1 Basis 4.3.2 base64enc 0.1-3
bigD 0.2.0 Bit 4.0.5 Bit64 4.0.5
Bitops 1.0-7 Klumpen 1.2.4 Stiefel 1.3-28
brauen 1.0-10 Brio 1.1.4 Besen 1.0.5
bslib 0.6.1 cachem 1.0.8 Callr 3.7.3
Caret 6.0-94 CellRanger 1.1.0 Chron 2.3-61
Klasse 7.3-22 Befehlszeilenschnittstelle (CLI) 3.6.2 Clipr 0.8.0
Uhr 0.7.0 Gruppe 2.1.4 Codetools 0.2-19
Farbraum 2.1-0 Commonmark 1.9.1 Kompilierer 4.3.2
Konfiguration 0.3.2 Hin- und hergerissen 1.2.0 cpp11 0.4.7
Buntstift 1.5.2 Zugangsdaten 2.0.1 Locke 5.2.0
data.table 1.15.0 Datensätze 4.3.2 DBI 1.2.1
dbplyr 2.4.0 Beschreibung 1.4.3 devtools 2.4.5
Diagramm 1.6.5 diffobj 0.3.5 verdauen 0.6.34
Abwärtsbeleuchtung 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 Ellipse 0.3.2 auswerten 0,23
Fans 1.0.6 Farben 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 Katzen 1.0.0 Foreach 1.5.2
Fremd 0.8-85 schmieden 0.2.0 Fs 1.6.3
Zukunft 1.33.1 future.apply 1.11.1 gurgeln 1.5.2
Generika 0.1.3 Gert 2.0.1 ggplot2 3.4.4
Gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 Globale 0.16.2 Leim 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
Graphik 4.3.2 grGeräte 4.3.2 Raster 4.3.2
gridExtra 2.3 gsubfn 0,7 Gt 0.10.1
g-Tabelle 0.3.4 Schutzhelm 1.3.1 Hafen 2.5.4
Highr 0,10 Hms 1.1.3 HTML-Werkzeuge 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 Ausweise 1.0.1 ini 0.3.1
IPRED 0.9-14 Isobande 0.2.7 Iteratoren 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 Knitr 1,45 Kennzeichnung 0.4.3
später 1.3.2 Gitter 0.21-8 Lava 1.7.3
Lebenszyklus 1.0.4 „listenv“ 0.9.1 Schmiermittel 1.9.3
magrittr 2.0.3 Abschlag 1.12 MASSE 7.3-60
Matrix 1.5-4.1 Memoise 2.0.1 Methodik 4.3.2
mgcv 1.8-42 Mime-Kunst 0.12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 Modellierer 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8 bis 1.1 OpenSSL 2.1.1 parallel 4.3.2
parallel dazu 1.36.0 Säule 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 loben 1.0.0
prettyunits 1.2.0 Proc 1.18.5 Prozessx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 Fortschritt 1.2.3
progressr 0.14.0 Versprechungen 1.2.1 ur 1.0.0
Stellvertreter 0.4-27 P.S. 1.7.6 Schnurren 1.0.2
R6 2.5.1 Ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reaktivierbar 0.4.4
reactR 0.5.0 READR 2.1.5 readxl (Softwarepaket zum Lesen von Excel-Dateien) 1.4.3
Rezepte 1.0.9 Rückspiel 2.0.0 Rückspiel2 2.1.2
fernbedienungen 2.4.2.1 Reproduzierbares Beispiel 2.1.0 Umform2 1.4.4
rlang 1.1.3 RMarkdown 2,25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1,8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 RVEST 1.0.3 Sass 0.4.8
Waage 1.3.0 Selectr 0.4-2 Sitzungsinformationen 1.2.2
Form 1.4.6 glänzend 1.8.0 sourcetools 0.1.7-1
Sparklyr 1.8.4 räumlich 7.3-15 Splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 Statistiken 4.3.2
Statistiken4 4.3.2 Stringi 1.8.3 stringr 1.5.1
Überleben 3.5-5 Selbstbewusstsein 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
Textgestaltung 0.3.7 Tibble 3.2.1 Räumter 1.3.1
aufräumen 1.2.0 aufräumen 2.0.0 Zeitumstellung 0.3.0
ZeitDatum 4032.109 tinytex 0.49 Werkzeuge 4.3.2
Zeitzonendatenbank (tzdb) 0.4.0 URL-Prüfer 1.0.1 Nutze dies 2.2.2
utf8 1.2.4 Utils 4.3.2 Universell eindeutige Identifikator (UUID) 1.2-0
V8 4.4.1 VCTRS 0.6.5 viridisLite 0.4.2
Vroom 1.6.5 Waldo 0.5.2 Backenbart 0.4.1
Withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 YAML-Dateiformat 2.3.8
zeallot 0.1.0 schwirren 2.3.1

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)

Gruppen-ID Artefakt-ID Version
antlr antlr 2.7.7
com.amazonaws Amazon-Kinesis-Client 1.12.0
com.amazonaws AWS Java SDK für Auto Scaling 1.12.610
com.amazonaws aws-java-sdk-cloudformation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch (Cloud-Suchdienst) 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws AWS-Java-SDK-Config 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-db 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws aws-java-sdk-ecs 1.12.610
com.amazonaws aws-java-sdk-efs 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk (Java SDK für Elastic Beanstalk von AWS) 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing (Software Development Kit für Elastic Load Balancing in AWS mit Java) 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder (AWS Java SDK für Elastic Transcoder) 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier 1.12.610
com.amazonaws aws-java-sdk-glue (eine Bibliothek für den Glue-Service von Amazon Web Services) 1.12.610
com.amazonaws aws-java-sdk-iam 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-kinesis 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-Protokolle 1.12.610
com.amazonaws aws-java-sdk-machinelearning (Maschinelles Lernen) 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws aws-java-sdk-redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway 1.12.610
com.amazonaws aws-java-sdk-sts 1.12.610
com.amazonaws aws-java-sdk-Support (Unterstützung für AWS Java SDK) 1.12.610
com.amazonaws AWS-Java-SDK-SWF-Bibliotheken 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics Datenstrom 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks Jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware Kryogen-abgeschirmt 4.0.2
com.esotericsoftware Minlog 1.3.0
com.fasterxml Klassenkamerad 1.3.4
com.fasterxml.jackson.core Jackson-Anmerkungen 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core Jackson-Datenbindung 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.coffein Koffein 2.9.3
com.github.fommil Jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-Einheimische
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-Einheimische
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-Einheimische
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-Einheimische
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tink 1.9.0
com.google.errorprone fehleranfällige_Anmerkungen 2.10.0
com.google.flatbuffers flatbuffers-java 26.05.23
com.google.guava Guave 15,0
com.google.protobuf protobuf-java 2.6.1
com.helger Profiler 1.1.1
com.ibm.icu icu4j 72.1
com.jcraft jsch 0.1.55
com.jolbox Bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure Azure Data Lake Store SDK (Software Development Kit für Azure Data Lake Store) 2.3.9
com.microsoft.sqlserver mssql-servers 11.2.2.jre8
com.ning compress-lzf (Datenkompression mit LZF-Algorithmus) 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tduning json 1.8
com.thoughtworks.paranamer Paranamer 2.8
com.trueaccord.lenses linsen_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe Konfiguration 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
Commons-Dateihochladen Commons-Dateihochladen 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift Luftkompressor 0.25
io.delta delta-sharing-client_2.12 1.0.5
io.dropwizard.metrics Metrikanmerkung 4.2.19
io.dropwizard.metrics Metrikenkern 4.2.19
io.dropwizard.metrics Metrics-Graphit 4.2.19
io.dropwizard.metrics Metriken-Gesundheitschecks 4.2.19
io.dropwizard.metrics Metrics-Jetty9 4.2.19
io.dropwizard.metrics Metrics-JMX 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics Metrics-Servlets 4.2.19
io.netty nett-all 4.1.96.Final
io.netty Netty Buffer 4.1.96.Final
io.netty Netty Codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty Netty-Codec-Socken 4.1.96.Final
io.netty Netty-allgemein 4.1.96.Final
io.netty Netty-Handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty Netty-Resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-Klassen 2.0.61.Final
io.netty Netty-Transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Sammler 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation Aktivierung 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction Transaktions-API 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine Gurke 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv Super-CSV 2.2.0
net.Schneeflocke snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant Ameise 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant Ant-Starter 1.10.11
org.apache.arrow Pfeilformat 15.0.0
org.apache.arrow Pfeilspeicherkern 15.0.0
org.apache.arrow Arrow-memory-netty 15.0.0
org.apache.arrow Pfeilvektor 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons Commons-Text 1.10.0
org.apache.curator Kurator-Klient 2.13.0
org.apache.curator Kurator-Framework 2.13.0
org.apache.curator Rezepte des Kurators 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop Hadoop-Client-Laufzeit 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-silk 2.3.9
org.apache.hive hive-llap-Client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims Hive-Shims-Scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy Efeu 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc Orc-Shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus Publikumsanmerkungen 0.13.0
org.apache.zookeeper Tierpfleger 3.6.3
org.apache.zookeeper Zookeeper-Jute 3.6.3
org.checkerframework Prüferqualifikation 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino Commons-Compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty Jetty-Client 9.4.52.v20230823
org.eclipse.jetty Jetty-Fortsetzung 9.4.52.v20230823
org.eclipse.jetty Jetty-HTTP 9.4.52.v20230823
org.eclipse.jetty Jetty-io 9.4.52.v20230823
org.eclipse.jetty Jetty-jndi 9.4.52.v20230823
org.eclipse.jetty Jetty-Plus 9.4.52.v20230823
org.eclipse.jetty Jetty-Proxy 9.4.52.v20230823
org.eclipse.jetty Jetty-Sicherheit 9.4.52.v20230823
org.eclipse.jetty Jetty-Server 9.4.52.v20230823
org.eclipse.jetty Jetty-servlet 9.4.52.v20230823
org.eclipse.jetty Jetty-Servlets 9.4.52.v20230823
org.eclipse.jetty Jetty-Util 9.4.52.v20230823
org.eclipse.jetty Jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty Jetty-Webanwendung 9.4.52.v20230823
org.eclipse.jetty Jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket Websocket-API 9.4.52.v20230823
org.eclipse.jetty.websocket WebSocket-Client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket Websocket-Server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-Ortungssystem 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 OSGi-Ressourcen-Finder 1.0.3
org.glassfish.hk2.external aopalliance-neu verpackt 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core Jersey-Client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core Jersey-Server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator Ruhezustands-Validator 6.1.7.Endgültig
org.ini4j ini4j 0.5.4
org.javassist Javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anmerkungen 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis Objenese 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap Klemmstücke 0.9.45-databricks
org.rocksdb rocksdbjni 8.11.4
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt Testschnittstelle 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest ScalaTest-kompatibel 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten 3ten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel Katzen-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-servers 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml Schlangenyaml 2.0
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
  • Last updated on