Databricks Runtime 14.2

  • Artikel

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 14.2, unterstützt von Apache Spark 3.5.0.

Databricks hat diese Images im November 2023 veröffentlicht.

Neue Features und Verbesserungen

CACHE SELECT wird jetzt ignoriert.

Der SQL-Befehl CACHE SELECT wird nun zugunsten eines verbesserten Cachealgorithmus ignoriert. Siehe Optimieren der Leistung mit Caching in Azure Databricks.

Behandlung beschädigter Dateien in DML-Befehlen korrigiert

Die DML-Befehle DELETE, UPDATE und MERGE INTO berücksichtigen nicht mehr die Leseoptionen ignoreCorruptFiles und ignoreMissingFiles. Bei einer nicht lesbaren Datei in einer Tabelle schlagen diese Befehle jetzt fehl, auch wenn diese Optionen angegeben sind.

Sie können jetzt die Python-Funktionen from_avro, to_avro, from_protobuf und to_protobuf mit Schema Registry in freigegebenen Clustern verwenden.

foreachBatch- und StreamingListener-Unterstützung

Sie können jetzt die foreachBatch()- und StreamingListener-APIs mit strukturiertem Streaming in freigegebenen Clustern verwenden. Weitere Informationen finden Sie unter Verwenden von foreachBatch zum Schreiben in beliebige Datensenken und Überwachen von strukturierten Streamingabfragen in Azure Databricks.

Parallelität auf Zeilenebene ist allgemein verfügbar und standardmäßig aktiviert

Parallelität auf Zeilenebene reduziert Konflikte zwischen gleichzeitigen Schreibvorgängen, indem Änderungen auf Zeilenebene erkannt werden. Parallelität auf Zeilenebene wird nur für Tabellen ohne Partitionierung unterstützt, darunter Tabellen mit Liquid Clustering. Die Parallelität auf Zeilenebene ist in Delta-Tabellen mit aktivierten Löschvektoren standardmäßig aktiviert. Weitere Informationen finden Sie unter Schreibkonflikte mit Parallelität auf Zeilenebene.

Delta Sharing: Empfänger können Batch-, CDF- und Streamingabfragen für freigegebene Tabellen mit Löschvektoren ausführen (Public Preview)

Delta Sharing-Empfänger können jetzt Batch-, CDF- und Streamingabfragen für freigegebene Tabellen ausführen, die Löschvektoren verwenden. Auf Databricks Runtime 14.1 können sie nur Batchabfragen ausführen. Weitere Informationen finden Sie unter Hinzufügen von Tabellen mit Löschvektoren oder Spaltenzuordnungen zu einer Freigabe, Lesen von Tabellen mit aktivierten Löschvektoren oder Spaltenzuordnungen und Lesen von Tabellen mit aktivierten Löschvektoren oder Spaltenzuordnungen.

Flacher Klon für externe Unity Catalog-Tabellen (Public Preview)

Sie können jetzt einen flachen Klon mit externen Unity Catalog-Tabellen verwenden. Weitere Informationen finden Sie unter Flacher Klon für Unity Catalog-Tabellen.

Neuer Zuweisungsalgorithmus für die Datenträgerzwischenspeicherung

Der Spark-Scheduler verwendet jetzt einen neuen Datenträgerzwischenspeicherungsalgorithmus. Der Algorithmus verbessert die Datenträgernutzung und Partitionszuweisung über Knoten hinweg, wobei die Zuweisung sowohl anfänglich als auch nach Clusterskalierungsereignissen schneller erfolgt. Die Stickiercachezuordnung verbessert die Konsistenz bei der Ausführung und reduziert die während der Rebalancing-Operationen verschobenen Daten.

from_avro mit Schemaregistrierungsconnector bietet Unterstützung für die Schemaentwicklung

Sie können ihre Pipelines jetzt so aktivieren, dass sie neu gestartet werden, wenn weiterentwickelte Datensätze erkannt werden. Wenn die Schemaentwicklung zuvor mit dem from_avro-Connector erfolgt ist, gaben die neuen Spalten null zurück. Siehe Lesen und Schreiben von Avro-Streamingdaten.

Schnellere Multithread-Statistiksammlung

Die Statistiksammlung ist auf kleinen Clustern bis zu 10 Mal schneller, wenn CONVERT TO DELTA oder Klonen von Iceberg- und Parquet-Tabellen ausgeführt wird. Siehe Konvertieren in Delta Lake und Klonen von Parquet- und Iceberg-Tabellen.

Pushdownfilter in DeltaSource für Delta-Dateien

Für eine bessere Auslastung werden Partitionsfilter für Streamingabfragen von Delta-Tabellen jetzt vor dem Einschränken der Rate nach Delta verschoben.

Unterstützung für skalare benutzerdefinierte Scala-Funktionen in freigegebenen Clustern (Public Preview)

Sie können jetzt skalare benutzerdefinierte Funktionen auf Unity Katalog-fähigen Clustern verwenden, die mit dem Modus für gemeinsam genutzten Zugriff konfiguriert sind. Siehe Benutzerdefinierte Skalarfunktionen: Scala.

Bibliotheksupgrades

  • Aktualisierte Python-Bibliotheken:
    • fastjsonschema von 2.18.0 bis 2.19.0
    • filelock von 3.12.3 auf 3.12.4
    • googleapis-common-protos von 1.60.0 auf 1.61.0
  • Aktualisierte R-Bibliotheken:
  • Aktualisierte Java-Bibliotheken:

Apache Spark

Databricks Runtime 14.2 enthält Apache Spark 3.5.0. Diese Version enthält alle Spark-Fixes und -Verbesserungen, die in Databricks Runtime 14.1 enthalten sind, sowie die folgenden zusätzlichen Fehlerkorrekturen und Verbesserungen an Spark:

  • [SPARK-45592] [DBRRM-624] Wiederherstellen von „[SC-146977][SQL] Problem mit der Korrektheit in AQE mit InMemoryTableScanExec“
  • [SPARK-45524] [DBRRM-625] Wiederherstellen von „[SC-146319][PYTHON][SQL] Anfängliche Unterstützung für...
  • [SPARK-45433] [DBRRM-621] Wiederherstellen von „[SC-145163][SQL] Fix des CSV- bzw. JSON-Schemarückschließens...
  • [SPARK-45592] [SC-146977][SQL] Problem mit der Korrektheit in AQE mit InMemoryTableScanExec
  • [SPARK-45354] Wiederherstellen von „[SC-143991][SQL] Auflösen von Funktionen von unten nach oben“
  • [SPARK-45680] [NUR TEST][SASP-2347][CONNECT] Beheben von Tests
  • [SPARK-45680] [CONNECT] Releasesitzung
  • [SPARK-43380] [SC-146726][ES-897115][SQL] Beheben der Verlangsamung im Avro-Lesen
  • [SPARK-45649] [SC-146742][SQL] Vereinheitlichen des Vorbereitungsframeworks für OffsetWindowFunctionFrame
  • [SPARK-40820] [SC-146727][PYTHON][SQL] Erstellen von StructType aus JSON
  • [SPARK-45620] [SC-146225][PYTHON] Beheben von benutzerbezogenen APIs im Zusammenhang mit Python UDTF zur Verwendung von camelCase
  • [SPARK-45727] [SC-146978][SS] Ungenutzte Karte in Wasserzeichenverteilungssimulation entfernen
  • [SPARK-45723] [SC-146890][PYTHON][CONNECT] Katalogmethoden vermeiden die Konvertierung von Pandas
  • [SPARK-45574] [SC-146106][SQL]Hinzufügen :: von Syntax
  • [SPARK-45670] [SC-146725][CORE][3.5] SparkSubmit unterstützt --total-executor-cores nicht bei der Bereitstellung auf K8s
  • [SPARK-45661] [SC-146594][SQL][PYTHON] Hinzufügen von toNullable in StructType, MapType und ArrayType
  • [SPARK-45524] [SC-146319][PYTHON][SQL] Anfängliche Unterstützung für Pthon-Datenquellenlese-API
  • [SPARK-45542] [SC-145892][CORE] Ersetzen von setSafeMode(HdfsConstants.SafeModeAction, boolean) durch setSafeMode(SafeModeAction, boolean)
  • [SPARK-45652] [SC-146641][SQL] SPJ: Behandeln leerer Eingabepartitionen nach dynamischer Filterung
  • [SPARK-45454] [SC-144846][SQL] Festlegen des Standardbesitzers der Tabelle auf current_user
  • [SPARK-45554] [SC-146875][PYTHON] Einführung eines flexiblen Parameters für assertSchemaEqual
  • [SPARK-45242] [SC-143410][SQL] Verwenden der DataFrame-ID zur semantischen Überprüfung von CollectMetrics
  • [SPARK-45674] [SC-146862][CONNECT][PYTHON] Verbessern Sie die Fehlermeldung für JVM-abhängige Attribute in Spark Connect.
  • [SPARK-45646] [SC-146276][SQL] Entfernen von Hartcodierungszeitvariablen vor Hive 2.0
  • [SPARK-43380] [SC-146726][ES-897115][SQL] Beheben der Verlangsamung im Avro-Lesen
  • [SPARK-45545] [SC-146484][CORE] Übergeben von SSLOptions, wenn eine SparkTransportConf erstellt wird
  • [SPARK-45641] [SC-146260][UI] Anzeigen der Startzeit der Anwendung auf AllJobsPage
  • [SPARK-40154] [SC-146491][Python][Docs] Korrektur der Speicherebene im Dataframe.cache-DocString
  • [SPARK-45626] [SC-146259][SQL] Konvertieren von _LEGACY_ERROR_TEMP_1055 in REQUIRES_SINGLE_PART_NAMESPACE
  • [SPARK-45507] [SC-145900][SQL] Korrektur der Korrektheit für geschachtelte korrelierte skalare Unterabfragen mit COUNT-Aggregaten
  • [SPARK-45619] [SC-146226][CONNECT][PYTHON] Anwenden der beobachteten Metriken auf Observation-Objekt
  • [SPARK-45588] [SC-145909][PROTOBUF][CONNECT][MINOR] Scaladoc-Verbesserung für StreamingForeachBatchHelper
  • [SPARK-45616] [SC-146120][CORE] Vermeiden von ParVector, was ThreadLocals oder SparkSession nicht propagiert
  • [SPARK-45604] [SC-146105][SQL] Hinzufügen der LogicalType-Überprüfung auf INT64 -> DateTime-Konvertierung auf Parquet-vektorisiertem Reader
  • [SPARK-44649] [SC-145891][SQL] Laufzeitfilter unterstützt das Übergeben von äquivalenten Erstellungsseitenausdrücken
  • [SPARK-41674] [SC-128408][SQL] Der Runtime-Filter sollte eine Mehrebenen-Shuffle-Join-Seite als Filtererstellungsseite unterstützen
  • [SPARK-45547] [SC-146228][ML] Überprüfen von Vektoren mit integrierter Funktion
  • [SPARK-45558] [SC-145890][SS] Einführung einer Metadatendatei für den Streamingstatusoperator
  • [SPARK-45618] [SC-146252][CORE] Entfernen von BaseErrorHandler
  • [SPARK-45638] [SC-146251][SQL][Avro] Verbessern der Testabdeckung der Dezimalkonvertierung
  • [SPARK-44837] [SC-146020][SQL] Ändern der Spaltenfehlermeldung ALTER TABLE ALTER PARTITION
  • [SPARK-45561] [SC-146264][SQL] Hinzufügen von Konvertierungen für Tinyint in MySQLDialect
  • [SPARK-45632] [SC-146255][SQL] Der Tabellencache sollte beim Aktivieren von AQE unnötiges ColumnarToRow vermeiden
  • [SPARK-45569] [SC-145932][SQL] Zuweisen eines Namens zum Fehler _LEGACY_ERROR_TEMP_2152
  • [SPARK-44784] [SC-141015][CONNECT] Testen Sie SBT hermetisch.
  • [SPARK-45452] [SC-144836][SQL] Verbessern InMemoryFileIndex zur Verwendung der FileSystem.listFiles-API
  • [SPARK-44735] [SC-146186][SQL] Hinzufügen einer Warnmeldung beim Einfügen von Spalten mit demselben Namen nach Zeile, die nicht übereinstimmen
  • [SPARK-45351] [SC-144791][CORE] Ändern des spark.shuffle.service.db.backend-Standardwerts in ROCKSDB
  • [SPARK-45553] [SC-145906][PS] assertPandasOnSparkEqual einstellen
  • [SPARK-45613] [SC-146022][CORE] Verfügbarmachen von DeterministicLevel als DeveloperApi
  • [SPARK-45549] [SC-145895][CORE] Nicht verwendetes numExistingExecutors in CoarseGrainedSchedulerBackend entfernen
  • [SPARK-45609] [SC-146030][CONNECT] Einschließen von SqlState in die SparkThrowable-Protonachricht
  • [SPARK-45595] [SC-146037] Verfügbarmachen von sqlstate in der Fehlermeldung
  • [SPARK-45628] [SC-146123][ML] Verbessern von vector_to_array für .mllib.linalg.SparseVector
  • [SPARK-45009] [SC-145884][SQL][FOLLOW UP] Deaktivieren der Dekorrelation in Verknüpfungsbedingungen für den AQE InSubquery-Test
  • [SPARK-45576] [SC-145883][CORE] Entfernen von unnötigen Debugprotokollen in ReloadingX509TrustManagerSuite
  • [SPARK-45485] [SC-145719][CONNECT] Verbesserungen des Benutzer-Agents: Verwenden von SPARK_CONNECT_USER_AGENT env-Variable und Einschließen von umgebungsspezifischen Attributen
  • [SPARK-45508] [SC-145513][CORE] Hinzufügen von „–add-opens=java.base/jdk.internal.ref=ALL-UNNAMED“, damit Platform auf Cleaner auf Java 9+ zugreifen kann
  • [SPARK-45595] Wiederherstellen von „[SC-146037] Verfügbarmachen von SQLSTATE in der Fehlermeldung“
  • [SPARK-45595] [SC-146037] Verfügbarmachen von SQLSTATE in der Fehlermeldung
  • [SPARK-45112] Wiederherstellen von „[SC-143259][SQL] Verwenden von UnresolvedFunction...
  • [SPARK-45257] [SC-143411][CORE] spark.eventLog.compress standardmäßig aktivieren
  • [SPARK-45586] [SC-145899][SQL] Verringern der Compilerlatenz für Pläne mit großen Ausdrucksstrukturen
  • [SPARK-45517] [SC-145691][CONNECT][14.x] Erweitern weiterer Ausnahmekonstruktoren zur Unterstützung von Fehlerframeworkparametern
  • [SPARK-45581] [SC-145896] SQLSTATE ist erforderlich
  • [SPARK-45427] [SC-145590][CORE] Hinzufügen von RPC-SSL-Einstellungen zu SSLOptions und SparkTransportConf
  • [SPARK-45261] [SC-143357][CORE] Beheben von EventLogFileWriters zum Handhaben von none als Codec
  • [SPARK-45582] [SC-145897][SS] Stellen Sie sicher, dass die Speicherinstanz nach dem Aufrufen des Commits innerhalb der Streamingaggregation im Ausgabemodus nicht verwendet wird
  • [SPARK-45562] [SC-145720][SC-144650][SQL] XML: Festlegen von „rowTag“ als erforderlicher Option
  • [SPARK-45392] [SC-144362][CORE][SQL][SS] Ersetzen von Class.newInstance() durch Class.getDeclaredConstructor().newInstance()
  • [SPARK-45433] [SC-145163][SQL] Fix von CSV/JSON Schema-Inferenz, wenn die Zeitstempel nicht mit dem angegebenen timestampFormat übereinstimmen
  • [SPARK-45458] [SC-145011][SQL] Konvertieren von IllegalArgumentException in SparkIllegalArgumentException in bitwiseExpressions
  • [SPARK-45564] [SC-145735][SQL] Vereinfachen von „DataFrameStatFunctions.bloomFilter“ mit dem Ausdruck „BloomFilterAggregate“
  • [SPARK-45566] [SC-145777][PS] Unterstützen Sie Pandas-ähnliche Test-Utils für Pandas-API auf Spark
  • [SPARK-45498] [SC-145509][CORE] Followup: Ignorieren des Aufgabenabschlusses aus der alten Phase...
  • [SPARK-45483] [SC-145152][CONNECT] Korrektur der Funktionsgruppen in connect.functions
  • [SPARK-45577] [SC-145781] [PYTHON] Korrektur von UserDefinedPythonTableFunctionAnalyzeRunner, um gefaltete Werte aus benannten Argumenten zu übergeben
  • [SPARK-45009] [SC-138223][FOLLOW UP] Deaktivieren der Dekorrelation in Verknüpfungsbedingungen für AetherSQLQuerySuite
  • [SPARK-45415] [SC-145344] Zulassen der selektiven Deaktivierung von „fallocate“ im RocksDB-StateStore
  • [SPARK-45500] [SC-145134][CORE][WEBUI] Anzeigen der Anzahl von nicht ordnungsgemäß abgeschlossenen Treibern in MasterPage
  • [SPARK-44120] [SC-144349][PYTHON] Unterstützen von Python 3.12
  • [SPARK-45439] [SC-145589][SQL][UI] Verringern der Speicherauslastung von LiveStageMetrics.accumIdsToMetricType
  • [SPARK-45565] [SC-145717][UI] Unnötige JSON- und JSON.parse-Schleife für Aufgabenliste in Phasendetails
  • [SPARK-45567] [SC-145718][CONNECT] Entfernen des redundanten „if“ in org.apache.spark.sql.connect.execution.ExecuteGrpcResponseSender#run
  • [SPARK-45112] [SC-143259][SQL] Verwenden der UnresolvedFunction-basierten Auflösung in SQL-Datasetfunktionen
  • [SPARK-45486] [SASP-2457][SC-145612][CONNECT] add_articact-Anforderung idempotent machen
  • [SPARK-44913] [SC-144326][SQL] DS V2 unterstützt Pushdown V2 UDF mit magischer Methode
  • [SPARK-45538] [SC-145635][PYTHON][CONNECT] Pyspark Connect-Fehler „overwrite_partitions“
  • [SPARK-45491] [SC-145622] Hinzufügen fehlender SQLSTATES 2/2
  • [SPARK-45009] [SC-145620][SC-138223][SQL] Prädikatunterabfragen in Verknüpfungsbedingung dekorrelieren
  • [SPARK-45377] [SC-144377][CORE] Verarbeiten von InputStream in NettyLogger
  • [SPARK-45248] [SC-143759][CORE]Festlegen des Timeouts für spark ui-Server
  • [SPARK-44594] [SC-145611][SS] Entfernen des redundanten Methodenparameters in kafka connector
  • [SPARK-45539] [SC-145621][SS] Hinzufügen von Assertionen und Protokollen, um anzugeben, dass die Wasserzeichendefinition für Streamingaggregationsabfragen im Anfügemodus erforderlich ist
  • [SPARK-44262] [SC-145639][SQL] Hinzufügen von dropTable und getInsertStatement zu JdbcDialect
  • [SPARK-45516] [SC-145480][CONNECT] Einschließen von QueryContext in die SparkThrowable-Protonachricht
  • [SPARK-45310] [SC-145127][CORE] Bericht über den Status des Shuffle-Blocks sollte den Shuffle-Dienst während der Außerbetriebsetzungsmigration respektieren
  • [SPARK-45521] [SC-145487][ML] Vermeiden der Neuberechnung von nnz in VectorAssembler
  • [SPARK-45418] [SC-145485][SQL][PYTHON][CONNECT] Ändern des current_database()-Spaltenalias in current_schema()
  • [SPARK-45116] [SC-145142][SQL] Fügen Sie einen Kommentar für Param von JdbcDialect createTable hinzu
  • [SPARK-45495] [SC-145529][core] Unterstützung für Aufgabenressourcenprofil auf Phasenebene für k8s-Cluster, wenn die dynamische Zuordnung deaktiviert ist
  • [SPARK-45487] [SC-145559] Beheben von SQLSTATE- und temp-Fehlern
  • [SPARK-45505] [SC-145550][PYTHON] Umgestalten von analyzeInPython, um es wiederverwendbar zu machen
  • [SPARK-45132] [SC-145425][SQL] Fix von IDENTIFIER für Funktionsaufrufe
  • [SPARK-45213] [SC-145020][SQL] Zuweisen eines Namens zum Fehler _LEGACY_ERROR_TEMP_2151
  • [SPARK-45416] [SC-145126][CONNECT] Integritätsprüfungs-Konsistenz der Pfeilergebnisse
  • [SPARK-45163] [SC-143386][SQL] Mergen von UNSUPPORTED_VIEW_OPERATION und UNSUPPORTED_TABLE_OPERATION und Beheben eines Fehlers
  • [SPARK-45421] [SC-144814][SQL] Erfassen von AnalysisException über InlineCTE
  • [SPARK-43664] [SC-145404][CONNECT][PS] Auslösen einer Ausnahme für ps.sql mit Pandas-on-Spark-Objekt auf Spark Connect.
  • [SPARK-45402] [SC-145371][SQL][PYTHON] Hinzufügen der UDTF-API für eval- und terminate-Methoden zur Nutzung des vorherigen Analyseergebnisses
  • [SPARK-36112] [SC-67885][SQL] Unterstützung korrelierter EXISTS- und IN-Unterabfragen mithilfe des Frameworks „DecorrelateInnerQuery“
  • [SPARK-45383] [SC-144929][SQL] Fehlermeldung für Zeitreisen mit nicht vorhandener Tabelle beheben
  • [SPARK-43254] [SC-143318][SQL] Zuweisen eines Namens an den Fehler LEGACY_ERROR_TEMP_2018
  • [SPARK-45204] [SC-145167][CONNECT] Hinzufügen optionaler ExecuteHolder zu SparkConnectPlanner
  • [SPARK-45451] [SC-145144][SQL] Die Standardspeicherebene des Datasetcaches konfigurierbar machen
  • [SPARK-45192] [SC-143194][UI] Korrigieren des überfälligen lineInterpolate-Parameters für graphviz edge
  • [SPARK-45467] [SC-145146][CORE] Ersetzen von Proxy.getProxyClass() durch Proxy.newProxyInstance().getClass
  • [SPARK-45397] [SC-145139][ML][CONNECT] Hinzufügen eines Array-Assembler-Feature-Transformators
  • [SPARK-44855] [SC-145226][CONNECT] Kleine Optimierungen zum Anfügen von ExecuteGrpcResponseSender an ExecuteResponseObserver
  • [SPARK-45398] [SC-144796][SQL] Anfügen von ESCAPE in sql() des Like-Ausdrucks
  • [SPARK-45494] [SC-145129][CORE][PYTHON] Einführung von Util-Funktionen zum Lesen/Schreiben eines Bytearrays für PythonWorkerUtils
  • [SPARK-45464] [SC-145125][CORE] Beheben des Netzwerk-Yarn-Verteilungsbuilds
  • [SPARK-45461] [SC-144851][CORE][SQL][MLLIB] Einführung eines Mappers für StorageLevel
  • [SPARK-45450] [SC-145009][PYTHON] Korrektur von Importen nach PEP8: pyspark.pandas und pyspark (Core)
  • [SPARK-45475] [SC-145018][SQL] Verwendet DataFrame.foreachPartition anstelle von RDD.foreachPartition in JdbcUtils
  • [SPARK-45271] [SC-143778][SQL] Mergen von _LEGACY_ERROR_TEMP_1113 in TABLE_OPERATION und Löschen einiger nicht verwendeter Methoden in QueryCompilationErrors
  • [SPARK-45449] [SC-145013][SQL] Cacheinvalidierungs-Problem mit JDBC-Tabelle
  • [SPARK-45473] [SC-145017][SQL] Beheben der falschen Fehlermeldung für RoundBase
  • [SPARK-43299] [SC-145022][SS][CONNECT] Konvertieren von StreamingQueryException in Scala-Client
  • [SPARK-45474] [SC-145014][CORE][WEBUI] Unterstützung der Filterung auf oberster Ebene in der MasterPage-JSON-API
  • [SPARK-45205] [SC-145012][SQL] CommandResultExec um Iteratormethoden außer Kraft zu setzen und Auslösen mehrerer Aufträge zu vermeiden
  • [SPARK-45472] [SC-145004][SS] RocksDB State Store muss das Vorhandensein des Prüfpunktpfads nicht erneut überprüfen
  • [SPARK-45470] [SC-145010][SQL] Vermeiden des Zeichenfolgenwerts der Struktur- oderC-Komprimierungsart
  • [SPARK-45448] [SC-144829][PYTHON] Korrektur von Importen nach PEP8: pyspark.testing, pyspark.mllib, pyspark.resource und pyspark.streaming
  • [SPARK-45446] [SC-144828][PYTHON] Korrektur von Importen nach PEP8: pyspark.errors und pyspark.ml
  • [SPARK-45239] [SC-144832][CONNECT] Reduzieren der Standard-spark.connect.jvmStacktrace.maxSize
  • [SPARK-45436] [SC-144831][PYTHON][CONNECT] DataFrame-Methoden überprüfen dieselbe Sitzung
  • [SPARK-45413] [SC-144847][CORE] Warnung zum Vorbereiten der Drop LevelDB-Unterstützung hinzufügen
  • [SPARK-45462] [SC-144848][CORE][WEBUI] Anzeigen von Duration in ApplicationPage
  • [SPARK-44527] [SC-144855][SQL] Ersetzen von ScalarSubquery durch Null, wenn „maxRows“ 0 ist
  • [SPARK-45401] [SC-144854][PYTHON] Hinzufügen einer neuen Methode cleanup in der UDTF-Schnittstelle
  • [SPARK-43704] [SC-144849][CONNECT][PS] Unterstützung von MultiIndex für to_series()
  • [SPARK-45424] [SC-144888][SQL] Korrigieren der TimestampFormatter-Rückgabe optionaler Analyseergebnisse, wenn nur eine Präfix-Übereinstimmung vorliegt
  • [SPARK-45441] [SC-144833][PYTHON] Einführung weiterer Util-Funktionen für PythonWorkerUtils
  • [SPARK-45412] [SC-144803][PYTHON][CONNECT] Überprüfen des Plans und der Sitzung in DataFrame.__init__
  • [SPARK-45408] [SC-144810][CORE] Hinzufügen von RPC-SSL-Einstellungen in TransportConf
  • [SPARK-45432] [SC-144818][CORE] Veralteten Hadoop-2-LocatedFileStatus-Konstruktor entfernen
  • [SPARK-45434] [SC-144819][ML][CONNECT] LogisticRegression überprüft die Trainingsbezeichnungen
  • [SPARK-45420] [SC-144808][SQL][PYTHON][CONNECT] Hinzufügen von DataType.fromDDL in PySpark
  • [SPARK-45406] [SC-144793][PYTHON][CONNECT] schema aus DataFrame-Konstruktor löschen
  • [SPARK-45404] [SC-144799][CORE] AWS_ENDPOINT_URL-env-Variable unterstützen
  • [SPARK-43620] [SC-144792][CONNECT][PS] Das Beheben von Pandas-APIs hängt von nicht unterstützten Features ab
  • [SPARK-45354] [SC-143991][SQL] Auflösen von Funktionen von unten nach oben
  • [SPARK-45394] [SASP-1480][SC-144712][PYTHON][CONNECT] Fügen Sie Wiederholungsversuche für die Artefakt-API hinzu. Verbessern der Fehlerbehandlung (Nachverfolgung zu [SPARK-45093]).
  • [SPARK-45120] [SC-142780][SPARK-45150][UI] Upgrade d3 von v3 auf v7(v7.8.5) und Anwenden von API-Änderungen in der Benutzeroberfläche
  • [SPARK-44838] [SC-143983][SQL] Verbesserung von raise_error
  • [SPARK-45312] [SC-143754][SQL][UI] Unterstützung zum Ein-/Ausblenden des Plan-SVG auf der Ausführungsseite
  • [SPARK-45378] [SC-144448][CORE] Hinzufügen von convertToNettyForSsl zu ManagedBuffer
  • [SPARK-44762] [SC-144338][CONNECT][CORE] Dokument für SparkConnect.addJobTag und Connect SparkSession.addTag
  • [SPARK-45383] Behandeln Sie nicht aufgelöste RelationTimeTravel ordnungsgemäß
  • [SPARK-45347] [SC-144512][SQL][CONNECT] Einschließen von SparkThrowable in FetchErrorDetailsResponse
  • [SPARK-45012] [SC-141512][SQL] CheckAnalysis sollte einen Inlineplan in AnalysisException auslösen
  • [SPARK-45359] [SC-144336][PYTHON][CONNECT] DataFrame.{columns, colRegex, explain} sollte Ausnahmen auslösen, wenn der Plan ungültig ist
  • [SPARK-45227][SC-144233][CORE] Ein kleines Threadsicherheitsproblem wurde mit CoarseGrainedExecutorBackend gefixt
  • [SPARK-45266] [SC-144171][PYTHON] Umgestalten der ResolveFunctions-Analysetoolregel, um den lateralen Join zu verzögern, wenn Tabellenargumente verwendet werden
  • [SPARK-45266] Wiederherstellen von „[SC-144171][PYTHON] Umgestalten der ResolveFunctions-Analysetoolregel, um den lateralen Join zu verzögern, wenn Tabellenargumente verwendet werden“
  • [SPARK-45371] [SC-144389][CONNECT] Beheben von Schattierungsproblemen beim Spark Connect-Scala-Client
  • [SPARK-45057] [SC-144214][CORE] Vermeiden einer Lesesperre, wenn keepReadLock FALSE ist
  • [SPARK-45385] [SC-144357][SQL] spark.sql.parser.escapedStringLiterals einstellen
  • [SPARK-45340] [SC-143917][SQL] Entfernen der SQL-Konfiguration spark.sql.hive.verifyPartitionPath
  • [SPARK-45266] [SC-144171][PYTHON] Umgestalten der ResolveFunctions-Analysetoolregel, um den lateralen Join zu verzögern, wenn Tabellenargumente verwendet werden
  • [SPARK-45362] [SC-144198][PYTHON] Ausblenden von PARTITION BY-Ausdrücken, bevor die „eval“-Methode für Python-UDFT sie nutzt
  • [SPARK-45346] [SC-143925][SQL] Beim Parquet-Schemarückfluss sollte die Groß-/Kleinschreibung von Flags während dem Zusammenführen des Schemas beachtet werden
  • [SPARK-45341] [SC-143933][CORE] Korrigieren der Titelebene in den Kommentaren von KVStore.java, um sbt doc erfolgreich mit Java 17 auszuführen
  • [SPARK-45334] [SC-143914][SQL] Entfernen eines irreführenden Kommentars in parquetSchemaConverter
  • [SPARK-45337] [SC-143932][CORE] Umgestalten von AbstractCommandBuilder#getScalaVersion, um die Überprüfung für Scala 2.12 zu entfernen
  • [SPARK-45329] [SC-143918][PYTHON][CONNECT] DataFrame-Methoden überspringen Pandas-Konvertierung
  • [SPARK-43662] [SC-143923][PS][CONNECT] Unterstützen von merge_asof in Spark Connect
  • [SPARK-44126] [SC-143751][CORE] Die Anzahl der Fehler bei der Shuffle-Migration sollte nicht erhöht werden, wenn der Zielausführer außer Betrieb genommen wurde
  • [SPARK-44550] [SC-119768][SQL] Aktivieren von Richtigkeits-Fixes für null IN (empty list) unter ANSI
  • [SPARK-45316] [SC-143783][CORE][SQL] Hinzufügen der neuen Parameter ignoreCorruptFiles/ignoreMissingFiles zu HadoopRDD und NewHadoopRDD
  • [SPARK-45093] [SC-143414][CONNECT][PYTHON] Fehlerberichterstattung für addArtifacts-Abfrage
  • [SPARK-44756] [SC-143787][CORE] Der Executor hängt, wenn RetryingBlockTransferor keinen Wiederholungsversuch einleiten kann
  • [SPARK-45333] [SC-143768][CORE] Beheben eines Fehlers im Zusammenhang mit einer Einheit im Zusammenhang mit spark.eventLog.buffer.kb
  • [SPARK-45317] [SC-143750][SQL][CONNECT] Behandeln von NULL-Dateinamen in Stapelüberwachungen von Ausnahmen
  • [SPARK-45191] [SC-143407][SQL] InMemoryTableScanExec simpleStringWithNodeId fügt Spalteninformationen hinzu
  • [SPARK-45235] [SC-143314][CONNECT][PYTHON] Unterstützung von Zuordnungs- und Arrayparametern nach sql()
  • [SPARK-45138] [SC-143309][SS] Definieren einer neuen Fehlerklasse und Anwenden dieser Klasse, wenn die Prüfpunktausführung des Zustands auf DFS fehlschlägt
  • [SPARK-45297] [SC-143644][SQL] Problemumgehung für Datumsformatierer entfernen, der in SPARK-31827 hinzugefügt wurde
  • [SPARK-44345] [SC-143593][CORE] Niedrigere unknown shuffle map output-Protokollebene zum WARNEN, wenn Shuffle-Migration aktiviert ist
  • [SPARK-44463] [SC-143251][SS][CONNECT] Verbessern der Fehlerbehandlung für Connect Steaming Python Worker
  • [SPARK-45207] [SC-143603][SQL][CONNECT] Implementieren der Fehleranreicherung für Scala-Client
  • [SPARK-45240] [SC-143602][SQL][CONNECT] Implementieren der Fehleranreicherung für Python-Client
  • [SPARK-45216] [SC-143288][SQL] Beheben nicht deterministischer Seeded-Dataset-APIs
  • [SPARK-45251] [SC-143419][CONNECT] Feld „client_type“ hinzufügen für FetchErrorDetails
  • [SPARK-45137] [SC-143001][CONNECT] Unterstützung von Zuordnungs-/Arrayparametern in parametrisiertem sql()
  • [SPARK-45224] [SC-143257][PYTHON] Hinzufügen von Beispielen mit Zuordnung und Array als Parametern von sql()
  • [SPARK-44622] [SC-143205][SQL][CONNECT] Implementieren von FetchErrorDetails-RPC
  • [SPARK-45178] [SC-136089] Fallback zum Ausführen eines einzelnen Batches für Trigger.AvailableNow mit nicht unterstützte Quellen anstelle von Wrappern
  • [SPARK-44823] [14.x][SC-142979][PYTHON] Aktualisieren von Schwarz auf 23.9.1 und Korrigieren von fehlerhafter Überprüfung
  • [SPARK-45078] [SC-142954][SQL] Korrektur von array_insert ImplicitCastInputTypes funktionieren nicht
  • [SPARK-44579] [SC-138428][SQL] Unterstützung von „Interrupt beim Abbrechen“ in SQLExecution
  • [SPARK-45252] [SC-143371][CORE] Escapen Sie die Symbole größer/kleiner in den Kommentaren, damit sbt doc erfolgreich ausgeführt wird
  • [SPARK-45189] [SC-142973][SQL] Erstellen von UnresolvedRelation aus TableIdentifier sollte das Katalogfeld enthalten
  • [SPARK-45229] [SC-143254][CORE][UI] Anzeigen der Anzahl der Treiber, die im SUBMITTED-Status in MasterPage warten
  • [SPARK-43453] Wiederherstellen von „[SC-143135][PS] Ignorieren der names von MultiIndex wenn axis=1 für concat steht

Databricks ODBC/JDBC-Treiberunterstützung

Databricks unterstützt ODBC-/JDBC-Treiber, die in den letzten 2 Jahren veröffentlicht wurden. Laden Sie die kürzlich veröffentlichten Treiber herunter, und führen Sie ein Upgrade durch (ODBC herunterladen, JDBC herunterladen).

Systemumgebung

  • Betriebssystem: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.72.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • Delta Lake: 3.0.0

Installierte Python-Bibliotheken

Bibliothek Version Bibliothek Version Bibliothek Version
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.0.5 attrs 22.1.0 backcall 0.2.0
beautifulsoup4 4.11.1 black 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.96
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 Klicken 8.0.4 comm 0.1.2
contourpy 1.0.5 cryptography 39.0.1 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 defusedxml 0.7.1
distlib 0.3.7 docstring-to-markdown 0,11 entrypoints 0,4
executing 0.8.3 facets-overview 1.1.1 fastjsonschema 2.19.0
filelock 3.12.4 fonttools 4.25.0 googleapis-common-protos 1.61.0
grpcio 1.48.2 grpcio-status 1.48.1 httplib2 0.20.2
idna 3.4 importlib-metadata 4.6.4 ipykernel 6.25.0
ipython 8.14.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.17.3
jupyter-client 7.3.4 jupyter-server 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 keyring 23.5.0
kiwisolver 1.4.4 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lxml 4.9.1 MarkupSafe 2.1.1
matplotlib 3.7.0 matplotlib-inline 0.1.6 mccabe 0.7.0
mistune 0.8.4 more-itertools 8.10.0 mypy-extensions 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 nodeenv 1.8.0
Notebook 6.5.2 notebook_shim 0.2.2 numpy 1.23.5
oauthlib 3.2.0 Packen 22.0 Pandas 1.5.3
pandocfilters 1.5.0 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 22.3.1 platformdirs 2.5.2
plotly 5.9.0 pluggy 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 4.24.0 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pyarrow-hotfix 0,4 pycparser 2.21
pydantic 1.10.6 pyflakes 3.1.0 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
Python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
requests 2.28.1 rope 1.7.0 s3transfer 0.6.2
scikit-learn 1.1.1 scipy 1.10.0 seaborn 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 setuptools 65.6.3
sechs 1.16.0 sniffio 1.2.0 soupsieve 2.3.2.post1
ssh-import-id 5.11 stack-data 0.2.0 statsmodels 0.13.5
tenacity 8.1.0 terminado 0.17.1 threadpoolctl 2.2.0
tinycss2 1.2.1 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlets 5.7.1 typing_extensions 4.4.0
ujson 5.4.0 unattended-upgrades 0,1 urllib3 1.26.14
virtualenv 20.16.7 wadllib 1.3.6 wcwidth 0.2.5
webencodings 0.5.1 websocket-client 0.58.0 whatthepatch 1.0.2
wheel 0.38.4 widgetsnbextension 3.6.1 yapf 0.33.0
zipp 1.0.0

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Posit Package Manager CRAN-Momentaufnahme am 2023-02-10 installiert.

Bibliothek Version Bibliothek Version Bibliothek Version
Pfeil 12.0.1 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.3.1 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 Blob 1.2.4
boot 1.3-28 brew 1,0 - 8 brio 1.1.3
broom 1.0.5 bslib 0.5.0 cachem 1.0.8
callr 3.7.3 caret 6.0-94 cellranger 1.1.0
chron 2.3-61 class 7.3-22 cli 3.6.1
clipr 0.8.0 clock 0.7.0 cluster 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.9.0
compiler 4.3.1 config 0.3.1 conflicted 1.2.0
cpp11 0.4.4 crayon 1.5.2 Anmeldeinformationen 1.3.2
curl 5.0.1 data.table 1.14.8 datasets 4.3.1
DBI 1.1.3 dbplyr 2.3.3 desc 1.4.2
devtools 2.4.5 Diagramm 1.6.5 diffobj 0.3.5
digest 0.6.33 downlit 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 ellipsis 0.3.2
Evaluieren 0,21 fansi 1.0.4 farver 2.1.1
fastmap 1.1.1 fontawesome 0.5.1 forcats 1.0.0
foreach 1.5.2 foreign 0.8-82 forge 0.2.0
fs 1.6.2 future 1.33.0 future.apply 1.11.0
gargle 1.5.1 generics 0.1.3 gert 1.9.2
ggplot2 3.4.2 gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 globals 0.16.2 glue 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
Grafiken 4.3.1 grDevices 4.3.1 grid 4.3.1
gridExtra 2.3 gsubfn 0.7 gtable 0.3.3
hardhat 1.3.0 haven 2.5.3 highr 0,10
hms 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
ids 1.0.1 ini 0.3.1 ipred 0.9-14
isoband 0.2.7 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 knitr 1,43
labeling 0.4.2 later 1.3.1 lattice 0.21-8
lava 1.7.2.1 Lebenszyklus 1.0.3 listenv 0.9.0
lubridate 1.9.2 magrittr 2.0.3 markdown 1.7
MASS 7.3-60 Matrix 1.5-4.1 memoise 2.0.1
Methoden 4.3.1 mgcv 1.8-42 mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-162 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 parallel 4.3.1
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.4 processx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 Fortschritt 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
readr 2.1.4 readxl 1.4.3 recipes 1.0.6
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.1.1
rmarkdown 2.23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions 2.1.2
rvest 1.0.3 sass 0.4.6 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
spatial 7.3-15 splines 4.3.1 sqldf 0.4-11
SQUAREM 2021.1 stats 4.3.1 stats4 4.3.1
stringi 1.7.12 stringr 1.5.0 survival 3.5-5
sys 3.4.2 systemfonts 1.0.4 tcltk 4.3.1
testthat 3.1.10 textshaping 0.3.6 tibble 3.2.1
tidyr 1.3.0 tidyselect 1.2.0 tidyverse 2.0.0
timechange 0.2.0 timeDate 4022.108 tinytex 0.45
Tools 4.3.1 tzdb 0.4.0 urlchecker 1.0.1
usethis 2.2.2 utf8 1.2.3 utils 4.3.1
uuid 1.1-0 vctrs 0.6.3 viridisLite 0.4.2
vroom 1.6.3 waldo 0.5.1 whisker 0.4.1
withr 2.5.0 xfun 0.39 xml2 1.3.5
xopen 1.0.0 xtable 1.8-4 yaml 2.3.7
zip 2.3.0

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)

Gruppen-ID Artefakt-ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics Datenstrom 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.7.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,25
io.delta delta-sharing-client_2.12 1.0.2
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Sammlung 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 12.0.1
org.apache.arrow arrow-memory-core 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow arrow-vector 12.0.1
org.apache.avro avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.9.1-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.1-shaded-protobuf
org.apache.orc orc-shims 1.9.1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.9
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.9.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1