Freigeben über

Databricks Runtime 15.2

  • Artikel

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 15.2, unterstützt von Apache Spark 3.5.0.

Dieses Image wurde von Databricks im Mai 2024 veröffentlicht.

Tipp

Hinweise zu Databricks-Runtime-Versionen, die das Ende des Supports (EoS) erreicht haben, finden Sie unter Versionshinweise zu Databricks Runtime am Ende des Supports. Die EoS-Databricks-Runtime-Versionen wurden eingestellt und werden möglicherweise nicht aktualisiert.

Änderungen des Verhaltens

VACUUM bereinigt „COPY INTO“-Metadatendateien

Das Ausführen von VACUUM auf einer Tabelle, die mit COPY INTO geschriebenen wurde, bereinigt jetzt nicht referenzierten Metadaten, die mit der Nachverfolgung erfasster Dateien verbunden sind. Es gibt keine Auswirkungen auf die operative Semantik von COPY INTO.

Lakehouse-Partnerverbund ist allgemein verfügbar (GA)

In Databricks Runtime 15.2 und höher sind Lakehouse-Partnerverbund-Connectors für die folgenden Datenbanktypen allgemein verfügbar (GA):

  • MySQL
  • PostgreSQL
  • Amazon Redshift
  • Snowflake
  • Microsoft SQL Server
  • Azure Synapse (SQL Data Warehouse)
  • Databricks

In diesem Release werden auch die folgenden Verbesserungen eingeführt:

  • Unterstützung der SSO-Authentifizierung (Single Sign-On) in den Snowflake- und Microsoft SQL Server-Connectors.

  • Azure Private Link-Unterstützung für den SQL Server-Connector aus Umgebungen für serverloses Computing. Weitere Informationen finden Sie unter Schritt 3: Erstellen von Regeln für den privaten Endpunkt.

  • Unterstützung für zusätzliche Pushdowns (Zeichenfolge, Mathematik und verschiedene Funktionen).

  • Verbesserte Pushdown-Erfolgsrate für verschiedene Abfrageformen.

  • Zusätzliche Pushdown-Debuggingfunktionen:

    • Die Ausgabe EXPLAIN FORMATTED zeigt den Abfragetext an, für den ein Pushdown ausgeführt wurde.
    • Die Benutzeroberfläche des Abfrageprofils zeigt den Abfragetext, für den ein Pushdown ausgeführt wurde, Verbundknoten-IDs und Ausführungszeiten von JDBC-Abfragen (im ausführlichen Modus) an. Siehe Anzeigen der vom System generierten Verbundabfragen.

BY POSITION für die Spaltenzuordnung mithilfe von COPY INTO mit headerlosen CSV-Dateien

In Databricks Runtime 15.2 und höher können Sie die BY POSITION-Keywords oder alternative Syntax ( col_name [ , <col_name> ... ] ) mit COPY INTO für headerlose CSV-Dateien verwenden, um die Zuordnung von Quellspalte zu Zieltabellenspalte zu vereinfachen. Siehe Parameter.

Verringern des Arbeitsspeicherverbrauchs, wenn Spark-Aufgaben mit einem Resubmitted-Fehler fehlschlagen

In Databricks Runtime 15.2 und höher ist der Rückgabewert der Spark TaskInfo.accumulables()-Methode leer, wenn Vorgänge mit einem Resubmitted-Fehler fehlschlagen. Zuvor hat die Methode die Werte eines früheren erfolgreichen Vorgangsversuchs zurückgegeben. Diese Verhaltensänderung wirkt sich auf die folgenden Verbraucher aus:

  • Spark-Aufgaben, die die EventLoggingListener-Klasse verwenden.
  • Benutzerdefinierte Spark-Listener.

Um das vorherige Verhalten wiederherzustellen, legen Sie spark.scheduler.dropTaskInfoAccumulablesOnTaskCompletion.enabled auf false fest.

Anzeigen von Planversionen der adaptiven Abfrageausführung ist deaktiviert.

Um den Speicherverbrauch zu reduzieren, sind die Planversionen der adaptiven Abfrageausführung (AQE) jetzt standardmäßig in der Spark-Benutzeroberfläche deaktiviert. Um die Anzeige von AQE-Planversionen in der Spark-Benutzeroberfläche zu aktivieren, legen Sie die spark.databricks.sql.aqe.showPlanChangesInUI.enabled auf true fest.

Der Grenzwert für beibehaltene Abfragen wird verringert, um die Speicherauslastung der Spark-Benutzeroberfläche zu verringern.

In Databricks Runtime 15.2 und höher wird der von der Spark-Benutzeroberfläche in Azure Databricks verbrauchte Speicher reduziert, der Grenzwert für die Anzahl der in der Benutzeroberfläche sichtbaren Abfragen wird von 1000 auf 100 gesenkt. Um den Grenzwert zu ändern, legen Sie einen neuen Wert mithilfe der spark.sql.ui.retainedExecutions Spark-Konfiguration fest.

DESCRIBE HISTORY zeigt jetzt Clustering-Spalten für Tabellen an, die Liquid Clustering verwenden

Wenn Sie eine DESCRIBE HISTORY-Abfrage ausführen, zeigt die Spalte operationParameters standardmäßig ein Feld clusterBy für CREATE OR REPLACE- und OPTIMIZE-Vorgänge an. Bei einer Delta-Tabelle, die Liquid Clustering verwendet, wird das Feld clusterBy mit den Clustering-Spalten der Tabelle aufgefüllt. Wenn die Tabelle kein Liquid Clustering verwendet, ist das Feld leer.

Neue Features und Verbesserungen

Unterstützung für Primär- und Fremdschlüssel ist allgemein verfügbar

Die Unterstützung für Primär- und Fremdschlüssel in Databricks Runtime ist allgemein verfügbar. Das GA-Release enthält die folgenden Änderungen an den Berechtigungen, die für das Verwenden von Primär- und Fremdschlüsseln erforderlich sind:

  • Zum Definieren eines Fremdschlüssels benötigen Sie die SELECT-Berechtigung für die Tabelle mit dem Primärschlüssel, auf den der Fremdschlüssel verweist. Sie müssen die Tabelle mit dem Primärschlüssel nicht besitzen, was zuvor erforderlich war.
  • Das Ablegen eines Primärschlüssels mithilfe der CASCADE-Klausel erfordert keine Berechtigungen für die Tabellen, die Fremdschlüssel definieren, welche wiederum auf den Primärschlüssel verweisen. Zuvor mussten Sie die Tabellen besitzen, auf die verwiesen wird.
  • Das Ablegen einer Tabelle mit Einschränkungen erfordert jetzt dieselben Berechtigungen wie das Ablegen von Tabellen ohne Einschränkungen.

Informationen zum Verwenden von Primär- und Fremdschlüsseln mit Tabellen oder Ansichten finden Sie unter CONSTRAINT-Klausel, ADD CONSTRAINT-Klausel und DROP CONSTRAINT-Klausel.

Liquid Clustering erreicht allgemeine Verfügbarkeit (GA)

Die Unterstützung für Liquid Clustering ist in Databricks Runtime 15.2 und höher jetzt allgemein verfügbar. Weitere Informationen finden Sie unter Verwenden von Liquid Clustering für Delta-Tabellen.

Typerweiterung in Public Preview

Sie können jetzt die Typerweiterung für Tabellen aktivieren, die Delta Lake nutzen. Tabellen mit aktivierter Typerweiterung ermöglichen das Ändern des Spaltentyps in einen allgemeineren Datentyp, ohne die zugrunde liegenden Datendateien neu zu schreiben. Weitere Informationen finden Sie unter Typerweiterung.

Schemaentwicklungsklausel zur SQL-Zusammenführungssyntax hinzugefügt

Sie können die WITH SCHEMA EVOLUTION-Klausel nun einer SQL-Zusammenführungsanweisung hinzufügen, um die Schemaentwicklung für den Vorgang zu aktivieren. Weitere Informationen finden Sie unter Schemaentwicklungssyntax für Merge.

Benutzerdefinierte PySpark-Datenquellen sind in der öffentlichen Vorschauversion verfügbar.

Eine PySpark DataSources-Datenquelle kann mit der Python DataSource-API (PySpark) erstellt werden, die das Lesen aus benutzerdefinierten Datenquellen und das Schreiben in benutzerdefinierte Datensenken in Apache Spark mithilfe von Python ermöglicht. Weitere Informationen finden Sie unter Benutzerdefinierte PySpark-Datenquellen.

applyInPandas und mapInPandas sind jetzt im Unity Catalog-Compute im Zugriffsmodus Freigegeben verfügbar

Als Teil einer Databricks Runtime 14.3 LTS-Wartungsversion werden die UDF-Typen applyInPandas und mapInPandas jetzt für den Compute-Zugriffsmodus Freigegeben unterstützt, der die Databricks Runtime 14.3 und höher ausführt.

Verwenden von „dbutils.widgets.getAll()“ zum Abrufen aller Widgets in einem Notebook

Verwenden Sie dbutils.widgets.getAll() zum Abrufen aller Widgetwerte in einem Notebook. Dies ist besonders hilfreich, wenn an eine Spark-SQL-Abfrage mehrere Widgetwerte übergeben werden.

Vakuuminventarunterstützung

Sie können jetzt einen Bestand an Dateien angeben, die beim Ausführen des VACUUM-Befehls in einer Delta-Tabelle berücksichtigt werden sollen. Siehe OSS Delta-Dokumente.

Unterstützung für die Zstandard-Komprimierungsfunktionen

Sie können nun die Funktionen zst_compress, zstd_decompress und try_zstd_decompress verwenden, um BINARY Daten zu komprimieren und zu dekomprimieren.

Fehlerkorrekturen

Abfragepläne in der SQL-Benutzeroberfläche werden jetzt korrekt angezeigt PhotonWriteStage

Wenn sie in der SQL-Benutzeroberfläche angezeigt wird, zeigten write-Befehle in Abfrageplänen fälschlicherweise PhotonWriteStage als Operator an. Mit dieser Version wird die Benutzeroberfläche aktualisiert, um PhotonWriteStage als Phase anzuzeigen. Dies ist nur eine Änderung der Benutzeroberfläche und wirkt sich nicht auf die Ausführung von Abfragen aus.

Ray wurde aktualisiert, um Probleme beim Starten von Ray-Clustern zu beheben.

Diese Version enthält eine gepatchte Version von Ray, die einen Breaking Change behebt, die verhindert, dass Ray-Cluster mit Databricks Runtime for Machine Learning beginnen. Durch diese Änderung wird sichergestellt, dass die Ray-Funktionalität mit Versionen von Databricks Runtime vor 15.2 identisch ist.

GraphFrames wurde aktualisiert, um falsche Ergebnisse mit Spark 3.5 zu beheben.

Diese Version enthält ein Update für das GraphFrames-Paket, um Probleme zu beheben, die falsche Ergebnisse für einige Algorithmen mit GraphFrames und Spark 3.5 verursachen.

Korrigierte Fehlerklasse für DataFrame.sort()- und DataFrame.sortWithinPartitions()-Funktionen

Diese Version enthält eine Aktualisierung der PySpark-Funktionen DataFrame.sort() und DataFrame.sortWithinPartitions(), um sicherzustellen, dass die ZERO_INDEX-Fehlerklasse ausgelöst wird, wenn 0 als Indexargument übergeben wird. Zuvor wurde die Fehlerklasse INDEX_NOT_POSITIVE ausgelöst.

„ipywidgets“ wird herabgestuft von 8.0.4 auf 7.7.2

Um Fehler zu beheben, die durch ein Upgrade von „ipywidgets“ auf 8.0.4 in Databricks Runtime 15.0 eingeführt wurden, wird „ipywidgets“ in Databricks Runtime 15.2 auf 7.7.2 herabgestuft. Dies ist die gleiche Version, die in früheren Databricks Runtime-Versionen enthalten ist.

Bibliotheksupgrades

  • Aktualisierte Python-Bibliotheken:
    • GitPython von 3.1.42 auf 3.1.43
    • google-api-core von 2.17.1 auf 2.18.0
    • google-auth von 2.28.1 auf 2.29.0
    • google-cloud-storage von 2.15.0 auf 2.16.0
    • googleapis-common-protos von 1.62.0 auf 1.63.0
    • ipywidgets von 8.0.4 auf 7.7.2
    • mlflow-skinny von 2.11.1 auf 2.11.3
    • s3transfer von 0.10.0 auf 0.10.1
    • sqlparse von 0.4.4 auf 0.5.0
    • typing_extensions von 4.7.1 auf 4.10.0
  • Aktualisierte R-Bibliotheken:
  • Aktualisierte Java-Bibliotheken:
    • com.amazonaws.aws-java-sdk-autoscaling von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-cloudformation von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-cloudfront von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-cloudhsm von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-cloudsearch von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-cloudtrail von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-cloudwatch von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-codedeploy von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-cognitoidentity von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-cognitosync von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-config von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-core von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-datapipeline von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-directconnect von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-directory von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-dynamodb von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-ec2 von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-ecs von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-efs von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-elasticache von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-elasticbeanstalk von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-elasticloadbalancing von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-elastictranscoder von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-emr von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-glacier von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-glue von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-iam von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-importexport von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-kinesis von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-kms von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-lambda von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-logs von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-machinelearning von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-opsworks von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-rds von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-redshift von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-route53 von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-s3 von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-ses von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-simpledb von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-simpleworkflow von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-sns von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-sqs von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-ssm von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-storagegateway von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-sts von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-support von 1.12.390 auf 1.12.610
    • com.amazonaws.aws-java-sdk-workspaces von 1.12.390 auf 1.12.610
    • com.amazonaws.jmespath-java von 1.12.390 auf 1.12.610

Apache Spark

Databricks Runtime 15.2 enthält Apache Spark 3.5.0. Diese Version enthält alle Spark Fixes und Verbesserungen, die in Databricks Runtime 15.1 (EoS) enthalten sind, sowie die folgenden zusätzlichen Fehlerbehebungen und Verbesserungen, die an Spark vorgenommen wurden:

  • [SPARK-47941] [SC-163568] [SS] [Connect] Weitergabe von ForeachBatch Worker-Initialisierungsfehlern an Benutzerinnen und Benutzer für PySpark
  • [SPARK-47412] [SC-163455][SQL] Kollationierungsunterstützung für LPad/RPad wurde hinzugefügt.
  • [SPARK-47907] [SC-163408][SQL] Bang wurde unter einer Konfiguration abgelegt
  • [SPARK-46820] [SC-157093][PYTHON] Behebung einer Fehlermeldung durch Wiederherstellung von new_msg
  • [SPARK-47602] [SPARK-47577][SPARK-47598][SPARK-47577]Core/MLLib/Resource Managers: Migration der strukturierten Protokollierung
  • [SPARK-47890] [SC-163324][CONNECT][PYTHON] Hinzufügen verschiedener Funktionen zu Scala und Python
  • [SPARK-47894] [SC-163086][CORE][WEBUI] Hinzufügen der Seite Environment zur Master-Benutzeroberfläche
  • [SPARK-47805] [SC-163459][SS] Implementieren von TTL für MapState
  • [SPARK-47900] [SC-163326] Korrektur der Prüfung auf implizite (UTF8_BINARY) Sortierung
  • [SPARK-47902] [SC-163316][SQL]Ausdrücke zum Berechnen der aktuellen Zeit* faltbar machen
  • [SPARK-47845] [SC-163315][SQL][PYTHON][CONNECT] Unterstützung des Spaltentyps in der Split-Funktion für Scala und Python
  • [SPARK-47754] [SC-162144][SQL] Postgres: Unterstützung für das Lesen mehrdimensionaler Arrays
  • [SPARK-47416] [SC-163001][SQL] Hinzufügen neuer Funktionen zu CollationBenchmark #90339
  • [SPARK-47839] [SC-163075][SQL] Behebung des Aggregat-Fehlers in RewriteWithExpression
  • [SPARK-47821] [SC-162967][SQL] Implementieren des Ausdrucks is_variant_null
  • [SPARK-47883] [SC-163184][SQL] CollectTailExec.doExecute mit RowQueue verzögern
  • [SPARK-47390] [SC-163306][SQL] PostgresDialect unterscheidet TIMESTAMP von TIMESTAMP_TZ
  • [SPARK-47924] [SC-163282][CORE] Hinzufügen eines DEBUG-Protokolls zu DiskStore.moveFileToBlock
  • [SPARK-47897] [SC-163183][SQL][3.5] Beheben der ExpressionSet Leistungsregression in scala 2.12
  • [SPARK-47565] [SC-161786][PYTHON] Ausfallsicherheit des PySpark Worker Pools
  • [SPARK-47885] [SC-162989][PYTHON][CONNECT] pyspark.resource mit pyspark-connect kompatibel machen
  • [SPARK-47887] [SC-163122][CONNECT] Nicht verwendeten Import spark/connect/common.proto von spark/connect/relations.proto entfernen
  • [SPARK-47751] [SC-161991][PYTHON][CONNECT] pyspark.worker_utils mit pyspark-connect kompatibel machen
  • [SPARK-47691] [SC-161760][SQL] Postgres: Unterstützung mehrdimensionaler Arrays auf der Schreibseite
  • [SPARK-47617] [SC-162513][SQL] Hinzufügen der TPC-DS-Testinfrastruktur für Kollationen
  • [SPARK-47356] [SC-162858][SQL] Hinzufügen von Unterstützung für ConcatWs & Elt (alle Sortierungen)
  • [SPARK-47543] [SC-161234][CONNECT][PYTHON] Ableiten von dict als MapType von Pandas DataFrame zum Zulassen der DataFrame-Erstellung
  • [SPARK-47863] [SC-162974][SQL] Behebung von startsWith & endsWith, die die Sortierung für ICU berücksichtigen
  • [SPARK-47867] [SC-162966][SQL] Unterstützen von Varianten in JSON-Scans.
  • [SPARK-47366] [SC-162475][SQL][PYTHON] VariantVal für PySpark hinzufügen
  • [SPARK-47803] [SC-162726][SQL] Unterstützung für die Umwandlung in eine Variante.
  • [SPARK-47769] [SC-162841][SQL] Hinzufügen des Ausdrucks schema_of_variant_agg.
  • [SPARK-47420] [SC-162842][SQL] Korrektur der Testausgabe
  • [SPARK-47430] [SC-161178][SQL] Unterstützung von GROUP BY für MapType
  • [SPARK-47357] [SC-162751][SQL] Hinzufügen von Unterstützung für Upper, Lower, InitCap (alle Sortierungen)
  • [SPARK-47788] [SC-162729][SS] Sicherstellen der gleichen Hash-Partitionierung für Streaming Stateful Ops
  • [SPARK-47776] [SC-162291][SS] Vermeidung der Verwendung einer binären Ungleichheitssortierung im Schlüsselschema eines zustandsabhängigen Operators
  • [SPARK-47673] [SC-162824][SS] Implementieren von TTL für ListState
  • [SPARK-47818] [SC-162845][CONNECT] Einführung eines Plan-Cache in SparkConnectPlanner zur Verbesserung der Leistung von Analyze-Anforderungen
  • [SPARK-47694] [SC-162783][CONNECT] Maximale Nachrichtengröße auf der Client-Seite konfigurierbar machen
  • [SPARK-47274] Rückgängig machen von "[SC-162479][PYTHON][SQL] Nützlicheren Kontext…
  • [SPARK-47616] [SC-161193][SQL] Benutzerdokument für das Zuordnen von Spark SQL-Datentypen aus MySQL hinzufügen
  • [SPARK-47862] [SC-162837][PYTHON][CONNECT] Korrektur der Erzeugung von Proto-Dateien
  • [SPARK-47849] [SC-162724][PYTHON][CONNECT] Ändern des Freigabeskripts zur Freigabe von pyspark-connect
  • [SPARK-47410] [SC-162518][SQL] Refaktorieren von UTF8String und CollationFactory
  • [SPARK-47807] [SC-162505][PYTHON][ML] pyspark.ml mit pyspark-connect kompatibel machen
  • [SPARK-47707] [SC-161768][SQL] Spezielle Behandlung des JSON-Typs für MySQL Connector/J 5.x
  • [SPARK-47765] Rückgängig machen von „[SC-162636][SQL] Hinzufügen von SET COLLATION zu Pars…
  • [SPARK-47081] [SC-162151][CONNECT][FOLLOW] Verbesserung der Benutzerfreundlichkeit des Progress Handlers
  • [SPARK-47289] [SC-161877][SQL] Erweiterungen zulassen, um erweiterte Informationen im Erklärungsplan zu protokollieren
  • [SPARK-47274] [SC-162479][PYTHON][SQL] Nützlicheren Kontext für PySpark DataFrame API-Fehler bereitstellen
  • [SPARK-47765] [SC-162636][SQL] Hinzufügen von SET COLLATION zu Parserregeln
  • [SPARK-47828] [SC-162722][CONNECT][PYTHON] DataFrameWriterV2.overwrite schlägt mit ungültigem Plan fehl
  • [SPARK-47812] [SC-162696][CONNECT] Unterstützung der Serialisierung von SparkSession für ForEachBatch-Worker
  • [SPARK-47253] [SC-162698][CORE] Zulassen, dass LiveEventBus gestoppt wird, ohne dass die Ereigniswarteschlange vollständig geleert wird
  • [SPARK-47827] [SC-162625][PYTHON] Fehlende Warnungen für veraltete Funktionen
  • [SPARK-47733] [SC-162628][SS] Hinzufügen von benutzerdefinierten Metriken für den Operator transformWithState als Teil des Abfragefortschritts
  • [SPARK-47784] [SC-162623][SS] Zusammenführen von TTLMode und TimeoutMode in einen einzigen TimeMode.
  • [SPARK-47775] [SC-162319][SQL] Unterstützung der übrigen skalaren Typen in der Varianten-Spezifikation.
  • [SPARK-47736] [SC-162503][SQL] Hinzufügen von Unterstützung für AbstractArrayType
  • [SPARK-47081] [SC-161758][CONNECT] Unterstützung des Abfrageausführungsfortschritts
  • [SPARK-47682] [SC-162138][SQL] Unterstützung für die Umwandlung aus einer Variante.
  • [SPARK-47802] [SC-162478][SQL] Rückgängig machen, dass () statt der Bedeutung struct() wieder die Bedeutung * hat.
  • [SPARK-47680] [SC-162318][SQL] Hinzufügen des Ausdrucks variant_explode.
  • [SPARK-47809] [SC-162511][SQL] checkExceptionInExpression sollte Fehler für jeden Codegen-Modus prüfen
  • [SPARK-41811] [SC-162470][PYTHON][CONNECT] Implementieren von SQLStringFormatter mit WithRelations
  • [SPARK-47693] [SC-162326][SQL] Hinzufügen einer Optimierung für den Vergleich von Kleinbuchstaben bei UTF8String in der Sortierung UTF8_BINARY_LCASE
  • [SPARK-47541] [SC-162006][SQL] Kollationierte Strings in komplexen Typen mit Unterstützung der Vorgänge reverse, array_join, concat, map
  • [SPARK-46812] [SC-161535][CONNECT][PYTHON] Erstellen eines mapInPandas mapInArrow Unterstützungs-ResourceProfile
  • [SPARK-47727] [SC-161982][PYTHON] SparkConf zur Stammebene für SparkSession und SparkContext machen
  • [SPARK-47406] [SC-159376][SQL] Behandlung von TIMESTAMP und DATETIME in MYSQLDialect
  • [SPARK-47081] Rückgängig machen von „[SC-161758][CONNECT] Unterstützung des Abfrageausführ…
  • [SPARK-47681] [SC-162043][SQL] Hinzufügen des Ausdrucks schema_of_variant.
  • [SPARK-47783] [SC-162222] Hinzufügen einiger fehlender SQLSTATEs und Bereinigen von YY000 für die Verwendung…
  • [SPARK-47634] [SC-161558][SQL] Hinzufügen von Legacy-Unterstützung für die Deaktivierung der Kartenschlüssel-Normalisierung
  • [SPARK-47746] [SC-162022] Implementieren der ordinalen Bereichskodierung im RocksDBStateEncoder
  • [SPARK-47285] [SC-158340][SQL] AdaptiveSparkPlanExec sollte immer context.session verwenden
  • [SPARK-47643] [SC-161534][SS][PYTHON] Hinzufügen von Pyspark-Test für Python-Streaming-Quellen
  • [SPARK-47582] [SC-161943][SQL] Migrieren von Catalyst logInfo mit Variablen zum strukturierten Logging-Framework
  • [SPARK-47558] [SC-162007][SS] Unterstützung von State TTL für ValueState
  • [SPARK-47358] [SC-160912][SQL][COLLATION] Verbessern der Unterstützung von Wiederholungsausdrücken, um den richtigen Datentyp zurückzugeben
  • [SPARK-47504] [SC-162044][SQL] Auflösen von AbstractDataType simpleStrings für StringTypeCollated
  • [SPARK-47719] Rückgängig machen von „[SC-161909][SQL] Ändern von spark.sql.legacy.t…
  • [SPARK-47657] [SC-162010][SQL] Implementieren der Unterstützung für die Pushdown-Funktion von Sortierfiltern pro Dateiquelle
  • [SPARK-47081] [SC-161758][CONNECT] Unterstützung des Abfrageausführungsfortschritts
  • [SPARK-47744] [SC-161999] Hinzufügen von Unterstützung für negativ bewertete Bytes im Bereichskodierer
  • [SPARK-47713] [SC-162009][SQL][CONNECT] Beheben eines Fehlers beim Self-Join
  • [SPARK-47310] [SC-161930][SS] Hinzufügen eines Micro-Benchmarks für Merge-Vorgänge für mehrere Werte im Werteteil des Zustandsspeichers
  • [SPARK-47700] [SC-161774][SQL] Berichtigung der Formatierung von Fehlermeldungen mit treeNode
  • [SPARK-47752] [SC-161993][PS][CONNECT] Kompatibilität von pyspark.pandas mit pyspark-connect herstellen
  • [SPARK-47575] [SC-161402][SPARK-47576][SPARK-47654] Implementierung der logWarning/logInfo-API in einem strukturierten Protokollierungsframework
  • [SPARK-47107] [SC-161201][SS][PYTHON] Implementierung eines Partitionslesers für eine Python-Streaming-Datenquelle
  • [SPARK-47553] [SC-161772][SS] Hinzufügen von Java-Unterstützung für transformWithState-Operator-APIs
  • [SPARK-47719] [SC-161909][SQL] Ändern von spark.sql.legacy.timeParserPolicy Standard auf CORRECTED
  • [SPARK-47655] [SC-161761][SS] Integrieren des Timers mit der Behandlung des Anfangszustands für state-v2
  • [SPARK-47665] [SC-161550][SQL] Verwenden von SMALLINT zum Schreiben von ShortType in MYSQL
  • [SPARK-47210] [SC-161777][SQL] Hinzufügen von implizitem Casting ohne unbestimmte Unterstützung
  • [SPARK-47653] [SC-161767][SS] Hinzufügen von Unterstützung für negative numerische Typen und Range Scan Key Encoder
  • [SPARK-46743] [SC-160777][SQL] Zählungsfehler nach konstantem Falten
  • [SPARK-47525] [SC-154568][SQL] Unterstützung der Verknüpfung von Unterabfragen auf Kartenattributen
  • [SPARK-46366] [SC-151277][SQL] Verwenden des WITH-Ausdrucks in BETWEEN, um doppelte Ausdrücke zu vermeiden
  • [SPARK-47563] [SC-161183][SQL] Hinzufügen der Zuordnungsnormalisierung bei der Erstellung
  • [SPARK-42040] [SC-161171][SQL] SPJ: Einführung einer neuen API für die V2-Eingabepartition zur Erstellung von Partitionsstatistiken
  • [SPARK-47679] [SC-161549][SQL] Direkte Verwendung von HiveConf.getConfVars- oder Hive conf-Namen
  • [SPARK-47685] [SC-161566][SQL] Wiederherstellen der Unterstützung für den Stream-Typ in Dataset#groupBy
  • [SPARK-47646] [SC-161352][SQL] Try_to_number soll bei fehlerhafter Eingabe NULL zurückgeben
  • [SPARK-47366] [SC-161324][PYTHON] Hinzufügen von pyspark- und dataframe parse_json-Aliasen
  • [SPARK-47491] [SC-161176][CORE] Hinzufügen der slf4j-api-JAR zum Klassenpfad vor den anderen des Verzeichnisses jars
  • [SPARK-47270] [SC-158741][SQL] Lokales Projizieren von CommandResults mit Dataset.isEmpty
  • [SPARK-47364] [SC-158927][CORE] Warnung von PluginEndpoint, wenn Plugins auf eine einseitige Nachricht antworten
  • [SPARK-47280] [SC-158350][SQL] Aufhebung des Grenzwerts für ORACLE TIMESTAMP WITH TIMEZONE
  • [SPARK-47551] [SC-161542][SQL] Hinzufügen des Ausdrucks variant_get.
  • [SPARK-47559] [SC-161255][SQL] Codegen-Unterstützung für die Variante parse_json
  • [SPARK-47572] [SC-161351][SQL] Erzwingen, dass Window partitionSpec geordnet werden kann.
  • [SPARK-47546] [SC-161241][SQL] Verbesserte Validierung beim Lesen von Variante aus Parquet
  • [SPARK-47543] [SC-161234][CONNECT][PYTHON] Ableiten von dict als MapType von Pandas DataFrame zum Zulassen der DataFrame-Erstellung
  • [SPARK-47485] [SC-161194][SQL][PYTHON][CONNECT] Erstellen von Spalten mit Sortierungen in der dataframe-API
  • [SPARK-47641] [SC-161376][SQL] Verbessern der Leistung von UnaryMinus und Abs
  • [SPARK-47631] [SC-161325][SQL] Entfernen der nicht verwendeten SQLConf.parquetOutputCommitterClass-Methode
  • [SPARK-47674] [SC-161504][CORE] Standardmäßige Aktivierung von spark.metrics.appStatusSource.enabled
  • [SPARK-47273] [SC-161162][SS][PYTHON] Implementieren der Python-Schnittstelle für Datenstromschreiber.
  • [SPARK-47637] [SC-161408][SQL] Verwenden von errorCapturingIdentifier an mehr Stellen
  • [SPARK-47497] Rückgängig machen von „Rückgängig machen von „[SC-160724][SQL] to_csv soll die Ausgabe von array/struct/map/binary als hübsche Strings unterstützen““
  • [SPARK-47492] [SC-161316][SQL] Ausweiten der Leerzeichenregeln in Lexer
  • [SPARK-47664] [SC-161475][PYTHON][CONNECT] Validieren der Spaltennamen mit dem zwischengespeicherten Schema
  • [SPARK-47638] [SC-161339][PS][CONNECT] Überspringen der Überprüfung von Spaltennamen in PS
  • [SPARK-47363] [SC-161247][SS] Anfangszustand ohne Zustandsleser-Implementierung für State API v2.
  • [SPARK-47447] [SC-160448][SQL] Zulassen des Lesens von Parquet TimestampLTZ als TimestampNTZ
  • [SPARK-47497] Rückgängig machen von „[SC-160724][SQL] to_csv soll die Ausgabe von array/struct/map/binary als hübsche Strings unterstützen“
  • [SPARK-47434] [SC-160122][WEBUI] Korrigieren des statistics-Links in StreamingQueryPage
  • [SPARK-46761] [SC-159045][SQL] Angegebene Zeichenketten in einem JSON-Pfad sollten ? unterstützen characters
  • [SPARK-46915] [SC-155729][SQL] Vereinfachen von UnaryMinusAbs und Ausrichten der Fehlerklasse
  • [SPARK-47431] [SC-160919][SQL] Hinzufügen der Standard-Kollationierung auf Sitzungsebene
  • [SPARK-47620] [SC-161242][PYTHON][CONNECT] Hinzufügen einer Hilfsfunktion zum Sortieren von Spalten
  • [SPARK-47570] [SC-161165][SS] Integrieren von Änderungen am Bereichsscan-Encoder mit Timer-Implementierung
  • [SPARK-47497] [SC-160724][SQL] to_csv soll die Ausgabe von array/struct/map/binary als hübsche Strings unterstützen
  • [SPARK-47562] [SC-161166][CONNECT] Berücksichtigung der literalen Verarbeitung von plan.py
  • [SPARK-47509] [SC-160902][SQL] Blockieren von Unterabfrageausdrücken in Lambda-Funktionen sowie in Funktionen höherer Ordnung
  • [SPARK-47539] [SC-160750][SQL] Der Rückgabewert der Methode castToString soll Any => UTF8String sein
  • [SPARK-47372] [SC-160905][SS] Hinzufügen von Unterstützung für einen auf Bereichsscan basierenden Schlüsselstatus-Codierer zur Verwendung mit dem Zustandsspeicheranbieter
  • [SPARK-47517] [SC-160642][CORE][SQL] Bevorzugen von Utils.bytesToString für die Größenanzeige
  • [SPARK-47243] [SC-158059][SS] Korrigieren des Paketnamens von StateMetadataSource.scala
  • [SPARK-47367] [SC-160913][PYTHON][CONNECT] Unterstützung von Python-Datenquellen mit Spark Connect
  • [SPARK-47521] [SC-160666][CORE] Verwenden von Utils.tryWithResource beim Lesen von Shuffle-Daten aus dem externen Speicher
  • [SPARK-47474] [SC-160522][CORE] SPARK-47461 rückgängig machen und einige Kommentare hinzufügen
  • [SPARK-47560] [SC-160914][PYTHON][CONNECT] Vermeiden von RPC zur Validierung von Spaltennamen mit zwischengespeichertem Schema
  • [SPARK-47451] [SC-160749][SQL] Unterstützen von to_json(variant).
  • [SPARK-47528] [SC-160727][SQL] Hinzufügen von Unterstützung für UserDefinedType zu DataTypeUtils.canWrite
  • [SPARK-44708] Rückgängig machen von „[SC-160734][PYTHON] Migrieren von test_reset_index assert_eq zur Verwendung von assertDataFrameEqual“
  • [SPARK-47506] [SC-160740][SQL] Hinzufügen von Unterstützung für alle Dateiquellformate für kollationierte Datentypen
  • [SPARK-47256] [SC-160784][SQL] Zuweisen von Namen zu Fehlerklassen _LEGACY_ERROR_TEMP_102[4-7]
  • [SPARK-47495] [SC-160720][CORE] Behebung des doppelten Hinzufügens eines primären Ressourcen-Jars zu spark.jars im k8s-Cluster-Modus
  • [SPARK-47398] [SC-160572][SQL] Extrahieren eines Merkmals für InMemoryTableScanExec, um die Funktionalität zu erweitern
  • [SPARK-47479] [SC-160623][SQL] Optimize kann keine Daten in Beziehungen mit mehreren Pfad-Fehlerprotokollen schreiben
  • [SPARK-47483] [SC-160629][SQL] Hinzufügen von Unterstützung für Aggregations- und Join-Vorgänge auf Arrays von kollationierten Strings
  • [SPARK-47458] [SC-160237][CORE] Beheben des Problems mit der Berechnung der maximalen Anzahl gleichzeitiger Aufgaben für die Barrierestufe
  • [SPARK-47534] [SC-160737][SQL] Verschieben von o.a.s.variant nach o.a.s.types.variant
  • [SPARK-47396] [SC-159312][SQL] Hinzufügen einer allgemeinen Zuordnung für TIME WITHOUT TIME ZONE zu TimestampNTZType
  • [SPARK-44708] [SC-160734][PYTHON] Migrieren von test_reset_index assert_eq zur Verwendung von assertDataFrameEqual
  • [SPARK-47309] [SC-157733][SC-160398][SQL] XML: Hinzufügen von Schema-Inferenztests für Wert-Tags
  • [SPARK-47007] [SC-160630][SQL] Hinzufügen des Ausdrucks MapSort
  • [SPARK-47523] [SC-160645][SQL] Ersetzen des veralteten JsonParser#getCurrentName mit JsonParser#currentName
  • [SPARK-47440] [SC-160635][SQL] Korrektur der Übertragung einer nicht unterstützten Syntax an MsSqlServer
  • [SPARK-47512] [SC-160617][SS] Tag-Vorgangstyp, der bei der Erfassung/Freigabe der Sperre der RocksDB-Statusspeicherinstanz verwendet wird
  • [SPARK-47346] [SC-159425][PYTHON] Konfigurieren des Daemon-Modus bei der Erstellung von Python-Planer-Workern
  • [SPARK-47446] [SC-160163][CORE] BlockManager soll vor Eintritt von removeBlockInternal warnen
  • [SPARK-46526] [SC-156099][SQL] Unterstützung von LIMIT über korrelierte Unterabfragen, bei denen Prädikate nur auf die äußere Tabelle verweisen
  • [SPARK-47461] [SC-160297][CORE] Entfernen der privaten Funktion totalRunningTasksPerResourceProfile von ExecutorAllocationManager
  • [SPARK-47422] [SC-160219][SQL] Unterstützung von sortierten Strings in Array Vorgängen
  • [SPARK-47500] [SC-160627][PYTHON][CONNECT] Behandlung von Spaltennamen als Faktor aus plan.py
  • [SPARK-47383] [SC-160144][CORE] Unterstützen der spark.shutdown.timeout-Konfiguration
  • [SPARK-47342] [SC-159049] Rückgängig machen von „[SQL] Unterstützung von TimestampNTZ für DB2 TIMESTAMP WITH TIME ZONE“
  • [SPARK-47486] [SC-160491][CONNECT] Entfernen der nicht verwendeten privaten ArrowDeserializers.getString-Methode
  • [SPARK-47233] [SC-154486][CONNECT][SS][2/2] Client- & Server-Logik für clientseitigen Streamingabfrage-Listener
  • [SPARK-47487] [SC-160534][SQL] Vereinfachen des Codes in AnsiTypeCoercion
  • [SPARK-47443] [SC-160459][SQL] Fensteraggregat-Unterstützung für Sortierungen
  • [SPARK-47296] [SC-160457][SQL][COLLATION] Fehlschlagen nicht unterstützter Funktionen für nicht-binäre Sortierungen
  • [SPARK-47380] [SC-160164][CONNECT] Sicherstellen, dass auf der Serverseite die SparkSession dieselbe ist
  • [SPARK-47327] [SC-160069][SQL] Verschieben des Gleichzeitigkeitstests für Sortierschlüssel in die CollationFactorySuite
  • [SPARK-47494] [SC-160495][Doc] Hinzufügen der Migrationsdokumentation für die Verhaltensänderung der Parquet-Zeitstempel-Inferenz seit Spark 3.3
  • [SPARK-47449] [SC-160372][SS] Refaktorierung und Aufteilung von List/Timer Komponententests
  • [SPARK-46473] [SC-155663][SQL] Wiederverwenden der getPartitionedFile-Methode
  • [SPARK-47423] [SC-160068][SQL] Sortierungen – Festlegen von Vorgängen für Zeichenfolgen mit Sortierreihenfolge
  • [SPARK-47439] [SC-160115][PYTHON] Dokumentieren der Python Data Source API in der API-Referenzseite
  • [SPARK-47457] [SC-160234][SQL] Korrektur von IsolatedClientLoader.supportsHadoopShadedClient für die Verarbeitung von Hadoop 3.4+
  • [SPARK-47366] [SC-159348][SQL] Implementieren von parse_json.
  • [SPARK-46331] [SC-152982][SQL] Entfernen von CodegenFallback aus einer Untergruppe von DateTime-Ausdrücken und dem Ausdruck version()
  • [SPARK-47395] [SC-159404] Hinzufügen von collate und collation zu anderen APIs
  • [SPARK-47437] [SC-160117][PYTHON][CONNECT] Korrigieren der Fehlerklasse für DataFrame.sort*
  • [SPARK-47174] [SC-154483][CONNECT][SS][1/2] Serverseitiger SparkConnectListenerBusListener für clientseitigen Streaming-Abfrage-Listener
  • [SPARK-47324] [SC-158720][SQL] Hinzufügen der fehlenden Zeitstempelkonvertierung für JDBC verschachtelte Typen
  • [SPARK-46962] [SC-158834][SS][PYTHON] Hinzufügen einer Schnittstelle für die Python Streaming Datenquellen-API und Implementierung eines Python Workers zur Ausführung der Python Streaming Datenquelle
  • [SPARK-45827] [SC-158498][SQL] Verschieben von Datentyp-Prüfungen zu CreatableRelationProvider
  • [SPARK-47342] [SC-158874][SQL] Unterstützung von TimestampNTZ für DB2 TIMESTAMP WITH TIME ZONE
  • [SPARK-47399] [SC-159378][SQL] Deaktivieren von generierten Spalten bei Ausdrücken mit Sortierungen
  • [SPARK-47146] [SC-158247][CORE] Mögliches Thread-Leck beim Sortieren und Zusammenführen
  • [SPARK-46913] [SC-159149][SS] Hinzufügen von Unterstützung für zeitbasierte Timer mit dem transformWithState-Operator
  • [SPARK-47375] [SC-159063][SQL] Hinzufügen von Richtlinien für die Zeitstempelzuordnung in JdbcDialect#getCatalystType
  • [SPARK-47394] [SC-159282][SQL] Unterstützung von TIMESTAMP WITH TIME ZONE für H2Dialect
  • [SPARK-45827] Rückgängig machen von „[SC-158498][SQL] Verschieben von Datentyp-Prüfungen zu …
  • [SPARK-47208] [SC-159279][CORE] Erlauben des Überschreibens des Basis-Overhead-Speichers
  • [SPARK-42627] [SC-158021][SPARK-26494][SQL] Unterstützung für TIMESTAMP WITH LOCAL TIME ZONE von Oracle
  • [SPARK-47055] [SC-156916][PYTHON] Upgrade für MyPy 1.8.0
  • [SPARK-46906] [SC-157205][SS] Hinzufügen einer Prüfung auf zustandsabhängige Operatorwechsel für Streaming
  • [SPARK-47391] [SC-159283][SQL] Entfernen der Testfallumgehung für JDK 8
  • [SPARK-47272] [SC-158960][SS] Hinzufügen der MapState-Implementierung für State API v2.
  • [SPARK-47375] [SC-159278][Doc][FollowUp] Behebung eines Fehlers in der JDBC-Option preferTimestampNTZ doc
  • [SPARK-42328] [SC-157363][SQL] Entfernen von _LEGACY_ERROR_TEMP_1175 aus den Fehlerklassen
  • [SPARK-47375] [SC-159261][Doc][FollowUp] Korrigieren der Beschreibung der Option preferTimestampNTZ in der JDBC-Dokumentation
  • [SPARK-47344] [SC-159146] Erweitern des Fehlers INVALID_IDENTIFIER über das Abfangen von „-“ in einem nicht in Anführungszeichen gesetzten Bezeichner hinaus und Behebung von „IS ! NULL“ et al.
  • [SPARK-47340] [SC-159039][SQL] Ändern von „collate“ im StringType typename in Kleinbuchstaben
  • [SPARK-47087] [SC-157077][SQL] Auslösen der Spark-Ausnahme mit einer Fehlerklasse bei der Prüfung von Konfigurationswerten
  • [SPARK-47327] [SC-158824][SQL] Behebung eines Problems mit der Thread-Sicherheit in ICU Collator
  • [SPARK-47082] [SC-157058][SQL] Behebung der Out-of-Bounds-Fehlerbedingung
  • [SPARK-47331] [SC-158719][SS] Serialisierung unter Verwendung von Fallklassen/Primitiven/POJO auf der Grundlage des SQL-Encoders für Arbitrary State API v2.
  • [SPARK-47250] [SC-158840][SS] Hinzufügen zusätzlicher Validierungen und NERF-Änderungen für RocksDB Zustandsanbieter und Verwendung von Spaltenfamilien
  • [SPARK-47328] [SC-158745][SQL] Umbenennen der UCS_BASIC-Sortierung in UTF8_BINARY
  • [SPARK-47207] [SC-157845][CORE] Unterstützung für spark.driver.timeout und DriverTimeoutPlugin
  • [SPARK-47370] [SC-158956][Doc] Hinzufügen der Migrationsdokumentation: TimestampNTZ-Typ-Inferenz bei Parquet-Dateien
  • [SPARK-47309] [SC-158827][SQL][XML] Hinzufügen von Schema-Inferenz-Komponententests
  • [SPARK-47295] [SC-158850][SQL] ICU StringSearch für die Funktionen startsWith und endsWith hinzugefügt
  • [SPARK-47343] [SC-158851][SQL] Behebung von NPE, wenn der Wert der Variable sqlString in der sofortigen Ausführung ein Null-String ist
  • [SPARK-46293] [SC-150117][CONNECT][PYTHON] Verwenden von protobuf-transitiver Abhängigkeit
  • [SPARK-46795] [SC-154143][SQL] Ersetzen von UnsupportedOperationException durch SparkUnsupportedOperationException in sql/core
  • [SPARK-46087] [SC-149023][PYTHON] Synchronisieren von PySpark-Abhängigkeiten in docs- und dev-Anforderungen
  • [SPARK-47169] [SC-158848][SQL] Deaktivieren des Bucketing bei sortierten Spalten
  • [SPARK-42332] [SC-153996][SQL] Ändern der Anforderung in eine SparkException in ComplexTypeMergingExpression
  • [SPARK-45827] [SC-158498][SQL] Verschieben von Datentyp-Prüfungen zu CreatableRelationProvider
  • [SPARK-47341] [SC-158825][Connect] Ersetzen von Befehlen durch Beziehungen in einigen Tests in SparkConnectClientSuite
  • [SPARK-43255] [SC-158026][SQL] Ersetzen der Fehlerklasse _LEGACY_ERROR_TEMP_2020 durch einen internen Fehler
  • [SPARK-47248] [SC-158494][SQL][COLLATION] Verbesserte Unterstützung von Stringfunktionen: contains
  • [SPARK-47334] [SC-158716][SQL] withColumnRenamed soll die Implementierung von withColumnsRenamed wiederverwenden
  • [SPARK-46442] [SC-153168][SQL] DS V2 unterstützt Pushdown PERCENTILE_CONT und PERCENTILE_DISC
  • [SPARK-47313] [SC-158747][SQL] scala.MatchError-Behandlung in QueryExecution.toInternalError wurde hinzugefügt
  • [SPARK-45827] [SC-158732][SQL] Hinzufügen einer Variante vom Typ Singleton für Java
  • [SPARK-47337] [SC-158743][SQL][DOCKER] Aktualisieren der DB2-Docker-Image-Version auf 11.5.8.0
  • [SPARK-47302] [SC-158609][SQL] Zusammenstellen des Schlüsselworts als Identifikator
  • [SPARK-46817] [SC-154196][CORE] Korrigieren der Verwendung von spark-daemon.sh durch Hinzufügen des Befehls decommission
  • [SPARK-46739] [SC-153553][SQL] Hinzufügen der Fehlerklasse UNSUPPORTED_CALL
  • [SPARK-47102] [SC-158253][SQL] Hinzufügen des Konfigurationsflags COLLATION_ENABLED
  • [SPARK-46774] [SC-153925][SQL][AVRO] Verwenden von mapreduce.output.fileoutputformat.compress anstelle des veralteten mapred.output.compress in Avro-Schreibaufträgen
  • [SPARK-45245] [SC-146961][PYTHON][CONNECT] PythonWorkerFactory: Timeout, wenn der Worker keine Rückmeldung gibt.
  • [SPARK-46835] [SC-158355][SQL][Collations] Join-Unterstützung für nicht-binäre Sortierungen
  • [SPARK-47131] [SC-158154][SQL][COLLATION] Unterstützung von String-Funktionen: contains, startswith, endswith
  • [SPARK-46077] [SC-157839][SQL] Betrachten Sie den von TimestampNTZConverter in JdbcDialect.compileValue generierten Typ.
  • [SPARK-47311] [SC-158465][SQL][PYTHON] Unterdrücken von Python-Ausnahmen, wenn PySpark nicht im Python-Pfad enthalten ist
  • [SPARK-47319] [SC-158599][SQL] Verbessern der Berechnung von missingInput
  • [SPARK-47316] [SC-158606][SQL] Korrigieren von TimestampNTZ in Postgres Arrays
  • [SPARK-47268] [SC-158158][SQL][Collations] Unterstützung für Repartitionierung mit Sortierungen
  • [SPARK-47191] [SC-157831][SQL] Vermeiden von unnötigen Suchen nach Beziehungen beim Aufheben der Zwischenspeicherung von Tabellen/Ansichten
  • [SPARK-47168] [SC-158257][SQL] Deaktivieren des Pushdowns von Parquet-Filtern bei der Arbeit mit nicht standardmäßig kollationierten Zeichenketten
  • [SPARK-47236] [SC-158015][CORE] Korrigieren von deleteRecursivelyUsingJavaIO, um fehlende Dateieingaben zu überspringen
  • [SPARK-47238] [SC-158466][SQL] Reduzieren des Speicherbedarfs des Executors durch Erzeugung von Code in WSCG als Broadcast-Variable
  • [SPARK-47249] [SC-158133][CONNECT] Behebung eines Fehlers, bei dem alle Verbindungsausführungen unabhängig von ihrem tatsächlichen Status als abgebrochen angesehen wurden
  • [SPARK-47202] [SC-157828][PYTHON] Korrektur von Tippfehlern bei Datumsangaben mit tzinfo
  • [SPARK-46834] [SC-158139][SQL][Collations] Unterstützung für Aggregate
  • [SPARK-47277] [SC-158351][3.5] Die PySpark util Funktion assertDataFrameEqual sollte das Streaming von DF nicht unterstützen
  • [SPARK-47155] [SC-158473][PYTHON] Beheben des Problems der Fehlerklasse
  • [SPARK-47245] [SC-158163][SQL] Verbesserter Fehlercode für INVALID_PARTITION_COLUMN_DATA_TYPE
  • [SPARK-39771] [SC-158425][CORE] Hinzufügen einer Warnmeldung in Dependency, wenn eine zu große Anzahl von Shuffle-Blöcken erstellt werden soll.
  • [SPARK-47277] [SC-158329] Die PySpark util Funktion assertDataFrameEqual sollte das Streaming von DF nicht unterstützen
  • [SPARK-47293] [SC-158356][CORE] Erstellen von batchSchema mit sparkSchema statt jedes einzeln anzuhängen
  • [SPARK-46732] [SC-153517][CONNECT] Subquery/Broadcast-Thread mit der Artefakt-Verwaltung von Connect kompatibel machen
  • [SPARK-44746] [SC-158332][PYTHON] Hinzufügen weiterer Python UDTF-Dokumentation für Funktionen, die Eingabetabellen akzeptieren
  • [SPARK-47120] [SC-157517][SQL] Null-Vergleich Pushdown-Datenfilter aus Unterabfrage erzeugt NPE in Parquet-Filter
  • [SPARK-47251] [SC-158291] [PYTHON] Blockieren ungültiger Typen aus dem args-Argument für den sql-Befehl
  • [SPARK-47251] Rückgängig machen von „[SC-158121][PYTHON] Blockieren ungültiger Typen vom Argument args für den Befehl sql“
  • [SPARK-47015] [SC-157900][SQL] Deaktivieren der Partitionierung bei sortierten Spalten
  • [SPARK-46846] [SC-154308][CORE] WorkerResourceInfo soll Serializable explizit erweitern
  • [SPARK-46641] [SC-156314][SS] Hinzufügen des Schwellenwerts maxBytesPerTrigger
  • [SPARK-47244] [SC-158122][CONNECT] SparkConnectPlanner macht interne Funktionen privat
  • [SPARK-47266] [SC-158146][CONNECT] ProtoUtils.abbreviate soll den gleichen Typ zurückgeben, der eingegeben wurde
  • [SPARK-46961] [SC-158183][SS] Verwendung von ProcessorContext zum Speichern und Abrufen von Handles
  • [SPARK-46862] [SC-154548][SQL] Deaktivieren der CSV-Spaltenbeschneidung im Mehrzeilenmodus
  • [SPARK-46950] [SC-155803][CORE][SQL] Ausrichten der Fehlerklasse not available codec
  • [SPARK-46368] [SC-153236][CORE] Unterstützung für readyz in der REST Submission API
  • [SPARK-46806] [SC-154108][PYTHON] Verbesserte Fehlermeldung für spark.table, wenn der Argumenttyp falsch ist
  • [SPARK-47211] [SC-158008][CONNECT][PYTHON] Korrigieren ignorierter PySpark Connect Stringsortierung
  • [SPARK-46552] [SC-151366][SQL] Ersetzen von UnsupportedOperationException durch SparkUnsupportedOperationException in catalyst
  • [SPARK-47147] [SC-157842][PYTHON][SQL] Korrektur eines Fehlers bei der Konvertierung kollationierter Strings in PySpark
  • [SPARK-47144] [SC-157826][CONNECT][SQL][PYTHON] Korrektur des Kollationierungsfehlers von Spark Connect durch Hinzufügen des Protokollfeldes collateId
  • [SPARK-46575] [SC-153200][SQL][HIVE] HiveThriftServer2.startWithContext DevelopApi ist wiederverwendbar und die Unbeständigkeit von ThriftServerWithSparkContextInHttpSuite wurde behoben.
  • [SPARK-46696] [SC-153832][CORE] Funktionsaufrufe in ResourceProfileManager sollten nach Variablendeklarationen erfolgen
  • [SPARK-47214] [SC-157862][Python] Erstellen einer UDTF-API für die Methode „analyze“ zur Unterscheidung von konstanten NULL-Argumenten und anderen Arten von Argumenten
  • [SPARK-46766] [SC-153909][SQL][AVRO] Unterstützung des ZSTD-Pufferpools für die AVRO-Datenquelle
  • [SPARK-47192] [SC-157819] Umwandlung einiger _LEGACY_ERROR_TEMP_0035 Fehler
  • [SPARK-46928] [SC-157341][SS] Hinzufügen von Unterstützung für ListState in Arbitrary State API v2.
  • [SPARK-46881] [SC-154612][CORE] Unterstützung von spark.deploy.workerSelectionPolicy
  • [SPARK-46800] [SC-154107][CORE] Unterstützung von spark.deploy.spreadOutDrivers
  • [SPARK-45484] [SC-146014][SQL] Korrektur des Fehlers, bei dem der falsche Parquet-Kompressionscodec lz4raw verwendet wird
  • [SPARK-46791] [SC-154018][SQL] Unterstützung für Java Set in JavaTypeInference
  • [SPARK-46332] [SC-150224][SQL] Migrieren von CatalogNotFoundException in die Fehlerklasse CATALOG_NOT_FOUND
  • [SPARK-47164] [SC-157616][SQL] Standardwert von Wider Type Narrow Literal von v2 verhält sich genauso wie v1
  • [SPARK-46664] [SC-153181][CORE] Verbessern von Master für eine schnelle Wiederherstellung im Falle von Zero Workers und Apps
  • [SPARK-46759] [SC-153839][SQL][AVRO] Codec xz und zstandard unterstützen Komprimierungsgrad für avro-Dateien

Databricks ODBC/JDBC-Treiberunterstützung

Databricks unterstützt ODBC-/JDBC-Treiber, die in den letzten 2 Jahren veröffentlicht wurden. Laden Sie die kürzlich veröffentlichten Treiber herunter, und führen Sie ein Upgrade durch (ODBC herunterladen, JDBC herunterladen).

Siehe Databricks Runtime 15.2 Wartungsupdates.

Systemumgebung

  • Betriebssystem: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.2.0

Installierte Python-Bibliotheken

Bibliothek Version Bibliothek Version Bibliothek Version
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
black 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
Klicken 8.0.4 cloudpickle 2.2.1 comm 0.1.2
contourpy 1.0.5 Kryptografie 41.0.3 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 distlib 0.3.8
entrypoints 0,4 executing 0.8.3 facets-overview 1.1.1
filelock 3.13.1 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 google-auth 2.29.0
google-cloud-core 2.4.1 google-cloud-storage 2.16.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jedi 0.18.1 jeepney 0.7.1
jmespath 0.10.0 joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 keyring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.3
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 Packen 23,2
Pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 proto-plus 1.23.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 14.0.1
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.52
pycparser 2.21 pydantic 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.38
pyparsing 3.0.9 Python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1
pytz 2022.7 PyYAML 6,0 pyzmq 23.2.0
requests 2.31.0 rsa 4,9 s3transfer 0.10.1
scikit-learn 1.3.0 scipy 1.11.1 seaborn 0.12.2
SecretStorage 3.3.1 setuptools 68.0.0 sechs 1.16.0
smmap 5.0.1 sqlparse 0.5.0 ssh-import-id 5.11
stack-data 0.2.0 statsmodels 0.14.0 tenacity 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tornado 6.3.2
traitlets 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 unattended-upgrades 0,1 urllib3 1.26.16
virtualenv 20.24.2 wadllib 1.3.6 wcwidth 0.2.5
wheel 0.38.4 zipp 3.11.0

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Momentaufnahme des Posit Package Manager CRAN installiert.

Bibliothek Version Bibliothek Version Bibliothek Version
Pfeil 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backports 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 Blob 1.2.4 boot 1.3-28
brew 1.0-10 brio 1.1.4 broom 1.0.5
bslib 0.6.1 cachem 1.0.8 callr 3.7.3
caret 6.0-94 cellranger 1.1.0 chron 2.3-61
class 7.3-22 cli 3.6.2 clipr 0.8.0
clock 0.7.0 cluster 2.1.4 codetools 0.2-19
colorspace 2.1-0 commonmark 1.9.1 compiler 4.3.2
config 0.3.2 conflicted 1.2.0 cpp11 0.4.7
crayon 1.5.2 Anmeldeinformationen 2.0.1 curl 5.2.0
data.table 1.15.0 datasets 4.3.2 DBI 1.2.1
dbplyr 2.4.0 desc 1.4.3 devtools 2.4.5
Diagramm 1.6.5 diffobj 0.3.5 digest 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 ellipsis 0.3.2 Evaluieren 0,23
fansi 1.0.6 farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-85 forge 0.2.0 fs 1.6.3
future 1.33.1 future.apply 1.11.1 gargle 1.5.2
generics 0.1.3 gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 glue 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
Grafiken 4.3.2 grDevices 4.3.2 grid 4.3.2
gridExtra 2.3 gsubfn 0.7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 haven 2.5.4
highr 0,10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1,45 labeling 0.4.3
later 1.3.2 lattice 0.21-8 lava 1.7.3
Lebenszyklus 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 MASS 7.3-60
Matrix 1.5-4.1 memoise 2.0.1 Methoden 4.3.2
mgcv 1.8-42 mime 0,12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 praise 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 Fortschritt 1.2.3
progressr 0.14.0 promises 1.2.1 proto 1.0.0
proxy 0.4-27 ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reactable 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
recipes 1.0.9 rematch 2.0.0 rematch2 2.1.2
remotes 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2,25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
scales 1.3.0 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 spatial 7.3-15 splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
survival 3.5-5 Swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 timechange 0.3.0
timeDate 4032.109 tinytex 0.49 tools 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 utils 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 whisker 0.4.1
withr 3.0.0 xfun 0,41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)

Gruppen-ID Artefakt-ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.610
com.amazonaws aws-java-sdk-cloudformation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws aws-java-sdk-config 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-dynamodb 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws aws-java-sdk-ecs 1.12.610
com.amazonaws aws-java-sdk-efs 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier 1.12.610
com.amazonaws aws-java-sdk-glue 1.12.610
com.amazonaws aws-java-sdk-iam 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-kinesis 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-logs 1.12.610
com.amazonaws aws-java-sdk-machinelearning 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws aws-java-sdk-redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway 1.12.610
com.amazonaws aws-java-sdk-sts 1.12.610
com.amazonaws aws-java-sdk-support 1.12.610
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics Datenstrom 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.ibm.icu icu4j 72.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,25
io.delta delta-sharing-client_2.12 1.0.5
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Sammlung 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap shims 0.9.45-databricks
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1