Freigeben über

Databricks Runtime 11.3 LTS

  • Artikel

Die folgenden Versionshinweise enthalten Informationen zur Databricks Runtime-Version 11.3 LTS, die von Apache Spark 3.3.0 unterstützt wird. Diese Version wurde von Databricks im Oktober 2022 veröffentlicht.

Hinweis

LTS bedeutet, dass diese Version langfristig unterstützt wird. Weitere Informationen finden Sie unter Databricks Runtime LTS-Versionslebenszyklus.

Tipp

Hinweise zu Databricks-Runtime-Versionen, die das Ende des Supports (EoS) erreicht haben, finden Sie unter Versionshinweise zu Databricks Runtime am Ende des Supports. Die EoS-Databricks-Runtime-Versionen wurden eingestellt und werden möglicherweise nicht aktualisiert.

Änderungen des Verhaltens

[Bahnbrechende Änderung] Für die neue Python-Version ist das Aktualisieren von Databricks Connect V1 Python-Clients erforderlich.

Um erforderliche Sicherheitspatches anzuwenden, wird die Python-Version in Databricks Runtime 11.3 LTS von 3.9.5 auf 3.9.19 aktualisiert. Da diese Änderungen möglicherweise Fehler in Clients verursachen, die bestimmte PySpark-Funktionen verwenden, müssen alle Clients, die Databricks Connect V1 für Python mit Databricks Runtime 11.3 LTS verwenden, auf Python 3.9.7 oder höher aktualisiert werden.

Neue Features und Verbesserungen

Strukturierter Streamingtrigger, sobald er veraltet ist

Die Einstellung Trigger.Once ist veraltet. Databricks empfiehlt die Verwendung von Trigger.AvailableNow. Weitere Informationen finden Sie unter Konfigurieren von Triggerintervallen für strukturiertes Streaming.

Ändern des Quellpfads für Autoloader

Sie können jetzt den Verzeichniseingabepfad für Autoloader, die mit dem Verzeichnisauflistungsmodus konfiguriert sind, ändern, ohne ein neues Prüfpunktverzeichnis auswählen zu müssen. Weitere Informationen finden Sie unter Ändern des Quellpfads für Autoloader.

Der Databricks Kinesis-Connector unterstützt jetzt das Lesen aus Kinesis-Datenströmen im EFO-Modus.

Sie können jetzt die strukturierte Databricks Kinesis-Streamingquelle in Databricks Runtime 11.3 LTS verwenden, um Abfragen auszuführen, die aus Kinesis-Datenströmen im erweiterten Auffächerungsmodus gelesen werden. Dies ermöglicht einen dedizierten Durchsatz pro Shard und Consumer und eine Datensatzübermittlung im Pushmodus.

Neue H3-Geodatenfunktionen und hinzugefügte Photon-Unterstützung für alle H3-Funktionen

Vier neue H3-Funktionen werden eingeführt: h3_maxchild, h3_minchild, h3_pointash3 und h3_pointash3string. Diese Funktionen sind in SQL, Scala und Python verfügbar. Alle H3-Ausdrücke werden jetzt in Photon unterstützt. Weitere Informationen finden Sie unter H3-Geodatenfunktionen.

Neue Features für Predictive I/O

Photon unterstützt den Bereichsmodus für die Ausführung von Frames mit RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW. Photon unterstützt auch den Bereichsmodus für das Anwachsen von Frames mit RANGE BETWEEN UNBOUNDED PRECEDING AND offset_stop { PRECEDING | FOLLOWING }.

Erhöhen der anfangs zu prüfenden Partitionen für selektive Abfragen

Der Wert der anfangs zu prüfenden Partitionen wurde für selektive Abfragen mit take/tail/limit in Photon-aktivierten Clustern und LIMIT in Databricks SQL auf 10 erhöht. Mit 10 Partitionen können Sie den Mehraufwand für das Starten mehrerer kleiner Aufträge und ein langsames Hochskalieren vermeiden. Sie können dies auch über spark.sql.limit.selectiveInitialNumPartitions konfigurieren.

Neue Visualisierung von AQE-Planversionen

Einführung von AQE-Planversionen, mit denen Sie Ihre Laufzeitplanupdates aus der adaptiven Abfrageausführung (AQE) visualisieren können.

Neue asynchrone Statusverfolgungs- und Protokollbereinigungsmodi

Einführung der strukturierten Streamingmodi namens „asynchrone Statusverfolgung“ und „asynchrone Protokollbereinigung“. Der asynchrone Protokollbereinigungsmodus verringert die Wartezeit bei Streamingabfragen, indem Protokolle entfernt werden, die für die Statusverfolgung im Hintergrund verwendet werden.

Strukturiertes Streaming im Unity-Katalog unterstützt jetzt display()

Sie können jetzt display() verwenden, wenn Sie strukturiertes Streaming verwenden, um mit Tabellen zu arbeiten, die im Unity-Katalog registriert sind.

Pipelineereignisse werden jetzt im JSON-Format protokolliert

Azure Databricks schreibt nun Pipelineereignisse im JSON-Format in das Treiberprotokoll. Während jedes Ereignis JSON-analysierbar ist, enthalten große Ereignisse möglicherweise nicht alle Felder, oder die Felder werden möglicherweise abgeschnitten. Jedes Ereignis wird in einer einzelnen Zeile mit dem Präfix Event received: protokolliert. Im Folgenden finden Sie ein Beispielereignis.

Event received: {"id":"some-event-id","origin":{"pipeline_id":"some-pipeline-id","cluster_id":"some-cluster id"},"message":"simple [truncated] message","level":"WARN"}

Beliebige zustandsbehaftete Verarbeitung im strukturierten Streaming mit Python

Einführung der applyInPandasWithState-Funktion, die zum Durchführen beliebiger zustandsbehafteter Verarbeitungen in PySpark verwendet werden kann. Dies entspricht der flatMapGroupsWithState-Funktion in der Java-API.

Datumsrückschluss in CSV-Dateien

Einführung eines verbesserten Rückschlusses von Datumstypspalten in CSV-Dateien. Wenn das Datumsformat in den Datensätzen einer Spalte konsistent ist, kann der Typ dieser Spalten als DateType rückgeschlossen werden. Sie können auch eine Kombination aus Datumsformaten in verschiedenen Spalten haben. Azure Databricks kann das Datumsformat für jede Spalte automatisch rückschließen. Datumsspalten in CSV-Dateien vor Databricks Runtime 11.3 LTS bleiben StringType.

Unterstützung des Klonens für Apache Parquet- und Apache Iceberg-Tabellen (Public Preview)

Das Klonen kann jetzt verwendet werden, um Delta-Tabellen zu erstellen und inkrementell zu aktualisieren, die Apache Parquet- und Apache Iceberg-Tabellen spiegeln. Sie können ihre Quell-Parquet-Tabelle aktualisieren und die Änderungen inkrementell auf ihre geklonte Delta-Tabelle mit dem clone-Befehl anwenden. Siehe Inkrementelles Klonen von Parquet- und Iceberg-Tabellen zu Delta Lake.

Verwenden von SQL zum Angeben von Speicherorten auf Schema- und Katalogebene für verwaltete Unity Catalog-Tabellen

Sie können jetzt den MANAGED LOCATION-SQL-Befehl verwenden, um einen Cloudspeicherort für verwaltete Tabellen auf Katalog- und Schemaebene anzugeben. Weitere Informationen finden Sie unter CREATE CATALOG und CREATE SCHEMA.

Verhaltensänderungen

Databricks Connect 11.3.2

Das Databricks Connect-Clientupdate 11.3.2 wird jetzt unterstützt. Weitere Informationen finden Sie unter Databricks Connect und Versionshinweise zu Databricks Connect.

Aktualisierter Azure Databricks Snowflake-Connector

Der Azure Databricks Snowflake-Connector wurde auf die neueste Codeversion aus dem Open-Source-Repository Snowflake Data Source for Apache Spark aktualisiert. Er ist jetzt vollständig kompatibel mit Databricks Runtime 11.3 LTS, einschließlich Prädikat-Pushdown und internem Abfrageplan-Pushdown, wobei alle Features der Open-Source-Version beibehalten werden.

Hadoop-Cache für S3A ist jetzt deaktiviert

Der Hadoop-Cache (FileSystem Apache Hadoop Main 3.3.4 API) für S3A ist jetzt deaktiviert. Dies dient der Abstimmung mit anderen Cloud-Speicher-Konnektoren. Stellen Sie bei Workloads, die auf Dateisystem-Caching angewiesen sind, sicher, dass neu erstellte Dateisysteme mit den richtigen Hadoop-Konfigurationen bereitgestellt werden, einschließlich Anbieter von Anmeldeinformationen.

Das Delta Lake-Statistiksammlungsschema entspricht jetzt der Spaltenreihenfolge in der Tabellenschemadefinition

Diese Änderung behebt einen Fehler im Delta Lake-Protokoll, bei dem Statistiken aufgrund eines Konflikts zwischen der Reihenfolge in den DataFrame- und Tabellenspalten nicht für Spalten gesammelt wurden. In einigen Fällen kann es aufgrund der Statistiksammlung für zuvor nicht nachverfolgte Felder zu einer Verschlechterung der Schreibleistung kommen. Weitere Informationen finden Sie unter Überspringen von Daten für Delta Lake.

applyInPandasWithState löst einen Fehler aus, wenn in der Abfrage hinter dem Operator „shuffle“ steht.

Der Operator applyInPandasWithState löst einen Fehler aus, wenn in der Abfrage hinter dem Operator shuffle steht. Hierzu kommt es, wenn der Benutzer hinter dem Operator shuffle hinzufügt, oder wenn der Optimierer oder die Senke implizit shuffle hinzufügt.

Bibliotheksupgrades

  • Aktualisierte Python-Bibliotheken:
    • distlib von 0.3.5 bis 0.3.6
  • Aktualisierte R-Bibliotheken:
    • broom von 1.0.0 bis 1.0.1
    • callr von 3.7.1 bis 3.7.2
    • dplyr von 1.0.9 bis 1.0.10
    • dtplyr von 1.2.1 bis 1.2.2
    • forcats von 0.5.1 bis 0.5.2
    • future von 1.27.0 bis 1.28.0
    • future.apply von 1.9.0 bis 1.9.1
    • gert von 1.7.0 bis 1.8.0
    • globals von 0.16.0 bis 0.16.1
    • gtable von 0.3.0 bis 0.3.1
    • haven von 2.5.0 bis 2.5.1
    • hms von 1.1.1 bis 1.1.2
    • httr von 1.4.3 bis 1.4.4
    • knitr von 1.39 bis 1.40
    • modelr von 0.1.8 bis 0.1.9
    • pillar von 1.8.0 bis 1.8.1
    • progressr von 0.10.1 bis 0.11.0
    • readxl von 1.4.0 bis 1.4.1
    • reprex von 2.0.1 bis 2.0.2
    • rlang von 1.0.4 bis 1.0.5
    • rmarkdown von 2.14 bis 2.16
    • RSQLite von 2.2.15 bis 2.2.16
    • rstudioapi von 0.13 bis 0.14
    • rversions von 2.1.1 bis 2.1.2
    • rvest von 1.0.2 bis 1.0.3
    • scales von 1.2.0 bis 1.2.1
    • sparklyr von 1.7.7 bis 1.7.8
    • stringr von 1.4.0 bis 1.4.1
    • survival von 3.2-13 bis 3.4-0
    • tinytex von 0.40 bis 0.41
    • viridisLite von 0.4.0 bis 0.4.1
  • Aktualisierte Java-Bibliotheken:
    • com.fasterxml.jackson.core.jackson-annotations von 2.13.3 bis 2.13.4
    • com.fasterxml.jackson.core.jackson-core von 2.13.3 bis 2.13.4
    • com.fasterxml.jackson.core.jackson-databind von 2.13.3 bis 2.13.4
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor von 2.13.3 bis 2.13.4
    • com.fasterxml.jackson.datatype.jackson-datatype-joda von 2.13.3 bis 2.13.4
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 von 2.13.3 bis 2.13.4
    • com.fasterxml.jackson.module.jackson-module-paranamer von 2.13.3 bis 2.13.4
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 von 2.13.3 bis 2.13.4
    • org.apache.hadoop.hadoop-client-api von 3.3.2-databricks bis 3.3.4-databricks
    • org.apache.hadoop.hadoop-client-runtime von 3.3.2 bis 3.3.4
    • org.apache.orc.orc-core von 1.7.5 bis 1.7.6
    • org.apache.orc.orc-mapreduce von 1.7.5 bis 1.7.6
    • org.apache.orc.orc-shims von 1.7.5 bis 1.7.6
    • org.apache.parquet.parquet-column von 1.12.0-databricks-0004 bis 1.12.0-databricks-0007
    • org.apache.parquet.parquet-common von 1.12.0-databricks-0004 bis 1.12.0-databricks-0007
    • org.apache.parquet.parquet-encoding von 1.12.0-databricks-0004 bis 1.12.0-databricks-0007
    • org.apache.parquet.parquet-format-structures von 1.12.0-databricks-0004 bis 1.12.0-databricks-0007
    • org.apache.parquet.parquet-hadoop von 1.12.0-databricks-0004 bis 1.12.0-databricks-0007
    • org.apache.parquet.parquet-jackson von 1.12.0-databricks-0004 bis 1.12.0-databricks-0007
    • org.glassfish.jersey.containers.jersey-container-servlet von 2.34 bis 2.36
    • org.glassfish.jersey.containers.jersey-container-servlet-core von 2.34 bis 2.36
    • org.glassfish.jersey.core.jersey-client von 2.34 bis 2.36
    • org.glassfish.jersey.core.jersey-common von 2.34 bis 2.36
    • org.glassfish.jersey.core.jersey-server von 2.34 bis 2.36
    • org.glassfish.jersey.inject.jersey-hk2 von 2.34 bis 2.36

Apache Spark

Databricks Runtime 11.3 LTS enthält Apache Spark 3.3.0. Diese Version enthält alle Spark-Fixes und -Verbesserungen, die in Databricks Runtime 11.2 (EoS) enthalten sind, sowie die folgenden zusätzlichen Fehlerkorrekturen und Verbesserungen, die an Spark vorgenommen wurden:

  • [SPARK-39957] [WARMFIX][SC-111425][CORE] Verzögerung von onDisconnected, damit der Treiber ExecutorExitCode empfangen kann
  • [SPARK-39955] [WARMFIX][SC-111424][CORE] Verbessern des LaunchTask-Prozesses, um Stagefehler zu vermeiden, die durch das fehlgeschlagene Senden von LaunchTask-Nachrichten verursacht werden
  • [SPARK-40474] [SC-106248][Cherry-Pick] Korrigieren des CSV-Schemarückschlussverhaltens für DateTime-Spalten und Einführung der automatischen Erkennung für Datumsfelder
  • [SPARK-40535] [SC-111243][SQL] Beheben des Fehlers, dass der Puffer von AggregatingAccumulator nicht erstellt wird, wenn die Eingabezeilen leer sind
  • [SPARK-40434] [SC-111125][SC-111144][SC-111138][SPARK-40435][11.3][SS][PYTHON] Implementierung von applyInPandasWithState in PySpark
  • [SPARK-40460] [SC-110832][SS] Korrigieren von Streamingmetriken beim Auswählen von _metadata
  • [SPARK-40324] [SC-109943][SQL] Bereitstellen eines Abfragekontexts von ParseException
  • [SPARK-40466] [SC-110899][SS] Verbessern der Fehlermeldung, wenn DSv2 deaktiviert und gleichzeitig DSv1 nicht verfügbar ist
  • [SPARK-40456] [SC-110848][SQL] Kosten für das wiederholte Aufrufen von PartitionIterator.hasNext sollten gering sein
  • [SPARK-40169] [SC-110772][SQL] Kein Pushdown von Parquet-Filtern ohne Verweis auf das Datenschema
  • [SPARK-40467] [SC-110759][SS] Aufteilen von FlatMapGroupsWithState in mehrere Testsammlungen
  • [SPARK-40468] [SC-110813][SQL] Korrigieren der Spaltenbereinigung in CSV, wenn _corrupt_record ausgewählt ist
  • [SPARK-40291] [SC-110085][SQL] Verbessern der Meldung wenn eine Spalte durch einen Klauselfehler nicht in der Gruppe ist
  • [SPARK-40398] [SC-110762][CORE][SQL] Verwenden von Loop anstelle der Arrays.stream-API
  • [SPARK-40433] [SC-110684][SS][PYTHON] Hinzufügen von toJVMRow in PythonSQLUtils, um die durch Pickle serialisierte PySpark-Zeile in eine JVM-Zeile zu konvertieren
  • [SPARK-40414] [SC-110568][SQL][PYTHON] Stärker generischer Typ für PythonArrowInput und PythonArrowOutput
  • [SPARK-40352] [SC-109945][SQL] Hinzufügen von Funktionsaliasen: len, datepart, dateadd, date_diff und curdate
  • [SPARK-40470] [SC-110761][SQL] Behandeln von GetArrayStructFields und GetMapValue in „arrays_zip“-Funktion
  • [SPARK-40387] [SC-110685][SQL] Verbessern der Implementierung von Spark Decimal
  • [SPARK-40429] [SC-110675][SQL] KeyGroupedPartitioning nur dann festlegen, wenn sich die referenzierte Spalte in der Ausgabe befindet
  • [SPARK-40432] [SC-110716][SS][PYTHON] Einführung von GroupStateImpl und GroupStateTimeout in PySpark
  • [SPARK-39915] [SC-110496][SQL] Sicherstellen, dass die Ausgabepartitionierung in AQE vom Benutzer angegeben ist
  • [SPARK-29260] [SQL] Unterstützung für ALTER DATABASE SET LOCATION, wenn HMS dies unterstützt
  • [SPARK-40185] [SC-110056][SQL] Spaltenvorschlag entfernen, wenn die Kandidatenliste leer ist
  • [SPARK-40362] [SC-110401][SQL] Korrektur der Kanonisierung von BinaryComparison
  • [SPARK-40411] [SC-110381][SS] Umgestalten von FlatMapGroupsWithStateExec, sodass es über ein übergeordnetes Merkmal verfügt
  • [SPARK-40293] [SC-110084][SQL] Erhöhen der Aussagekraft der V2-Tabellenfehlermeldung
  • [SPARK-38734] [SC-110383][SQL] Entfernen der Fehlerklasse INDEX_OUT_OF_BOUNDS
  • [SPARK-40292] [SC-110300][SQL] Korrigieren der Spaltennamen in der „arrays_zip“-Funktion, wenn aus geschachtelten Strukturen auf Arrays verwiesen wird
  • [SPARK-40276] [SC-109674][CORE] Verringern der Ergebnisgröße von RDD.takeOrdered
  • [SPARK-40197] [SC-109176][SQL] Ersetzen des Abfrageplans durch Kontext für MULTI_VALUE_SUBQUERY_ERROR
  • [SPARK-40300] [SC-109942][SQL] Migrieren zur DATATYPE_MISMATCH-Fehlerklasse
  • [SPARK-40149] [SC-110055][SQL] Weitergeben von Metadatenspalten durch Project
  • [SPARK-40280] [SC-110146][SQL] Hinzufügen von Unterstützung für Parquet-Pushdown für kommentierte int- und long-Werte
  • [SPARK-40220] [SC-110143][SC-109175][SQL] Keine Ausgabe der leeren Zuordnung von Fehlermeldungsparametern
  • [SPARK-40295] [SC-110070][SQL] Zulassen von v2-Funktionen mit Literalargumenten in der Schreibverteilung/-sortierung
  • [SPARK-40156] [SC-109264][SQL] url_decode() sollte eine Fehlerklasse zurückgeben
  • [SPARK-39195] [SQL] OutputCommitCoordinator von Spark sollte die Stage abbrechen, wenn die committete Datei nicht mit dem Vorgangsstatus konsistent ist
  • [SPARK-40260] [SC-109424][SQL] Verwenden von Fehlerklassen in den Kompilierungsfehlern GRUPPIREN NACH einer Position
  • [SPARK-40205] [SC-110144][SC-109082][SQL] Bereitstellen eines Abfragekontexts von ELEMENT_AT_BY_INDEX_ZERO
  • [SPARK-40112] [SC-109676][SQL] Verbessern der TO_BINARY()-Funktion
  • [SPARK-40209] [SC-109081][SQL] Keine Änderung des Intervallwerts von Decimal in changePrecision() bei Fehlern
  • [SPARK-40319] [SC-109873][SQL] Entfernen einer duplizierten Abfrageausführungsfehlermethode für PARSE_DATETIME_BY_NEW_PARSER
  • [SPARK-40222] [SC-109209][SQL] Numerisches try_add/try_divide/try_subtract/try_multiply sollte Fehler von seinen untergeordneten Elementen auslösen
  • [SPARK-40183] [SC-108907][SQL] Verwenden der Fehlerklasse NUMERIC_VALUE_OUT_OF_RANGE für Überlauf bei Dezimalstellenkonvertierung
  • [SPARK-40180] [SC-109069][SQL] Formatieren von Fehlermeldungen mittels spark-sql
  • [SPARK-40153] [SC-109165][SQL] Vereinheitlichen von resolve- und Tabellenwertfunktionen
  • [SPARK-40308] [SC-109880][SQL] Zulassen von nicht faltbaren Trennzeichenargumenten für str_to_map-Funktion
  • [SPARK-40219] [SC-110052][SC-109663][SQL] Der logische Plan für aufgelöste Ansicht sollte das Schema enthalten, um redundante Nachschlagevorgänge zu vermeiden
  • [SPARK-40098] [SC-109939][SC-108693][SQL] Formatieren von Fehlermeldungen im Thrift Server
  • [SPARK-39917] [SC-109038][SQL] Verwenden verschiedener Fehlerklassen für numerischen/Intervall-Arithmetiküberlauf
  • [SPARK-40033] [SC-109875][SQL] Unterstützung für Bereinigung geschachtelte Schemas durch element_at
  • [SPARK-40194] [SC-109660][SQL] SPLIT-Funktion für leeren regex sollte nachfolgende leere Zeichenfolge abschneiden.
  • [SPARK-40228] [SC-109835][SQL] Keine Vereinfachung von multiLike, wenn das Kind kein billiger Ausdruck ist
  • [SPARK-40039] [SC-109896][SC-109260][SS] Einführung eines Streaming-Prüfpunktdatei-Managers, basierend auf der Abortable-Schnittstelle von Hadoop
  • [SPARK-40285] [SC-109679][SQL] Vereinfachung von roundTo[Numeric] für Spark Decimal
  • [SPARK-39896] [SC-109658][SQL] UnwrapCastInBinaryComparison sollte funktionieren, wenn der Literal des In/InSet-Downcast fehlgeschlagen ist
  • [SPARK-40040] [SC-109662][SQL] Pushen des lokalen Limits an beiden Seiten, wenn die join-Bedingung leer ist
  • [SPARK-40055] [SC-109075][SQL] listCatalogs sollte auch spark_catalog zurückgeben, selbst wenn die spark_catalog-Implementierung defaultSessionCatalog ist
  • [SPARK-39915] [SC-109391][SQL] Dataset.repartition(N) kann keine N-Partitionen erstellen, die nicht Teil von AQE sind
  • [SPARK-40207] [SC-109401][SQL] Angeben des Spaltennamens, wenn der Datentyp von der Datenquelle nicht unterstützt wird
  • [SPARK-40245] [SC-109295][SQL] Korrigieren der FileScan-Gleichheitsprüfung, wenn Partitions- oder Datenfilterspalten nicht gelesen werden
  • [SPARK-40113] [SC-109405][SQL] Reactor ParquetScanBuilder DataSourceV2-Schnittstellenimplementierungen
  • [SPARK-40211] [SC-109226][SQL] Zulassen des Anpassens der anfänglichen Partitionsnummer im take()-Verhalten
  • [SPARK-40252] [SC-109379][SQL] Ersetzen von Stream.collect(Collectors.joining) durch die StringJoiner-API
  • [SPARK-40247] [SC-109272][SQL] Korrigieren der BitSet-Gleichheitsprüfung
  • [SPARK-40067] [SQL] Verwenden von Table#name() anstelle von Scan#name(), um den Tabellennamen im BatchScan-Knoten in SparkUI aufzufüllen
  • [SPARK-39966] [SQL] Verwenden des V2-Filters in SupportsDelete
  • [SPARK-39607] [SC-109268][SQL][DSV2] Unterstützung für Verteilung und Sortierung für V2-Funktion beim Schreiben
  • [SPARK-40224] [SC-109271][SQL] Veranlassen, dass ObjectHashAggregateExec Speicher zügig freigibt, wenn ein Fallback auf sortierungsbasiert erfolgt
  • [SPARK-40013] [ SQL] DS V2-Ausdrücke sollten als Standard toString aufweisen
  • [SPARK-40214] [SC-109079][PYTHON][SQL] Hinzufügen von ‚get‘ zu Funktionen
  • [SPARK-40192] [SC-109089][SQL][ML] Entfernen von redundantem groupby
  • [SPARK-40146] [SC-108694][SQL] Vereinfachen der codegen des Abrufens des Zuordnungswerts
  • [SPARK-40109] [SQL] Neue SQL-Funktion: get()
  • [SPARK-39929] [SQL] DS V2 unterstützt Pushdown von string-Funktionen (nicht ANSI)
  • [SPARK-39819] [SQL] DS V2-Aggregat-Pushdown kann mit Top N oder Paging (Sortieren mit Ausdrücken) arbeiten
  • [SPARK-40213] [SC-109077][SQL] Unterstützung der ASCII-Wertkonvertierung für Lateinisch-1-Zeichen
  • [SPARK-39887] [SQL] RemoveRedundantAliases sollte Aliase beibehalten, die die Ausgabe von Projektionsknoten eindeutig machen
  • [SPARK-39764] [SQL] PhysicalOperation mit ScanOperation identisch machen
  • [SPARK-39964] [SQL] DS V2-Pushdown sollte den Übersetzungspfad vereinheitlichen
  • [SPARK-39528] [ SQL] Verwenden des V2-Filters in SupportsRuntimeFiltering
  • [SPARK-40066] [SQL] ANSI-Modus: Immer NULL zurückgeben bei ungültigem Zugriff auf die Zuordnungsspalte
  • [SPARK-39912][SPARK-39828][SQL] Einschränkung von CatalogImpl
  • [SPARK-39833] [SC-108736 ][SQL] Deaktivieren des Parquet-Spaltenindexes in DSv1, um ein Problem mit der Korrektheit im Falle überlappender Partitionen und Datenspalten zu beheben
  • [SPARK-39880] [SQL] V2 SHOW FUNCTIONS-Befehl sollte qualifizierte Funktionsnamen wie v1 ausgeben
  • [SPARK-39767] [SQL] Entfernen von UnresolvedDBObjectName und Hinzufügen von UnresolvedIdentifier
  • [SPARK-40163] [SC-108740][SQL] feat: SparkSession.config(Map)
  • [SPARK-40136] [SQL] Korrigieren des Fragments von SQL-Abfragekontexten
  • [SPARK-40107] [SC-108689][SQL] Herausziehen der empty2null-Konvertierung aus FileFormatWriter
  • [SPARK-40121] [PYTHON][SQL] Initialisieren der für Python UDF verwendeten Projektion
  • [SPARK-40128] [SQL] Veranlassen, dass VectorizedColumnReader DELTA_LENGTH_BYTE_ARRAY als eigenständige Spaltencodierung erkennt
  • [SPARK-40132] [ML] Wiederherstellen von rawPredictionCol zu MultilayerPerceptronClassifier.setParams
  • [SPARK-40050] [SC-108696][SQL] Verbessern von EliminateSorts, sodass das Entfernen von Sortierungen über LocalLimit unterstützt wird
  • [SPARK-39629] [SQL] Unterstützung für v2 SHOW-FUNKTIONEN
  • [SPARK-39925] [SC-108734][SQL] Hinzufügen des Überladens von array_sort(Spalte, Vergleichsoperator) zu DataFrame-Vorgängen
  • [SPARK-40117] [PYTHON][SQL] Konvertieren der Bedingung in Java in DataFrameWriterV2.overwrite
  • [SPARK-40105] [SQL] Verbessern von Repartition in ReplaceCTERefWithRepartition
  • [SPARK-39503] [SQL] Hinzufügen des Sitzungskatalognamens für v1-Datenbanktabelle und -funktion
  • [SPARK-39889] [SQL] Verwenden verschiedener Fehlerklassen für Division von numerisch/Intervall durch 0
  • [SPARK-39741] [SQL] Unterstützung von Codierung/Decodierung der URL als integrierte Funktion und Aufräumen URL-bezogener Funktionen
  • [SPARK-40102] [SQL] Verwenden von SparkException anstelle von IllegalStateException in SparkPlan
  • [SPARK-40014] [SQL] Unterstützung der Umwandlung von Dezimalstellen in ANSI-Intervallen
  • [SPARK-39776] [ SQL][FOLLOW] Aktualisierung des UT von PlanStabilitySuite im ANSI-Modus
  • [SPARK-39963] [SQL] Vereinfachen von SimplifyCasts.isWiderCast

Wartungsupdates

Weitere Informationen finden Sie in den Wartungsupdates für Databricks Runtime 11.3.

Systemumgebung

  • Betriebssystem: Ubuntu 20.04.5 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.19
  • R: 4.1.3
  • Delta Lake: 2.1.0

Installierte Python-Bibliotheken

Bibliothek Version Bibliothek Version Bibliothek Version
argon2-cffi 20.1.0 async-generator 1.10 attrs 21.2.0
backcall 0.2.0 backports.entry-points-selectable 1.1.1 black 22.3.0
bleach 4.0.0 boto3 1.21.18 botocore 1.24.18
certifi 2021.10.8 cffi 1.14.6 chardet 4.0.0
charset-normalizer 2.0.4 Klicken 8.0.3 cryptography 3.4.8
cycler 0.10.0 Cython 0.29.24 dbus-python 1.2.16
debugpy 1.4.1 decorator 5.1.0 defusedxml 0.7.1
distlib 0.3.6 entrypoints 0,3 facets-overview 1.0.0
filelock 3.8.0 idna 3.2 ipykernel 6.12.1
ipython 7.32.0 ipython-genutils 0.2.0 ipywidgets 7.7.0
jedi 0.18.0 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.0.1 jsonschema 3.2.0 jupyter-client 6.1.12
jupyter-core 4.8.1 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
kiwisolver 1.3.1 MarkupSafe 2.0.1 matplotlib 3.4.3
matplotlib-inline 0.1.2 mistune 0.8.4 mypy-extensions 0.4.3
nbclient 0.5.3 nbconvert 6.1.0 nbformat 5.1.3
nest-asyncio 1.5.1 Notebook 6.4.5 numpy 1.20.3
Packen 21.0 Pandas 1.3.4 pandocfilters 1.4.3
parso 0.8.2 pathspec 0.9.0 patsy 0.5.2
pexpect 4.8.0 pickleshare 0.7.5 Pillow 8.4.0
pip 21.2.4 platformdirs 2.5.2 plotly 5.9.0
prometheus-client 0.11.0 prompt-toolkit 3.0.20 protobuf 4.21.5
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pyarrow 7.0.0 pycparser 2,20 Pygments 2.10.0
PyGObject 3.36.0 pyodbc 4.0.31 pyparsing 3.0.4
pyrsistent 0.18.0 Python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.2.1 requests 2.26.0 requests-unixsocket 0.2.0
s3transfer 0.5.2 scikit-learn 0.24.2 scipy 1.7.1
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
sechs 1.16.0 ssh-import-id 5.10 statsmodels 0.12.2
tenacity 8.0.1 terminado 0.9.4 testpath 0.5.0
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlets 5.1.0 typing-extensions 3.10.0.2
unattended-upgrades 0,1 urllib3 1.26.7 virtualenv 20.8.0
wcwidth 0.2.5 webencodings 0.5.1 wheel 0.37.0
widgetsnbextension 3.6.0

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Microsoft CRAN-Momentaufnahme vom 08.09.2022 installiert.

Bibliothek Version Bibliothek Version Bibliothek Version
askpass 1.1 assertthat 0.2.1 backports 1.4.1
base 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 Blob 1.2.3 boot 1.3-28
brew 1.0-7 brio 1.1.3 broom 1.0.1
bslib 0.4.0 cachem 1.0.6 callr 3.7.2
caret 6.0-93 cellranger 1.1.0 chron 2.3-57
class 7.3-20 cli 3.3.0 clipr 0.8.0
cluster 2.1.3 codetools 0.2-18 colorspace 2.0-3
commonmark 1.8.0 compiler 4.1.3 config 0.3.1
cpp11 0.4.2 crayon 1.5.1 Anmeldeinformationen 1.3.2
curl 4.3.2 data.table 1.14.2 datasets 4.1.3
DBI 1.1.3 dbplyr 2.2.1 desc 1.4.1
devtools 2.4.4 diffobj 0.3.5 digest 0.6.29
downlit 0.4.2 dplyr 1.0.10 dtplyr 1.2.2
e1071 1.7-11 ellipsis 0.3.2 Evaluieren 0.16
fansi 1.0.3 farver 2.1.1 fastmap 1.1.0
fontawesome 0.3.0 forcats 0.5.2 foreach 1.5.2
foreign 0.8-82 forge 0.2.0 fs 1.5.2
future 1.28.0 future.apply 1.9.1 gargle 1.2.0
generics 0.1.3 gert 1.8.0 ggplot2 3.3.6
gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-4
globals 0.16.1 glue 1.6.2 googledrive 2.0.0
googlesheets4 1.0.1 gower 1.0.0 Grafiken 4.1.3
grDevices 4.1.3 grid 4.1.3 gridExtra 2.3
gsubfn 0.7 gtable 0.3.1 hardhat 1.2.0
haven 2.5.1 highr 0.9 hms 1.1.2
htmltools 0.5.3 htmlwidgets 1.5.4 httpuv 1.6.5
httr 1.4.4 ids 1.0.1 ini 0.3.1
ipred 0.9-13 isoband 0.2.5 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.0 KernSmooth 2.23-20
knitr 1.40 labeling 0.4.2 later 1.3.0
lattice 0.20-45 lava 1.6.10 Lebenszyklus 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.3
markdown 1.1 MASS 7.3-56 Matrix 1.4-1
memoise 2.0.1 methods 4.1.3 mgcv 1.8-40
mime 0,12 miniUI 0.1.1.1 ModelMetrics 1.2.2.2
modelr 0.1.9 munsell 0.5.0 nlme 3.1-157
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 2.0.2
parallel 4.1.3 parallelly 1.32.1 pillar 1.8.1
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgdown 2.0.6
pkgload 1.3.0 plogr 0.2.0 plyr 1.8.7
praise 1.0.0 prettyunits 1.1.1 pROC 1.18.0
processx 3.7.0 prodlim 2019.11.13 profvis 0.3.7
Fortschritt 1.2.2 progressr 0.11.0 promises 1.2.0.1
proto 1.0.0 proxy 0.4-27 ps 1.7.1
purrr 0.3.4 r2d3 0.2.6 R6 2.5.1
ragg 1.2.2 randomForest 4.7-1.1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.0.9
RcppEigen 0.3.3.9.2 readr 2.1.2 readxl 1.4.1
recipes 1.0.1 rematch 1.0.1 rematch2 2.1.2
remotes 2.4.2 reprex 2.0.2 reshape2 1.4.4
rlang 1.0.5 rmarkdown 2.16 RODBC 1.3-19
roxygen2 7.2.1 rpart 4.1.16 rprojroot 2.0.3
Rserve 1.8-11 RSQLite 2.2.16 rstudioapi 0.14
rversions 2.1.2 rvest 1.0.3 sass 0.4.2
scales 1.2.1 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.7.2 sourcetools 0.1.7
sparklyr 1.7.8 SparkR 3.3.0 spatial 7.3-11
splines 4.1.3 sqldf 0.4-11 SQUAREM 2021.1
stats 4.1.3 stats4 4.1.3 stringi 1.7.8
stringr 1.4.1 survival 3.4-0 sys 3.4
systemfonts 1.0.4 tcltk 4.1.3 testthat 3.1.4
textshaping 0.3.6 tibble 3.1.8 tidyr 1.2.0
tidyselect 1.1.2 tidyverse 1.3.2 timeDate 4021.104
tinytex 0,41 tools 4.1.3 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
utils 4.1.3 uuid 1.1-0 vctrs 0.4.1
viridisLite 0.4.1 vroom 1.5.7 waldo 0.4.0
whisker 0,4 withr 2.5.0 xfun 0,32
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.5 zip 2.2.0

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)

Gruppen-ID Artefakt-ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics Datenstrom 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,21
io.delta delta-sharing-spark_2.12 0.5.1
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Sammlung 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.14
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow arrow-vector 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.9
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-databricks
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shims 1.7.6
org.apache.parquet parquet-column 1.12.0-databricks-0007
org.apache.parquet parquet-common 1.12.0-databricks-0007
org.apache.parquet parquet-encoding 1.12.0-databricks-0007
org.apache.parquet parquet-format-structures 1.12.0-databricks-0007
org.apache.parquet parquet-hadoop 1.12.0-databricks-0007
org.apache.parquet parquet-jackson 1.12.0-databricks-0007
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,36
org.glassfish.jersey.containers jersey-container-servlet-core 2,36
org.glassfish.jersey.core jersey-client 2,36
org.glassfish.jersey.core jersey-common 2,36
org.glassfish.jersey.core jersey-server 2,36
org.glassfish.jersey.inject jersey-hk2 2,36
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap shims 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark unused 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1