Databricks Runtime 11.2 (nicht unterstützt)

  • Artikel

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 11.2, powered by Apache Spark 3.3.0. Databricks hat diese Images im September 2022 veröffentlicht.

Neue Features und Verbesserungen

Änderung an ALTER TABLE-Berechtigungen in Tabellenzugriffssteuerungen (Tabellen-ACLs)

Jetzt benötigen Benutzer nur noch MODIFY-Berechtigungen, um das Schema oder die Eigenschaften einer Tabelle mit ALTER TABLE zu ändern. Der Besitz ist weiterhin erforderlich, um Berechtigungen für eine Tabelle zu erteilen, ihren Besitzer und Standort zu ändern oder sie umzubenennen. Durch diese Änderung wird das Berechtigungsmodell für Tabellen-ACLs konsistent mit Unity Catalog. Weitere Informationen finden Sie unter ALTER TABLE.

Dynamisches Pruning für MERGE INTO

Wenn Sie Photon-fähiges Compute verwenden, verwendet MERGE INTO jetzt bei Bedarf dynamische Datei- und Partitionsbereinigung, um die Leistung zu verbessern, z. B. wenn eine kleine Quelltabelle in eine größere Zieltabelle zusammengeführt wird.

Verbesserte Konflikterkennung in Delta mit dynamischer Dateibereinigung

Bei der Suche nach potenziellen Konflikten während Commits berücksichtigt die Konflikterkennung jetzt Dateien, die durch dynamische Dateibereinigung bereinigt wurden, aber nicht durch statische Filter bereinigt worden wären. Dies führt zu einer verringerten Anzahl fehlgeschlagener Transaktionen.

Neue Open-Source-Integrationskarte in DSE/SQL-Homepages

Einführung der neuen Karte „Open-Source-Integrationen“ auf den DSE/SQL-Homepages, die Open-Source-Integrationsoptionen wie Delta Live Tables und dbt core anzeigt.

Verbesserung der Partitionserkennung für CONVERT TO DELTA

CONVERT TO DELTA leitet automatisch das Partitionsschema für im Hive-Metastore oder in Unity Catalog registrierte Parquet-Tabellen ab, sodass die Klausel PARTITIONED BY nicht mehr angegeben werden muss.

CONVERT TO DELTA nutzt Partitionsinformationen aus dem Metastore, um Dateien für eine Parquet-Tabelle zu entdecken, anstatt den gesamten Basispfad aufzulisten. Dadurch wird sichergestellt, dass gelöschte Partitionen nicht der Deltatabelle hinzugefügt werden.

Weitere Informationen finden Sie unter Konvertieren in Delta Lake.

Tabellenschemata unterstützen jetzt Standardwerte für Spalten

Tabellenschemata unterstützen jetzt das Festlegen von Standardwerten für Spalten. INSERT, UPDATEund DELETE Befehle für diese Spalten können auf diese Werte mit dem DEFAULT Schlüsselwort verweisen. Zum Beispiel fügt CREATE TABLE t (id INT, data INT DEFAULT 42) USING PARQUET gefolgt von INSERT INTO t VALUES (1, DEFAULT) die Zeile (1, 42) an. Dieses Verhalten wird für CSV-, JSON-, Orc- und Parquet-Datenquellen unterstützt.

Neue H3-Geodatenfunktionen

Sie können jetzt 28 neue integrierte H3-Ausdrücke für die Geodatenverarbeitung in Photon-fähigen Clustern verwenden, die in SQL, Scala und Python verfügbar sind. Weitere Informationen finden Sie unter H3-Geodatenfunktionen.

Neue Databricks Runtime-Abhängigkeit

Databricks Runtime hängt jetzt von der H3-Java-Bibliothek, Version 3.7.0 ab.

Bringen Sie Ihren eigenen Schlüssel mit: Verschlüsseln von Git-Anmeldeinformationen

Sie können Azure Key Vault verwenden, um ein persönliches Git-Zugriffstoken (PAT) oder andere Git-Anmeldeinformationen zu verschlüsseln.

Siehe Einrichten von Git-Ordnern für Databricks (Repos).

SQL: Neue Aggregatfunktion any_value

Die neue any_value Aggregatfunktion gibt einen beliebigen Zufallswert expr für eine Gruppe von Zeilen zurück. Siehe die any_value-Aggregatfunktion.

Databricks Utilities-Dateisystembefehle, die auf mehr Clustertypen zulässig sind

dbutils.fs x-Befehle (mit Ausnahme von Mount-bezogenen Befehlen) sind jetzt in Benutzerisolationsclustern mit Unity Catalog sowie in Legacy-Tabellen-ACL-Clustern zulässig, wenn der Benutzer über ANY FILE-Berechtigungen verfügt.

CREATE-Berechtigungen können jetzt für Unity Catalog-Metastores erteilt werden.

Berechtigungen vom Typ „CREATE CATALOG“, „CREATE EXTERNAL LOCATION“, „CREATE SHARE“, „CREATE RECIPIENT“ und „CREATE PROVIDER“ können jetzt für Unity Catalog-Metastores erteilt werden.

Optimierte Schreibvorgänge für nicht partitionierte Tabellen in Clustern mit Photon-Unterstützung

Verwaltete Unity Catalog-Tabellen speichern jetzt automatisch Dateien einer sorgfältig abgestimmten Größe aus nicht partitionierten Tabellen, um die Abfragegeschwindigkeit zu verbessern und die Leistung zu optimieren.

Photon-Unterstützung für weitere Datenquellen

Photon unterstützt jetzt mehr Datenquellen, einschließlich CSV und Avro, und ist auch mit zwischengespeicherten Datenrahmen kompatibel. Bisher bedeutete das Scannen dieser Datenquellen, dass die gesamte Abfrage nicht photonisiert werden konnte, unabhängig von den Operatoren oder Ausdrücken der Abfrage. Jetzt können Abfragen, die diese Datenquellen scannen, photonisiert werden, was zu erheblichen Latenz- und TCO-Verbesserungen führt.

Diese Funktion ist standardmäßig durch die spark.databricks.photon.photonRowToColumnar.enabled Konfiguration aktiviert.

Einschränkungen:

  • Schemas mit verschachtelten Typen werden in dieser Version nicht unterstützt (d. h. Arrays, Maps und Strukturen).
  • ORC-, RDD-, Kinesis-, Kafka- und EventHub-Quellen werden in dieser Version nicht unterstützt.

SQL: ALTER SHARE unterstützt jetzt STARTVERSION

Der ALTER SHARE Befehl unterstützt START VERSIONjetzt , wodurch Anbieter Daten aus einer bestimmten Tabellenversion freigeben können. Siehe ALTER SHARE.

Bibliotheksupgrades

  • Aktualisierte Python-Bibliotheken:
    • distlib from 0.3.4 auf 0.3.5
    • filelock von 3.7.1 auf 3.8.0
    • plotly von 5.8.2 auf 5.9.0
    • protobuf von 4.21.2 auf 4.21.5
  • Aktualisierte R-Bibliotheken:
    • broom von 0.8.0 auf 1.0.0
    • bslib von 0.3.1 auf 0.4.0
    • callr von 3.7.0 auf 3.7.1
    • caret von 6.0-92 auf 6.0-93
    • dbplyr von 2.2.0 auf 2.2.1
    • devtools von 2.4.3 auf 2.4.4
    • evaluate von 0.15 auf 0.16
    • farver von 2.1.0 auf 2.1.1
    • fontawesome von 0.2.2 auf 0.3.0
    • future von 1.26.1 auf 1.27.0
    • generics von 0.1.2 auf 0.1.3
    • gert von 1.6.0 auf 1.7.0
    • globals von 0.15.1 auf 0.16.0
    • googlesheets4 von 1.0.0 auf 1.0.1
    • hardhat von 1.1.0 auf 1.2.0
    • htmltools von 0.5.2 auf 0.5.3
    • parallelly von 1.32.0 auf 1.32.1
    • pillar von 1.7.0 auf 1.8.0
    • pkgload von 1.2.4 auf 1.3.0
    • processx von 3.6.1 auf 3.7.0
    • Rcpp von 1.0.8.3 auf 1.0.9
    • recipes von 0.2.0 auf 1.0.1
    • rlang von 1.0.2 auf 1.0.4
    • roxygen2 von 7.2.0 auf 7.2.1
    • RSQLite von 2.2.14 auf 2.2.15
    • sass von 0.4.1 auf 0.4.2
    • shiny von 1.7.1 auf 1.7.2
    • stringi von 1.7.6 auf 1.7.8
    • tibble von 3.1.7 auf 3.1.8
    • tidyverse von 1.3.1 auf 1.3.2
    • timeDate von 3043.102 auf 4021.104
    • xfun von 0.31 auf 0.32
  • Aktualisierte Java-Bibliotheken:
    • org.apache.orc.orc-core von 1.7.4 auf 1.7.5
    • org.apache.orc.orc-mapreduce von 1.7.4 auf 1.7.5
    • org.apache.orc.orc-shims von 1.7.4 auf 1.7.5

Apache Spark

Databricks Runtime 11.2 enthält Apache Spark 3.3.0. Dieses Release enthält alle Spark-Fixes und -Verbesserungen, die in Databricks Runtime 11.1 (nicht unterstützt) enthalten sind, sowie die folgenden zusätzlichen Fehlerbehebungen und Verbesserungen für Spark:

  • [SPARK-40151] [WARMFIX][SC-109002][SC-108809][SQL] Von den Perzentilfunktionen werden weiter gefasste ANSI-Intervalltypen zurückgegeben.
  • [SPARK-40054] [SQL] Stellen Sie die Fehlerbehandlungssyntax von try_cast() wieder her
  • [SPARK-39489] [CORE] Verbessern Sie die JsonProtocol-Leistung der Ereignisprotokollierung, indem Sie Jackson anstelle von Json4s verwenden
  • [SPARK-39319] [CORE][SQL] Erstellen Sie Abfragekontexte als Teil von SparkThrowable
  • [SPARK-40085] [SQL] Verwenden Sie die Fehlerklasse INTERNAL_ERROR anstelle von IllegalStateException, um auf Fehler hinzuweisen
  • [SPARK-40001] [SQL] Machen Sie NULL-Schreibvorgänge in JSON DEFAULT-Spalten, schreiben Sie „null“ in den Speicher
  • [SPARK-39635] [SQL] Treibermesswerte in der benutzerdefinierten Messwert-API von DS v2 unterstützen
  • [SPARK-39184] Unterdimensioniertes Ergebnisarray in Datums- und Zeitstempelsequenzen behandeln
  • [SPARK-40019] [SQL] Refactoring-Kommentar von ArrayType’s containsNull und Refactoring der missverständlichen Logik im Ausdruck von collectionOperator zu containsNull
  • [SPARK-39989] [SQL] Unterstützt Schätzspaltenstatistiken, wenn es sich um einen faltbaren Ausdruck handelt
  • [SPARK-39926] [SQL] Fehler in Spalte DEFAULT-Unterstützung für nicht vektorisierte Parquet-Scans behoben
  • [SPARK-40052] [SQL] Behandeln Sie direkte Byte-Puffer in VectorizedDeltaBinaryPackedReader
  • [SPARK-40044] [SQL] Korrigieren Sie den Zielintervalltyp in Cast-Überlauffehlern
  • [SPARK-39835][SQL] Fix EliminateSorts entfernt die globale Sortierung unterhalb der lokalen Sortierung
  • [SPARK-40002] [SQL] Schieben Sie das Limit nicht durch das Window mit ntile nach unten
  • [SPARK-39976] [SQL] ArrayIntersect sollte null im linken Ausdruck korrekt behandeln
  • [SPARK-39985] [SQL] Aktivieren Sie implizite DEFAULT-Spaltenwerte in Einfügungen von DataFrames
  • [SPARK-39776] [SQL] Die ausführliche JOIN-Zeichenfolge sollte den Join-Typ hinzufügen
  • [SPARK-38901] [SQL] DS V2 unterstützt verschiedene Pushdown-Funktionen
  • [SPARK-40028] [SQL][FollowUp] Verbessern Sie Beispiele für Zeichenfolgenfunktionen
  • [SPARK-39983] [CORE][SQL] Keine nicht serialisierten Broadcast-Beziehungen auf dem Treiber zwischenspeichern
  • [SPARK-39812] [SQL] Vereinfachen Sie Code, der AggregateExpression mit toAggregateExpression konstruiert
  • [SPARK-40028] [SQL] Fügen Sie binäre Beispiele für String-Ausdrücke hinzu
  • [SPARK-39981] [SQL] Lösen Sie die Ausnahme QueryExecutionErrors.castingCauseOverflowErrorInTableInsert in Cast aus
  • [SPARK-40007] [PYTHON][SQL] Fügen Sie den Funktionen „Modus“ hinzu
  • [SPARK-40008] [SQL] Unterstützt die Umwandlung von Integralen in ANSI-Intervalle
  • [SPARK-40003] [PYTHON][SQL] „Median“ zu Funktionen hinzufügen
  • [SPARK-39952] [SQL] SaveIntoDataSourceCommand sollte die Ergebnisbeziehung zwischenspeichern
  • [SPARK-39951] [SQL] Parquet V2-Spaltenüberprüfung für geschachtelte Felder aktualisieren
  • [SPARK-33236] [shuffle] Backport zu DBR 11.x: Aktivieren Sie den Push-basierten Shuffle-Dienst, um den Status in der DB auf NM-Ebene zu speichern, um den Neustart zu erhalten
  • [SPARK-39836] [SQL] Vereinfachen Sie V2ExpressionBuilder, indem Sie die allgemeine Methode extrahieren.
  • [SPARK-39873] [SQL] OptimizeLimitZero entfernen und mit EliminateLimits zusammenführen
  • [SPARK-39961] [SQL] DS V2-Pushdown-Translate-Cast, wenn die Umwandlung sicher ist
  • [SPARK-39872] [SQL] Änderung zur Verwendung von BytePackerForLong#unpack8Values mit Array-Eingabe-API in VectorizedDeltaBinaryPackedReader
  • [SPARK-39858] [SQL] Entfernen Sie unnötiges AliasHelper oder PredicateHelper für einige Regeln
  • [SPARK-39900] [SQL] Adressieren eine partielle oder negierte Bedingung im Prädikat-Pushdown des Binärformats
  • [SPARK-39904] [SQL] Benennen Sie inferDate in preferredDate um, und klären Sie die Semantik der Option in der CSV-Datenquelle
  • [SPARK-39958] [SQL] Fügen Sie ein Warnprotokoll hinzu, wenn das benutzerdefinierte Metrikobjekt nicht geladen werden kann
  • [SPARK-39932] [SQL] WindowExec sollte den letzten Partitionspuffer löschen
  • [SPARK-37194] [SQL] Vermeiden Sie unnötiges Sortieren beim Schreiben in v1, wenn es sich nicht um eine dynamische Partition handelt
  • [SPARK-39902] [SQL] Fügen Sie Scan-Details zum Spark-Plan-Scan-Node in SparkUI hinzu
  • [SPARK-39865] [SQL] Zeigen Sie die richtigen Fehlermeldungen zu den Überlauffehlern der Tabelleneinfügung an
  • [SPARK-39940] [SS] Katalogtabelle bei Streaming-Abfrage mit DSv1-Senke aktualisieren
  • [SPARK-39827] [SQL] Verwenden Sie die Fehlerklasse ARITHMETIC_OVERFLOW bei einem int-overflow in add_months()
  • [SPARK-39914] [SQL] DS V2-Filter zur V1-Filterkonvertierung hinzufügen
  • [SPARK-39857] [SQL] Manuelle DBR 11.x-Rückportierung; V2ExpressionBuilder verwendet den falschen LiteralValue-Datentyp für In-Prädikat #43454
  • [SPARK-39840] [SQL][PYTHON] Faktor PythonArrowInput out als Symmetrie zu PythonArrowOutput
  • [SPARK-39651] [SQL] Filterbedingung bereinigen, wenn Vergleich mit Rand deterministisch ist
  • [SPARK-39877] [PYTHON] Unpivot zur PySpark DataFrame-API hinzufügen
  • [SPARK-39909] [SQL] Organisieren Sie die Prüfung von Pushdown-Informationen für JDBCV2Suite
  • [SPARK-39834] [SQL][SS] Schließen Sie die Ursprungsstatistiken und Einschränkungen für LogicalRDD ein, wenn es von DataFrame stammt
  • [SPARK-39849] [SQL] Dataset.as(StructType) füllt fehlende neue Spalten mit Nullwerten
  • [SPARK-39860] [SQL] Weitere Ausdrücke sollten Prädikat erweitern
  • [SPARK-39823] [SQL][PYTHON] Benennen Sie Dataset.as in Dataset.to um, und fügen Sie DataFrame.to in PySpark hinzu
  • [SPARK-39918] [SQL][MINOR] Ersetzen Sie in der Fehlermeldung den Wortlaut „nicht vergleichbar“ durch „unvergleichlich“
  • [SPARK-39857] [SQL][3.3] V2ExpressionBuilder verwendet den falschen LiteralValue-Datentyp für das In-Prädikat
  • [SPARK-39862] [SQL] Manueller Backport für PR 43654 für DBR 11.x: Aktualisieren Sie SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS, um ALTER TABLE zuzulassen/zu verweigern … ADD COLUMN-Befehle separat hinzufügen.
  • [SPARK-39844] [SQL] Manueller Backport für PR 43652 für DBR 11.x
  • [SPARK-39899] [SQL] Korrigieren Sie die Übergabe von Nachrichtenparametern an InvalidUDFClassException
  • [SPARK-39890] [SQL] Lassen Sie TakeOrderedAndProjectExec AliasAwareOutputOrdering erben
  • [SPARK-39809] [PYTHON] Unterstützung von CharType in PySpark
  • [SPARK-38864] [SQL] Unpivot/Melt zum Dataset hinzufügen
  • [SPARK-39864] [SQL] ExecutionListenerBus verzögert registrieren
  • [SPARK-39808] [SQL] Aggregatfunktion MODE unterstützen
  • [SPARK-39875] [SQL] Ändern Sie die protected-Methode in der Final-Klasse in private oder package-visible
  • [SPARK-39731] [SQL] Beheben eines Problems in CSV- und JSON-Datenquellen beim Analysieren von Daten im Format „jjjjMMtt“ mit der CORRECTED-Zeitparserrichtlinie
  • [SPARK-39805] [SS] Veralteter Trigger.Once und Höherstufen von Trigger.AvailableNow
  • [SPARK-39784] [SQL] Setzen Sie Literal-Werte auf die rechte Seite des Datenquellenfilters, nachdem Sie den Catalyst-Ausdruck in den Datenquellenfilter übersetzt haben
  • [SPARK-39672] [SQL][3.1] Beheben des Entfernens des Projekts vor dem Filtern mit korrelierter Unterabfrage
  • [SPARK-39552] [SQL] v1 und v2 vereinheitlichen DESCRIBE TABLE
  • [SPARK-39810] [SQL] Catalog.tableExists sollte geschachtelten Namespace behandeln
  • [SPARK-37287] [SQL] Ziehen Sie die dynamische Partition und Bucket-Sortierung aus FileFormatWriter heraus
  • [SPARK-39469] [SQL] Datumstyp für CSV-Schemarückschluss ableiten
  • [SPARK-39148] [SQL] DS V2-Aggregat-Pushdown kann mit OFFSET oder LIMIT funktionieren
  • [SPARK-39818] [SQL] Fehler in ARRAY-, STRUCT-, MAP-Typen mit DEFAULT-Werten mit NULL-Feld(ern) behoben
  • [SPARK-39792] [SQL] Hinzufügen von DecimalDivideWithOverflowCheck für den dezimalen Durchschnitt
  • [SPARK-39798] [SQL] Ersetze toSeq.toArray mit .toArray[Any] dem Konstruktor von GenericArrayData
  • [SPARK-39759] [SQL] listIndexes in JDBC implementieren (H2-Dialekt)
  • [SPARK-39385] [SQL] Unterstützt Pushdown REGR_AVGX und REGR_AVGY
  • [SPARK-39787] [SQL] Verwenden der Fehlerklasse im Analysefehler der Funktion to_timestamp
  • [SPARK-39760] [PYTHON] Unterstützen Varchar in PySpark
  • [SPARK-39557] [SQL] Manueller Backport zu DBR 11.x: Unterstützen von ARRAY, STRUKTUR, MAP-Typen als DEFAULT-Werte
  • [SPARK-39758] [SQL][3.3] Beheben von NPE aus den Regexp-Funktionen für ungültige Muster
  • [SPARK-39749] [SQL] ANSI SQL-Modus: Verwenden einer einfachen String-Darstellung beim Umwandeln von Dezimalzeichen in String
  • [SPARK-39704] [SQL] Implementieren von createIndex und dropIndex und indexExists in JDBC (H2-Dialekt)
  • [SPARK-39803] [SQL] Verwendung von LevenshteinDistance anstelle von StringUtils.getLevenshteinDistance
  • [SPARK-39339] [SQL] Unterstützung des TimestampNTZ-Typs in der JDBC-Datenquelle
  • [SPARK-39781] [ SS] Unterstützung für die Bereitstellung von max_open_files für den Statusspeicheranbieter rocksdb hinzugefügt
  • [SPARK-39719] [R] Implementieren Sie databaseExists/getDatabase im SparkR-Unterstützung 3L-Namespace
  • [SPARK-39751] [SQL] Umbenennen der Hash-Aggregat-Key-Probes-Metrik
  • [SPARK-39772] [SQL] Namespace sollte null sein, wenn database in den alten Konstruktoren null ist
  • [SPARK-39625] [SPARK-38904][SQL] Hinzufügen von Dataset.as(StructType)
  • [SPARK-39384] [SQL] Kompilieren Sie integrierte lineare Regression-Aggregatfunktionen für den JDBC-Dialekt
  • [SPARK-39720] [R] Implementieren von tableExists/getTable in SparkR für 3L-Namespace
  • [SPARK-39744] [SQL] Fügt die Funktion REGEXP_INSTR hinzu
  • [SPARK-39716] [R] Sorgt dafür, dass currentDatabase/setCurrentDatabase/listCatalogs in SparkR den 3L-Namespace unterstützt wird
  • [SPARK-39788] [SQL] Umbenennen catalogName in dialectName für JdbcUtils
  • [SPARK-39647] [CORE] Registrieren Sie den Executor bei ESS, bevor Sie den BlockManager registrieren
  • [SPARK-39754] [CORE][SQL] Entfernen sie unbenutztes import oder unnötiges {}
  • [SPARK-39706] [SQL] Festlegen fehlender Spalte mit defaultValue als Konstante in ParquetColumnVector
  • [SPARK-39699] [SQL] Machen Sie CollapseProject intelligenter in Bezug auf Ausdrücke zum Erstellen von Sammlungen
  • [SPARK-39737] [SQL] PERCENTILE_CONT und PERCENTILE_DISC sollte den Aggregatfilter unterstützen
  • [SPARK-39579] [SQL][PYTHON][R] Herstellen der Kompatibilität zwischen ListFunctions/getFunction/functionExists und dem dreischichtigen Namespace
  • [SPARK-39627] [SQL] JDBC V2-Pushdown sollte die Kompilier-API vereinheitlichen
  • [SPARK-39748] [SQL][SS] Schließen Sie den logischen Ursprungsplan für LogicalRDD ein, wenn er von DataFrame stammt
  • [SPARK-39385] [SQL] Aggregatfunktionen der linearen Regression für Pushdown übersetzen
  • [SPARK-39695] [SQL] Fügt die REGEXP_SUBSTR-Funktion hinzu
  • [SPARK-39667] [SQL] Fügen Sie eine weitere Problemumgehung hinzu, wenn nicht genügend Arbeitsspeicher zum Erstellen und Übertragen der Tabelle vorhanden ist
  • [SPARK-39666] [ES-337834][SQL] Verwenden Sie UnsafeProjection.create, um spark.sql.codegen.factoryMode in ExpressionEncoder zu berücksichtigen
  • [SPARK-39643] [SQL] Unterabfrageausdrücke in DEFAULT-Werten verbieten
  • [SPARK-38647] [SQL] SupportsReportOrdering-Mix in Schnittstelle für Scan hinzufügen (DataSourceV2)
  • [SPARK-39497] [SQL] Verbessern der Analyseausnahme der fehlenden Kartenschlüsselspalte
  • [SPARK-39661] [SQL] Vermeiden Sie die Erstellung unnötiger SLF4J-Logger
  • [SPARK-39713] [SQL] ANSI-Modus: Hinzufügen des Vorschlags der Verwendung von try_element_at für den INVALID_ARRAY_INDEX-Fehler
  • [SPARK-38899] [SQL]DS V2 unterstützt Pushdown-Datum/Uhrzeit-Funktionen
  • [SPARK-39638] [SQL] Verwenden Sie jetzt ConstantColumnVector, um Partitionsspalten in OrcColumnarBatchReader zu speichern
  • [SPARK-39653] [SQL] Bereinigen ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) von ColumnVectorUtils
  • [SPARK-39231] [SQL] Verwenden Sie ConstantColumnVector anstelle von On/OffHeapColumnVector, um Partitionsspalten in VectorizedParquetRecordReader zu speichern
  • [SPARK-39547] [SQL] V2SessionCatalog sollte keine NoSuchDatabaseException in loadNamspaceMetadata auslösen
  • [SPARK-39447] [SQL] Vermeiden von AssertionError in AdaptiveSparkPlanExec.doExecuteBroadcast
  • [SPARK-39492] [SQL] MISSING_COLUMN überarbeiten
  • [SPARK-39679] [SQL] TakeOrderedAndProjectExec sollte die untergeordnete Ausgabereihenfolge berücksichtigen
  • [SPARK-39606] [SQL] Verwenden von untergeordneten Statistiken zum Schätzen des Auftragsoperators
  • [SPARK-39611] [PYTHON][PS] Beheben sie falsche Aliase in array_ufunc
  • [SPARK-39656] [SQL][3.3] Beheben des falschen Namespaces in DescribeNamespaceExec
  • [SPARK-39675] [SQL] Schalten Sie die Konfiguration von „spark.sql.codegen.factoryMode“ von Testzwecken auf interne Zwecke um
  • [SPARK-39139] [SQL] DS V2 unterstützt Pushdown-DS V2-UDF
  • [SPARK-39434] [SQL] Bereitstellen des Abfragekontexts bei Laufzeitfehlern, wenn der Arrayindex außerhalb der Begrenzung liegt
  • [SPARK-39479] [SQL] DS V2 unterstützt mathematische Pushdown-Funktionen (nicht ANSI)
  • [SPARK-39618] [SQL] Fügt die REGEXP_COUNT-Funktion hinzu
  • [SPARK-39553] [CORE] Multi-Thread Unregister Shuffle sollte NPE nicht auslösen, wenn Scala 2.13 verwendet wird
  • [SPARK-38755] [PYTHON][3.3] Datei hinzufügen, um fehlende allgemeine Panda-Funktionen zu adressieren
  • [SPARK-39444] [SQL] Fügen Sie OptimizeSubqueries zur nonExcludableRules-Liste hinzu
  • [SPARK-39316] [SQL] Führen Sie PromotePrecision und CheckOverflow in dezimaler binärer Arithmetik zusammen
  • [SPARK-39505] [UI] Inhalt des Escape-Protokolls wird in der Benutzeroberfläche gerendert
  • [SPARK-39448] [SQL] Fügen Sie ReplaceCTERefWithRepartition zur nonExcludableRules-Liste hinzu
  • [SPARK-37961] [SQL] Überschreiben Sie maxRows/maxRowsPerPartition für einige logische Operatoren
  • [SPARK-35223] IssueNavigationLink wiederherstellen
  • [SPARK-39633] [SQL] Unterstützt timestamp in Sekunden für TimeTravel mit Dataframe-Optionen
  • [SPARK-38796] [SQL] Aktualisieren Sie die Dokumentation für String im Zahlenformat mit den {try_}to_number-Funktionen
  • [SPARK-39650] [SS] Korrigieren Sie ein falsches Werteschema bei der Streaming-Deduplizierung mit Abwärtskompatibilität
  • [SPARK-39636] [CORE][UI] Mehrere Fehler in JsonProtocol behoben, die sich auf Heap StorageLevels und Task/Executor ResourceRequests auswirken
  • [SPARK-39432] [SQL] Gibt ELEMENT_AT_BY_INDEX_ZERO von element_at(*, 0) zurück
  • [SPARK-39349] Hinzufügen einer zentralen CheckError-Methode für die Qualitätssicherung des Fehlerpfades
  • [SPARK-39453] [SQL] DS V2 unterstützt verschiedene Pushdown-Funktionen ohne Aggregation (nicht ANSI)
  • [SPARK-38978] [SQL] DS V2 unterstützt den Pushdown-OFFSET-Operator
  • [SPARK-39567] [SQL] Unterstützung von ANSI-Intervallen in den Perzentilfunktionen
  • [SPARK-39383] [SQL] Unterstützung von DEFAULT-Spalten in ALTER TABLE ALTER COLUMNS für V2-Datenquellen
  • [SPARK-39396] [SQL] LDAP-Anmeldeausnahme „Fehlercode 49 – ungültige Anmeldeinformationen“ beheben
  • [SPARK-39548] [SQL] Der CreateView-Befehl mit einer Fensterklauselabfrage traf auf ein Problem mit einer falschen Fensterdefinition, die nicht gefunden wurde
  • [SPARK-39575] [AVRO] Hinzufügen von ByteBuffer#rewind nach ByteBuffer#get in AvroDeserializer
  • [SPARK-39543] Die Option von DataFrameWriterV2 sollte an die Speichereigenschaften übergeben werden, wenn auf v1 zurückgegriffen wird
  • [SPARK-39564] [SS] Stellen Sie die Informationen der Katalogtabelle dem logischen Plan in der Streaming-Abfrage zur Verfügung
  • [SPARK-39582] [SQL] Korrigieren Sie die „Seit“-Markierung für array_agg
  • [SPARK-39388] [SQL] orcSchema wiederverwenden, wenn Ork-Prädikate heruntergedrückt werden
  • [SPARK-39511] [SQL] Verbessern Sie das lokale Pushdown-Limit 1 für die rechte Seite des linken Semi-/Anti-Joins, wenn die Join-Bedingung leer ist
  • [SPARK-38614] [SQL] Drücken Sie das Limit nicht durch ein Fenster, das percent_rank verwendet
  • [SPARK-39551] [SQL] AQE ungültige Planprüfung hinzufügen
  • [SPARK-39383] [SQL] Unterstützung von DEFAULT-Spalten in ALTER TABLE ADD COLUMNS zu V2-Datenquellen
  • [SPARK-39538] [SQL] Vermeiden Sie die Erstellung unnötiger SLF4J-Logger
  • [SPARK-39383] [SQL] Manueller Backport auf DBR 11.x: Überarbeiten Sie die DEFAULT-Spaltenunterstützung, um das Herumreichen des primären Analysators zu überspringen
  • [SPARK-39397] [SQL] Relax AliasAwareOutputExpression zur Unterstützung von Alias mit Ausdruck
  • [SPARK-39496] [SQL] Behandeln von NULL-Struktur in Inline.eval
  • [SPARK-39545] [ SQL] Überschreiben Sie die concat-Methode für ExpressionSet in Scala 2.13, um die Leistung zu verbessern
  • [SPARK-39340] [SQL] DS v2 agg Pushdown sollte Punkte im Namen von Spalten der obersten Ebene zulassen
  • [SPARK-39488] [SQL] Vereinfachen der Fehlerbehandlung von TempResolvedColumn
  • [SPARK-38846] [SQL] Fügen Sie eine explizite Datenzuordnung zwischen Teradata Numeric Type und Spark DecimalType hinzu
  • [SPARK-39520] [SQL] Überschreibt die ---Methode für ExpressionSet in Scala 2.13
  • [SPARK-39470] [SQL] Unterstützung der Umwandlung von ANSI-Intervallen in Dezimalstellen
  • [SPARK-39477] [SQL] Entfernen der Informationen „Anzahl der Abfragen“ aus den goldenen Dateien von SQLQueryTestSuite
  • [SPARK-39419] [SQL] ArraySort löst nun eine Ausnahme aus, wenn der Vergleichsoperator null zurückgibt
  • [SPARK-39061] [SQL] Nullable für Inline Ausgabeattribute richtig setzen
  • [SPARK-39320] [SQL] Aggregatfunktion MEDIAN unterstützen
  • [SPARK-39261] [CORE] Verbessern Sie die Zeilenumbruchformatierung für Fehlermeldungen
  • [SPARK-39355] [SQL] Einzelne Spalte verwendet Anführungszeichen zum Konstruieren von UnresolvedAttribute
  • [SPARK-39351] [SQL] SHOW CREATE TABLE sollte Eigenschaften redigieren
  • [SPARK-37623] [SQL] Unterstützt ANSI-Aggregatfunktion: regr_intercept
  • [SPARK-39374] [SQL] Verbesserte Fehlermeldung für benutzerdefinierte Spaltenliste
  • [SPARK-39255] [SQL][3.3] Verbessern von Fehlermeldungen
  • [SPARK-39321] [SQL] Umgestalten von TryCast zur Verwendung von RuntimeReplaceable
  • [SPARK-39406] [PYTHON] Akzeptieren das NumPy-Array in createDataFrame
  • [SPARK-39267] [SQL] Unnötiges dsl-Symbol bereinigen
  • [SPARK-39171] [SQL] Vereinheitlichen des Cast-Ausdrucks
  • [SPARK-28330] [SQL] Unterstützt ANSI SQL: Ergebnis-Offset-Klausel im Abfrageausdruck
  • [SPARK-39203] [SQL] Tabellenspeicherort basierend auf Datenbank-URI in absolute URI umschreiben
  • [SPARK-39313] [SQL] toCatalystOrdering sollte fehlschlagen, wenn V2Expression nicht übersetzt werden kann
  • [SPARK-39301] [SQL][PYTHON] Nutzen Sie LocalRelation und respektieren Sie die Batchgröße von Arrow in createDataFrame mit Arrow-Optimierung
  • [SPARK-39400] [SQL] spark-sql sollte in jedem Fall Hive-Ressourcenverzeichnis entfernen

Wartungsupdates

Siehe Wartungsupdates für Databricks Runtime 11.2.

Systemumgebung

  • Betriebssystem: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.1.3
  • Delta Lake: 2.1.0

Installierte Python-Bibliotheken

Bibliothek Version Bibliothek Version Bibliothek Version
Antergos Linux 2015.10 (ISO-Rolling) argon2-cffi 20.1.0 async-generator 1.10
attrs 21.2.0 backcall 0.2.0 backports.entry-points-selectable 1.1.1
black 22.3.0 bleach 4.0.0 boto3 1.21.18
botocore 1.24.18 certifi 2021.10.8 cffi 1.14.6
chardet 4.0.0 charset-normalizer 2.0.4 Klicken 8.0.3
cryptography 3.4.8 cycler 0.10.0 Cython 0.29.24
dbus-python 1.2.16 debugpy 1.4.1 decorator 5.1.0
defusedxml 0.7.1 distlib 0.3.5 distro-info 0.23ubuntu1
entrypoints 0,3 facets-overview 1.0.0 filelock 3.8.0
idna 3.2 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
jsonschema 3.2.0 jupyter-client 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.1
MarkupSafe 2.0.1 matplotlib 3.4.3 matplotlib-inline 0.1.2
mistune 0.8.4 mypy-extensions 0.4.3 nbclient 0.5.3
nbconvert 6.1.0 nbformat 5.1.3 nest-asyncio 1.5.1
Notebook 6.4.5 numpy 1.20.3 Packen 21.0
Pandas 1.3.4 pandocfilters 1.4.3 parso 0.8.2
pathspec 0.9.0 patsy 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Pillow 8.4.0 pip 21.2.4
platformdirs 2.5.2 plotly 5.9.0 prometheus-client 0.11.0
prompt-toolkit 3.0.20 protobuf 4.21.5 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pyarrow 7.0.0
pycparser 2,20 Pygments 2.10.0 PyGObject 3.36.0
pyodbc 4.0.31 pyparsing 3.0.4 pyrsistent 0.18.0
python-apt 2.0.0+ubuntu0.20.4.7 Python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.2.1 requests 2.26.0 requests-unixsocket 0.2.0
s3transfer 0.5.2 scikit-learn 0.24.2 scipy 1.7.1
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
sechs 1.16.0 ssh-import-id 5.10 statsmodels 0.12.2
tenacity 8.0.1 terminado 0.9.4 testpath 0.5.0
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlets 5.1.0 typing-extensions 3.10.0.2
unattended-upgrades 0,1 urllib3 1.26.7 virtualenv 20.8.0
wcwidth 0.2.5 webencodings 0.5.1 wheel 0.37.0
widgetsnbextension 3.6.0

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Microsoft CRAN-Momentaufnahme vom 15.08.2022 installiert.

Bibliothek Version Bibliothek Version Bibliothek Version
askpass 1.1 assertthat 0.2.1 backports 1.4.1
base 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 Blob 1.2.3 boot 1.3-28
brew 1.0-7 brio 1.1.3 broom 1.0.0
bslib 0.4.0 cachem 1.0.6 callr 3.7.1
caret 6.0-93 cellranger 1.1.0 chron 2.3-57
class 7.3-20 cli 3.3.0 clipr 0.8.0
cluster 2.1.3 codetools 0.2-18 colorspace 2.0-3
commonmark 1.8.0 compiler 4.1.3 config 0.3.1
cpp11 0.4.2 crayon 1.5.1 Anmeldeinformationen 1.3.2
curl 4.3.2 data.table 1.14.2 datasets 4.1.3
DBI 1.1.3 dbplyr 2.2.1 desc 1.4.1
devtools 2.4.4 diffobj 0.3.5 digest 0.6.29
downlit 0.4.2 dplyr 1.0.9 dtplyr 1.2.1
e1071 1.7-11 ellipsis 0.3.2 Evaluieren 0.16
fansi 1.0.3 farver 2.1.1 fastmap 1.1.0
fontawesome 0.3.0 forcats 0.5.1 foreach 1.5.2
foreign 0.8-82 forge 0.2.0 fs 1.5.2
future 1.27.0 future.apply 1.9.0 gargle 1.2.0
generics 0.1.3 gert 1.7.0 ggplot2 3.3.6
gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-4
globals 0.16.0 glue 1.6.2 googledrive 2.0.0
googlesheets4 1.0.1 gower 1.0.0 Grafiken 4.1.3
grDevices 4.1.3 grid 4.1.3 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 hardhat 1.2.0
haven 2.5.0 highr 0.9 hms 1.1.1
htmltools 0.5.3 htmlwidgets 1.5.4 httpuv 1.6.5
httr 1.4.3 ids 1.0.1 ini 0.3.1
ipred 0.9-13 isoband 0.2.5 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.0 KernSmooth 2.23-20
knitr 1.39 labeling 0.4.2 later 1.3.0
lattice 0.20-45 lava 1.6.10 Lebenszyklus 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.3
markdown 1.1 MASS 7.3-56 Matrix 1.4-1
memoise 2.0.1 methods 4.1.3 mgcv 1.8-40
mime 0,12 miniUI 0.1.1.1 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-157
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 2.0.2
parallel 4.1.3 parallelly 1.32.1 pillar 1.8.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgdown 2.0.6
pkgload 1.3.0 plogr 0.2.0 plyr 1.8.7
praise 1.0.0 prettyunits 1.1.1 pROC 1.18.0
processx 3.7.0 prodlim 2019.11.13 profvis 0.3.7
Fortschritt 1.2.2 progressr 0.10.1 promises 1.2.0.1
proto 1.0.0 proxy 0.4-27 ps 1.7.1
purrr 0.3.4 r2d3 0.2.6 R6 2.5.1
ragg 1.2.2 randomForest 4.7-1.1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.0.9
RcppEigen 0.3.3.9.2 readr 2.1.2 readxl 1.4.0
recipes 1.0.1 rematch 1.0.1 rematch2 2.1.2
remotes 2.4.2 reprex 2.0.1 reshape2 1.4.4
rlang 1.0.4 rmarkdown 2.14 RODBC 1.3-19
roxygen2 7.2.1 rpart 4.1.16 rprojroot 2.0.3
Rserve 1.8-11 RSQLite 2.2.15 rstudioapi 0,13
rversions 2.1.1 rvest 1.0.2 sass 0.4.2
scales 1.2.0 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.7.2 sourcetools 0.1.7
sparklyr 1.7.7 SparkR 3.3.0 spatial 7.3-11
splines 4.1.3 sqldf 0.4-11 SQUAREM 2021.1
stats 4.1.3 stats4 4.1.3 stringi 1.7.8
stringr 1.4.0 survival 3.2-13 sys 3.4
systemfonts 1.0.4 tcltk 4.1.3 testthat 3.1.4
textshaping 0.3.6 tibble 3.1.8 tidyr 1.2.0
tidyselect 1.1.2 tidyverse 1.3.2 timeDate 4021.104
tinytex 0,40 tools 4.1.3 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
utils 4.1.3 uuid 1.1-0 vctrs 0.4.1
viridisLite 0.4.0 vroom 1.5.7 waldo 0.4.0
whisker 0,4 withr 2.5.0 xfun 0,32
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.5 zip 2.2.0

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)

Gruppen-ID Artefakt-ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics Datenstrom 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.3
com.fasterxml.jackson.core jackson-core 2.13.3
com.fasterxml.jackson.core jackson-databind 2.13.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.3
com.fasterxml.jackson.module jackson-module-paranamer 2.13.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.3
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hadoop3 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,21
io.delta delta-sharing-spark_2.12 0.5.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Sammlung 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
mvn hadoop3 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.14
net.snowflake spark-snowflake_2.12 2.10.0-spark_3.2
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow arrow-vector 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.9
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.2-databricks
org.apache.hadoop hadoop-client-runtime 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.17.2
org.apache.logging.log4j log4j-api 2.17.2
org.apache.logging.log4j log4j-core 2.17.2
org.apache.logging.log4j log4j-slf4j-impl 2.17.2
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.5
org.apache.orc orc-mapreduce 1.7.5
org.apache.orc orc-shims 1.7.5
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet parquet-encoding 1.12.0-databricks-0004
org.apache.parquet parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap shims 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark unused 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1