Share via

Databricks Runtime 11.1 (nicht unterstützt)

  • Artikel

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 11.1 (unterstützt von Apache Spark 3.3.0). Databricks hat diese Images im Juli 2022 veröffentlicht.

Neue Features und Verbesserungen

Photon ist allgemein verfügbar

Photon ist ab Databricks Runtime 11.1 allgemein verfügbar. Photon ist die native vektorisierte Abfrage-Engine in Azure Databricks, die so geschrieben wurde, dass sie direkt mit Apache Spark-APIs kompatibel ist, damit sie mit Ihrem vorhandenen Code funktioniert. Photon wurde in C++ entwickelt, sodass sie die Vorteile moderner Hardware nutzen kann, und verwendet die neuesten Techniken der vektorisierten Abfrageverarbeitung, um die Parallelität auf Daten- und Anweisungsebene in CPUs zu nutzen und die Leistung bei echten Daten und Anwendungen zu verbessern – alles nativ in Ihrem Data Lake.

Photon ist Teil einer High-Performance-Runtime, mit der Ihre vorhandenen SQL- und DataFrame-API-Aufrufe schneller ausgeführt und die Gesamtkosten pro Workload reduziert werden. Photon wird standardmäßig in Databricks SQL-Warehouses verwendet.

Neue Features und Verbesserungen:

  • Neuer vektorisierter Sortieroperator
  • Neue vektorisierte Fensterfunktionen
  • Neue Instanztypen und -größen in allen Clouds

Einschränkungen:

  • Scala- bzw. Python-UDFs werden nicht von Photon unterstützt
  • RDD wird nicht von Photon unterstützt
  • Strukturiertes Streaming wird nicht von Photon unterstützt

Weitere Informationen finden Sie in den folgenden Ankündigungen zu Photon.

Photon: Neuer vektorisierter Sortieroperator

Photon unterstützt jetzt die vektorisierte Sortierung, wenn eine Abfrage SORT_BY, CLUSTER_BY oder eine Fensterfunktion mit ORDER BY enthält.

Einschränkungen: Photon unterstützt die globale ORDER BY-Klausel nicht. Sortierungen zur Fensterauswertung werden in Photon, die globale Sortierung jedoch weiterhin in Spark ausgeführt.

Photon: Neue vektorisierte Fensterfunktionen

Photon unterstützt jetzt die vektorisierte Fensterfunktionsauswertung für viele Frametypen und Funktionen. Zu den neuen Fensterfunktionen gehören: row_number, rank, dense_rank, lag, lead, percent_rank, ntile und nth_value. Unterstützte Fensterframetypen: running (ausgeführt) (UNBOUNDED PRECEDING AND CURRENT ROW), unbounded (nicht gebunden) (UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING), growing (zunehmend) (UNBOUNDED PRECEDING AND <OFFSET> FOLLOWING) und shrinking (abnehmend) (<OFFSET> PRECEDING AND UNBOUNDED FOLLOWING).

Einschränkungen:

  • Photon unterstützt nur ROWS-Versionen aller Frametypen.
  • Photon unterstützt noch nicht den gleitenden Frametyp (<OFFSET> PRECEDING AND <OFFSET> FOLLOWING).

Photon: Unterstützte Instanztypen

  • dds_v5
  • ds_v5
  • eas_v4
  • eds_v4
  • eds_v5
  • es_v5
  • las_v3
  • ls_v3

Der Änderungsdatenfeed kann nun automatisch Zeitstempel außerhalb des Bereichs verarbeiten

Der Änderungsdatenfeed (CDF, Change Data Feed) verfügt nun über einen neuen Modus, mit dem Sie Zeitstempel oder Versionen nach der Version des letzten Commits bereitstellen können, ohne dass ein Fehler ausgelöst wird. Dieser Modus ist standardmäßig deaktiviert. Sie können ihn aktivieren, indem Sie die Konfiguration spark.databricks.delta.changeDataFeed.timestampOutOfRange.enabled auf true festlegen.

Die SQL-Funktionen zum Beschreiben und Anzeigen zeigen nun die Unity Catalog-Namen in ihrer Ausgabe an (Public Preview)

Die Befehle DESC TABLE, DESC DATABASE, DESC SCHEMA, DESC NAMESPACE, DESC FUNCTION, EXPLAIN und SHOW CREATE TABLE zeigen nun immer den Katalognamen in ihrer Ausgabe an.

Schemarückschluss und -entwicklung für Parquet-Dateien im Autoloader (Public Preview)

Autoloader unterstützt jetzt Schemarückschluss und -entwicklung für Parquet-Dateien. Genau wie bei den Formaten JSON, CSV und Avro können Sie jetzt die Spalte für wiederhergestellte Daten verwenden, um Daten wiederherzustellen, die unerwartet in Ihren Parquet-Dateien angezeigt werden. Dies umfasst Daten, die nicht im erwarteten Datentyp analysiert werden können, Spalten mit unterschiedlicher Groß- und Kleinschreibung oder zusätzliche Spalten, die nicht Teil des erwarteten Schemas sind. Sie können den Autoloader so konfigurieren, dass das Schema automatisch entwickelt wird, wenn neue Spalten in den eingehenden Daten ermittelt werden. Schemarückschluss und -entwicklung in Auto Loader konfigurieren.

Autoloader unterstützt jetzt die Schemaentwicklung für Avro (allgemeine Verfügbarkeit).

Schemarückschluss und -entwicklung in Auto Loader konfigurieren.

Delta Lake-Unterstützung für dynamische Partitionsüberschreibungen

Delta Lake aktiviert nun den dynamischen Partitionsüberschreibmodus, um alle vorhandenen Daten in jeder logischen Partition zu überschreiben, für die der Schreibvorgang neue Daten committet. Weitere Informationen finden Sie unter Selektives Überschreiben von Daten mit Delta Lake.

Informationsschemaunterstützung für Objekte, die in Unity Catalog erstellt wurden

Das Informationsschema bietet eine SQL-basierte, selbst beschreibende API für die Metadaten verschiedener Datenbankobjekte, einschließlich Tabellen, Ansichten, Einschränkungen und Routinen. Innerhalb des Informationsschemas finden Sie eine Reihe von Ansichten, die die Objekte beschreiben, die dem Katalog des Schemas bekannt sind, den Sie anzeigen dürfen. Das Informationsschema des SYSTEM-Katalogs gibt Informationen zu Objekten in allen Katalogen im Metastore zurück. Weitere Informationen finden Sie unter Informationsschema.

Informative Einschränkungen für Delta Lake-Tabellen mit Unity Catalog (Public Preview)

Sie können nun informative Primärschlüssel- und Fremdschlüsseleinschränkungen für Delta Lake-Tabellen mit Unity Catalog definieren. Informative Einschränkungen werden nicht erzwungen. Weitere Informationen finden Sie unter CONSTRAINT-Klausel.

Unity-Katalog ist GA

Unity Catalog ist nun ab Databricks Runtime 11.1 allgemein verfügbar. Siehe Was ist Unity Catalog?.

Delta-Sharing ist GA

Delta Sharing ist nun ab Databricks Runtime 11.1 allgemein verfügbar.

Delta Sharing zwischen Databricks-Instanzen ist vollständig verwaltet und funktioniert ohne Tokenaustausch. Sie können Anbieter, Empfänger und Freigaben auf der Benutzeroberfläche oder mit SQL- und REST-APIs erstellen und verwalten.

Einige Features beinhalten das Einschränken des Empfängerzugriffs, das Abfragen von Daten mit IP-Zugriffslisten und Regionseinschränkungen sowie das Delegieren der Delta Sharing-Verwaltung an Nicht-Administratoren. Sie können auch Änderungen an Daten abfragen oder inkrementelle Versionen mit Änderungsdatenfeeds freigeben. Weitere Informationen unter Sicheres Freigeben von Daten und KI-Ressourcen mithilfe von Delta Sharing.

Verhaltensänderungen

Bearbeitung vertraulicher Eigenschaften durch DESCRIBE TABLE und SHOW TABLE PROPERTIES

Die Befehle DESCRIBE TABLE und SHOW TABLE PROPERTIES bearbeiten nun vertrauliche Eigenschaften.

Auftragscluster sind standardmäßig im Einzelbenutzerzugriffsmodus mit Databricks Runtime 11.1 und höher

Um Unity Catalog-fähig zu sein, befinden sich Auftragscluster mit Databricks Runtime 11.1 und höher, die über die Auftragsbenutzeroberfläche oder Auftrags-API erstellt werden, standardmäßig im Einzelbenutzerzugriffsmodus. Der Einzelbenutzer-Zugriffsmodus unterstützt die meisten Programmiersprachen, Cluster-Funktionen und Data Governance-Funktionen. Sie können den Modus für den freigegebenen Zugriff weiterhin über die Benutzeroberfläche oder API konfigurieren, aber Sprachen oder Features sind möglicherweise eingeschränkt.

Bibliotheksupgrades

  • Aktualisierte Python-Bibliotheken:
    • filelock von 3.6.0 auf 3.7.1
    • plotly von 5.6.0 auf 5.8.2
    • protobuf von 3.20.1 auf 4.21.2
  • Aktualisierte R-Bibliotheken:
    • chron von 2.3-56 auf 2.3-57
    • DBI von 1.1.2 auf 1.1.3
    • dbplyr von 2.1.1 auf 2.2.0
    • e1071 von 1.7-9 auf 1.7-11
    • future von 1.25.0 auf 1.26.1
    • globals von 0.14.0 auf 0.15.1
    • hardhat von 0.2.0 auf 1.1.0
    • ipred von 0.9-12 auf 0.9-13
    • openssl von 2.0.0 auf 2.0.2
    • parallelly von 1.31.1 auf 1.32.0
    • processx von 3.5.3 auf 3.6.1
    • progressr von 0.10.0 auf 0.10.1
    • proxy von 0.4-26 auf 0.4-27
    • ps von 1.7.0 auf 1.7.1
    • randomForest von 4.7-1 auf 4.7-1.1
    • roxygen2 von 7.1.2 auf 7.2.0
    • Rserve von 1.8-10 auf 1.8-11
    • RSQLite von 2.2.13 auf 2.2.14
    • sparklyr von 1.7.5 auf 1.7.7
    • tinytex von 0.38 auf 0.40
    • usethis von 2.1.5 auf 2.1.6
    • xfun von 0.30 auf 0.31
  • Aktualisierte Java-Bibliotheken:
    • io.delta.delta-sharing-spark_2.12 von 0.4.0 auf 0.5.0

Apache Spark

Databricks Runtime 11.2 enthält Apache Spark 3.3.0. Dieses Release enthält alle Spark-Fixes und -Verbesserungen, die in Databricks Runtime 11.1 (nicht unterstützt) enthalten sind, sowie die folgenden zusätzlichen Fehlerbehebungen und Verbesserungen für Spark:

  • [SPARK-40054] [SQL] Stellen Sie die Fehlerbehandlungssyntax von try_cast() wieder her
  • [SPARK-39489] [CORE] Verbessern Sie die JsonProtocol-Leistung der Ereignisprotokollierung, indem Sie Jackson anstelle von Json4s verwenden
  • [SPARK-39319] [CORE][SQL] Erstellen Sie Abfragekontexte als Teil von SparkThrowable
  • [SPARK-40085] [SQL] Verwenden Sie die Fehlerklasse INTERNAL_ERROR anstelle von IllegalStateException, um auf Fehler hinzuweisen
  • [SPARK-40001] [SQL] Machen Sie NULL-Schreibvorgänge in JSON DEFAULT-Spalten, schreiben Sie „null“ in den Speicher
  • [SPARK-39635] [SQL] Treibermesswerte in der benutzerdefinierten Messwert-API von DS v2 unterstützen
  • [SPARK-39184] Unterdimensioniertes Ergebnisarray in Datums- und Zeitstempelsequenzen behandeln
  • [SPARK-40019] [SQL] Refactoring-Kommentar von ArrayType’s containsNull und Refactoring der missverständlichen Logik im Ausdruck von collectionOperator zu containsNull
  • [SPARK-39989] [SQL] Unterstützt Schätzspaltenstatistiken, wenn es sich um einen faltbaren Ausdruck handelt
  • [SPARK-39926] [SQL] Fehler in Spalte DEFAULT-Unterstützung für nicht vektorisierte Parquet-Scans behoben
  • [SPARK-40052] [SQL] Behandeln Sie direkte Byte-Puffer in VectorizedDeltaBinaryPackedReader
  • [SPARK-40044] [SQL] Korrigieren Sie den Zielintervalltyp in Cast-Überlauffehlern
  • [SPARK-39835][SQL] Fix EliminateSorts entfernt die globale Sortierung unterhalb der lokalen Sortierung
  • [SPARK-40002] [SQL] Schieben Sie das Limit nicht durch das Window mit ntile nach unten
  • [SPARK-39976] [SQL] ArrayIntersect sollte null im linken Ausdruck korrekt behandeln
  • [SPARK-39985] [SQL] Aktivieren Sie implizite DEFAULT-Spaltenwerte in Einfügungen von DataFrames
  • [SPARK-39776] [SQL] Die ausführliche JOIN-Zeichenfolge sollte den Join-Typ hinzufügen
  • [SPARK-38901] [SQL] DS V2 unterstützt verschiedene Pushdown-Funktionen
  • [SPARK-40028] [SQL][FollowUp] Verbessern Sie Beispiele für Zeichenfolgenfunktionen
  • [SPARK-39983] [CORE][SQL] Keine nicht serialisierten Broadcast-Beziehungen auf dem Treiber zwischenspeichern
  • [SPARK-39812] [SQL] Vereinfachen Sie Code, der AggregateExpression mit toAggregateExpression konstruiert
  • [SPARK-40028] [SQL] Fügen Sie binäre Beispiele für String-Ausdrücke hinzu
  • [SPARK-39981] [SQL] Lösen Sie die Ausnahme QueryExecutionErrors.castingCauseOverflowErrorInTableInsert in Cast aus
  • [SPARK-40007] [PYTHON][SQL] Fügen Sie den Funktionen „Modus“ hinzu
  • [SPARK-40008] [SQL] Unterstützt die Umwandlung von Integralen in ANSI-Intervalle
  • [SPARK-40003] [PYTHON][SQL] „Median“ zu Funktionen hinzufügen
  • [SPARK-39952] [SQL] SaveIntoDataSourceCommand sollte die Ergebnisbeziehung zwischenspeichern
  • [SPARK-39951] [SQL] Parquet V2-Spaltenüberprüfung für geschachtelte Felder aktualisieren
  • [SPARK-39775] [CORE][AVRO] Deaktiviert validierte Standardwerte beim Analysieren von Avro-Schemas
  • [SPARK-33236] [shuffle] Backport zu DBR 11.x: Aktivieren Sie den Push-basierten Shuffle-Dienst, um den Status in der DB auf NM-Ebene zu speichern, um den Neustart zu erhalten
  • [SPARK-39836] [SQL] Vereinfachen Sie V2ExpressionBuilder, indem Sie die allgemeine Methode extrahieren.
  • [SPARK-39867] [SQL] Das globale Limit sollte OrderPreservingUnaryNode nicht erben
  • [SPARK-39873] [SQL] OptimizeLimitZero entfernen und mit EliminateLimits zusammenführen
  • [SPARK-39961] [SQL] DS V2-Pushdown-Translate-Cast, wenn die Umwandlung sicher ist
  • [SPARK-39872] [SQL] Änderung zur Verwendung von BytePackerForLong#unpack8Values mit Array-Eingabe-API in VectorizedDeltaBinaryPackedReader
  • [SPARK-39858] [SQL] Entfernen Sie unnötiges AliasHelper oder PredicateHelper für einige Regeln
  • [SPARK-39962] [WARMFIX][ES-393486][PYTHON][SQL] Projektion anwenden, wenn Gruppenattribute leer sind
  • [SPARK-39900] [SQL] Adressieren eine partielle oder negierte Bedingung im Prädikat-Pushdown des Binärformats
  • [SPARK-39904] [SQL] Benennen Sie inferDate in preferredDate um, und klären Sie die Semantik der Option in der CSV-Datenquelle
  • [SPARK-39958] [SQL] Fügen Sie ein Warnprotokoll hinzu, wenn das benutzerdefinierte Metrikobjekt nicht geladen werden kann
  • [SPARK-39936] [SQL] Schema in Eigenschaften für Spark-Views speichern
  • [SPARK-39932] [SQL] WindowExec sollte den letzten Partitionspuffer löschen
  • [SPARK-37194] [SQL] Vermeiden Sie unnötiges Sortieren beim Schreiben in v1, wenn es sich nicht um eine dynamische Partition handelt
  • [SPARK-39902] [SQL] Fügen Sie Scan-Details zum Spark-Plan-Scan-Node in SparkUI hinzu
  • [SPARK-39865] [SQL] Zeigen Sie die richtigen Fehlermeldungen zu den Überlauffehlern der Tabelleneinfügung an
  • [SPARK-39940] [SS] Katalogtabelle bei Streaming-Abfrage mit DSv1-Senke aktualisieren
  • [SPARK-39827] [SQL] Verwenden Sie die Fehlerklasse ARITHMETIC_OVERFLOW bei einem int-overflow in add_months()
  • [SPARK-39914] [SQL] DS V2-Filter zur V1-Filterkonvertierung hinzufügen
  • [SPARK-39857] [SQL] Manuelle DBR 11.x-Rückportierung; V2ExpressionBuilder verwendet den falschen LiteralValue-Datentyp für In-Prädikat #43454
  • [SPARK-39840] [SQL][PYTHON] Faktor PythonArrowInput out als Symmetrie zu PythonArrowOutput
  • [SPARK-39651] [SQL] Filterbedingung bereinigen, wenn Vergleich mit Rand deterministisch ist
  • [SPARK-39877] [PYTHON] Unpivot zur PySpark DataFrame-API hinzufügen
  • [SPARK-39847] [WARMFIX][SS] Racebedingung in RocksDBLoader.loadLibrary() behoben, wenn Aufrufer-Thread unterbrochen wird
  • [SPARK-39909] [SQL] Organisieren Sie die Prüfung von Pushdown-Informationen für JDBCV2Suite
  • [SPARK-39834] [SQL][SS] Schließen Sie die Ursprungsstatistiken und Einschränkungen für LogicalRDD ein, wenn es von DataFrame stammt
  • [SPARK-39849] [SQL] Dataset.as(StructType) füllt fehlende neue Spalten mit Nullwerten
  • [SPARK-39860] [SQL] Weitere Ausdrücke sollten Prädikat erweitern
  • [SPARK-39823] [SQL][PYTHON] Benennen Sie Dataset.as in Dataset.to um, und fügen Sie DataFrame.to in PySpark hinzu
  • [SPARK-39918] [SQL][MINOR] Ersetzen Sie in der Fehlermeldung den Wortlaut „nicht vergleichbar“ durch „unvergleichlich“
  • [SPARK-39857] [SQL][3.3] V2ExpressionBuilder verwendet den falschen LiteralValue-Datentyp für das In-Prädikat
  • [SPARK-39862] [SQL] Manueller Backport für PR 43654 für DBR 11.x: Aktualisieren Sie SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS, um ALTER TABLE zuzulassen/zu verweigern … ADD COLUMN-Befehle separat hinzufügen.
  • [SPARK-39844] [SQL] Manueller Backport für PR 43652 für DBR 11.x
  • [SPARK-39899] [SQL] Korrigieren Sie die Übergabe von Nachrichtenparametern an InvalidUDFClassException
  • [SPARK-39890] [SQL] Lassen Sie TakeOrderedAndProjectExec AliasAwareOutputOrdering erben
  • [SPARK-39809] [PYTHON] Unterstützung von CharType in PySpark
  • [SPARK-38864] [SQL] Unpivot/Melt zum Dataset hinzufügen
  • [SPARK-39864] [SQL] ExecutionListenerBus verzögert registrieren
  • [SPARK-39808] [SQL] Aggregatfunktion MODE unterstützen
  • [SPARK-39839] [SQL] Behandeln Sie den Sonderfall einer Dezimalzahl mit variabler Länge von null mit offsetAndSize ungleich null in der UnsafeRow-Strukturintegritätsprüfung
  • [SPARK-39875] [SQL] Ändern Sie die protected-Methode in der Final-Klasse in private oder package-visible
  • [SPARK-39731] [SQL] Beheben eines Problems in CSV- und JSON-Datenquellen beim Analysieren von Daten im Format „jjjjMMtt“ mit der CORRECTED-Zeitparserrichtlinie
  • [SPARK-39805] [SS] Veralteter Trigger.Once und Höherstufen von Trigger.AvailableNow
  • [SPARK-39784] [SQL] Setzen Sie Literal-Werte auf die rechte Seite des Datenquellenfilters, nachdem Sie den Catalyst-Ausdruck in den Datenquellenfilter übersetzt haben
  • [SPARK-39672] [SQL][3.1] Beheben des Entfernens des Projekts vor dem Filtern mit korrelierter Unterabfrage
  • [SPARK-39552] [SQL] v1 und v2 vereinheitlichen DESCRIBE TABLE
  • [SPARK-39806] [SQL] Der Zugriff auf _metadata in einer partitionierten Tabelle kann eine Abfrage zum Absturz bringen
  • [SPARK-39810] [SQL] Catalog.tableExists sollte geschachtelten Namespace behandeln
  • [SPARK-37287] [SQL] Ziehen Sie die dynamische Partition und Bucket-Sortierung aus FileFormatWriter heraus
  • [SPARK-39469] [SQL] Datumstyp für CSV-Schemarückschluss ableiten
  • [SPARK-39148] [SQL] DS V2-Aggregat-Pushdown kann mit OFFSET oder LIMIT funktionieren
  • [SPARK-39818] [SQL] Fehler in ARRAY-, STRUCT-, MAP-Typen mit DEFAULT-Werten mit NULL-Feld(ern) behoben
  • [SPARK-39792] [SQL] Hinzufügen von DecimalDivideWithOverflowCheck für den dezimalen Durchschnitt
  • [SPARK-39798] [SQL] Ersetze toSeq.toArray mit .toArray[Any] dem Konstruktor von GenericArrayData
  • [SPARK-39759] [SQL] listIndexes in JDBC implementieren (H2-Dialekt)
  • [SPARK-39385] [SQL] Unterstützt Pushdown REGR_AVGX und REGR_AVGY
  • [SPARK-39787] [SQL] Verwenden der Fehlerklasse im Analysefehler der Funktion to_timestamp
  • [SPARK-39760] [PYTHON] Unterstützen Varchar in PySpark
  • [SPARK-39557] [SQL] Manueller Backport zu DBR 11.x: Unterstützen von ARRAY, STRUKTUR, MAP-Typen als DEFAULT-Werte
  • [SPARK-39758] [SQL][3.3] Beheben von NPE aus den Regexp-Funktionen für ungültige Muster
  • [SPARK-39749] [SQL] ANSI SQL-Modus: Verwenden einer einfachen String-Darstellung beim Umwandeln von Dezimalzeichen in String
  • [SPARK-39704] [SQL] Implementieren von createIndex und dropIndex und indexExists in JDBC (H2-Dialekt)
  • [SPARK-39803] [SQL] Verwendung von LevenshteinDistance anstelle von StringUtils.getLevenshteinDistance
  • [SPARK-39339] [SQL] Unterstützung des TimestampNTZ-Typs in der JDBC-Datenquelle
  • [SPARK-39781] [ SS] Unterstützung für die Bereitstellung von max_open_files für den Statusspeicheranbieter rocksdb hinzugefügt
  • [SPARK-39719] [R] Implementieren Sie databaseExists/getDatabase im SparkR-Unterstützung 3L-Namespace
  • [SPARK-39751] [SQL] Umbenennen der Hash-Aggregat-Key-Probes-Metrik
  • [SPARK-39772] [SQL] Namespace sollte null sein, wenn database in den alten Konstruktoren null ist
  • [SPARK-39625] [SPARK-38904][SQL] Hinzufügen von Dataset.as(StructType)
  • [SPARK-39384] [SQL] Kompilieren Sie integrierte lineare Regression-Aggregatfunktionen für den JDBC-Dialekt
  • [SPARK-39720] [R] Implementieren von tableExists/getTable in SparkR für 3L-Namespace
  • [SPARK-39744] [SQL] Fügt die Funktion REGEXP_INSTR hinzu
  • [SPARK-39716] [R] Sorgt dafür, dass currentDatabase/setCurrentDatabase/listCatalogs in SparkR den 3L-Namespace unterstützt wird
  • [SPARK-39788] [SQL] Umbenennen catalogName in dialectName für JdbcUtils
  • [SPARK-39647] [CORE] Registrieren Sie den Executor bei ESS, bevor Sie den BlockManager registrieren
  • [SPARK-39754] [CORE][SQL] Entfernen sie unbenutztes import oder unnötiges {}
  • [SPARK-39706] [SQL] Festlegen fehlender Spalte mit defaultValue als Konstante in ParquetColumnVector
  • [SPARK-39699] [SQL] Machen Sie CollapseProject intelligenter in Bezug auf Ausdrücke zum Erstellen von Sammlungen
  • [SPARK-39737] [SQL] PERCENTILE_CONT und PERCENTILE_DISC sollte den Aggregatfilter unterstützen
  • [SPARK-39579] [SQL][PYTHON][R] Herstellen der Kompatibilität zwischen ListFunctions/getFunction/functionExists und dem dreischichtigen Namespace
  • [SPARK-39627] [SQL] JDBC V2-Pushdown sollte die Kompilier-API vereinheitlichen
  • [SPARK-39748] [SQL][SS] Schließen Sie den logischen Ursprungsplan für LogicalRDD ein, wenn er von DataFrame stammt
  • [SPARK-39385] [SQL] Aggregatfunktionen der linearen Regression für Pushdown übersetzen
  • [SPARK-39695] [SQL] Fügt die REGEXP_SUBSTR-Funktion hinzu
  • [SPARK-39667] [SQL] Fügen Sie eine weitere Problemumgehung hinzu, wenn nicht genügend Arbeitsspeicher zum Erstellen und Übertragen der Tabelle vorhanden ist
  • [SPARK-39666] [ES-337834][SQL] Verwenden Sie UnsafeProjection.create, um spark.sql.codegen.factoryMode in ExpressionEncoder zu berücksichtigen
  • [SPARK-39643] [SQL] Unterabfrageausdrücke in DEFAULT-Werten verbieten
  • [SPARK-38647] [SQL] SupportsReportOrdering-Mix in Schnittstelle für Scan hinzufügen (DataSourceV2)
  • [SPARK-39497] [SQL] Verbessern der Analyseausnahme der fehlenden Kartenschlüsselspalte
  • [SPARK-39661] [SQL] Vermeiden Sie die Erstellung unnötiger SLF4J-Logger
  • [SPARK-39713] [SQL] ANSI-Modus: Hinzufügen des Vorschlags der Verwendung von try_element_at für den INVALID_ARRAY_INDEX-Fehler
  • [SPARK-38899] [SQL]DS V2 unterstützt Pushdown-Datum/Uhrzeit-Funktionen
  • [SPARK-39638] [SQL] Verwenden Sie jetzt ConstantColumnVector, um Partitionsspalten in OrcColumnarBatchReader zu speichern
  • [SPARK-39653] [SQL] Bereinigen ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) von ColumnVectorUtils
  • [SPARK-39231] [SQL] Verwenden Sie ConstantColumnVector anstelle von On/OffHeapColumnVector, um Partitionsspalten in VectorizedParquetRecordReader zu speichern
  • [SPARK-39547] [SQL] V2SessionCatalog sollte keine NoSuchDatabaseException in loadNamspaceMetadata auslösen
  • [SPARK-39447] [SQL] Vermeiden von AssertionError in AdaptiveSparkPlanExec.doExecuteBroadcast
  • [SPARK-39492] [SQL] MISSING_COLUMN überarbeiten
  • [SPARK-39679] [SQL] TakeOrderedAndProjectExec sollte die untergeordnete Ausgabereihenfolge berücksichtigen
  • [SPARK-39606] [SQL] Verwenden von untergeordneten Statistiken zum Schätzen des Auftragsoperators
  • [SPARK-39611] [PYTHON][PS] Beheben sie falsche Aliase in array_ufunc
  • [SPARK-39656] [SQL][3.3] Beheben des falschen Namespaces in DescribeNamespaceExec
  • [SPARK-39675] [SQL] Schalten Sie die Konfiguration von „spark.sql.codegen.factoryMode“ von Testzwecken auf interne Zwecke um
  • [SPARK-39139] [SQL] DS V2 unterstützt Pushdown-DS V2-UDF
  • [SPARK-39434] [SQL] Bereitstellen des Abfragekontexts bei Laufzeitfehlern, wenn der Arrayindex außerhalb der Begrenzung liegt
  • [SPARK-39479] [SQL] DS V2 unterstützt mathematische Pushdown-Funktionen (nicht ANSI)
  • [SPARK-39618] [SQL] Fügt die REGEXP_COUNT-Funktion hinzu
  • [SPARK-39553] [CORE] Multi-Thread Unregister Shuffle sollte NPE nicht auslösen, wenn Scala 2.13 verwendet wird
  • [SPARK-38755] [PYTHON][3.3] Datei hinzufügen, um fehlende allgemeine Panda-Funktionen zu adressieren
  • [SPARK-39444] [SQL] Fügen Sie OptimizeSubqueries zur nonExcludableRules-Liste hinzu
  • [SPARK-39316] [SQL] Führen Sie PromotePrecision und CheckOverflow in dezimaler binärer Arithmetik zusammen
  • [SPARK-39505] [UI] Inhalt des Escape-Protokolls wird in der Benutzeroberfläche gerendert
  • [SPARK-39448] [SQL] Fügen Sie ReplaceCTERefWithRepartition zur nonExcludableRules-Liste hinzu
  • [SPARK-37961] [SQL] Überschreiben Sie maxRows/maxRowsPerPartition für einige logische Operatoren
  • [SPARK-35223] IssueNavigationLink wiederherstellen
  • [SPARK-39633] [SQL] Unterstützt timestamp in Sekunden für TimeTravel mit Dataframe-Optionen
  • [SPARK-38796] [SQL] Aktualisieren Sie die Dokumentation für String im Zahlenformat mit den {try_}to_number-Funktionen
  • [SPARK-39650] [SS] Korrigieren Sie ein falsches Werteschema bei der Streaming-Deduplizierung mit Abwärtskompatibilität
  • [SPARK-39636] [CORE][UI] Mehrere Fehler in JsonProtocol behoben, die sich auf Heap StorageLevels und Task/Executor ResourceRequests auswirken
  • [SPARK-39432] [SQL] Gibt ELEMENT_AT_BY_INDEX_ZERO von element_at(*, 0) zurück
  • [SPARK-39349] Hinzufügen einer zentralen CheckError-Methode für die Qualitätssicherung des Fehlerpfades
  • [SPARK-39453] [SQL] DS V2 unterstützt verschiedene Pushdown-Funktionen ohne Aggregation (nicht ANSI)
  • [SPARK-38978] [SQL] DS V2 unterstützt den Pushdown-OFFSET-Operator
  • [SPARK-39567] [SQL] Unterstützung von ANSI-Intervallen in den Perzentilfunktionen
  • [SPARK-39383] [SQL] Unterstützung von DEFAULT-Spalten in ALTER TABLE ALTER COLUMNS für V2-Datenquellen
  • [SPARK-39396] [SQL] LDAP-Anmeldeausnahme „Fehlercode 49 – ungültige Anmeldeinformationen“ beheben
  • [SPARK-39548] [SQL] Der CreateView-Befehl mit einer Fensterklauselabfrage traf auf ein Problem mit einer falschen Fensterdefinition, die nicht gefunden wurde
  • [SPARK-39575] [AVRO] Hinzufügen von ByteBuffer#rewind nach ByteBuffer#get in AvroDeserializer
  • [SPARK-39543] Die Option von DataFrameWriterV2 sollte an die Speichereigenschaften übergeben werden, wenn auf v1 zurückgegriffen wird
  • [SPARK-39564] [SS] Stellen Sie die Informationen der Katalogtabelle dem logischen Plan in der Streaming-Abfrage zur Verfügung
  • [SPARK-39582] [SQL] Korrigieren Sie die „Seit“-Markierung für array_agg
  • [SPARK-39388] [SQL] orcSchema wiederverwenden, wenn Ork-Prädikate heruntergedrückt werden
  • [SPARK-39511] [SQL] Verbessern Sie das lokale Pushdown-Limit 1 für die rechte Seite des linken Semi-/Anti-Joins, wenn die Join-Bedingung leer ist
  • [SPARK-38614] [SQL] Drücken Sie das Limit nicht durch ein Fenster, das percent_rank verwendet
  • [SPARK-39551] [SQL] AQE ungültige Planprüfung hinzufügen
  • [SPARK-39383] [SQL] Unterstützung von DEFAULT-Spalten in ALTER TABLE ADD COLUMNS zu V2-Datenquellen
  • [SPARK-39538] [SQL] Vermeiden Sie die Erstellung unnötiger SLF4J-Logger
  • [SPARK-39383] [SQL] Manueller Backport auf DBR 11.x: Überarbeiten Sie die DEFAULT-Spaltenunterstützung, um das Herumreichen des primären Analysators zu überspringen
  • [SPARK-39397] [SQL] Relax AliasAwareOutputExpression zur Unterstützung von Alias mit Ausdruck
  • [SPARK-39496] [SQL] Behandeln von NULL-Struktur in Inline.eval
  • [SPARK-39545] [ SQL] Überschreiben Sie die concat-Methode für ExpressionSet in Scala 2.13, um die Leistung zu verbessern
  • [SPARK-39340] [SQL] DS v2 agg Pushdown sollte Punkte im Namen von Spalten der obersten Ebene zulassen
  • [SPARK-39488] [SQL] Vereinfachen der Fehlerbehandlung von TempResolvedColumn
  • [SPARK-38846] [SQL] Fügen Sie eine explizite Datenzuordnung zwischen Teradata Numeric Type und Spark DecimalType hinzu
  • [SPARK-39520] [SQL] Überschreibt die ---Methode für ExpressionSet in Scala 2.13
  • [SPARK-39470] [SQL] Unterstützung der Umwandlung von ANSI-Intervallen in Dezimalstellen
  • [SPARK-39477] [SQL] Entfernen der Informationen „Anzahl der Abfragen“ aus den goldenen Dateien von SQLQueryTestSuite
  • [SPARK-39419] [SQL] ArraySort löst nun eine Ausnahme aus, wenn der Vergleichsoperator null zurückgibt
  • [SPARK-39061] [SQL] Nullable für Inline Ausgabeattribute richtig setzen
  • [SPARK-39320] [SQL] Aggregatfunktion MEDIAN unterstützen
  • [SPARK-39261] [CORE] Verbessern Sie die Zeilenumbruchformatierung für Fehlermeldungen
  • [SPARK-39355] [SQL] Einzelne Spalte verwendet Anführungszeichen zum Konstruieren von UnresolvedAttribute
  • [SPARK-39351] [SQL] SHOW CREATE TABLE sollte Eigenschaften redigieren
  • [SPARK-37623] [SQL] Unterstützt ANSI-Aggregatfunktion: regr_intercept
  • [SPARK-39374] [SQL] Verbesserte Fehlermeldung für benutzerdefinierte Spaltenliste
  • [SPARK-39255] [SQL][3.3] Verbessern von Fehlermeldungen
  • [SPARK-39321] [SQL] Umgestalten von TryCast zur Verwendung von RuntimeReplaceable
  • [SPARK-39406] [PYTHON] Akzeptieren das NumPy-Array in createDataFrame
  • [SPARK-39267] [SQL] Unnötiges dsl-Symbol bereinigen
  • [SPARK-39171] [SQL] Vereinheitlichen des Cast-Ausdrucks
  • [SPARK-28330] [SQL] Unterstützt ANSI SQL: Ergebnis-Offset-Klausel im Abfrageausdruck
  • [SPARK-39203] [SQL] Tabellenspeicherort basierend auf Datenbank-URI in absolute URI umschreiben
  • [SPARK-39313] [SQL] toCatalystOrdering sollte fehlschlagen, wenn V2Expression nicht übersetzt werden kann
  • [SPARK-39301] [SQL][PYTHON] Nutzen Sie LocalRelation und respektieren Sie die Batchgröße von Arrow in createDataFrame mit Arrow-Optimierung
  • [SPARK-39400] [SQL] spark-sql sollte in jedem Fall Hive-Ressourcenverzeichnis entfernen

Wartungsupdates

Weitere Informationen finden Sie in den Wartungsupdates für Databricks Runtime 11.1.

Systemumgebung

  • Betriebssystem: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.1.3
  • Delta Lake: 1.2.1

Installierte Python-Bibliotheken

Bibliothek Version Bibliothek Version Bibliothek Version
Antergos Linux 2015.10 (ISO-Rolling) argon2-cffi 20.1.0 async-generator 1.10
attrs 21.2.0 backcall 0.2.0 backports.entry-points-selectable 1.1.1
black 22.3.0 bleach 4.0.0 boto3 1.21.18
botocore 1.24.18 certifi 2021.10.8 cffi 1.14.6
chardet 4.0.0 charset-normalizer 2.0.4 Klicken 8.0.3
cryptography 3.4.8 cycler 0.10.0 Cython 0.29.24
dbus-python 1.2.16 debugpy 1.4.1 decorator 5.1.0
defusedxml 0.7.1 distlib 0.3.5 distro-info 0.23ubuntu1
entrypoints 0,3 facets-overview 1.0.0 filelock 3.8.0
idna 3.2 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
jsonschema 3.2.0 jupyter-client 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.1
MarkupSafe 2.0.1 matplotlib 3.4.3 matplotlib-inline 0.1.2
mistune 0.8.4 mypy-extensions 0.4.3 nbclient 0.5.3
nbconvert 6.1.0 nbformat 5.1.3 nest-asyncio 1.5.1
Notebook 6.4.5 numpy 1.20.3 Packen 21.0
Pandas 1.3.4 pandocfilters 1.4.3 parso 0.8.2
pathspec 0.9.0 patsy 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Pillow 8.4.0 pip 21.2.4
platformdirs 2.5.2 plotly 5.9.0 prometheus-client 0.11.0
prompt-toolkit 3.0.20 protobuf 4.21.5 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pyarrow 7.0.0
pycparser 2,20 Pygments 2.10.0 PyGObject 3.36.0
pyodbc 4.0.31 pyparsing 3.0.4 pyrsistent 0.18.0
python-apt 2.0.0+ubuntu0.20.4.7 Python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.2.1 requests 2.26.0 requests-unixsocket 0.2.0
s3transfer 0.5.2 scikit-learn 0.24.2 scipy 1.7.1
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
sechs 1.16.0 ssh-import-id 5.10 statsmodels 0.12.2
tenacity 8.0.1 terminado 0.9.4 testpath 0.5.0
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlets 5.1.0 typing-extensions 3.10.0.2
unattended-upgrades 0,1 urllib3 1.26.7 virtualenv 20.8.0
wcwidth 0.2.5 webencodings 0.5.1 wheel 0.37.0
widgetsnbextension 3.6.0

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Microsoft CRAN-Momentaufnahme vom 15.08.2022 installiert.

Bibliothek Version Bibliothek Version Bibliothek Version
askpass 1.1 assertthat 0.2.1 backports 1.4.1
base 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 Blob 1.2.3 boot 1.3-28
brew 1.0-7 brio 1.1.3 broom 1.0.0
bslib 0.4.0 cachem 1.0.6 callr 3.7.1
caret 6.0-93 cellranger 1.1.0 chron 2.3-57
class 7.3-20 cli 3.3.0 clipr 0.8.0
cluster 2.1.3 codetools 0.2-18 colorspace 2.0-3
commonmark 1.8.0 compiler 4.1.3 config 0.3.1
cpp11 0.4.2 crayon 1.5.1 Anmeldeinformationen 1.3.2
curl 4.3.2 data.table 1.14.2 datasets 4.1.3
DBI 1.1.3 dbplyr 2.2.1 desc 1.4.1
devtools 2.4.4 diffobj 0.3.5 digest 0.6.29
downlit 0.4.2 dplyr 1.0.9 dtplyr 1.2.1
e1071 1.7-11 ellipsis 0.3.2 Evaluieren 0.16
fansi 1.0.3 farver 2.1.1 fastmap 1.1.0
fontawesome 0.3.0 forcats 0.5.1 foreach 1.5.2
foreign 0.8-82 forge 0.2.0 fs 1.5.2
future 1.27.0 future.apply 1.9.0 gargle 1.2.0
generics 0.1.3 gert 1.7.0 ggplot2 3.3.6
gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-4
globals 0.16.0 glue 1.6.2 googledrive 2.0.0
googlesheets4 1.0.1 gower 1.0.0 Grafiken 4.1.3
grDevices 4.1.3 grid 4.1.3 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 hardhat 1.2.0
haven 2.5.0 highr 0.9 hms 1.1.1
htmltools 0.5.3 htmlwidgets 1.5.4 httpuv 1.6.5
httr 1.4.3 ids 1.0.1 ini 0.3.1
ipred 0.9-13 isoband 0.2.5 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.0 KernSmooth 2.23-20
knitr 1.39 labeling 0.4.2 later 1.3.0
lattice 0.20-45 lava 1.6.10 Lebenszyklus 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.3
markdown 1.1 MASS 7.3-56 Matrix 1.4-1
memoise 2.0.1 methods 4.1.3 mgcv 1.8-40
mime 0,12 miniUI 0.1.1.1 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-157
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 2.0.2
parallel 4.1.3 parallelly 1.32.1 pillar 1.8.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgdown 2.0.6
pkgload 1.3.0 plogr 0.2.0 plyr 1.8.7
praise 1.0.0 prettyunits 1.1.1 pROC 1.18.0
processx 3.7.0 prodlim 2019.11.13 profvis 0.3.7
Fortschritt 1.2.2 progressr 0.10.1 promises 1.2.0.1
proto 1.0.0 proxy 0.4-27 ps 1.7.1
purrr 0.3.4 r2d3 0.2.6 R6 2.5.1
ragg 1.2.2 randomForest 4.7-1.1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.0.9
RcppEigen 0.3.3.9.2 readr 2.1.2 readxl 1.4.0
recipes 1.0.1 rematch 1.0.1 rematch2 2.1.2
remotes 2.4.2 reprex 2.0.1 reshape2 1.4.4
rlang 1.0.4 rmarkdown 2.14 RODBC 1.3-19
roxygen2 7.2.1 rpart 4.1.16 rprojroot 2.0.3
Rserve 1.8-11 RSQLite 2.2.15 rstudioapi 0,13
rversions 2.1.1 rvest 1.0.2 sass 0.4.2
scales 1.2.0 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.7.2 sourcetools 0.1.7
sparklyr 1.7.7 SparkR 3.3.0 spatial 7.3-11
splines 4.1.3 sqldf 0.4-11 SQUAREM 2021.1
stats 4.1.3 stats4 4.1.3 stringi 1.7.8
stringr 1.4.0 survival 3.2-13 sys 3.4
systemfonts 1.0.4 tcltk 4.1.3 testthat 3.1.4
textshaping 0.3.6 tibble 3.1.8 tidyr 1.2.0
tidyselect 1.1.2 tidyverse 1.3.2 timeDate 4021.104
tinytex 0,40 tools 4.1.3 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
utils 4.1.3 uuid 1.1-0 vctrs 0.4.1
viridisLite 0.4.0 vroom 1.5.7 waldo 0.4.0
whisker 0,4 withr 2.5.0 xfun 0,32
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.5 zip 2.2.0

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)

Gruppen-ID Artefakt-ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics Datenstrom 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.3
com.fasterxml.jackson.core jackson-core 2.13.3
com.fasterxml.jackson.core jackson-databind 2.13.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.3
com.fasterxml.jackson.module jackson-module-paranamer 2.13.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.3
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hadoop3 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,21
io.delta delta-sharing-spark_2.12 0.5.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Sammlung 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
mvn hadoop3 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.14
net.snowflake spark-snowflake_2.12 2.10.0-spark_3.2
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow arrow-vector 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.9
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.2-databricks
org.apache.hadoop hadoop-client-runtime 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.17.2
org.apache.logging.log4j log4j-api 2.17.2
org.apache.logging.log4j log4j-core 2.17.2
org.apache.logging.log4j log4j-slf4j-impl 2.17.2
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.5
org.apache.orc orc-mapreduce 1.7.5
org.apache.orc orc-shims 1.7.5
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet parquet-encoding 1.12.0-databricks-0004
org.apache.parquet parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap shims 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark unused 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1