Teilen über

Databricks Runtime 11.2 (EoS)

Hinweis

Die Unterstützung für diese Databricks-Runtime-Version wurde beendet. Den End-of-Support-Termin finden Sie im Verlauf des Supportendes. Alle unterstützten Versionen von Databricks Runtime finden Sie unter Versionshinweise, Versionen und Kompatibilität von Databricks Runtime.

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 11.2, powered by Apache Spark 3.3.0. Diese Version wurde von Databricks im September 2022 veröffentlicht.

Neue Features und Verbesserungen

Ändern von ALTER TABLE Berechtigungen in Tabellenzugriffssteuerelementen (Tabellen-ACLs)

Nur MODIFY Berechtigungen benötigen Benutzer jetzt, um das Schema oder die Eigenschaften einer Tabelle mit ALTER TABLE zu ändern. Der Besitz ist weiterhin erforderlich, um Berechtigungen für eine Tabelle zu erteilen, ihren Besitzer und Standort zu ändern oder sie umzubenennen. Durch diese Änderung wird das Berechtigungsmodell für Tabellen-ACLs konsistent mit Unity Catalog. Siehe ALTER TABLE.

Dynamischer Schnitt für MERGE INTO

Wenn Sie Photon-fähiges Compute verwenden, verwendet MERGE INTO jetzt bei Bedarf dynamische Datei- und Partitionsbereinigung, um die Leistung zu verbessern, z. B. wenn eine kleine Quelltabelle in eine größere Zieltabelle zusammengeführt wird.

Verbesserte Konflikterkennung in Delta mit dynamischer Dateibereinigung

Bei der Suche nach potenziellen Konflikten während Commits berücksichtigt die Konflikterkennung jetzt Dateien, die durch dynamische Dateibereinigung bereinigt wurden, aber nicht durch statische Filter bereinigt worden wären. Dies führt zu einer verringerten Anzahl fehlgeschlagener Transaktionen.

Neue Open-Source-Integrationskarte in DSE/SQL-Homepages

Einführung der neuen Karte "Open Source Integrations" in den DSE/SQL-Homepages, die Open Source-Integrationsoptionen wie DLT und dbt core anzeigt.

CONVERT TO DELTA Verbesserungen bei der Partitionserkennung

CONVERT TO DELTA leitet automatisch das Partitionsschema für im Hive-Metastore oder in Unity Catalog registrierte Parquet-Tabellen ab, sodass die Klausel PARTITIONED BY nicht mehr angegeben werden muss.

CONVERT TO DELTA nutzt Partitionsinformationen aus dem Metastore, um Dateien für eine Parquet-Tabelle zu entdecken, anstatt den gesamten Basispfad aufzulisten. Dadurch wird sichergestellt, dass gelöschte Partitionen nicht der Deltatabelle hinzugefügt werden.

Weitere Informationen finden Sie unter Konvertieren in Delta Lake.

Tabellenschemata unterstützen jetzt Standardwerte für Spalten

Tabellenschemata unterstützen jetzt das Festlegen von Standardwerten für Spalten. INSERT, UPDATEund DELETE Befehle für diese Spalten können auf diese Werte mit dem DEFAULT Schlüsselwort verweisen. Zum Beispiel fügt CREATE TABLE t (id INT, data INT DEFAULT 42) USING PARQUET gefolgt von INSERT INTO t VALUES (1, DEFAULT) die Zeile (1, 42) an. Dieses Verhalten wird für CSV-, JSON-, Orc- und Parquet-Datenquellen unterstützt.

Neue H3-Geodatenfunktionen

Sie können jetzt 28 neue integrierte H3-Ausdrücke für die Geodatenverarbeitung in Photon-fähigen Clustern verwenden, die in SQL, Scala und Python verfügbar sind. Weitere Informationen finden Sie unter H3-Geodatenfunktionen.

Neue Databricks Runtime-Abhängigkeit

Databricks Runtime hängt jetzt von der H3-Java-Bibliothek, Version 3.7.0 ab.

Bringen Sie Ihren eigenen Schlüssel mit: Verschlüsseln von Git-Anmeldeinformationen

Sie können Azure Key Vault verwenden, um ein persönliches Git-Zugriffstoken (PAT) oder andere Git-Anmeldeinformationen zu verschlüsseln.

Siehe Einrichten von Git-Ordnern für Databricks.

SQL: Neue Aggregatfunktion any_value

Die neue any_value Aggregatfunktion gibt einen beliebigen Zufallswert expr für eine Gruppe von Zeilen zurück. Siehe die any_value Aggregatfunktion.

Databricks Utilities-Dateisystembefehle, die auf mehr Clustertypen zulässig sind

dbutils.fs x-Befehle (mit Ausnahme von Mount-bezogenen Befehlen) sind jetzt in Benutzerisolationsclustern mit Unity Catalog sowie in Legacy-Tabellen-ACL-Clustern zulässig, wenn der Benutzer über ANY FILE-Berechtigungen verfügt.

CREATE-Berechtigungen können jetzt für Unity Catalog-Metastores erteilt werden.

CREATE CATALOG, CREATE EXTERNAL LOCATION, CREATE SHARE, CREATE RECIPIENT und CREATE PROVIDER-Rechte können jetzt auf Unity Catalog-Metastores gewährt werden.

Optimierte Schreibvorgänge für nicht partitionierte Tabellen in Clustern mit Photon-Unterstützung

Verwaltete Unity Catalog-Tabellen speichern jetzt automatisch Dateien einer sorgfältig abgestimmten Größe aus nicht partitionierten Tabellen, um die Abfragegeschwindigkeit zu verbessern und die Leistung zu optimieren.

Photon-Unterstützung für weitere Datenquellen

Photon unterstützt jetzt mehr Datenquellen, einschließlich CSV und Avro, und ist auch mit zwischengespeicherten Datenrahmen kompatibel. Bisher bedeutete das Scannen dieser Datenquellen, dass die gesamte Abfrage unabhängig von den Operatoren oder Ausdrücken der Abfrage nicht photonisiert werden konnte. Jetzt können Abfragen, die diese Datenquellen scannen, photonisiert werden, was zu erheblichen Latenz- und TCO-Verbesserungen führt.

Diese Funktion ist standardmäßig durch die spark.databricks.photon.photonRowToColumnar.enabled Konfiguration aktiviert.

Einschränkungen:

  • Schemas mit verschachtelten Typen werden in dieser Version nicht unterstützt (d. h. Arrays, Maps und Strukturen).
  • ORC-, RDD-, Kinesis-, Kafka- und EventHub-Quellen werden in dieser Version nicht unterstützt.

SQL: ALTER SHARE unterstützt jetzt STARTVERSION

Der ALTER SHARE Befehl unterstützt START VERSIONjetzt , wodurch Anbieter Daten aus einer bestimmten Tabellenversion freigeben können. Siehe ALTER SHARE.

Bibliotheksupgrades

  • Aktualisierte Python-Bibliotheken:
    • distlib from 0.3.4 auf 0.3.5
    • filelock von 3.7.1 auf 3.8.0
    • plotly von 5.8.2 auf 5.9.0
    • protobuf von 4.21.2 auf 4.21.5
  • Aktualisierte R-Bibliotheken:
    • broom von 0.8.0 auf 1.0.0
    • bslib von 0.3.1 auf 0.4.0
    • callr von 3.7.0 auf 3.7.1
    • caret von 6.0-92 auf 6.0-93
    • dbplyr von 2.2.0 auf 2.2.1
    • devtools von 2.4.3 auf 2.4.4
    • evaluate von 0.15 auf 0.16
    • farver von 2.1.0 auf 2.1.1
    • fontawesome von 0.2.2 auf 0.3.0
    • future von 1.26.1 auf 1.27.0
    • generics von 0.1.2 auf 0.1.3
    • gert von 1.6.0 auf 1.7.0
    • globals von 0.15.1 auf 0.16.0
    • googlesheets4 von 1.0.0 auf 1.0.1
    • hardhat von 1.1.0 auf 1.2.0
    • htmltools von 0.5.2 auf 0.5.3
    • parallelly von 1.32.0 auf 1.32.1
    • pillar von 1.7.0 auf 1.8.0
    • pkgload von 1.2.4 auf 1.3.0
    • processx von 3.6.1 auf 3.7.0
    • Rcpp von 1.0.8.3 auf 1.0.9
    • recipes von 0.2.0 auf 1.0.1
    • rlang von 1.0.2 auf 1.0.4
    • roxygen2 von 7.2.0 auf 7.2.1
    • RSQLite von 2.2.14 auf 2.2.15
    • sass von 0.4.1 auf 0.4.2
    • shiny von 1.7.1 auf 1.7.2
    • stringi von 1.7.6 auf 1.7.8
    • tibble von 3.1.7 auf 3.1.8
    • tidyverse von 1.3.1 auf 1.3.2
    • timeDate von 3043.102 auf 4021.104
    • xfun von 0.31 auf 0.32
  • Aktualisierte Java-Bibliotheken:
    • org.apache.orc.orc-core von 1.7.4 auf 1.7.5
    • org.apache.orc.orc-mapreduce von 1.7.4 auf 1.7.5
    • org.apache.orc.orc-shims von 1.7.4 auf 1.7.5

Apache Spark

Databricks Runtime 11.2 enthält Apache Spark 3.3.0. Diese Version enthält alle Spark-Fixes und -Verbesserungen, die in Databricks Runtime 11.1 (EoS) enthalten sind, sowie die folgenden zusätzlichen Fehlerkorrekturen und Verbesserungen, die an Spark vorgenommen wurden:

  • [SPARK-40151] [WARMFIX][sc-109002][SC-108809][sql] Zurückgeben breiterer ANSI-Intervalltypen aus den Quantilfunktionen
  • [SPARK-40054] [SQL] Stellen Sie die Fehlerbehandlungssyntax von try_cast() wieder her
  • [SPARK-39489] [CORE] Verbessern Sie die JsonProtocol-Leistung der Ereignisprotokollierung, indem Sie Jackson anstelle von Json4s verwenden
  • [SPARK-39319] [ CORE][sql] Erstellen von Abfragekontexten als Teil von SparkThrowable
  • [SPARK-40085] [SQL] Verwenden Sie die Fehlerklasse INTERNAL_ERROR anstelle von IllegalStateException, um auf Fehler hinzuweisen
  • [SPARK-40001] [SQL] Machen Sie NULL-Schreibvorgänge in JSON DEFAULT-Spalten, die "null" in den Speicher schreiben
  • [SPARK-39635] [SQL] Treibermesswerte in der benutzerdefinierten Messwert-API von DS v2 unterstützen
  • [SPARK-39184] Unterdimensioniertes Ergebnisarray in Datums- und Zeitstempelsequenzen behandeln
  • [SPARK-40019] [SQL] Kommentar zu ArrayType's containsNull überarbeiten und die fehlgeleiteten Logiken im Ausdruck von collectionOperator korrigieren bezüglich containsNull
  • [SPARK-39989] [SQL] Unterstützt Schätzspaltenstatistiken, wenn es sich um einen faltbaren Ausdruck handelt
  • [SPARK-39926] [SQL] Fehler in Spalte DEFAULT-Unterstützung für nicht vektorisierte Parquet-Scans behoben
  • [SPARK-40052] [SQL] Behandeln Sie direkte Byte-Puffer in VectorizedDeltaBinaryPackedReader
  • [SPARK-40044] [SQL] Korrigieren Sie den Zielintervalltyp in Cast-Überlauffehlern
  • [SPARK-39835][SQL] Fix EliminateSorts entfernt die globale Sortierung unterhalb der lokalen Sortierung
  • [SPARK-40002] [SQL] Kein Limit durch ein Fenster mithilfe von ntile durchschieben.
  • [SPARK-39976] [SQL] ArrayIntersect sollte null im linken Ausdruck korrekt behandeln
  • [SPARK-39985] [SQL] Aktivieren Sie implizite DEFAULT-Spaltenwerte in Einfügungen von DataFrames
  • [SPARK-39776] [SQL] JOIN ausführliche Zeichenfolge sollte verknüpfungstyp hinzufügen
  • [SPARK-38901] [SQL] DS V2 unterstützt verschiedene Pushdown-Funktionen
  • [SPARK-40028] [SQL][Followup] Verbessern von Beispielen für Zeichenfolgenfunktionen
  • [SPARK-39983] [ CORE][sql] Nicht zwischenspeichern unserialisierte Broadcast-Relationen auf dem Driver
  • [SPARK-39812] [SQL] Vereinfachen Sie Code, der AggregateExpression mit toAggregateExpression konstruiert
  • [SPARK-40028] [SQL] Fügen Sie binäre Beispiele für String-Ausdrücke hinzu
  • [SPARK-39981] [SQL] Lösen Sie die Ausnahme QueryExecutionErrors.castingCauseOverflowErrorInTableInsert in Cast aus
  • [SPARK-40007] [PYTHON][sql] Hinzufügen des Modus zu Funktionen
  • [SPARK-40008] [SQL] Unterstützt die Umwandlung von Integralen in ANSI-Intervalle
  • [SPARK-40003] [PYTHON][sql] Hinzufügen von "median" zu Funktionen
  • [SPARK-39952] [SQL] SaveIntoDataSourceCommand sollte die Ergebnisbeziehung zwischenspeichern
  • [SPARK-39951] [SQL] Parquet V2-Spaltenüberprüfung für geschachtelte Felder aktualisieren
  • [SPARK-33236] [Shuffle] Backport zu Databricks Runtime 11.x: Aktivierung des Push-basierten Shuffle-Diensts zur Speicherung des Zustands in der NM-Level-DB für einen neustartfreundlichen Arbeitsprozess
  • [SPARK-39836] [SQL] Vereinfachen Sie V2ExpressionBuilder, indem Sie die allgemeine Methode extrahieren.
  • [SPARK-39873] [SQL] OptimizeLimitZero entfernen und mit EliminateLimits zusammenführen
  • [SPARK-39961] [SQL] DS V2-Pushdown-Translate-Cast, wenn die Umwandlung sicher ist
  • [SPARK-39872] [SQL] Änderung zur Verwendung von BytePackerForLong#unpack8Values mit Array-Eingabe-API in VectorizedDeltaBinaryPackedReader
  • [SPARK-39858] [SQL] Entfernen Sie unnötiges AliasHelper oder PredicateHelper für einige Regeln
  • [SPARK-39900] [SQL] Behandlung von partiellen oder negierten Bedingungen im Prädikate-Pushdown für binäre Formate
  • [SPARK-39904] [SQL] Benennen Sie inferDate in preferredDate um, und klären Sie die Semantik der Option in der CSV-Datenquelle
  • [SPARK-39958] [SQL] Fügen Sie ein Warnprotokoll hinzu, wenn das benutzerdefinierte Metrikobjekt nicht geladen werden kann
  • [SPARK-39932] [SQL] WindowExec sollte den letzten Partitionspuffer löschen
  • [SPARK-37194] [SQL] Vermeiden Sie unnötige Sortierung in v1-Schreibvorgängen, wenn sie keine dynamische Partition ist
  • [SPARK-39902] [SQL] Fügen Sie Scan-Details zum Spark-Plan-Scan-Node in SparkUI hinzu
  • [SPARK-39865] [SQL] Zeigen Sie die richtigen Fehlermeldungen zu den Überlauffehlern der Tabelleneinfügung an
  • [SPARK-39940] [SS] Katalogtabelle bei Streaming-Abfrage mit DSv1-Senke aktualisieren
  • [SPARK-39827] [SQL] Verwenden Sie die Fehlerklasse ARITHMETIC_OVERFLOW bei einem int-overflow in add_months()
  • [SPARK-39914] [SQL] DS V2-Filter zur V1-Filterkonvertierung hinzufügen
  • [SPARK-39857] [ SQL] Manuelle Rückportierung von Databricks Runtime 11.x; V2ExpressionBuilder verwendet den falschen LiteralValue-Datentyp für das In-Prädikat #43454
  • [SPARK-39840] [ SQL][python] PythonArrowInput als Symmetrie zu PythonArrowOutput herauslösen
  • [SPARK-39651] [SQL] Filterbedingung bereinigen, wenn Vergleich mit Rand deterministisch ist
  • [SPARK-39877] [PYTHON] Unpivot zur PySpark DataFrame-API hinzufügen
  • [SPARK-39909] [SQL] Organisieren Sie die Prüfung von Pushdown-Informationen für JDBCV2Suite
  • [SPARK-39834] [ SQL][ss] Schließen Sie die Ursprungsstatistiken und Einschränkungen für LogicalRDD ein, wenn sie aus DataFrame stammt.
  • [SPARK-39849] [SQL] Dataset.as(StructType) füllt fehlende neue Spalten mit Nullwerten
  • [SPARK-39860] [SQL] Weitere Ausdrücke sollten Prädikat erweitern
  • [SPARK-39823] [SQL][python] Benennen Sie Dataset.as in Dataset.to um, und fügen Sie DataFrame.to in PySpark hinzu.
  • [SPARK-39918] [ SQL][Minor] Ersetzen Sie den Begriff "unvergleichbar" durch "unvergleichlich" in der Fehlermeldung.
  • [SPARK-39857] [SQL][3.3] V2ExpressionBuilder verwendet den falschen LiteralValue-Datentyp für das In-Prädikat
  • [SPARK-39862] [ SQL] Manueller Backport für PR 43654 für Databricks Runtime 11.x: Aktualisieren von SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS, um Zulassen/Verweigern zu ermöglichen ALTER TABLE ... ADD COLUMN-Befehle separat.
  • [SPARK-39844] [SQL] Manueller Backport von PR 43652 für Databricks Runtime 11.x
  • [SPARK-39899] [SQL] Korrigieren Sie die Übergabe von Nachrichtenparametern an InvalidUDFClassException
  • [SPARK-39890] [SQL] Lassen Sie TakeOrderedAndProjectExec AliasAwareOutputOrdering erben
  • [SPARK-39809] [PYTHON] Unterstützung von CharType in PySpark
  • [SPARK-38864] [SQL] Unpivot/Melt zum Dataset hinzufügen
  • [SPARK-39864] [SQL] ExecutionListenerBus verzögert registrieren
  • [SPARK-39808] [SQL] Aggregatfunktion MODE unterstützen
  • [SPARK-39875] [SQL] Ändern Sie die protected-Methode in der Final-Klasse in private oder package-visible
  • [SPARK-39731] [SQL] Beheben eines Problems in CSV- und JSON-Datenquellen beim Analysieren von Daten im Format „jjjjMMtt“ mit der CORRECTED-Zeitparserrichtlinie
  • [SPARK-39805] [SS] Veralteter Trigger.Once und Höherstufen von Trigger.AvailableNow
  • [SPARK-39784] [SQL] Setzen Sie Literal-Werte auf die rechte Seite des Datenquellenfilters, nachdem Sie den Catalyst-Ausdruck in den Datenquellenfilter übersetzt haben
  • [SPARK-39672] [SQL][3.1] Beheben des Entfernens des Projekts vor dem Filtern mit korrelierter Unterabfrage
  • [SPARK-39552] [SQL] v1 und v2 vereinheitlichen DESCRIBE TABLE
  • [SPARK-39810] [SQL] Catalog.tableExists sollte geschachtelten Namespace behandeln
  • [SPARK-37287] [SQL] Ziehen Sie die dynamische Partition und Bucket-Sortierung aus FileFormatWriter heraus
  • [SPARK-39469] [SQL] Datumstyp für CSV-Schemarückschluss ableiten
  • [SPARK-39148] [SQL] DS V2-Aggregat-Push-down kann mit OFFSET oder LIMIT arbeiten.
  • [SPARK-39818] [SQL] Fehler in ARRAY-, STRUCT-, MAP-Typen mit DEFAULT-Werten mit NULL-Feld(ern) behoben
  • [SPARK-39792] [SQL] Hinzufügen von DecimalDivideWithOverflowCheck für den dezimalen Durchschnitt
  • [SPARK-39798] [SQL] Ersetze toSeq.toArray mit .toArray[Any] dem Konstruktor von GenericArrayData
  • [SPARK-39759] [SQL] listIndexes in JDBC implementieren (H2-Dialekt)
  • [SPARK-39385] [SQL] Unterstützt Pushdown REGR_AVGX und REGR_AVGY
  • [SPARK-39787] [SQL] Verwenden der Fehlerklasse im Analysefehler der Funktion to_timestamp
  • [SPARK-39760] [PYTHON] Unterstützen Varchar in PySpark
  • [SPARK-39557] [SQL] Manueller Backport zu Databricks Runtime 11.x: Unterstützung von ARRAY, STRUCT, MAP-Typen als STANDARDWERTE
  • [SPARK-39758] [SQL][3.3] Beheben von NPE aus den Regexp-Funktionen für ungültige Muster
  • [SPARK-39749] [SQL] ANSI SQL-Modus: Verwenden einer einfachen String-Darstellung beim Umwandeln von Dezimalzeichen in String
  • [SPARK-39704] [SQL] Implementieren von createIndex und dropIndex und indexExists in JDBC (H2-Dialekt)
  • [SPARK-39803] [SQL] Verwendung von LevenshteinDistance anstelle von StringUtils.getLevenshteinDistance
  • [SPARK-39339] [SQL] Unterstützung des TimestampNTZ-Typs in der JDBC-Datenquelle
  • [SPARK-39781] [ SS] Unterstützung für die Bereitstellung von max_open_files für den Statusspeicheranbieter rocksdb hinzugefügt
  • [SPARK-39719] [R] Implementieren Sie databaseExists/getDatabase im SparkR-Unterstützung 3L-Namespace
  • [SPARK-39751] [SQL] Umbenennen der Hash-Aggregat-Key-Probes-Metrik
  • [SPARK-39772] [SQL] Namespace sollte null sein, wenn database in den alten Konstruktoren null ist
  • [SPARK-39625] [SPARK-38904][sql] Hinzufügen von Dataset.as(StructType)
  • [SPARK-39384] [SQL] Kompilieren Sie integrierte lineare Regression-Aggregatfunktionen für den JDBC-Dialekt
  • [SPARK-39720] [R] Implementieren von tableExists/getTable in SparkR für 3L-Namespace
  • [SPARK-39744] [SQL] Fügt die Funktion REGEXP_INSTR hinzu
  • [SPARK-39716] [R] Sorgt dafür, dass currentDatabase/setCurrentDatabase/listCatalogs in SparkR den 3L-Namespace unterstützt wird
  • [SPARK-39788] [SQL] Umbenennen catalogName in dialectName für JdbcUtils
  • [SPARK-39647] [CORE] Registrieren Sie den Executor bei ESS, bevor Sie den BlockManager registrieren
  • [SPARK-39754] [ CORE][sql] Entfernen nicht verwendeter import oder unnötiger {}
  • [SPARK-39706] [SQL] Festlegen fehlender Spalte mit defaultValue als Konstante in ParquetColumnVector
  • [SPARK-39699] [SQL] Machen Sie CollapseProject intelligenter in Bezug auf Ausdrücke zum Erstellen von Sammlungen
  • [SPARK-39737] [SQL] PERCENTILE_CONT und PERCENTILE_DISC sollte den Aggregatfilter unterstützen
  • [SPARK-39579] [SQL][python][R] Make ListFunctions/getFunction/functionExists kompatibel mit einem 3-Schicht-Namensraum
  • [SPARK-39627] [SQL] JDBC V2-Pushdown sollte die Kompilier-API vereinheitlichen
  • [SPARK-39748] [SQL][ss] Schließen Sie den logischen Ursprungsplan für LogicalRDD ein, wenn es aus DataFrame stammt.
  • [SPARK-39385] [SQL] Aggregatfunktionen der linearen Regression für Pushdown übersetzen
  • [SPARK-39695] [SQL] Fügt die REGEXP_SUBSTR-Funktion hinzu
  • [SPARK-39667] [SQL] Fügen Sie eine weitere Problemumgehung hinzu, wenn nicht genügend Arbeitsspeicher zum Erstellen und Übertragen der Tabelle vorhanden ist
  • [SPARK-39666] [ES-337834][sql] Verwenden Sie UnsafeProjection.create, um spark.sql.codegen.factoryMode in ExpressionEncoder zu berücksichtigen.
  • [SPARK-39643] [SQL] Unterabfrageausdrücke in DEFAULT-Werten verbieten
  • [SPARK-38647] [SQL] SupportsReportOrdering-Mix in Schnittstelle für Scan hinzufügen (DataSourceV2)
  • [SPARK-39497] [SQL] Verbessern der Analyseausnahme der fehlenden Kartenschlüsselspalte
  • [SPARK-39661] [SQL] Vermeiden Sie die Erstellung unnötiger SLF4J-Logger
  • [SPARK-39713] [SQL] ANSI-Modus: Hinzufügen des Vorschlags der Verwendung von try_element_at für den INVALID_ARRAY_INDEX-Fehler
  • [SPARK-38899] [SQL]DS V2 unterstützt Pushdown-Datum/Uhrzeit-Funktionen
  • [SPARK-39638] [SQL] Verwenden Sie jetzt ConstantColumnVector, um Partitionsspalten in OrcColumnarBatchReader zu speichern
  • [SPARK-39653] [SQL] Bereinigen ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) von ColumnVectorUtils
  • [SPARK-39231] [SQL] Verwenden Sie ConstantColumnVector anstelle von On/OffHeapColumnVector, um Partitionsspalten in VectorizedParquetRecordReader zu speichern
  • [SPARK-39547] [SQL] V2SessionCatalog sollte keine NoSuchDatabaseException in loadNamspaceMetadata auslösen
  • [SPARK-39447] [SQL] Vermeiden von AssertionError in AdaptiveSparkPlanExec.doExecuteBroadcast
  • [SPARK-39492] [SQL] MISSING_COLUMN überarbeiten
  • [SPARK-39679] [SQL] TakeOrderedAndProjectExec sollte die untergeordnete Ausgabereihenfolge berücksichtigen
  • [SPARK-39606] [SQL] Verwenden von untergeordneten Statistiken zum Schätzen des Auftragsoperators
  • [SPARK-39611] [PYTHON][ps] Falsche Aliase in array_ufunc beheben
  • [SPARK-39656] [SQL][3.3] Beheben des falschen Namespaces in DescribeNamespaceExec
  • [SPARK-39675] [SQL] Wechseln der Konfiguration "spark.sql.codegen.factoryMode" vom Testzweck zum internen Zweck
  • [SPARK-39139] [SQL] DS V2 unterstützt Pushdown-DS V2-UDF
  • [SPARK-39434] [SQL] Bereitstellen des Abfragekontexts bei Laufzeitfehlern, wenn der Arrayindex außerhalb der Begrenzung liegt
  • [SPARK-39479] [SQL] DS V2 unterstützt mathematische Pushdown-Funktionen (nicht ANSI)
  • [SPARK-39618] [SQL] Fügt die REGEXP_COUNT-Funktion hinzu
  • [SPARK-39553] [CORE] Multithread-Löschung der Shuffle-Registrierung sollte keine NPE auslösen, wenn Scala 2.13 verwendet wird
  • [SPARK-38755] [PYTHON][3.3] Datei hinzufügen, um fehlende allgemeine Panda-Funktionen zu adressieren
  • [SPARK-39444] [SQL] Fügen Sie OptimizeSubqueries zur nonExcludableRules-Liste hinzu
  • [SPARK-39316] [SQL] Führen Sie PromotePrecision und CheckOverflow in dezimaler binärer Arithmetik zusammen
  • [SPARK-39505] [UI] Inhalt des Escape-Protokolls wird in der Benutzeroberfläche gerendert
  • [SPARK-39448] [SQL] Fügen Sie ReplaceCTERefWithRepartition zur nonExcludableRules-Liste hinzu
  • [SPARK-37961] [SQL] Überschreiben Sie maxRows/maxRowsPerPartition für einige logische Operatoren
  • [SPARK-35223] IssueNavigationLink wiederherstellen
  • [SPARK-39633] [SQL] Unterstützt timestamp in Sekunden für TimeTravel mit Dataframe-Optionen
  • [SPARK-38796] [SQL] Aktualisieren Sie die Dokumentation für String im Zahlenformat mit den {try_}to_number-Funktionen
  • [SPARK-39650] [SS] Korrigieren Sie ein falsches Werteschema bei der Streaming-Deduplizierung mit Abwärtskompatibilität
  • [SPARK-39636] [CORE][ui] Das Beheben mehrerer Fehler im JsonProtocol, die Auswirkungen auf off-heap-Speicherstufen und Task-/Executor-Ressourcenanforderungen haben.
  • [SPARK-39432] [SQL] Gibt ELEMENT_AT_BY_INDEX_ZERO von element_at(*, 0) zurück
  • [SPARK-39349] Hinzufügen einer zentralen CheckError-Methode für die Qualitätssicherung des Fehlerpfades
  • [SPARK-39453] [SQL] DS V2 unterstützt verschiedene Pushdown-Funktionen ohne Aggregation (nicht ANSI)
  • [SPARK-38978] [SQL] DS V2 unterstützt Push-down-Operator OFFSET
  • [SPARK-39567] [SQL] Unterstützung von ANSI-Intervallen in den Perzentilfunktionen
  • [SPARK-39383] [ SQL] Unterstützt DEFAULT-Spalten in ALTER TABLE ALTER COLUMNS zu V2-Datenquellen
  • [SPARK-39396] [SQL] Beheben der LDAP-Anmelde ausnahme "Fehlercode 49 – ungültige Anmeldeinformationen"
  • [SPARK-39548] [SQL] Der CreateView-Befehl mit einer Fensterklauselabfrage traf auf ein Problem mit einer falschen Fensterdefinition, die nicht gefunden wurde
  • [SPARK-39575] [AVRO] Hinzufügen von ByteBuffer#rewind nach ByteBuffer#get in AvroDeserializer
  • [SPARK-39543] Die Option von DataFrameWriterV2 sollte an die Speichereigenschaften übergeben werden, wenn auf v1 zurückgegriffen wird
  • [SPARK-39564] [SS] Stellen Sie die Informationen der Katalogtabelle dem logischen Plan in der Streaming-Abfrage zur Verfügung
  • [SPARK-39582] [SQL] Korrigieren Sie die „Seit“-Markierung für array_agg
  • [SPARK-39388] [SQL] orcSchema wiederverwenden, wenn Ork-Prädikate heruntergedrückt werden
  • [SPARK-39511] [SQL] Verbessern Sie das lokale Pushdown-Limit 1 für die rechte Seite des linken Semi-/Anti-Joins, wenn die Join-Bedingung leer ist
  • [SPARK-38614] [SQL] Begrenzen Sie nicht den Push-Down durch ein Fenster, das percent_rank verwendet
  • [SPARK-39551] [SQL] AQE ungültige Planprüfung hinzufügen
  • [SPARK-39383] [ SQL] Unterstützt DEFAULT-Spalten in ALTER TABLE ADD COLUMNS zu V2-Datenquellen
  • [SPARK-39538] [SQL] Vermeiden Sie die Erstellung unnötiger SLF4J-Logger
  • [SPARK-39383] [ SQL] Manueller Backport zu Databricks Runtime 11.x: Umgestalten der DEFAULT-Spaltenunterstützung, um die Übergabe des primären Analyzers zu überspringen
  • [SPARK-39397] [SQL] Relax AliasAwareOutputExpression zur Unterstützung von Alias mit Ausdruck
  • [SPARK-39496] [SQL] Behandeln von NULL-Struktur in Inline.eval
  • [SPARK-39545] [ SQL] Überschreiben Sie die concat-Methode für ExpressionSet in Scala 2.13, um die Leistung zu verbessern
  • [SPARK-39340] [SQL] DS v2 agg Pushdown sollte Punkte im Namen von Spalten der obersten Ebene zulassen
  • [SPARK-39488] [SQL] Vereinfachen der Fehlerbehandlung von TempResolvedColumn
  • [SPARK-38846] [SQL] Fügen Sie eine explizite Datenzuordnung zwischen Teradata Numeric Type und Spark DecimalType hinzu
  • [SPARK-39520] [SQL] Überschreibt die ---Methode für ExpressionSet in Scala 2.13
  • [SPARK-39470] [SQL] Unterstützung der Umwandlung von ANSI-Intervallen in Dezimalstellen
  • [SPARK-39477] [SQL] Entfernen der Informationen „Anzahl der Abfragen“ aus den goldenen Dateien von SQLQueryTestSuite
  • [SPARK-39419] [SQL] ArraySort löst nun eine Ausnahme aus, wenn der Vergleichsoperator null zurückgibt
  • [SPARK-39061] [SQL] Nullable für Inline Ausgabeattribute richtig setzen
  • [SPARK-39320] [SQL] Aggregatfunktion MEDIAN unterstützen
  • [SPARK-39261] [CORE] Verbessern Sie die Zeilenumbruchformatierung für Fehlermeldungen
  • [SPARK-39355] [SQL] Einzelne Spalte verwendet Anführungszeichen zum Konstruieren von UnresolvedAttribute
  • [SPARK-39351] [SQL] SHOW CREATE TABLE sollte Eigenschaften verbergen
  • [SPARK-37623] [SQL] Unterstützt ANSI-Aggregatfunktion: regr_intercept
  • [SPARK-39374] [SQL] Verbesserte Fehlermeldung für benutzerdefinierte Spaltenliste
  • [SPARK-39255] [SQL][3.3] Verbessern von Fehlermeldungen
  • [SPARK-39321] [SQL] Umgestalten von TryCast zur Verwendung von RuntimeReplaceable
  • [SPARK-39406] [PYTHON] Akzeptieren das NumPy-Array in createDataFrame
  • [SPARK-39267] [SQL] Unnötiges dsl-Symbol bereinigen
  • [SPARK-39171] [SQL] Vereinheitlichen des Cast-Ausdrucks
  • [SPARK-28330] [SQL] Unterstützt ANSI SQL: Ergebnis-Offset-Klausel im Abfrageausdruck
  • [SPARK-39203] [SQL] Tabellenspeicherort basierend auf Datenbank-URI in absolute URI umschreiben
  • [SPARK-39313] [SQL] toCatalystOrdering sollte fehlschlagen, wenn V2Expression nicht übersetzt werden kann
  • [SPARK-39301] [SQL][python] Verwendung von LocalRelation und Berücksichtigung der Arrow-Batchgröße in createDataFrame mit Arrow-Optimierung.
  • [SPARK-39400] [SQL] spark-sql sollte in jedem Fall Hive-Ressourcenverzeichnis entfernen

Wartungsupdates

Siehe Wartungsupdates für Databricks Runtime 11.2.

Systemumgebung

  • Betriebssystem: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Skala: 2.12.14
  • Python: 3.9.5
  • R: 4.1.3
  • Delta Lake: 2.1.0

Installierte Python-Bibliotheken

Bibliothek Version Bibliothek Version Bibliothek Version
Antergos Linux 2015.10 (ISO-Rolling) argon2-cffi 20.1.0 asynchroner Generator 1.10
Attrs 21.2.0 Backcall 0.2.0 backports.entry-points-selectable 1.1.1
schwarz 22.3.0 Bleichmittel 4.0.0 Boto3 1.21.18
Botocore 1.24.18 Zertifizieren 2021.10.8 CFFI 1.14.6
Chardet 4.0.0 Charset-Normalizer 2.0.4 Klicken 8.0.3
Kryptographie 3.4.8 Fahrradfahrer 0.10.0 Cython 0.29.24
dbus-python 1.2.16 debugpy 1.4.1 Dekorateur 5.1.0
defusedxml 0.7.1 Distlib 0.3.5 Distro-Informationen 0.23ubuntu1
Einstiegspunkte 0,3 Übersicht der Facetten 1.0.0 Dateisperrung 3.8.0
idna 3.2 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 Jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
jsonschema 3.2.0 Jupyter-Client 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.1
MarkupSafe 2.0.1 matplotlib 3.4.3 matplotlib-inline 0.1.2
verstimmen 0.8.4 mypy-Erweiterungen 0.4.3 nbclient 0.5.3
nbconvert 6.1.0 nbformat 5.1.3 nest-asyncio 1.5.1
Notebook 6.4.5 numpy 1.20.3 Packen 21.0
Pandas 1.3.4 Pandocfilter 1.4.3 Parso 0.8.2
Pfadangabe 0.9.0 Sündenbock 0.5.2 pexpect 4.8.0
Pickleshare 0.7.5 Kissen 8.4.0 Kern 21.2.4
platformdirs 2.5.2 Handlung 5.9.0 prometheus-client 0.11.0
Prompt-Toolkit 3.0.20 protobuf 4.21.5 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 Pyarrow 7.0.0
Pycparser 2,20 Pygments 2.10.0 PyGObject 3.36.0
Pyodbc 4.0.31 Pyparsing 3.0.4 Pyristent 0.18.0
python-apt 2.0.0+ubuntu0.20.4.7 Python-dateutil 2.8.2 Pytz 2021.3
pyzmq 22.2.1 Anforderungen 2.26.0 requests-unixsocket 0.2.0
s3transfer 0.5.2 scikit-lernen 0.24.2 SciPy 1.7.1
Seegeboren 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
sechs 1.16.0 ssh-import-id 5.10 StatistikModelle 0.12.2
Hartnäckigkeit 8.0.1 terminado 0.9.4 Testpfad 0.5.0
Threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
Tornado 6.1 Traitlets 5.1.0 Erweiterungen für Typisierung 3.10.0.2
unbeaufsichtigte Aktualisierungen 0,1 urllib3 1.26.7 virtualenv 20.8.0
wcwidth 0.2.5 Webkodierungen 0.5.1 Rad 0.37.0
widgetsnbextension 3.6.0

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Microsoft CRAN-Momentaufnahme vom 15.08.2022 installiert.

Bibliothek Version Bibliothek Version Bibliothek Version
Askpass 1.1 prüfen, dass 0.2.1 Backports 1.4.1
Basis 4.1.3 base64enc 0.1-3 Bit 4.0.4
Bit64 4.0.5 Blob 1.2.3 Boot 1.3-28
brauen 1.0-7 Brio 1.1.3 Besen 1.0.0
bslib 0.4.0 cachem 1.0.6 Callr 3.7.1
Caret 6.0-93 CellRanger 1.1.0 Chron 2.3-57
Klasse 7.3-20 cli 3.3.0 Schermaschine 0.8.0
Gruppe 2.1.3 Codetools 0.2-18 Farbraum 2.0-3
Commonmark 1.8.0 Kompilierer 4.1.3 Konfiguration 0.3.1
cpp11 0.4.2 Buntstift 1.5.1 Anmeldeinformationen 1.3.2
Locke 4.3.2 data.table 1.14.2 Datensätze 4.1.3
DBI 1.1.3 dbplyr 2.2.1 Beschreibung 1.4.1
devtools 2.4.4 diffobj 0.3.5 verdauen 0.6.29
Nach unten gerichtete Beleuchtung 0.4.2 dplyr 1.0.9 dtplyr 1.2.1
e1071 1.7-11 Ellipse 0.3.2 Evaluieren 0,16
Fans 1.0.3 Farben 2.1.1 fastmap 1.1.0
fontawesome 0.3.0 Sträflinge 0.5.1 Foreach 1.5.2
Fremd 0.8-82 schmieden 0.2.0 Fs 1.5.2
Zukunft 1.27.0 future.apply 1.9.0 gurgeln 1.2.0
Generika 0.1.3 Gert 1.7.0 ggplot2 3.3.6
Gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-4
Globale Werte 0.16.0 Klebstoff 1.6.2 googledrive 2.0.0
googlesheets4 1.0.1 Gower 1.0.0 Grafiken 4.1.3
grGeräte 4.1.3 Raster 4.1.3 gridExtra 2.3
gsubfn 0,7 g-Tabelle 0.3.0 Schutzhelm 1.2.0
Hafen 2.5.0 Highr 0.9 HMS 1.1.1
HTML-Werkzeuge 0.5.3 htmlwidgets 1.5.4 httpuv 1.6.5
httr 1.4.3 Ausweise 1.0.1 ini 0.3.1
IPRED 0.9-13 Isobande 0.2.5 Iteratoren 1.0.14
jquerylib 0.1.4 jsonlite 1.8.0 KernSmooth 2.23-20
Knitr 1,39 Etikettierung 0.4.2 später 1.3.0
Gitter 0.20-45 Lava 1.6.10 Lebenszyklus 1.0.1
„listenv“ 0.8.0 Schmiermittel 1.8.0 magrittr 2.0.3
Abschlag 1.1 MASSE 7.3-56 Matrix 1.4-1
Zwischenspeichern 2.0.1 Methodik 4.1.3 mgcv 1.8-40
Mime-Kunst 0,12 miniUI 0.1.1.1 ModelMetrics 1.2.2.2
Modellierer 0.1.8 munsell 0.5.0 nlme 3.1-157
NNET 7.3-17 numDeriv 2016.8 bis 1.1 OpenSSL 2.0.2
parallel 4.1.3 parallel dazu 1.32.1 Säule 1.8.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgdown 2.0.6
pkgload 1.3.0 PLOGR 0.2.0 plyr 1.8.7
loben 1.0.0 prettyunits 1.1.1 Proc 1.18.0
Prozessx 3.7.0 prodlim 2019.11.13 profvis 0.3.7
Fortschritt 1.2.2 progressr 0.10.1 Versprechungen 1.2.0.1
Prototyp 1.0.0 Stellvertreter 0.4-27 P.S. 1.7.1
schnurren 0.3.4 r2d3 0.2.6 R6 2.5.1
Ragg 1.2.2 randomForest (Zufälliger Wald) 4.7-1.1 Rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrauer 1.1-3 Rcpp 1.0.9
RcppEigen 0.3.3.9.2 READR 2.1.2 readxl (Softwarepaket zum Lesen von Excel-Dateien) 1.4.0
Rezepte 1.0.1 Rückspiel 1.0.1 Rückspiel2 2.1.2
fernbedienungen 2.4.2 reproduzierbares Beispiel 2.0.1 Umform2 1.4.4
rlang 1.0.4 RMarkdown 2.14 RODBC 1.3-19
roxygen2 7.2.1 rpart 4.1.16 rprojroot 2.0.3
Rserve 1.8-11 RSQLite 2.2.15 rstudioapi 0,13
rversions 2.1.1 RVEST 1.0.2 Sass 0.4.2
Waage 1.2.0 Auswahl 0.4-2 Sitzungsinformationen 1.2.2
Gestalt 1.4.6 glänzend 1.7.2 sourcetools 0.1.7
Sparklyr 1.7.7 SparkR 3.3.0 räumlich 7.3-11
Splines 4.1.3 sqldf 0.4-11 SQUAREM 2021.1
Statistiken 4.1.3 Statistiken4 4.1.3 Stringi 1.7.8
stringr 1.4.0 Überleben 3.2-13 sys 3.4
systemfonts 1.0.4 TCLTK 4.1.3 testthat 3.1.4
Textgestaltung 0.3.6 Tibble 3.1.8 Räumter 1.2.0
aufräumen 1.1.2 aufräumen 1.3.2 timeDatum 4021.104
tinytex 0,40 Werkzeuge 4.1.3 Zeitzonendatenbank (tzdb) 0.3.0
URL-Prüfer 1.0.1 Nutze dies 2.1.6 utf8 1.2.2
Dienstprogramme und Funktionen 4.1.3 Universelle eindeutige Kennung (UUID) 1.1-0 VCTRS 0.4.1
viridisLite 0.4.0 Vroom 1.5.7 Waldo 0.4.0
Backenbart 0,4 Withr 2.5.0 xfun 0,32
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
YAML-Dateiformat 2.3.5 schwirren 2.2.0

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)

Gruppen-ID Artefakt-ID Version
antlr antlr 2.7.7
com.amazonaws Amazon-Kinesis-Client 1.12.0
com.amazonaws aws-java-sdk-Autoskalierung 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch (Cloud-Suchdienst) 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws AWS-Java-SDK-Config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-db 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk (Java SDK für Elastic Beanstalk von AWS) 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing (Software Development Kit für Elastic Load Balancing in AWS mit Java) 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder (AWS Java SDK für Elastic Transcoder) 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue (eine Bibliothek für den Glue-Service von Amazon Web Services) 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-Protokolle 1.12.189
com.amazonaws aws-java-sdk-machinelearning (Maschinelles Lernen) 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-Support (Unterstützung für AWS Java SDK) 1.12.189
com.amazonaws AWS-Java-SDK-SWF-Bibliotheken 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics Datenstrom 2.9.6
com.databricks Rserve 1.8-3
com.databricks Jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware Kryo-schattiert 4.0.2
com.esotericsoftware Minlog 1.3.0
com.fasterxml Klassenkamerad 1.3.4
com.fasterxml.jackson.core Jackson-Anmerkungen 2.13.3
com.fasterxml.jackson.core jackson-core 2.13.3
com.fasterxml.jackson.core Jackson-Datenbindung 2.13.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.3
com.fasterxml.jackson.module jackson-module-paranamer 2.13.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.3
com.github.ben-manes.coffein Koffein 2.3.4
com.github.fommil Jniloader 1.1
com.github.fommil.netlib Kern 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava Guave 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox Bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure Azure Data Lake Store SDK (Software Development Kit für Azure Data Lake Store) 2.3.9
com.ning compress-lzf (Datenkompression mit LZF-Algorithmus) 1.1
com.sun.mail javax.mail 1.5.2
com.tduning json 1.8
com.thoughtworks.paranamer Paranamer 2.8
com.trueaccord.lenses linsen_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe Konfiguration 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
Commons-Dateihochladen Commons-Dateihochladen 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib Blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hadoop3 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift Luftkompressor 0,21
io.delta delta-sharing-spark_2.12 0.5.0
io.dropwizard.metrics Metrics-Kernbibliothek 4.1.1
io.dropwizard.metrics Metrics-Graphit 4.1.1
io.dropwizard.metrics Metrik-Gesundheitschecks 4.1.1
io.dropwizard.metrics Metrics-Jetty9 4.1.1
io.dropwizard.metrics Metrics-JMX 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics Metrik-Servlets 4.1.1
io.netty nett-all 4.1.74.Final
io.netty Netty-Buffer 4.1.74.Final
io.netty Netty Codec 4.1.74.Final
io.netty Netty-common 4.1.74.Final
io.netty Netty-Handler 4.1.74.Final
io.netty Netty-Resolver 4.1.74.Final
io.netty netty-tcnative-Klassen 2.0.48.Final
io.netty Netty-Transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Sammlung 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation Aktivierung 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction Transaktions-API 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
mvn hadoop3 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine Gurke 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv Super-CSV 2.2.0
net.Schneeflocke snowflake-ingest-sdk 0.9.6
net.Schneeflocke Snowflake-JDBC 3.13.14
net.Schneeflocke spark-snowflake_2.12 2.10.0-spark_3.2
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant Ameise 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant Ant-Launcher 1.9.2
org.apache.arrow Pfeilformat 7.0.0
org.apache.arrow Pfeilspeicherkern 7.0.0
org.apache.arrow Arrow-Memory-Netty 7.0.0
org.apache.arrow Pfeil-Vektor 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons Commons-Text 1.9
org.apache.curator Kurator-Klient 2.13.0
org.apache.curator Kurator-Framework 2.13.0
org.apache.curator Rezepte des Kurators 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop Hadoop-Client-API 3.3.2-databricks
org.apache.hadoop Hadoop-Client-Laufzeit 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-silk 2.3.9
org.apache.hive hive-llap-Client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-speicher-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims Hive-Anpassungen-Common 2.3.9
org.apache.hive.shims Hive-Shims-Scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy Efeu 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.17.2
org.apache.logging.log4j log4j-api 2.17.2
org.apache.logging.log4j log4j-core 2.17.2
org.apache.logging.log4j log4j-slf4j-impl 2.17.2
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.5
org.apache.orc orc-mapreduce 1.7.5
org.apache.orc Orc-Shims 1.7.5
org.apache.parkett Parkettsäule 1.12.0-databricks-0004
org.apache.parkett Gebräuchlich 1.12.0-databricks-0004
org.apache.parkett Parquet-Kodierung 1.12.0-databricks-0004
org.apache.parkett Parquet-Format-Strukturen 1.12.0-databricks-0004
org.apache.parkett Parkett-Hadoop 1.12.0-databricks-0004
org.apache.parkett Parkett-Jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus Benutzergruppenanmerkungen 0.5.0
org.apache.zookeeper Tierpfleger 3.6.2
org.apache.zookeeper Zookeeper-Jute 3.6.2
org.checkerframework Prüferqualifikation 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-ASL 1.9.13
org.codehaus.janino Commons-Compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty Jetty-Client 9.4.46.v20220331
org.eclipse.jetty Jetty-Fortsetzung 9.4.46.v20220331
org.eclipse.jetty Jetty-HTTP 9.4.46.v20220331
org.eclipse.jetty Jetty-io 9.4.46.v20220331
org.eclipse.jetty Jetty-jndi 9.4.46.v20220331
org.eclipse.jetty Jetty-Plus 9.4.46.v20220331
org.eclipse.jetty Jetty-Proxy 9.4.46.v20220331
org.eclipse.jetty Jetty-Sicherheit 9.4.46.v20220331
org.eclipse.jetty Jetty Server 9.4.46.v20220331
org.eclipse.jetty Jetty-Servlet 9.4.46.v20220331
org.eclipse.jetty Jetty-Servlets 9.4.46.v20220331
org.eclipse.jetty Jetty-Util 9.4.46.v20220331
org.eclipse.jetty Jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty Jetty-Webanwendung 9.4.46.v20220331
org.eclipse.jetty Jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket WebSocket-API 9.4.46.v20220331
org.eclipse.jetty.websocket WebSocket-Client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket WebSocket-Server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-Ortungssystem 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-neu verpackt 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,34
org.glassfish.jersey.containers jersey-container-servlet-core 2,34
org.glassfish.jersey.core Jersey-Client 2,34
org.glassfish.jersey.core jersey-common 2,34
org.glassfish.jersey.core Jersey-Server 2,34
org.glassfish.jersey.inject jersey-hk2 2,34
org.hibernate.validator Ruhezustands-Validator 6.1.0.Final
org.javassist Javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anmerkungen 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.aspx mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis Objenese 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap Klemmstücke 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt Testoberfläche 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark ungenutzt 1.0.0
org.threeten 3ten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel Katzen-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-servers 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml Schlangenyaml 1,24
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
  • Last updated on