Databricks Runtime 9.0 (nicht unterstützt)

  • Artikel

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 9.0 und Databricks Runtime 9.0 Photon, unterstützt von Apache Spark 3.1.2. Databricks hat diese Images im August 2021 veröffentlicht. Photon ist als Public Preview verfügbar.

Korrektur

In einer früheren Version dieser Versionshinweise wurde fälschlicherweise angegeben, dass Apache Parquet-Abhängigkeiten von 1.10 auf 1.12 aktualisiert wurden. Tatsächlich bleiben Parquet-Abhängigkeiten bei Version 1.10. Der falsche Versionshinweis wurde entfernt.

Neue Features und Verbesserungen

Neue API für Zusammenfassungsstatistik von Datasets (Public Preview)

Mit dem neuen dbutils.data.summarize-Befehl in Databricks Utilities können Sie einen Spark-Auftrag starten, der automatisch Zusammenfassungsstatistiken für die Spalten eines Spark-Datenrahmens berechnet und dann die Ergebnisse interaktiv anzeigt. Diese Funktion ist in Scala und Python verfügbar. Weitere Informationen finden Sie unter Datenhilfsprogramm (dbutils.data).

Einfachere externe Datenquellenkonfiguration für den Azure Synapse-Connector

Mit der neuen externalDataSource-Option im Connector für Abfragedaten in Azure Synapse Analytics können Sie eine vorab bereitgestellte externe Datenquelle zum Lesen aus einer Azure Synapse-Datenbank verwenden. Die externalDataSource-Option entfernt die Notwendigkeit der CONTROL-Berechtigung, die zuvor erforderlich war.

Beim Festlegen von externalDataSource müssen die externe Datenquelle und die tempDir-Option zum Konfigurieren des temporären Speichers auf denselben Container im Speicherkonto verweisen.

Optionale Begrenzung der Sitzung auf eine bestimmte Dauer für den Amazon Redshift-Connector

Mit der neuen fs.s3a.assumed.role.session.duration-Option im Connector zum Abfragen von Amazon Redshift mit Azure Databricks können Sie optional eine Dauer für die Sitzung festlegen, wenn Redshift mit einer angenommenen Rolle auf den temporären S3-Bucket zugreift.

Autoloader

Optimierte Dateiauflistung

Autoloader-Optimierungen bieten Leistungsverbesserungen und Kosteneinsparungen beim Auflisten geschachtelter Verzeichnisse im Cloudspeicher, einschließlich AWS S3, Azure Data Lake Storage Gen2 (ADLS Gen2) und Google Cloud Storage (GCS).

Wenn Sie z. B. Dateien als /some/path/YYYY/MM/DD/HH/fileName hochgeladen haben, um alle Dateien in diesen Verzeichnissen zu finden, verwendete Autoloader eine parallele Auflistung aller Unterverzeichnisse, was 365 (pro Tag) * 24 (pro Stunde) = 8760 LIST-API-Verzeichnisaufrufe an den zugrunde liegenden Speicher für jedes Jahresverzeichnis verursachte. Durch den Empfang einer komprimierten Antwort von diesen Speichersystemen verringert Autoloader die Anzahl von API-Aufrufen auf die Anzahl der Dateien im Speichersystem geteilt durch die Anzahl der Ergebnisse, die von jedem API-Aufruf zurückgegeben werden (1000 für S3, 5000 für ADLS Gen2, und 1024 für GCS). Auf diese Weise werden Ihre Cloudkosten erheblich reduziert.

Optimierte Speicherung von Bilddaten

Autoloader kann jetzt automatisch erfasste Bilddaten erkennen und den Speicher in Delta-Tabellen optimieren, um die Lese- und Schreibleistung zu verbessern. Weitere Informationen finden Sie unter Nehmen Sie Bild- oder Binärdaten in Delta Lake für ML auf.

Miniaturbilder für Binärdateien (Public Preview)

Für Bilder im binaryFile-Format, die mithilfe von Autoloader als Delta-Tabellen geladen oder gespeichert wurden, sind Anmerkungen angefügt, sodass die Miniaturbilder angezeigt werden, wenn Sie die Tabelle in einem Azure Databricks-Notebook anzeigen. Weitere Informationen finden Sie unter Bilder.

DirectoryRename-Ereignisse ermöglichen die unteilbare Verarbeitung mehrerer Dateien

Autoloader-Streams, die in Databricks Runtime 9.0 und höher in Azure Data Lake Storage Gen2 erstellt wurden, richten Dateiereignisbenachrichtigungen ein, um Verzeichnisumbenennungen einzuschließen und auf RenameDirectory-Ereignisse zu lauschen. Sie können Verzeichnisumbenennungen verwenden, damit mehrere Dateien unteilbar in Autoloader angezeigt werden.

SQL

Ausschließen von Spalten in SELECT * (Public Preview)

SELECT * unterstützt jetzt ein EXCEPT-Schlüsselwort, mit dem Sie angegebene Spalten der obersten Ebene aus der Erweiterung ausschließen können. Beispielsweise wird SELECT * EXCEPT (b) FROM tbl aus einer Tabelle mit dem Schema (a, b, c) auf (a, c) erweitert.

SQL-Skalarfunktionen (Public Preview)

CREATE FUNCTION unterstützt jetzt SQL-Skalarfunktionen. Sie können Skalarfunktionen erstellen, die einen Satz von Argumenten annehmen und einen einzelnen skalaren Typwert zurückgeben. Der SQL-Funktionstext kann ein beliebiger Ausdruck sein. Beispiel:

CREATE FUNCTION square(x DOUBLE) RETURNS DOUBLE RETURN x * x;
SELECT square(2);

Weitere Informationen finden Sie unter CREATE FUNCTION (SQL und Python).

Verweisen auf vorangehende Aliase und Spalten in FROM-Unterabfragen (Public Preview)

Unterabfragen in der FROM-Klausel einer Abfrage kann jetzt das LATERAL-Schlüsselwort vorangestellt werden, das es ihnen ermöglicht, auf Aliase und Spalten in den vorangehenden FROM-Elementen zu verweisen. Beispiele:

SELECT * FROM t1, LATERAL (SELECT * FROM t2 WHERE t1.c1 = t2.c1)

Das LATERAL-Schlüsselwort unterstützt INNER, CROSS und LEFT (OUTER) JOIN.

Weitere Informationen finden Sie unter Parameter und Parameter.

R-Unterstützung

R-Bibliotheken im Notebook-Bereich (Public Preview)

Bibliotheken im Notebook-Bereich ermöglichen die Installation von Bibliotheken und die Erstellung einer Umgebung im Bereich einer Notebook-Sitzung. Diese Bibliotheken haben keine Auswirkungen auf andere Notebooks, die im selben Cluster ausgeführt werden. Die Bibliotheken sind sowohl auf dem Treiber- als auch auf dem Workerknoten verfügbar, sodass Sie in benutzerdefinierten Funktionen darauf verweisen können. Weitere Informationen finden Sie unter R-Bibliotheken im Notebook-Bereich.

Warnmeldungen in R-Notebooks

Der Standardwert der warn-Option ist jetzt in R-Notebooks auf 1 festgelegt. Daher werden jetzt alle Warnungen als Teil des Befehlsergebnisses verfügbar gemacht. Weitere Informationen zur warn-Option finden Sie unter Optionseinstellungen.

Vermeiden einer Wiederholung durch Angabe des Anfangszustands für die zustandsbehaftete Verarbeitung des strukturierten Streamings

Mit dem Operator [flat]MapGroupsWithState können Sie jetzt einen benutzerdefinierten Anfangszustand für die zustandsbehaftete Verarbeitung des strukturierten Streamings angeben.

Siehe Festlegen des Anfangszustandes für mapGroupsWithState.

Eine Low-Shuffle-Implementierung des Delta MERGE INTO-Befehls ist jetzt verfügbar (Public Preview)

Der Delta-Befehl MERGE INTO verfügt über eine neue Implementierung, die das Mischen unveränderter Zeilen reduziert. Dies verbessert die Leistung des Befehls und hilft dabei, vorhandene Cluster in der Tabelle beizubehalten, z. B. Z-Sortierung. Um das Low Shuffle Merge zu aktivieren, setzen Sie spark.databricks.delta.merge.enableLowShuffle auf true. Siehe Zusammenführung mit geringem Shuffle in Azure Databricks.

Fehlerbehebungen

  • Sie können eine Ansicht nicht länger überschreiben, indem Sie eine Ansicht mit demselben Namen erstellen.

Bibliotheksupgrades

  • Aktualisierte Python-Bibliotheken:
    • certifi von 2021.5.30 auf 2020.12.5
    • chardet von 3.0.4 auf 4.0.0
    • Cython von 0.29.21 auf 0.29.23
    • decorator von 4.4.2 auf 5.0.6
    • ipython von 7.19.0 auf 7.22.0
    • joblib von 0.17.0 auf 1.0.1
    • jupyter-client von 6.1.7 auf 6.1.12
    • jupyter-core von 4.6.3 auf 4.7.1
    • kiwisolver von 1.3.0 auf 1.3.1
    • matplotlib von 3.2.2 auf 3.4.2
    • pandas von 1.1.5 auf 1.2.4
    • pip von 20.2.4 auf 21.0.1
    • prompt-toolkit von 3.0.8 auf 3.0.17
    • protobuf von 3.17.3 auf 3.17.2
    • ptyprocess von 0.6.0 auf 0.7.0
    • pyarrow von 1.0.1 auf 4.0.0
    • Pygments von 2.7.2 auf 2.8.1
    • pyzmq von 19.0.2 auf 20.0.0
    • requests von 2.24.0 auf 2.25.1
    • s3transfer von 0.3.6 auf 0.3.7
    • scikit-learn von 0.23.2 auf 0.24.1
    • scipy von 1.5.2 auf 1.6.2
    • seaborn von 0.10.0 auf 0.11.1
    • setuptools von 50.3.1 auf 52.0.0
    • statsmodels von 0.12.0 auf 0.12.2
    • tornado von 6.0.4 auf 6.1
    • virtualenv von 20.2.1 auf 20.4.1
    • wheel von 0.35.1 auf 0.36.2
  • Aktualisierte R-Bibliotheken:
    • Matrix von 1.3-3 auf 1.3-4

Apache Spark

Databricks Runtime 9.0 enthält Apache Spark 3.1.2. Dieses Release enthält alle Spark-Fixes und -Verbesserungen, die in Databricks Runtime 8.4 (nicht unterstützt) enthalten sind, sowie die folgenden zusätzlichen Bugfixes und Verbesserungen für Spark:

  • [SPARK-35886] [SQL][3.1] PromotePrecision sollte genCode nicht überschreiben
  • [SPARK-35879] [CORE][SHUFFLE] Leistungsregression durch collectFetchRequests beheben
  • [SPARK-35817] [SQL][3.1] Leistung von Abfragen anhand breiter Avro-Tabellen wiederherstellen
  • [SPARK-35841] [SQL] Zeichenfolge in Dezimaltyp umwandeln funktioniert nicht, wenn...
  • [SPARK-35783] [SQL] Set the list of read columns in the task configuration to reduce reading of ORC data
  • [SPARK-35576] [SQL][3.1] Vertrauliche Informationen im Ergebnis des Set-Befehls redigieren
  • [SPARK-35449] [SQL][3.1] Nur allgemeine Ausdrücke aus CaseWhen-Werten extrahieren, wenn elseValue festgelegt ist
  • [SPARK-35288] [SQL] StaticInvoke sollte die Methode ohne genaue Übereinstimmung der Argumentklassen finden
  • [SPARK-34794] [SQL] Probleme mit Lambda-Variablennamen in geschachtelten DataFrame-Funktionen beheben
  • [SPARK-35278] [SQL] Aufruf sollte die Methode mit der richtigen Anzahl von Parametern finden
  • [SPARK-35226] [SQL] Unterstützung der refreshKrb5Config-Option in JDBC-Datenquellen
  • [SPARK-35244] [SQL] Aufruf sollte die ursprüngliche Ausnahme auslösen
  • [SPARK-35213] [SQL] Beibehalten der richtigen Reihenfolge geschachtelter Strukturen in verketteten withField-Vorgängen
  • [SPARK-35087] [UI] Einige Spalten in der Tabelle für aggregierte Metriken nach Executor auf der Stage-Detailseite werden nicht ordnungsgemäß angezeigt
  • [SPARK-35168] [SQL] „mapred.reduce.tasks“ sollte „shuffle.partitions“ nicht „adaptive.coalescePartitions.initialPartitionNum“ sein
  • [SPARK-35127] [UI] Beim Wechsel zwischen verschiedenen Stage-Detailseiten kann das Eintragselement auf der neu geöffneten Seite leer sein
  • [SPARK-35142] [PYTHON][ML] Falschen Rückgabetyp für rawPredictionUDF in OneVsRestModel beheben
  • [SPARK-35096] [SQL] SchemaPruning muss die spark.sql.caseSensitive-Konfiguration einhalten
  • [SPARK-34639] [SQL][3.1] RelationalGroupedDataset.alias sollte nicht UnresolvedAlias erstellen
  • [SPARK-35080] [SQL] Nur eine Teilmenge korrelierter Gleichheitsprädikate zulassen, wenn eine Unterabfrage aggregiert wird
  • [SPARK-35117] [UI] Statusanzeige wieder so ändern, dass das Verhältnis der aktiven Tasks hervorgehoben wird
  • [SPARK-35136] Anfänglichen Nullwert von LiveStage.info entfernen
  • [SPARK-34834] [NETWORK] Potenziellen Netty-Arbeitsspeicherverlust in TransportResponseHandler beheben
  • [SPARK-35045] [SQL] Interne Option zur Steuerung des Eingabepuffers in Univocity hinzufügen
  • [SPARK-35014] PhysicalAggregation-Muster beheben, um reduzierbare Ausdrücke nicht erneut generieren zu müssen
  • [SPARK-35019] [PYTHON][SQL] Konflikte bei Typhinweisen in pyspark.sql.* beheben
  • [SPARK-34926] [SQL][3.1] PartitioningUtils.getPathFragment() sollte beachten, dass der Partitionswert Null ist
  • [SPARK-34630] [PYTHON] Typhinweis für pyspark.version hinzufügen
  • [SPARK-34963] [SQL] Geschachtelte Spaltenbereinigung für das Extrahieren von Strukturfeldern ohne Berücksichtigung der Groß-/Kleinschreibung aus einem Array von Strukturen beheben
  • [SPARK-34988] [CORE][3.1] Upgrade für Jetty für CVE-2021-28165 durchführen
  • [SPARK-34922] [SQL][3.1] Vergleichsfunktion für relative Kosten im CBO verwenden
  • [SPARK-34970] [SQL][SECURITY][3.1] Zuordnungstypoptionen in der Ausgabe von explain() redigieren
  • [SPARK-34923] [SQL] Metadatenausgabe sollte für weitere Pläne leer sein
  • [SPARK-34949] [CORE] Erneute Registrierung von BlockManager verhindern, wenn Executor heruntergefahren wird
  • [SPARK-34939] [CORE] Abruffehlerausnahme auslösen, wenn übertragene Zuordnungsstatusangaben nicht deserialisiert werden können
  • [SPARK-34909] [SQL] Konvertierung von „negativ“ in „ohne Vorzeichen“ in conv() beheben
  • [SPARK-34845] [CORE] ProcfsMetricsGetter sollte keine partiellen procfs-Metriken zurückgeben
  • [SPARK-34814] [SQL] LikeSimplification sollte NULL verarbeiten
  • [SPARK-34876] [SQL] defaultResult von Non-Nullable-Aggregaten auffüllen
  • [SPARK-34829] [SQL] Ergebnisse von Funktionen höherer Ordnung beheben
  • [SPARK-34840] [SHUFFLE] Behebt Fälle von Beschädigungen beim zusammengeführten Mischen…
  • [SPARK-34833] [SQL] Anwenden des richtigen Abstands rechts für korrelierte Unterabfragen
  • [SPARK-34630] [PYTHON][SQL] Typhinweis für pyspark.sql.Column.contains hinzugefügt
  • [SPARK-34763] [SQL] col(), $”name” und df(“name”) sollten Spaltennamen in Anführungszeichen richtig verarbeiten.
  • [SPARK-33482][SPARK-34756] [SQL] FileScan-Gleichheitsüberprüfung beheben
  • [SPARK-34790] [CORE] Abrufen von Shuffleblöcken im Batch deaktivieren, wenn io-Verschlüsselung aktiviert ist
  • [SPARK-34803] [PYSPARK] Ausgelösten ImportError übergeben, wenn für pandas oder pyarrow ein Fehler beim Import auftritt
  • [SPARK-34225] [CORE] Keine weitere Codierung vornehmen, wenn eine URI-Zeichenfolge an addFile oder addJar übergeben wird
  • [SPARK-34811] [CORE] „s.s3a.access.key“ wie Geheimnis und Token redigieren
  • [SPARK-34796] [SQL][3.1] Zählervariable für LIMIT-Codegenerierung in doProduce() initialisieren
  • [SPARK-34128] [SQL] Unerwünschte TTransportException-Warnungen im Zusammenhang mit THRIFT-4805 unterdrücken
  • [SPARK-34776] [SQL] Geschachtelte Spaltenbereinigung sollte keine vom Fenster erzeugten Attribute löschen
  • [SPARK-34087] [3.1][SQL] Arbeitsspeicherverlust von ExecutionListenerBus beheben
  • [SPARK-34772] [SQL] RebaseDateTime loadRebaseRecords sollte Spark-Classloader anstelle von Kontext verwenden
  • [SPARK-34719] [SQL][3.1] Ordnungsgemäßes Auflösen der Ansichtsabfrage mit doppelten Spaltennamen
  • [SPARK-34766] [SQL][3.1] Maven-Konfiguration für Ansichten nicht erfassen
  • [SPARK-34731] [CORE] ConcurrentModificationException beim Redigieren von Eigenschaften in EventLoggingListener vermeiden
  • [SPARK-34737] [SQL][3.1] Eingegebenen float-Wert in double-Wert in TIMESTAMP_SECONDS umwandeln
  • [SPARK-34749] [SQL][3.1] ResolveCreateNamedStruct vereinfachen
  • [SPARK-34768] [SQL] Standardmäßige Größe des Eingabepuffers in Univocity berücksichtigen
  • [SPARK-34770] [SQL] Bei InMemoryCatalog.tableExists sollte kein Fehler auftreten, wenn die Datenbank nicht vorhanden ist
  • [SPARK-34504] [SQL] Unnötiges Auflösen von temporären SQL-Sichten für DDL-Befehle vermeiden
  • [SPARK-34727] [SQL] Abweichung beim Umwandeln von float-Wert in timestamp-Wert beheben
  • [SPARK-34723] [SQL] Richtiger Parametertyp für die Eliminierung von Teilausdrücken in der gesamten Phase
  • [SPARK-34724] [SQL] Interpretierte Auswertung mithilfe von getMethod anstelle von getDeclaredMethod beheben
  • [SPARK-34713] [SQL] Korrektur der Gruppierung nach CreateStruct mit ExtractValue
  • [SPARK-34697] [SQL] Erläuterung zu || (Operator für Zeichenfolgenverkettung) durch DESCRIBE FUNCTION und SHOW FUNCTIONS zulassen
  • [SPARK-34682] [SQL] PrivateMethodTester anstelle von Reflexion verwenden
  • [SPARK-34682] [SQL] Regression in der Überprüfung auf Kanonisierungsfehler in CustomShuffleReaderExec beheben
  • [SPARK-34681] [SQL] Fehlerkorrektur für vollständigen äußeren gemischten Hashjoin, wenn die linke Seite mit einer Nicht-Gleichheitsbedingung erstellt wird
  • [SPARK-34545] [SQL] Probleme mit dem valueCompare-Feature von pyrolite beheben
  • [SPARK-34607] [SQL][3.1] Utils.isMemberClass hinzufügen, um einen Fehler durch nicht wohlgeformten Klassennamen für jdk8u zu beheben
  • [SPARK-34596] [SQL] Utils.getSimpleName verwenden, um zu vermeiden, dass falsch formatierter Klassenname in NewInstance.doGenCode getroffen wird
  • [SPARK-34613] Korrektur, dass Sicht nicht das Deaktivieren der Konfiguration des Hinweises erfasst
  • [SPARK-32924] [WEBUI] Spalte für Dauer auf der Master-Benutzeroberfläche in der richtigen Reihenfolge sortieren
  • [SPARK-34482] [SS] Aktives SparkSession für StreamExecution.logicalPlan korrigieren
  • [SPARK-34567] [SQL] CreateTableAsSelect sollte auch Metriken aktualisieren
  • [SPARK-34599] [SQL] Problem beheben, dass INSERT INTO OVERWRITE keine Partitionsspalten mit Punkt für DSv2 unterstützt
  • [SPARK-34577] [SQL] Löschen/Hinzufügen von Spalten aus einem bzw. zu einem Dataset von DESCRIBE NAMESPACE beheben
  • [SPARK-34584] [SQL] Statische Partition sollte beim Einfügen in v2-Tabellen auch StoreAssignmentPolicy folgen
  • [SPARK-34555] [SQL] Metadatenausgabe aus Datenrahmen auflösen
  • [SPARK-34534] Korrektur der blockIds-Reihenfolge beim Verwenden von FetchShuffleBlocks zum Abrufen von Blöcken
  • [SPARK-34547] [SQL] Metadatenspalten nur als letztes Mittel zur Auflösung verwenden
  • [SPARK-34417] [SQL] Fehler bei org.apache.spark.sql.DataFrameNaFunctions.fillMap, da Spaltenname einen Punkt enthält
  • [SPARK-34561] [SQL] Löschen/Hinzufügen von Spalten aus einem bzw. zu einem Dataset von v2 DESCRIBE TABLE beheben
  • [SPARK-34556] [SQL] Bei der Überprüfung doppelter statischer Partitionsspalten sollte die Groß- und Kleinschreibung in der Konfiguration beachtet werden
  • [SPARK-34392] [SQL] Unterstützung von ZoneOffset +h:mm in DateTimeUtils getZoneId
  • [SPARK-34550] [SQL] InSet-Nullwert beim Pushen des Filters in den Hive-Metastore überspringen
  • [SPARK-34543] [SQL] Beachten der spark.sql.caseSensitive-Konfiguration beim Auflösen der Partitionsspezifikation in v1 SET LOCATION
  • [SPARK-34436] [SQL] DPP-Unterstützung für LIKE ANY/ALL-Ausdrücke
  • [SPARK-34531] [CORE] Entfernen des experimentellen API-Tags in PrometheusServlet
  • [SPARK-34497] [SQL] Korrektur integrierter JDBC-Verbindungsanbieter zum Wiederherstellen von JVM-Sicherheitskontextänderungen
  • [SPARK-34515] [SQL] Korrektur von NPE, wenn InSet während getPartitionsByFilter NULL-Wert enthält
  • [SPARK-34490] [SQL] Bei der Analyse sollte ein Fehler auftreten, wenn die Sicht auf eine gelöschte Tabelle verweist
  • [SPARK-34473] [SQL] NPE in DataFrameReader.schema(StructType) vermeiden
  • [SPARK-34384] [CORE] Fehlende Dokumente für ResourceProfile-APIs hinzufügen
  • [SPARK-34373] [SQL] HiveThriftServer2 startWithContext könnte mit einer Racebedingung nicht mehr reagieren
  • [SPARK-20977] [CORE] Nicht endgültiges Feld für den Status von CollectionAccumulator verwenden
  • [SPARK-34421] [SQL] Auflösen temporärer Funktionen und Sichten in Sichten mit CTEs
  • [SPARK-34431] [CORE] Only load hive-site.xml once
  • [SPARK-34405] [CORE] Mittelwert von timersLabels in der PrometheusServlet-Klasse beheben
  • [SPARK-33438] [SQL] Vorzeitig Objekte mit definierten SQL-Konfigurationen für den Befehl set -v initialisieren
  • [SPARK-34158] Falsche URL des einzigen Entwicklers Matei in pom.xml
  • [SPARK-34346] [CORE][SQL][3.1] io.file.buffer.size (durch spark.buffer.size festgelegt) wird durch Laden von hive-site.xml versehentlich außer Kraft gesetzt, was möglicherweise zu einer Leistungsregression führt
  • [SPARK-34359] [SQL][3.1] Legacykonfiguration hinzufügen, um das Ausgabeschema von SHOW DATABASES wiederherzustellen
  • [SPARK-34331] [SQL] Auflösung der DS v2-Metadatenspalte beschleunigen
  • [SPARK-34318] [SQL][3.1] Dataset.colRegex sollte mit Spaltennamen und Qualifizierern funktionieren, die Zeilenvorschübe enthalten
  • [SPARK-34326] [CORE][SQL] UTs beheben, die in SPARK-31793 in Abhängigkeit der Länge des temporären Pfads hinzugefügt wurden
  • [SPARK-34319] [SQL] Doppelte Attribute für FlatMapCoGroupsInPandas/MapInPandas auflösen
  • [SPARK-34310] [CORE][SQL] Ersetzt „map“ und „flatten“ durch „flatMap“
  • [SPARK-34083] [SQL][3.1] Ursprüngliche TPCDS-Definitionen für char/varchar-Spalten verwenden
  • [SPARK-34233] [SQL][3.1] NPE für Zeichenauffüllung im Binärvergleich beheben
  • [SPARK-34270] [SS] Kombinieren von StateStoreMetrics sollte StateStoreCustomMetric nicht außer Kraft setzen
  • [SPARK-34144] [SQL] Ausnahme beim Versuch ausgelöst, LocalDate- und Instant-Werte in eine JDBC-Beziehung zu schreiben
  • [SPARK-34273] [CORE] BlockManager nicht erneut registrieren, wenn SparkContext beendet wird
  • [SPARK-34262] [SQL][3.1] Zwischengespeicherte Daten der v1-Tabelle in ALTER TABLE .. SET LOCATION aktualisieren
  • [SPARK-34275] [CORE][SQL][MLLIB] Ersetzt Filter und Größe durch Anzahl
  • [SPARK-34260] [SQL] UnresolvedException beim doppelten Erstellen einer temporären Sicht beheben
  • [SPARK-33867] [SQL] Instant- und LocalDate-Werte werden bei der Erstellung von SQL-Abfragen nicht behandelt
  • [SPARK-34193] [CORE] TorrentBroadcast-Block-Manager: Außerbetriebsetzung von Racekorrektur
  • [SPARK-34221] [WEBUI] Stellen Sie sicher, dass die entsprechende Fehlermeldung ordnungsgemäß angezeigt werden kann, wenn bei einer Phase auf der Benutzeroberflächenseite ein Fehler auftritt
  • [SPARK-34236] [SQL] v2-Überschreibung mit statischer NULL-Partitionserhöhung beheben: Ausdruck kann nicht in Quellfilter übersetzt werden: Null
  • [SPARK-34212] [SQL] Fehlerhaftes Lesen von Dezimalzahlen aus Parquet-Dateien beheben
  • [SPARK-34244] [SQL] Scala-Funktionsversion von regexp_extract_all entfernen
  • [SPARK-34235] [SS] „spark.sql.hive“ als privates Paket erstellen
  • [SPARK-34232] [CORE] SparkListenerEnvironmentUpdate-Ereignis in Protokoll redigieren
  • [SPARK-34229] [SQL] Avro sollte Dezimalwerte mit dem Dateischema lesen
  • [SPARK-34223] [SQL] NPE für statische Partition mit Null in InsertIntoHadoopFsRelationCommand beheben
  • [SPARK-34192] [SQL] Zeichenauffüllung auf die Schreibseite verschieben und Längenüberprüfung auch auf der Leseseite entfernen
  • [SPARK-34203] [SQL] null-Partitionswerte in __HIVE_DEFAULT_PARTITION__ im v1 In-Memory-Katalog konvertieren
  • [SPARK-33726] [SQL] Korrektur für doppelte Feldnamen während der Aggregation
  • [SPARK-34133] [AVRO] Groß- und Kleinschreibung beim Abgleich von Catalyst-zu-Avro-Feldern beachten
  • [SPARK-34187] [SS] Verfügbaren Offsetbereich verwenden, der bei der Abfrage zur Überprüfung der Offsetvalidierung ermittelt wurde
  • [SPARK-34052] [SQL][3.1] SQL-Text für eine mit Folgendem erstellte temporäre Sicht speichern: „CACHE TABLE .. AS SELECT …“
  • [SPARK-34213] [SQL] Zwischengespeicherte Daten der v1-Tabelle in LOAD DATA aktualisieren
  • [SPARK-34191] [PYTHON][SQL] Typisierung für udf-Überlast hinzufügen
  • [SPARK-34200] [SQL] Mehrdeutiger Spaltenverweis sollte die Verfügbarkeit von Attributen berücksichtigen
  • [SPARK-33813] [SQL][3.1] Behebung des Problems, dass die JDBC-Quelle die räumlichen Typen von MS SQL Server nicht verarbeiten kann
  • [SPARK-34178] [SQL] Tags für den neuen Knoten kopieren, der von MultiInstanceRelation.newInstance erstellt wurde
  • [SPARK-34005] [CORE][3.1] Spitzenspeichermetriken für jeden Executor am Taskende aktualisieren
  • [SPARK-34115] [CORE] SPARK_TESTING als verzögerten Wert überprüfen, um eine Verlangsamung zu vermeiden
  • [SPARK-34153] [SQL][3.1][3.0] Nicht verwendete getRawTable() aus HiveExternalCatalog.alterPartitions() entfernen
  • [SPARK-34130] [SQL] Leistung für char varchar-Auffüllung und Längenüberprüfung mit StaticInvoke verbessern
  • [SPARK-34027] [SQL][3.1] Cache in ALTER TABLE .. RECOVER PARTITIONS aktualisieren
  • [SPARK-34151] [SQL] Ersetzt java.io.File.toURL durch java.io.File.toURI.toURL
  • [SPARK-34140] [SQL][3.1] „QueryCompilationErrors.scala“ nach „org/apache/spark/sql/errors“ verschieben
  • [SPARK-34080] [ML][PYTHON] UnivariateFeatureSelector hinzufügen
  • [SPARK-33790] [CORE][3.1] RPC-Aufruf von getFileStatus in SingleFileEventLogFileReader verringern
  • [SPARK-34118] [CORE][SQL][3.1] Ersetzt den Filter und prüft mit exists oder forall, ob er leer ist
  • [SPARK-34114] [SQL] Sollte für die Prüfung der Länge von Zeichen auf der Leseseite und für das Auffüllen nicht rechts abschneiden
  • [SPARK-34086] [SQL][3.1] RaiseError generiert zu viel Code und führt möglicherweise bei der Längenprüfung der Codegenerierung für char varchar zu einem Fehler
  • [SPARK-34075] [SQL][CORE] Ausgeblendete Verzeichnisse werden für den Partitionsrückschluss aufgelistet
  • [SPARK-34076] [SQL] Bei SQLContext.dropTempTable tritt ein Fehler auf, wenn der Cache nicht leer ist
  • [SPARK-34084] [SQL][3.1] Automatische Aktualisierung der Tabellenstatistiken in ALTER TABLE .. ADD PARTITION beheben
  • [SPARK-34090] [SS] HadoopDelegationTokenManager.isServiceEnabled-Ergebnis zwischenspeichern, das in KafkaTokenUtil.needTokenUpdate verwendet wurde
  • [SPARK-34069] [CORE] Beenden von Barrieretasks sollte SPARK_JOB_INTERRUPT_ON_CANCEL berücksichtigen
  • [SPARK-34091] [SQL] Shufflebatchabruf sollte deaktiviert werden können, nachdem er aktiviert wurde
  • [SPARK-34059] [SQL][CORE][3.1] Verwendung von „for/foreach“ anstelle von „map“, um sicherzustellen, dass es vorzeitig ausgeführt wird
  • [SPARK-34002] [SQL] Verwendung des Encoders in ScalaUDF beheben
  • [SPARK-34060] [SQL][3.1] Zwischenspeichern von Hive-Tabelle beim Aktualisieren von Statistiken durch ALTER TABLE .. DROP PARTITION beheben
  • [SPARK-31952] [SQL] Falsche Metrik für Arbeitsspeicherüberlauf beim Aggregieren beheben
  • [SPARK-33591] [SQL][3.1] null in Partitionsspezifikationswerten erkennen
  • [SPARK-34055] [SQL][3.1] Cache in ALTER TABLE .. ADD PARTITION aktualisieren
  • [SPARK-34039] [SQL][3.1] ReplaceTable sollte den Cache für ungültig erklären
  • [SPARK-34003] [SQL] Regelkonflikte zwischen PaddingAndLengthCheckForCharVarchar und ResolveAggregateFunctions beheben
  • [SPARK-33938] [SQL][3.1] Like Any/All durch LikeSimplification optimieren
  • [SPARK-34021] [R] Hyperlinks in SparkR-Dokumentation für CRAN-Übermittlung beheben
  • [SPARK-34011] [SQL][3.1][3.0] Cache in ALTER TABLE .. RENAME TO PARTITION aktualisieren
  • [SPARK-33948] [SQL] CodeGen-Fehler der MapObjects.doGenCode-Methode in Scala 2.13 beheben
  • [SPARK-33635] [SS] Reihenfolge der Überprüfung in KafkaTokenUtil.needTokenUpdate anpassen, um die Leistungsregression zu beheben
  • [SPARK-33029] [CORE][WEBUI] Executorseite der Benutzeroberfläche beheben, die den Treiber fälschlicherweise als ausgeschlossen markiert
  • [SPARK-34015] [R] Eingabezeitsteuerung in gapply beheben
  • [SPARK-34012] [SQL] Konsistentes Verhalten bewahren, wenn die Konfiguration spark.sql.legacy.parser.havingWithoutGroupByAsWhere mit Migrationsleitfaden „true“ ergibt
  • [SPARK-33844] [SQL][3.1] InsertIntoHiveDir-Befehl muss auch den Spaltennamen überprüfen
  • [SPARK-33935] [SQL] CBO-Kostenfunktion beheben
  • [SPARK-33100] [SQL] Semikolon innerhalb eines Kommentars in Klammern in spark-sql ignorieren
  • [SPARK-34000] [CORE] stageAttemptToNumSpeculativeTasks java.util.NoSuchElementException beheben
  • [SPARK-33992] [SQL] Außerkraftsetzung von transformUpWithNewOutput zum Hinzufügen von allowInvokingTransformsInAnalyzer
  • [SPARK-33894] [SQL] Sichtbarkeit von privaten Fallklassen in mllib ändern, um Kompilierungsfehler zur Laufzeit mit Scala 2.13 zu vermeiden
  • [SPARK-33950] [SQL][3.1][3.0] Cache in v1 ALTER TABLE .. DROP PARTITION aktualisieren
  • [SPARK-33980] [SS] „char/varchar“ in spark.readStream.schema für ungültig erklären
  • [SPARK-33945] [SQL][3.1] Verarbeitet einen zufälligen Seed, der aus einer expr-Struktur besteht
  • [SPARK-33398] Laden der Strukturmodelle vor Spark 3.0 beheben
  • [SPARK-33963] [SQL] HiveTableRelation ohne Tabellenstatistiken in kanonische Form bringen
  • [SPARK-33906] [WEBUI] Fehler der Executorseite der Benutzeroberfläche beheben, die aufgrund nicht definierter peakMemoryMetrics hängen bleibt
  • [SPARK-33944] [SQL] Falsche Protokollierung für Warehouseschlüssel in SharedState-Optionen
  • [SPARK-33936] [SQL][3.1] Version hinzufügen, wann die Schnittstellen des Connectors hinzugefügt wurden
  • [SPARK-33916] [CORE] Fallbackspeicheroffset beheben und Testabdeckung des Komprimierungscodecs verbessern
  • [SPARK-33899] [SQL][3.1] Assertionsfehler in v1 SHOW TABLES/VIEWS für spark_catalog beheben
  • [SPARK-33901] [SQL] Char- und Varchar-Anzeigefehler nach DDLs beheben
  • [SPARK-33897] [SQL] Option „cross“ kann in join-Methode nicht festgelegt werden
  • [SPARK-33907] [SQL][3.1] Spalten von JsonToStructs werden nur gelöscht, wenn die Analyseoptionen leer sind
  • [SPARK-33621][SPARK-33784] [SQL][3.1] Möglichkeit zum Einschleusen von Regeln zum erneuten Generieren von Datenquellen hinzufügen
  • [SPARK-33900] [WEBUI] Shuffle-Lesegröße/-Datensätze ordnungsgemäß anzeigen, wenn nur remotebytesread verfügbar ist
  • [SPARK-33892] [SQL] Anzeige von char/varchar in DESC und SHOW CREATE TABLE
  • [SPARK-33895] [SQL] Char und Varchar führen in MetaOperation von ThriftServer zu einem Fehler
  • [SPARK-33659] [SS] Aktuelles Verhalten für DataStreamWriter.toTable-API dokumentieren
  • [SPARK-33893] [CORE] Fallback-Block-Manager aus executorList ausschließen
  • [SPARK-33277] [PYSPARK][SQL] ContextAwareIterator zum Beenden des Verbrauchs nach Taskende verwenden
  • [SPARK-33889] [SQL][3.1] NPE von SHOW PARTITIONS in V2-Tabellen beheben
  • [SPARK-33879] [SQL] Übereinstimmungsfehler bei Char Varchar-Werten als Partitionsspalten
  • [SPARK-33877] [SQL] SQL-Referenzdokumente für INSERT mit einer Spaltenliste
  • [SPARK-33876] [SQL] Längenüberprüfung zum Lesen von char/varchar aus Tabellen mit einem externen Speicherort hinzufügen
  • [SPARK-33846] [SQL] Kommentare für ein geschachteltes Schema in StructType.toDDL einschließen
  • [SPARK-33860] [SQL] CatalystTypeConverters.convertToCatalyst auf einen speziellen Array-Wert abstimmen
  • [SPARK-33834] [SQL] ALTER TABLE CHANGE COLUMN mit Char und Varchar überprüfen
  • [SPARK-33853] [SQL] EXPLAIN CODEGEN und BenchmarkQueryTest zeigen keinen Unterabfragecode an
  • [SPARK-33836] [SS][PYTHON] DataStreamReader.table und DataStreamWriter.toTable verfügbar machen
  • [SPARK-33829] [SQL][3.1] Umbenennen von v2-Tabellen sollte den Cache wiederherstellen
  • [SPARK-33756] [SQL] MapIterator von BytesToBytesMap als idempotent festlegen
  • [SPARK-33850] [SQL] EXPLAIN FORMATTED zeigt den Plan für Unterabfragen nicht an, wenn AQE aktiviert ist
  • [SPARK-33841] [CORE][3.1] Problem beheben, bei dem Aufträge zeitweilig bei hoher Last aus dem SHS entfernt wurden
  • [SPARK-33593] [SQL] Vektorleser hat falsche Daten mit binärem Partitionswert erhalten
  • [SPARK-26341] [WEBUI] Verfügbar machen von Executor-Arbeitsspeichermetriken auf Stufenebene auf der Registerkarte „Stufen“
  • [SPARK-33831] [UI] Update auf jetty 9.4.34
  • [SPARK-33822] [SQL] CastSupport.cast-Methode in HashJoin verwenden
  • [SPARK-33774] [UI][CORE] „Back to Master“ gibt Fehler 500 im eigenständigen Cluster zurück
  • [SPARK-26199][SPARK-31517] [R] Strategie für Verarbeitung von Folgendem beheben… Namen in Mutierung
  • [SPARK-33819] [CORE][3.1] SingleFileEventLogFileReader/RollingEventLogFilesFileReader sollte package private sein
  • [SPARK-33697] [SQL] RemoveRedundantProjects sollte standardmäßig eine Spaltenreihenfolge erfordern
  • [SPARK-33752] [SQL][3.1] Vermeiden Sie, dass getSimpleMessage von AnalysisException wiederholt ein Semikolon hinzufügt
  • [SPARK-33788] [SQL][3.1][3.0][2.4] NoSuchPartitionsException von HiveExternalCatalog.dropPartitions() auslösen
  • [SPARK-33803] [SQL] Tabelleneigenschaften nach Schlüssel im Befehl DESCRIBE TABLE sortieren
  • [SPARK-33786] [SQL] Die Speicherebene für einen Cache sollte beachtet werden, wenn ein Tabellenname geändert wird
  • [SPARK-33273] [SQL] Racebedingung bei der Ausführung von Unterabfragen beheben
  • [SPARK-33653] [SQL][3.1] DSv2: REFRESH TABLE sollte die Tabelle selbst erneut zwischenspeichern
  • [SPARK-33777] [SQL] Ausgabe von V2 SHOW PARTITIONS sortieren
  • [SPARK-33733] [SQL] PullOutNondeterministic sollte das deterministische Feld überprüfen und sammeln
  • [SPARK-33764] [SS] Wartungsintervall für Zustandsspeicher als SQL-Konfiguration festlegen
  • [SPARK-33729] [SQL] Beim Aktualisieren des Caches sollte Spark beim erneuten Zwischenspeichern von Daten keinen zwischengespeicherten Plan verwenden
  • [SPARK-33742] [SQL][3.1] PartitionsAlreadyExistException von HiveExternalCatalog.createPartitions() auslösen
  • [SPARK-33706] [SQL] Vollständig angegebener Partitionsbezeichner in partitionExists() erforderlich
  • [SPARK-33740] [SQL] Hadoop-Konfigurationen in hive-site.xml können bereits vorhandene Hadoop-Konfigurationen außer Kraft setzen
  • [SPARK-33692] [SQL] Die Sicht sollte den erfassten Katalog und Namespace verwenden, um die Funktion zu suchen
  • [SPARK-33669] Falsche Fehlermeldung vom YARN-Anwendungszustandsmonitor, wenn sc.stop im Yarn-Clientmodus ausgeführt wird
  • [SPARK-32110] [SQL] Spezielle Gleitkommazahlen in HyperLogLog++ normalisieren
  • [SPARK-33677] [SQL] LikeSimplification-Regel überspringen, wenn Muster ein EscapeChar enthält
  • [SPARK-33693] [SQL] „spark.sql.hive.convertCTAS“ als veraltet kennzeichnen
  • [SPARK-33641] [SQL] Ungültige neue char/varchar-Typen in öffentlichen APIs, die falsche Ergebnisse erzeugen
  • [SPARK-32680] [SQL] V2 CTAS nicht mit nicht aufgelöster Abfrage vorverarbeiten
  • [SPARK-33676] [SQL] Genaue Übereinstimmung der Partitionsspezifikation mit dem Schema in V2 ALTER TABLE .. ADD/DROP PARTITION erforderlich
  • [SPARK-33670] [SQL] Stellen Sie sicher, dass der Partitionsanbieter in v1 SHOW TABLE EXTENDED Hive ist
  • [SPARK-33663] [SQL] Aufheben der Zwischenspeicherung sollte nicht bei nicht vorhandenen temporären Sichten aufgerufen werden
  • [SPARK-33667] [SQL] Beachten der spark.sql.caseSensitive-Konfiguration beim Auflösen der Partitionsspezifikation in v1 SHOW PARTITIONS
  • [SPARK-33652] [SQL] DSv2: DeleteFrom sollte den Cache aktualisieren

Wartungsupdates

Weitere Informationen finden Sie unter Databricks Runtime 9.0-Wartungsupdates.

Systemumgebung

  • Betriebssystem: Ubuntu 20.04.2 LTS
  • Java: Zulu 8.54.0.21-CA-linux64
  • Scala: 2.12.10
  • Python: 3.8.10
  • R: 4.1.0 (2021-05-18)
  • Delta Lake 1.0.0

Installierte Python-Bibliotheken

Bibliothek Version Bibliothek Version Bibliothek Version
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 certifi 2020.12.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 distlib 0.3.2
distro-info 0.23ubuntu1 facets-overview 1.0.0 filelock 3.0.12
idna 2.10 ipykernel 5.3.4 ipython 7.22.0
ipython-genutils 0.2.0 jedi 0.17.2 jmespath 0.10.0
joblib 1.0.1 jupyter-client 6.1.12 jupyter-core 4.7.1
kiwisolver 1.3.1 koalas 1.8.1 matplotlib 3.4.2
numpy 1.19.2 Pandas 1.2.4 parso 0.7.0
patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
Pillow 8.2.0 pip 21.0.1 plotly 4.14.3
prompt-toolkit 3.0.17 protobuf 3.17.2 psycopg2 2.8.5
ptyprocess 0.7.0 pyarrow 4.0.0 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 python-apt 2.0.0+ubuntu0.20.4.5
Python-dateutil 2.8.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 retrying 1.3.3
s3transfer 0.3.7 scikit-learn 0.24.1 scipy 1.6.2
seaborn 0.11.1 setuptools 52.0.0 sechs 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0,1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
wheel 0.36.2

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Microsoft CRAN-Momentaufnahme am 28.07.2021 installiert.

Bibliothek Version Bibliothek Version Bibliothek Version
askpass 1.1 assertthat 0.2.1 backports 1.2.1
base 4.1.0 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 Blob 1.2.1
boot 1.3-28 brew 1.0-6 brio 1.1.0
broom 0.7.2 callr 3.5.1 caret 6.0-86
cellranger 1.1.0 chron 2.3-56 class 7.3-19
cli 2.2.0 clipr 0.7.1 cluster 2.1.2
codetools 0.2-18 colorspace 2.0-0 commonmark 1.7
compiler 4.1.0 config 0,3 covr 3.5.1
cpp11 0.2.4 crayon 1.3.4 Anmeldeinformationen 1.3.0
crosstalk 1.1.0.1 curl 4.3 data.table 1.13.4
datasets 4.1.0 DBI 1.1.0 dbplyr 2.0.0
desc 1.2.0 devtools 2.3.2 diffobj 0.3.2
digest 0.6.27 dplyr 1.0.2 DT 0.16
ellipsis 0.3.1 Evaluieren 0.14 fansi 0.4.1
farver 2.0.3 fastmap 1.0.1 forcats 0.5.0
foreach 1.5.1 foreign 0.8-81 forge 0.2.0
fs 1.5.0 future 1.21.0 generics 0.1.0
gert 1.0.2 ggplot2 3.3.2 gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globals 0.14.0
glue 1.4.2 gower 0.2.2 Grafiken 4.1.0
grDevices 4.1.0 grid 4.1.0 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 haven 2.3.1
highr 0,8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.3 iterators 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-20 knitr 1.30
labeling 0.4.2 later 1.1.0.1 lattice 0.20-44
lava 1.6.8.1 lazyeval 0.2.2 Lebenszyklus 0.2.0
listenv 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
markdown 1.1 MASS 7.3-54 Matrix 1.3-4
memoise 1.1.0 methods 4.1.0 mgcv 1.8-36
mime 0.9 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-16
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.1.0
parallelly 1.22.0 pillar 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 praise 1.0.0 prettyunits 1.1.1
pROC 1.16.2 processx 3.4.5 prodlim 2019.11.13
Fortschritt 1.2.2 promises 1.1.1 proto 1.0.0
ps 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 recipes 0.1.15
rematch 1.0.1 rematch2 2.1.2 remotes 2.2.0
reprex 0.3.0 reshape2 1.4.4 rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-8 RSQLite 2.2.1 rstudioapi 0,13
rversions 2.0.2 rvest 0.3.6 scales 1.1.1
selectr 0.4-2 sessioninfo 1.1.1 shape 1.4.5
shiny 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.1 spatial 7.3-11 splines 4.1.0
sqldf 0.4-11 SQUAREM 2020.5 stats 4.1.0
stats4 4.1.0 stringi 1.5.3 stringr 1.4.0
survival 3.2-11 sys 3.4 tcltk 4.1.0
TeachingDemos 2,10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0.28 tools 4.1.0
usethis 2.0.0 utf8 1.1.4 utils 4.1.0
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
waldo 0.2.3 whisker 0,4 withr 2.3.0
xfun 0,19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 zip 2.1.1

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)

Gruppen-ID Artefakt-ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-marketplacecommerceanalytics 1.11.655
com.amazonaws aws-java-sdk-marketplacemeteringservice 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics Datenstrom 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,10
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Sammlung 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-2.7 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks9
org.apache.parquet parquet-common 1.10.1-databricks9
org.apache.parquet parquet-encoding 1.10.1-databricks9
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.36.v20210114
org.eclipse.jetty jetty-continuation 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty jetty-plus 9.4.36.v20210114
org.eclipse.jetty jetty-proxy 9.4.36.v20210114
org.eclipse.jetty jetty-security 9.4.36.v20210114
org.eclipse.jetty jetty-server 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty jetty-webapp 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,30
org.glassfish.jersey.containers jersey-container-servlet-core 2,30
org.glassfish.jersey.core jersey-client 2,30
org.glassfish.jersey.core jersey-common 2,30
org.glassfish.jersey.core jersey-server 2,30
org.glassfish.jersey.inject jersey-hk2 2,30
org.glassfish.jersey.media jersey-media-jaxb 2,30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52