Delen via

Databricks Runtime 11.0 (EoS)

  • Artikel

Notitie

Ondersteuning voor deze Databricks Runtime-versie is beëindigd. Zie de geschiedenis van einde van ondersteuning voor de einddatum van de ondersteuning. Zie de releaseversies en compatibiliteit van Databricks Runtime voor alle ondersteunde Databricks Runtime-versies.

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 11.0, mogelijk gemaakt door Apache Spark 3.3.0. Databricks heeft deze versie uitgebracht in juni 2022.

Nieuwe functies en verbeteringen

Nieuwe versie van Apache Spark

Databricks Runtime 11.0 en Databricks Runtime 11.0 Photon bevatten Apache Spark 3.3.0. Zie Apache Spark voor meer informatie.

Python-notebooks gebruiken nu de IPython-kernel

In Databricks Runtime 11.0 en hoger gebruiken Python-notebooks de IPython-kernel om Python-code uit te voeren. Zie IPython-kernel.

Ondersteuning voor ipywidgets

U kunt nu ipywidgets gebruiken om uw Databricks Python-notebooks interactief te maken. Zie ipywidgets.

Synapse-connector schrijft nu Parquet-gegevens in de niet-verouderde modus

De Azure Synapse-connector schrijft nu Parquet-gegevens in de niet-verouderde modus. De tijdstempelindeling INT96 blijft behouden wanneer u PolyBase en COPY opdrachten gebruikt voor zowel batch- als streamingworkloads.

HTTPS-schema wordt nu afgedwongen wanneer de ABFS-client gebruikmaakt van een SAS-token

Wanneer de ABFS-client (Azure Blob File System) een SAS-token (Shared Access Signature) gebruikt, wordt het HTTPS-schema nu afgedwongen.

SQL: DESC is nu een alias voor DESCRIBE

U kunt nu als alias gebruiken DESC wanneer DESCRIBE u externe locaties of opslagreferenties beschrijft. Voorbeeld:

-- Describe an external location.
DESC EXTERNAL LOCATION location_name;

-- Describe a storage credential.
DESC STORAGE CREDENTIAL credential_name;

SQL: Nieuwe current_version functie voert versiegegevens uit

De nieuwe current_version functie voert de huidige Databricks Runtime-versie uit, indien beschikbaar, de huidige Databricks SQL-versie, indien beschikbaar, en andere gerelateerde versiedetails. Gebruik deze nieuwe functie om query's uit te voeren op versiegerelateerde informatie. Zie current_version functie.

Als u een ontbrekende Delta-tabelbeperking weglaten, wordt er nu een fout gegenereerd

Als u nu probeert een Delta-tabelbeperking op naam te verwijderen en deze beperking niet bestaat, krijgt u een foutmelding. Als u het vorige gedrag wilt ophalen, waardoor er geen fout wordt gegenereerd als de beperking niet bestaat, moet u nu de IF EXISTS instructie gebruiken. Zie ALTER TABLE.

SQL: Nieuwe EXCEPT component in instructie SELECT sluit kolommen uit van selectie

SELECT instructies ondersteunen nu de EXCEPT component om kolommen uit te sluiten van selectie. Retourneert bijvoorbeeld SELECT * EXCEPT (x) FROM table alle tablekolommen, behalve x. Geneste kolommen zijn ook toegestaan. Retourneert bijvoorbeeld SELECT * EXCEPT (x.a) FROM table alle tablekolommen, maar laat het veld a weg uit de struct x.

Ondersteuning voor het verwijderen van kolommen in Delta-tabellen (openbare preview)

U kunt respectievelijk een kolom of een lijst met kolommen uit een Delta-tabel gebruiken ALTER TABLE <table-name> DROP COLUMN [IF EXISTS] <column-name> of ALTER TABLE <table-name> DROP COLUMNS [IF EXISTS] (<column-name>, *) verwijderen als bewerking met alleen metagegevens. De kolommen zijn effectief 'voorlopig verwijderd', omdat ze zich nog in de onderliggende Parquet-bestanden bevinden, maar niet meer zichtbaar zijn voor de Delta-tabel.

U kunt REORG TABLE <table-name> APPLY (PURGE) een bestand opnieuw schrijven activeren op de bestanden die voorlopig verwijderde gegevens bevatten, zoals verwijderde kolommen.

U kunt VACUUM de verwijderde bestanden verwijderen uit de fysieke opslag, inclusief de oude bestanden die verwijderde kolommen bevatten en zijn herschreven door REORG TABLE.

COPY INTO Verbeteringen

U kunt nu lege tijdelijke aanduidingen voor Delta-tabellen maken, zodat het schema later wordt afgeleid tijdens een COPY INTO opdracht:

CREATE TABLE IF NOT EXISTS my_table
[COMMENT <table-description>]
[TBLPROPERTIES (<table-properties>)];

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true');

De voorgaande SQL-instructie is idempotent en kan worden gepland om gegevens exact eenmaal op te nemen in een Delta-tabel.

Notitie

De lege Delta-tabel is niet bruikbaar buiten COPY INTO. U kunt geen gegevens gebruiken INSERT INTO en MERGE INTO schrijven in deltatabellen met een schemaloze indeling. Nadat gegevens in de tabel zijn ingevoegd, COPY INTOis de tabel doorzoekbaar.

Als de gegevens die u opneemt, niet kunnen worden gelezen vanwege een probleem met beschadiging, kunt u beschadigde bestanden overslaan door in het volgende in te true FORMAT_OPTIONSstellenignoreCorruptFiles:

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('ignoreCorruptFiles' = 'true')

De COPY INTO opdracht retourneert het aantal bestanden dat is overgeslagen vanwege beschadiging in de num_skipped_corrupt_files kolom. Deze metrische waarde wordt ook weergegeven in de operationMetrics kolom onder numSkippedCorruptFiles nadat u op de Delta-tabel hebt uitgevoerd DESCRIBE HISTORY .

Beschadigde bestanden worden niet bijgehouden door COPY INTO, zodat ze opnieuw kunnen worden geladen in een volgende uitvoering als de beschadiging is opgelost. U kunt zien welke bestanden beschadigd zijn door in VALIDATE de modus uit te voerenCOPY INTO.

CONVERT TO DELTA wordt nu ondersteund in omgevingen met Unity Catalog (openbare preview)

In omgevingen met CONVERT TO DELTA Unity-catalogus kunt u nu:

  • Converteer Parquet-bestanden op externe locaties naar Delta Lake.
  • Converteer externe Parquet-tabellen naar Delta-tabellen.

Gedragswijzigingen

SQL: lpad en rpad functies ondersteunen nu bytereeksen

De functies lpad en rpad zijn bijgewerkt om ondersteuning voor bytereeksen toe te voegen, naast tekenreeksen.

Tekenreeksindeling in format_string en printf is niet langer toegestaan %0$

Als u de indeling %0$ in de format_string en printf functies opgeeft, wordt er standaard een fout gegenereerd. Deze wijziging is om verwacht gedrag te behouden met eerdere versies van de Databricks Runtime en algemene databases van derden. Het eerste argument moet altijd verwijzen %1$ wanneer u een argumentindex gebruikt om de positie van het argument in de lijst met argumenten aan te geven.

Null-waarden in CSV-bestanden worden nu standaard geschreven als lege tekenreeksen zonder aanhalingstekens

Null-waarden in CSV-bestanden zijn eerder geschreven als lege tekenreeksen tussen aantekeningen. Met deze release worden null-waarden in CSV-bestanden standaard geschreven als niet-aanhalingstekenreeksen. Als u wilt terugkeren naar het vorige gedrag, stelt u de nullValue optie "" in op schrijfbewerkingen.

De tabeleigenschap external is nu gereserveerd

De eigenschap external is nu standaard een gereserveerde tabeleigenschap. Er worden nu uitzonderingen gegenereerd wanneer u de external eigenschap met de CREATE TABLE ... TBLPROPERTIES en ALTER TABLE ... SET TBLPROPERTIES componenten gebruikt.

Log4j wordt bijgewerkt van Log4j 1 naar Log4j 2

Log4j 1 wordt bijgewerkt naar Log4j 2. Verouderde Log4j 1-afhankelijkheden worden verwijderd.

Als u afhankelijk bent van de Log4j 1-klassen die eerder zijn opgenomen in de Databricks Runtime, bestaan deze klassen niet meer. U moet uw afhankelijkheden upgraden naar Log4j 2.

Als u aangepaste invoegtoepassingen of configuratiebestanden hebt die afhankelijk zijn van Log4j 2, werken ze mogelijk niet meer met de versie van Log4j 2 in deze release. Neem voor hulp contact op met uw Azure Databricks-accountteam.

Bibliotheken die vanuit Maven zijn geïnstalleerd, worden nu standaard opgelost in uw rekenvlak

Maven-bibliotheken worden nu standaard omgezet in uw rekenvlak wanneer u bibliotheken in een cluster installeert. U moet toegang hebben tot Maven Central. U kunt ook terugkeren naar het vorige gedrag door de Spark-configuratie-eigenschap in te stellen:

spark.databricks.libraries.enableMavenResolution false

Bugfixes

  • Binaire compatibiliteit voor LeafNode, UnaryNodeen BinaryNode tussen Apache Spark en de Databricks Runtime is opgelost en de klassen zijn nu compatibel met Apache Spark 3.3.0 en hoger. Als u het volgende of vergelijkbare bericht tegenkomt wanneer u een pakket van derden gebruikt met de Databricks Runtime, bouwt u het pakket opnieuw op met Apache Spark 3.3.0 of hoger: Found interface org.apache.spark.sql.catalyst.plans.logical.UnaryNode, but class was expected

Bibliotheekupgrades

  • Bijgewerkte Python-bibliotheken:
    • platformdirs van 2.5.1 tot 2.5.2
    • protobuf van 3.20.0 tot 3.20.1
  • Bijgewerkte R-bibliotheken:
    • blob van 1.2.2 tot 1.2.3
    • bezem van 0.7.12 tot 0.8.0
    • caret van 6,0-91 tot 6,0-92
    • cli van 3.2.0 naar 3.3.0
    • dplyr van 1.0.8 tot 1.0.9
    • toekomst van 1.24.0 tot 1.25.0
    • future.apply from 1.8.1 to 1.9.0
    • gert van 1.5.0 tot 1.6.0
    • ggplot2 van 3.3.5 tot 3.3.6
    • glmnet van 4.1-3 tot 4.1-4
    • haven van 2.4.3 tot 2.5.0
    • httr van 1.4.2 tot 1.4.3
    • breisel van 1,38 tot 1,39
    • magrittr van 2.0.2 tot 2.0.3
    • parallel van 1.30.0 tot 1.31.1
    • ps van 1.6.0 tot 1.7.0
    • RColorBrewer van 1.1-2 tot 1.1-3
    • RcppEigen van 0.3.3.9.1 tot 0.3.3.9.2
    • readxl van 1.3.1 tot 1.4.0
    • rmarkdown van 2.13 tot 2.14
    • rprojroot van 2.0.2 tot 2.0.3
    • RSQLite van 2.2.11 tot 2.2.13
    • schaalt van 1.1.1 tot 1.2.0
    • testthat van 3.1.2 tot 3.1.4
    • tibble van 3.1.6 tot 3.1.7
    • tinytex van 0,37 tot 0,38
    • tzdb van 0.2.0 tot 0.3.0
    • uuid van 1,0-4 tot 1,1-0
    • vctrs van 0.3.8 tot 0.4.1
  • Bijgewerkte Java-bibliotheken:
    • com.fasterxml.jackson.core.jackson-aantekeningen van 2.13.0 tot 2.13.3
    • com.fasterxml.jackson.core.jackson-core van 2.13.0 tot 2.13.3
    • com.fasterxml.jackson.core.jackson-databind van 2.13.0 tot 2.13.3
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor van 2.13.0 tot 2.13.3
    • com.fasterxml.jackson.datatype.jackson-datatype-joda van 2.13.0 tot 2.13.3
    • com.fasterxml.jackson.module.jackson-module-paranamer van 2.13.0 tot 2.13.3
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 van 2.13.0 tot 2.13.3
    • com.google.crypto.tink.tink van 1.6.0 tot 1.6.1
    • com.ning.compress-lzf van 1.0.3 tot 1.1
    • dev.ondernemerschap.netlib.arpack van 2.2.0 tot 2.2.1
    • dev.verhuisde.netlib.blas van 2.2.0 tot 2.2.1
    • dev.verhuisde.netlib.lapack van 2.2.0 tot 2.2.1
    • io.netty.netty-all van 4.1.73.Final tot 4.1.74.Final
    • io.netty.netty-buffer van 4.1.73.Final tot 4.1.74.Final
    • io.netty.netty-codec van 4.1.73.Final tot 4.1.74.Final
    • io.netty.netty-common van 4.1.73.Final tot 4.1.74.Final
    • io.netty.netty-handler van 4.1.73.Final tot 4.1.74.Final
    • io.netty.netty-resolver van 4.1.73.Final tot 4.1.74.Final
    • io.netty.netty-tcnative-classes van 2.0.46.Final tot 2.0.48.Final
    • io.netty.netty-transport van 4.1.73.Final tot 4.1.74.Final
    • io.netty.netty-transport-classes-epoll van 4.1.73.Final tot 4.1.74.Final
    • io.netty.netty-transport-classes-kqueue van 4.1.73.Final tot 4.1.74.Final
    • io.netty.netty-transport-native-epoll-linux-aarch_64 van 4.1.73.Final tot 4.1.74.Final
    • io.netty.netty-transport-native-epoll-linux-x86_64 van 4.1.73.Final tot 4.1.74.Final
    • io.netty.netty-transport-native-kqueue-osx-aarch_64 van 4.1.73.Final tot 4.1.74.Final
    • io.netty.netty-transport-native-kqueue-osx-x86_64 van 4.1.73.Final tot 4.1.74.Final
    • io.netty.netty-transport-native-unix-common van 4.1.73.Final tot 4.1.74.Final
    • joda-time.joda-time van 2.10.12 tot 2.10.13
    • org.apache.commons.commons-math3 van 3.4.1 tot 3.6.1
    • org.apache.httpcomponents.httpcore van 4.4.12 tot 4.4.14
    • org.apache.orc.orc-core van 1.7.3 tot 1.7.4
    • org.apache.orc.orc-mapreduce van 1.7.3 tot 1.7.4
    • org.apache.orc.orc-shims van 1.7.3 tot 1.7.4
    • org.eclipse.jetty.jetty-client van 9.4.43.v20210629 tot 9.4.46.v20220331
    • org.eclipse.jetty.jetty-vervolg van 9.4.43.v20210629 tot 9.4.46.v20220331
    • org.eclipse.jetty.jetty-http van 9.4.43.v20210629 tot 9.4.46.v20220331
    • org.eclipse.jetty.jetty-io van 9.4.43.v20210629 tot 9.4.46.v20220331
    • org.eclipse.jetty.jetty-jndi van 9.4.43.v20210629 tot 9.4.46.v20220331
    • org.eclipse.jetty.jetty-plus van 9.4.43.v20210629 tot 9.4.46.v20220331
    • org.eclipse.jetty.jetty-proxy van 9.4.43.v20210629 tot 9.4.46.v20220331
    • org.eclipse.jetty.jetty-security van 9.4.43.v20210629 tot 9.4.46.v20220331
    • org.eclipse.jetty.jetty-server van 9.4.43.v20210629 tot 9.4.46.v20220331
    • org.eclipse.jetty.jetty-servlet van 9.4.43.v20210629 tot 9.4.46.v20220331
    • org.eclipse.jetty.jetty-servlets van 9.4.43.v20210629 tot 9.4.46.v20220331
    • org.eclipse.jetty.jetty-util van 9.4.43.v20210629 tot 9.4.46.v20220331
    • org.eclipse.jetty.jetty-util-ajax van 9.4.43.v20210629 tot 9.4.46.v20220331
    • org.eclipse.jetty.jetty-webapp van 9.4.43.v20210629 tot 9.4.46.v20220331
    • org.eclipse.jetty.jetty-xml van 9.4.43.v20210629 tot 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-api van 9.4.43.v20210629 tot 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-client van 9.4.43.v20210629 tot 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-common van 9.4.43.v20210629 tot 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-server van 9.4.43.v20210629 tot 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-servlet van 9.4.43.v20210629 tot 9.4.46.v20220331
    • org.mariadb.jdbc.mariadb-java-client van 2.2.5 tot 2.7.4
    • org.postgresql.postgresql van 42.2.19 tot 42.3.3
    • org.roaringbitmap.RoaringBitmap van 0.9.23 tot 0.9.25
    • org.roaringbitmap.shims van 0.9.23 tot 0.9.25
    • org.rocksdb.rocksdbjni van 6.20.3 tot 6.24.2
    • org.slf4j.jcl-over-slf4j van 1.7.32 tot 1.7.36
    • org.slf4j.jul-to-slf4j van 1.7.32 tot 1.7.36
    • org.slf4j.slf4j-api van 1.7.30 tot 1.7.36

Apache Spark

Databricks Runtime 11.0 bevat Apache Spark 3.3.0.

In deze sectie:

Spark SQL en Core

ANSI-modus

  • Nieuwe expliciete cast-syntaxisregels in ANSI-modus (SPARK-33354)
  • Elt() moet null retourneren als de index null is onder DE ANSI-modus (SPARK-38304)
  • Retourneer eventueel null-resultaat als het element niet bestaat in matrix/kaart (SPARK-37750)
  • Gieten toestaan tussen numeriek type en tijdstempeltype (SPARK-37714)
  • Standaard gereserveerde ANSI-trefwoorden uitschakelen (SPARK-37724)
  • Store-toewijzingsregels gebruiken voor het oplossen van functie-aanroep (SPARK-37438)
  • Een configuratie toevoegen om cast-conversie toe te staan tussen Datum/tijd en Numeriek (SPARK-37179)
  • Een configuratie toevoegen om optioneel gereserveerde ANSI-trefwoorden af te dwingen (SPARK-37133)
  • Binaire bewerkingen tussen interval en letterlijke tekenreeks (SPARK-36508) niet mogelijk maken

Functieverbeteringen

  • Ondersteuning voor ANSI SQL INTERVAL-typen (SPARK-27790)
  • Verbeteringen in foutberichten (SPARK-38781)
  • Ondersteuning voor verborgen bestandsmetagegevens voor Spark SQL (SPARK-37273)
  • Ondersteuning voor letterlijke tekenreeks (SPARK-36371)
  • Helperklasse voor batch Dataset.observe() (SPARK-34806)
  • Ondersteuning geeft het eerste partitienummer op voor herverdeling (SPARK-38410)
  • Ondersteuning voor trapsgewijze modus voor dropNamespace API (SPARK-37929)
  • Opslagtoewijzing en impliciete cast toestaan tussen datum/tijd-typen (SPARK-37707)
  • Collect, first and last should be deterministic aggregate functions (SPARK-32940)
  • ExpressionBuilder toevoegen voor functies met complexe overbelastingen (SPARK-37164)
  • Matrixondersteuning toevoegen aan samenvoeging op naam (SPARK-36546)
  • Voeg df.withMetadata toe: een syntaxissuiker om de metagegevens van een dataframe (SPARK-36642) bij te werken
  • Ondersteuning voor letterlijke tekenreeks (SPARK-36371)
  • CAST gebruiken bij het parseren van datums/tijdstempels met standaardpatroon (SPARK-36418)
  • Ondersteuning voor waardeklasse in geneste schema voor gegevensset (SPARK-20384)
  • Ondersteuning voor AS-OF-syntaxis toevoegen (SPARK-37219)
  • HERHAALBAAR toevoegen in TABLESAMPLE om seed op te geven (SPARK-37165)
  • Ansi-syntaxis set catalog xxx toevoegen om de huidige catalogus te wijzigen (SPARK-36841)
  • Ondersteuning voor ILIKE (ALL | ANY | SOMMIGE) - niet hoofdlettergevoelig ZOALS (SPARK-36674, SPARK-36736, SPARK-36778)
  • Ondersteuningsqueryfase toont runtimestatistieken in de opgemaakte uitlegmodus (SPARK-38322)
  • Metrische gegevens overloopgrootte toevoegen voor sort merge join (SPARK-37726)
  • De SQL-syntaxis van SHOW FUNCTIONS bijwerken (SPARK-37777)
  • ONDERSTEUNING VOOR DROP COLUMN [ALS BESTAAT] syntaxis (SPARK-38939)
  • Nieuwe ingebouwde functies en hun extensies (SPARK-38783)
    • Datum/tijd
    • AES-functies (SPARK-12567)
      • Ingebouwde functies voor aes_encrypt en aes_decrypt toevoegen (SPARK-12567)
      • De GCM-modus ondersteunen door aes\_encrypt()/aes\_decrypt() (SPARK-37591)
      • Instellen GCM als de standaardmodus in aes\_encrypt()/aes\_decrypt() (SPARK-37666)
      • Voeg de mode en padding argumenten toe aan aes\_encrypt()/aes\_decrypt() (SPARK-37586)
    • ANSI-aggregatiefunctie (SPARK-37671)
      • Ondersteuning voor ansi-statistische functie: regr_count (SPARK-37613)
      • Ondersteuning voor ansi-statistische functie: regr_avgx & regr_avgy (SPARK-37614)
      • Ansi-aggregatiefunctie ondersteunen: percentile_cont (SPARK-37676, SPARK-38219)
      • Ansi-aggregatiefunctie ondersteunen: percentile_disc (SPARK-37691)
      • Ondersteuning voor ansi-statistische functie: regr_count (SPARK-37613)
      • Ondersteuning voor ansi-statistische functie: array_agg (SPARK-27974)
      • Ondersteuning voor ansi-statistische functie: regr_r2 (SPARK-37641)
      • Nieuwe SQL-functie: try_avg (SPARK-38589)
    • Verzamelingen
    • Formatteren
    • Tekenreeks/binair
      • De tekenreeksfunctie CONTAINS() toevoegen (SPARK-37508)
      • startswith() De functies en endswith() tekenreeksen toevoegen (SPARK-37520)
      • Lpad- en rpad-functies toevoegen voor binaire tekenreeksen (SPARK-37047)
      • Ondersteuning voor split_part-functie (SPARK-38063)
    • Schaalparameter toevoegen aan vloer- en ceilfuncties (SPARK-37475)
    • Nieuwe SQL-functies: try_subtract en try_multiply (SPARK-38164)
    • Implementeert histogram_numeric aggregatiefunctie die gedeeltelijke aggregatie ondersteunt (SPARK-16280)
    • Max_by/min_by toevoegen aan sql.functions (SPARK-36963)
    • Nieuwe ingebouwde SQL-functies toevoegen: SEC en CSC (SPARK-36683)
    • array_intersect verwerkt dubbele Double.NaN en Float.NaN (SPARK-36754)
    • Cot toevoegen als Scala- en Python-functies (SPARK-36660)

Prestatieverbeteringen

  • Codegeneratie in de hele fase
    • Code-gen toevoegen voor sorteeraggregaties zonder groeperingssleutels (SPARK-37564)
    • Code-gen toevoegen voor volledige outer sort merge join (SPARK-35352)
    • Code-gen toevoegen voor volledige outer shuffled hash join (SPARK-32567)
    • Code-gen toevoegen voor bestaan sorteren samenvoegen join (SPARK-37316)
  • Omlaag duwen (filters)
    • Filters omlaag pushen via RebalancePartitions (SPARK-37828)
    • Booleaanse kolomfilter omlaag pushen (SPARK-36644)
    • Push down limit 1 voor rechterzijde van linker semi/anti join als join voorwaarde leeg is (SPARK-37917)
    • Meer standaard statistische functies vertalen voor pushdown (SPARK-37527)
    • Ondersteuning voor het doorgeven van lege relaties via aggregate/union (SPARK-35442)
    • Runtimefiltering op rijniveau (SPARK-32268)
    • Ondersteuning voor linkerdeelname in runtimefilters op rijniveau (SPARK-38565)
    • Ondersteuning voor pushdown van predicaat en kolomsnoeien voor gededupliceeerde CTE's (SPARK-37670)
  • Vectorisatie
    • Een ConstantColumnVector implementeren en de prestaties van de verborgen bestandsmetagegevens verbeteren (SPARK-37896)
    • Vectorized read for VectorizedPlainValuesReader.readBooleans (SPARK-35867) inschakelen
  • Knooppunten combineren/verwijderen/vervangen
    • Samenvoegingen combineren als er een project tussen deze is (SPARK-37915)
    • Combineer tot één cast als we veilig twee cast-casts kunnen uitvoeren (SPARK-37922)
    • Verwijder de sortering als dit het onderliggende element is van RepartitionByExpression (SPARK-36703)
    • Hiermee verwijdert u outer join als deze alleen DISTINCT aan de gestreamde zijde heeft met alias (SPARK-37292)
    • Hash vervangen door aggregaties sorteren als onderliggend element al is gesorteerd (SPARK-37455)
    • Alleen projecten samenvouwen als we geen dure expressies dupliceren (SPARK-36718)
    • Redundante aliassen verwijderen na RewritePredicateSubquery (SPARK-36280)
    • Niet-gecorreleerde scalaire subquery's samenvoegen (SPARK-34079)
  • Partitioneren
    • Voeg geen dynamische partities pruning toe als er statische partities worden verwijderd (SPARK-38148)
    • RebalancePartitions verbeteren in regels van Optimizer (SPARK-37904)
    • Kleine partitiefactor toevoegen voor herverdeling van partities (SPARK-37357)
  • Verbinden
    • Afstemmen van logica om broadcast-hash-join te degraderen in DynamicJoinSelection (SPARK-37753)
    • Dubbele joinsleutels negeren bij het bouwen van relatie voor SEMI-/ANTI-hash-join (SPARK-36794)
    • Ondersteuning voor het optimaliseren van scheve join, zelfs als u extra shuffle introduceert (SPARK-33832)
  • AQE
    • Ondersteuning elimineert limieten in AQE Optimizer (SPARK-36424)
    • Eén rijplan optimaliseren in normaal en AQE Optimizer (SPARK-38162)
  • Aggregate.groupOnly ondersteunt vouwbare expressies (SPARK-38489)
  • ByteArrayMethods arrayEquals moet de controle van uitlijnen met niet-uitgelijnd platform (SPARK-37796) snel overslaan
  • Structuurpatroon verwijderen toevoegen aan CTESubstitutieregel (SPARK-37379)
  • Meer Operator-vereenvoudigingen toevoegen (SPARK-36665)
  • Ondersteuning voor BooleanType in UnwrapCastInBinaryComparison (SPARK-36607)
  • Samenvoegen verwijdert alle expressies na de eerste niet-null-expressie (SPARK-36359)
  • Een logische planbezoeker toevoegen om de afzonderlijke kenmerken door te geven (SPARK-36194)

Uitbreidingen van ingebouwde connectors

  • Algemeen
    • Lenient serialisatie van datum/tijd uit gegevensbron (SPARK-38437)
    • De locatie van de tabel behandelen als absoluut wanneer de eerste letter van het pad slash is in een create/alter-tabel (SPARK-38236)
    • Voorloopnullen verwijderen uit lege partitie voor statisch nummertype (SPARK-35561)
    • Ondersteuning ignoreCorruptFiles en ignoreMissingFiles in opties voor gegevensbronnen (SPARK-38767)
    • Opdracht SHOW CATALOGS toevoegen (SPARK-35973)
  • Parket
    • Overeenkomende schemakolomnamen inschakelen op veld-id's (SPARK-38094)
    • Verwijder de veldnaam van de controle bij het lezen/schrijven van gegevens in Parquet (SPARK-27442)
    • Ondersteuning voor gelezen booleaanse waarden met RLE-codering met Parquet DataPage V2 (SPARK-37864)
    • Ondersteuning voor parquet v2-gegevenspaginacodering (DELTA_BINARY_PACKED) voor het gevectoriseerde pad (SPARK-36879)
    • Tijdstempels opnieuwbase in de sessietijdzone die is opgeslagen in Parquet/Avro-metagegevens (SPARK-37705)
    • Groep omlaag pushen op partitiekolom voor aggregaties (SPARK-36646)
    • Aggregate (Min/Max/Count) push down voor Parquet (SPARK-36645)
    • Parquet: overeenkomende schemakolommen inschakelen op veld-id (SPARK-38094)
    • Verklein het standaardpaginaformaat met LONG_ARRAY_OFFSET als G1GC en ON_HEAP worden gebruikt (SPARK-37593)
    • Vectorized DELTA_BYTE_ARRAY en DELTA_LENGTH_BYTE_ARRAY-coderingen implementeren voor ondersteuning voor Parquet V2 (SPARK-37974)
    • Ondersteuning voor complexe typen voor Parquet vectorized reader (SPARK-34863)
  • ORK
    • Controleerveldnaam verwijderen bij het lezen/schrijven van bestaande gegevens in Orc (SPARK-37965)
    • Aggregaat omlaag voor ORC (SPARK-34960)
    • Ondersteuning voor het lezen en schrijven van ANSI-intervallen van/naar ORC-gegevensbronnen (SPARK-36931)
    • Ondersteuning voor kolomnamen met alleen nummers in ORC-gegevensbronnen (SPARK-36663)
  • JSON
    • Respect allowNonNumericNumbers bij het parseren van naN- en Infinity-waarden in JSON-lezer (SPARK-38060)
    • CAST gebruiken voor datum/tijd in CSV/JSON standaard (SPARK-36536)
    • Foutbericht uitlijnen voor niet-ondersteunde sleuteltypen in MapType in Json Reader (SPARK-35320)
  • CSV
    • Oplossing die verwijst naar de beschadigde recordkolom van CSV (SPARK-38534)
    • null-waarden moeten worden opgeslagen als niets in plaats van lege tekenreeksen '' standaard (SPARK-37575)
  • JDBC
    • Voeg de DIRECTE instructie toe aan de DB2 dialect afgekapte implementatie (SPARK-30062)
  • Bijenkorf
    • Ondersteuning voor het schrijven van hive-bucketed table (Hive-bestandsindelingen met Hive-hash) (SPARK-32712)
    • Expressies gebruiken om Hive-partities aan clientzijde te filteren (SPARK-35437)
    • Ondersteuning voor het verwijderen van dynamische partities voor HiveTableScanExec (SPARK-36876)
    • InsertIntoHiveDir moet gegevensbron gebruiken als deze converteerbaar is (SPARK-38215)
    • Ondersteuning voor het schrijven van hive-bucketed table (Parquet/ORC-indeling met Hive-hash) (SPARK-32709)

Knooppunt buiten gebruik stellen

  • FallbackStorage mag niet proberen willekeurige 'externe' hostnaam (SPARK-38062) op te lossen
  • ExecutorMonitor.onExecutorRemoved moet ExecutorDecommission verwerken als voltooid (SPARK-38023)

Andere belangrijke wijzigingen

  • Fijnmazige vergrendeling toevoegen aan BlockInfoManager (SPARK-37356)
  • Ondersteuning voor het toewijzen van Spark GPU/fpga-resourcetypen aan aangepast YARN-resourcetype (SPARK-37208)
  • Rapport nauwkeurige willekeurige blokgrootte als het scheef is (SPARK-36967)
  • Ondersteuning voor Netty-logboekregistratie op de netwerklaag (SPARK-36719)

Gestructureerd streamen

Belangrijke functies

  • Introduceer Trigger.AvailableNow voor het uitvoeren van streamingquery's zoals Trigger.Once in meerdere batches (SPARK-36533)

Andere belangrijke wijzigingen

  • StatefulOpClusteredDistribution gebruiken voor stateful operators met betrekking tot achterwaartse compatibiliteit (SPARK-38204)
  • Time-out flatMapGroupsWithState in batch opgelost met gegevens voor sleutel (SPARK-38320)
  • Corrigeer het probleem met de juistheid van stream-stream outer join met rocksDB-statusarchiefprovider (SPARK-38684)
  • Ondersteuning voor Trigger.AvailableNow in kafka-gegevensbron (SPARK-36649)
  • Schrijfpad optimaliseren op RocksDB State Store-provider (SPARK-37224)
  • Een nieuwe gegevensbron introduceren voor het bieden van een consistente set rijen per microbatch (SPARK-37062)
  • HashClusteredDistribution gebruiken voor stateful operators met betrekking tot achterwaartse compatibiliteit (SPARK-38204)

PySpark

pandas API in Spark

Belangrijke verbeteringen
  • Indexoptimalisatie 'gedistribueerde reeks' met standaardinstelling (SPARK-36559, SPARK-36338)
    • Ondersteuning voor het opgeven van het indextype en de naam in pandas-API in Spark (SPARK-36709)
    • Standaardindextype weergeven in SQL-plannen voor pandas-API in Spark (SPARK-38654)
Belangrijke functies
  • Systeemeigen SparkSQL-ps.merge_asof (SPARK-36813) implementeren
  • Ondersteuning voor TimedeltaIndex in pandas-API in Spark (SPARK-37525)
  • Ondersteuning voor timedelta van Python (SPARK-37275, SPARK-37510)
  • Functies implementeren in CategoricalAccessor/CategoricalIndex (SPARK-36185)
  • Maakt gebruik van de standaardtekenreeksindeling van Python voor SQL API in pandas-API in Spark (SPARK-37436)
  • Ondersteuning voor basisbewerkingen van timedelta Series/Index (SPARK-37510)
  • Ondersteuning ps. MultiIndex.dtypes (SPARK-36930)
  • Index.map implementeren (SPARK-36469)
  • Reeks implementeren.xor en reeks.rxor (SPARK-36653)
  • Implementeer een unaire operator invert van integrale ps. Reeks/index (SPARK-36003)
  • DataFrame.cov implementeren (SPARK-36396)
  • Ondersteuningsreeks en tijdstempel voor (reeks|DataFrame).describe() (SPARK-37657)
  • Ondersteuning voor lambda-parameter column van DataFrame.rename(SPARK-38763)

Andere belangrijke wijzigingen

Wijzigingen die fouten veroorzaken
  • Verwijzingen verwijderen naar ondersteuning voor Python 3.6 in docs en python/docs (SPARK-36977)
  • Verwijder namedtuple hack door ingebouwde pickle te vervangen door cloudpickle (SPARK-32079)
  • De minimale pandas-versie stoten naar 1.0.5 (SPARK-37465)
  • Belangrijke verbeteringen
    • Geef een profiler op voor Python/Pandas UDF's (SPARK-37443)
    • Maakt gebruik van de standaardtekenreeksindeling van Python voor SQL API in PySpark (SPARK-37516)
    • Sql-status en -foutklasse beschikbaar maken in PySpark-uitzonderingen (SPARK-36953)
    • Probeer faulthanlder vast te leggen wanneer een Python-werkrol vastloopt (SPARK-36062)
Belangrijke functies
  • DataFrame.mapInArrow implementeren in Python (SPARK-37228)
  • Maakt gebruik van de standaardtekenreeksindeling van Python voor SQL API in PySpark (SPARK-37516)
  • df.withMetadata pyspark API (SPARK-36642) toevoegen
  • Ondersteuning voor timedelta van Python (SPARK-37275)
  • tableExists beschikbaar maken in pyspark.sql.catalog (SPARK-36176)
  • DatabaseExists beschikbaar maken in pyspark.sql.catalog (SPARK-36207)
  • FunctionExists beschikbaar maken in pyspark SQL-catalogus (SPARK-36258)
  • Dataframe.observation toevoegen aan PySpark (SPARK-36263)
  • Max_by/min_by-API toevoegen aan PySpark (SPARK-36972)
  • Ondersteuning voor het afleiden van geneste dicteren als een struct bij het maken van een DataFrame (SPARK-35929)
  • Bit/octet_length API's toevoegen aan Scala, Python en R (SPARK-36751)
  • Ondersteuning voor ILIKE API in Python (SPARK-36882)
  • Methode IsEmpty toevoegen voor de Python DataFrame-API (SPARK-37207)
  • Meerdere kolommen toevoegen aan ondersteuning (SPARK-35173)
  • SparkContext.addArchive toevoegen in PySpark (SPARK-38278)
  • Sql-type reprs eval-able maken (SPARK-18621)
  • Hints voor inlinetypen voor fpm.py in python/pyspark/mllib (SPARK-37396)
  • Parameter dropna implementeren van SeriesGroupBy.value_counts (SPARK-38837)

MLLIB

Belangrijke functies

  • Voeg de param distanceMeasure toe aan trainKMeansModel (SPARK-37118)
  • Expose LogisticRegression.setInitialModel, like KMeans et al do (SPARK-36481)
  • Ondersteuning voor CrossValidatorModel krijgen standaarddeviatie van metrische gegevens voor elke paramMap (SPARK-36425)

Belangrijke verbeteringen

  • Een aantal treeAggregates in MLlib optimaliseren door toewijzingen uit te stellen (SPARK-35848)
  • Herschrijf _shared_params_code_gen.py naar hints voor inlinetypen voor ml/param/shared.py (SPARK-37419)

Andere belangrijke wijzigingen

SparkR

Gebruikersinterface

  • Samenvatting van metrische gegevens voor speculatie op faseniveau (SPARK-36038)
  • Unified shuffle-leesbloktijd om wachttijd voor lezen ophalen in FasePage (SPARK-37469) te wijzigen
  • Gewijzigde configuraties toevoegen voor SQL-uitvoering in de gebruikersinterface (SPARK-34735)
  • ThriftServer herkennen spark.sql.redaction.string.regex (SPARK-36400)
  • Handler koppelen en starten nadat de toepassing is gestart in de gebruikersinterface (SPARK-36237)
  • Doorvoerduur toevoegen aan het grafiekknooppunt van het SQL-tabblad (SPARK-34399)
  • Ondersteuning voor rocksDB-back-end in Spark History Server (SPARK-37680)
  • Opties weergeven voor Pandas-API in Spark in de gebruikersinterface (SPARK-38656)
  • Wijzig de naam van 'SQL' in 'SQL/DataFrame' op de PAGINA van de SQL-gebruikersinterface (SPARK-38657)

Build

Onderhoudsupdates

Zie Databricks Runtime 11.0 (EoS).

Systeemomgeving

  • Besturingssysteem: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.1.3
  • Delta Lake: 1.2.1

Geïnstalleerde Python-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
Antergos Linux 2015.10 (ISO-Rolling) argon2-cffi 20.1.0 async-generator 1,10
attrs 21.2.0 backcall 0.2.0 backports.entry-points-selectable 1.1.1
bleken 4.0.0 boto3 1.21.18 botocore 1.24.18
certifi 2021.10.8 cffiffi 1.14.6 chardet 4.0.0
charset-normalizer 2.0.4 wielrijder 0.10.0 Cython 0.29.24
dbus-python 1.2.16 foutopsporing 1.4.1 decorateur 5.1.0
defusedxml 0.7.1 distlib 0.3.4 distro-info 0.23opgegeven1
invoerpunten 0,3 facets-overview 1.0.0 filelock 3.6.0
idna 3.2 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
jsonschema 3.2.0 jupyter-client 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.1
MarkupSafe 2.0.1 matplotlib 3.4.3 matplotlib-inline 0.1.2
mistune 0.8.4 nbclient 0.5.3 nbconvert 6.1.0
nbformat 5.1.3 nest-asyncio 1.5.1 notebook 6.4.5
numpy 1.20.3 verpakking 21,0 Pandas 1.3.4
pandocfilters 1.4.3 parso 0.8.2 Patsy 0.5.2
pexpect 4.8.0 pickleshare 0.7.5 Kussen 8.4.0
pit 21.2.4 platformdirs 2.5.2 plotly 5.6.0
prometheus-client 0.11.0 prompt-toolkit 3.0.20 protobuf 3.20.1
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pyarrow 7.0.0 pycparser 2,20 Pygments 2.10.0
PyGObject 3.36.0 pyodbc 4.0.31 pyparsing 3.0.4
pyrsistent 0.18.0 python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.2
pytz 2021.3 pyzmq 22.2.1 requests 2.26.0
requests-unixsocket 0.2.0 s3transfer 0.5.2 scikit-learn 0.24.2
scipy 1.7.1 seaborn 0.11.2 Send2Trash 1.8.0
setuptools 58.0.4 Zes 1.16.0 ssh-import-id 5.10
statsmodels 0.12.2 vasthoudendheid 8.0.1 terminado 0.9.4
testpath 0.5.0 threadpoolctl 2.2.0 tornado 6.1
traitlets 5.1.0 upgrades zonder toezicht 0,1 urllib3 1.26.7
virtualenv 20.8.0 wcwidth 0.2.5 webencodings 0.5.1
wiel 0.37.0 widgetsnbextension 3.6.0

Geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit de Microsoft CRAN-momentopname op 2022-05-06.

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
askpass 1.1 assertthat 0.2.1 backports 1.4.1
base 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.3 opstarten 1.3-28
brouwsel 1.0-7 Brio 1.1.3 bezem 0.8.0
bslib 0.3.1 cachem 1.0.6 beller 3.7.0
caret 6.0-92 cellranger 1.1.0 Chron 2.3-56
class 7.3-20 cli 3.3.0 clipr 0.8.0
cluster 2.1.3 codetools 0.2-18 colorspace 2.0-3
commonmark 1.8.0 compiler 4.1.3 configuratie 0.3.1
cpp11 0.4.2 Crayon 1.5.1 aanmeldingsgegevens 1.3.2
curl 4.3.2 data.table 1.14.2 gegevenssets 4.1.3
DBI 1.1.2 dbplyr 2.1.1 Desc 1.4.1
devtools 2.4.3 diffobj 0.3.5 verteren 0.6.29
dplyr 1.0.9 dtplyr 1.2.1 e1071 1.7-9
beletselteken 0.3.2 evaluate 0,15 fansi 1.0.3
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.2 buitenlands 0.8-82
smeden 0.2.0 Fs 1.5.2 toekomst 1.25.0
future.apply 1.9.0 gorgelen 1.2.0 Generics 0.1.2
Gert 1.6.0 ggplot2 3.3.6 Gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-4 globals 0.14.0
lijm 1.6.2 googledrive 2.0.0 googlesheets4 1.0.0
Gower 1.0.0 afbeeldingen 4.1.3 grDevices 4.1.3
rooster 4.1.3 gridExtra 2.3 gsubfn 0,7
gtable 0.3.0 hardhat 0.2.0 haven 2.5.0
highr 0,9 Hms 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.3
ids 1.0.1 ini 0.3.1 ipred 0.9-12
isoband 0.2.5 Iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.0 KernSmooth 2.23-20 breiwerk 1.39
Labeling 0.4.2 later 1.3.0 latwerk 0.20-45
lava 1.6.10 levenscyclus 1.0.1 listenv 0.8.0
lubridate 1.8.0 magrittr 2.0.3 Markdown 1.1
MASSA 7.3-56 Matrix 1.4-1 memoise 2.0.1
methoden 4.1.3 mgcv 1.8-40 Mime 0,12
ModelMetrics 1.2.2.2 modeller 0.1.8 munsell 0.5.0
nlme 3.1-157 nnet 7.3-17 numDeriv 2016.8-1.1
openssl 2.0.0 parallel 4.1.3 parallel 1.31.1
pilaar 1.7.0 pkgbuild 1.3.1 pkgconfig 2.0.3
pkgload 1.2.4 plogr 0.2.0 plyr 1.8.7
loven 1.0.0 prettyunits 1.1.1 Proc 1.18.0
processx 3.5.3 prodlim 2019.11.13 Voortgang 1.2.2
progressr 0.10.0 Beloften 1.2.0.1 Proto 1.0.0
proxy 0.4-26 ps 1.7.0 purrr 0.3.4
r2d3 0.2.6 R6 2.5.1 randomForest 4.7-1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.8.3 RcppEigen 0.3.3.9.2 leesbewerking 2.1.2
readxl 1.4.0 recepten 0.2.0 Rematch 1.0.1
opnieuw overeenkomen2 2.1.2 Afstandsbedieningen 2.4.2 reprex 2.0.1
hervorm2 1.4.4 rlang 1.0.2 rmarkdown 2.14
RODBC 1.3-19 roxygen2 7.1.2 rpart 4.1.16
rprojroot 2.0.3 Rserve 1.8-10 RSQLite 2.2.13
rstudioapi 0,13 rversions 2.1.1 rvest 1.0.2
Sass 0.4.1 weegschaal 1.2.0 selectr 0.4-2
sessioninfo 1.2.2 vorm 1.4.6 glanzend 1.7.1
sourcetools 0.1.7 sparklyr 1.7.5 SparkR 3.3.0
ruimtelijk 7.3-11 Splines 4.1.3 sqldf 0.4-11
SQUAREM 2021.1 Stats 4.1.3 stats4 4.1.3
stringi 1.7.6 stringr 1.4.0 overleving 3.2-13
sys 3.4 tcltk 4.1.3 testthat 3.1.4
tibble 3.1.7 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 timeDate 3043.102 tinytex 0,38
tools 4.1.3 tzdb 0.3.0 usethis 2.1.5
utf8 1.2.2 utils 4.1.3 uuid 1.1-0
vctrs 0.4.1 viridisLite 0.4.0 Vroom 1.5.7
Waldo 0.4.0 snor 0,4 withr 2.5.0
xfun 0,30 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 ritssluiting 2.2.0

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)

Groeps-id Artefact-id Versie
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stroom 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-gearceerd 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml klasgenoot 1.3.4
com.fasterxml.jackson.core jackson-annotaties 2.13.3
com.fasterxml.jackson.core jackson-core 2.13.3
com.fasterxml.jackson.core jackson-databind 2.13.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.3
com.fasterxml.jackson.module jackson-module-paranamer 2.13.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.3
com.github.ben-manes.cafeïne cafeïne 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib kern 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guave 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuratie 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.netje.netlib arpack 2.2.1
dev.netje.netlib Blas 2.2.1
dev.netje.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metrische gegevenskern 4.1.1
io.dropwizard.metrics metrische gegevensgrafiet 4.1.1
io.dropwizard.metrics metrische statuscontroles 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx verzamelaar 0.12.0
jakarta.annotatie jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activering 1.1.1
javax.annotatie javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pekelen 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-CSV 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.14
net.snowflake spark-snowflake_2.12 2.10.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr tekenreekstemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow pijlnotatie 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow pijlvector 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1,9
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recepten 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.2-databricks
org.apache.hadoop hadoop-client-runtime 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy klimop 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.17.2
org.apache.logging.log4j log4j-api 2.17.2
org.apache.logging.log4j log4j-core 2.17.2
org.apache.logging.log4j log4j-slf4j-impl 2.17.2
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.4
org.apache.orc orc-mapreduce 1.7.4
org.apache.orc orc-shims 1.7.4
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet parquet-codering 1.12.0-databricks-0004
org.apache.parquet parquet-format-structuren 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-gearceerd 4.20
org.apache.yetus aantekeningen voor doelgroepen 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-vervolg 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance opnieuw verpakt 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator sluimerstand-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Aantekeningen 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap Shims 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark ongebruikt 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel katten-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1