Share via

Databricks Runtime 11.0 (EoS)

Notitie

Ondersteuning voor deze Databricks Runtime-versie is beëindigd. Zie Beëindiging van ondersteuning en einde levenscyclus geschiedenis voor de einddatum van de ondersteuning. Zie Databricks Runtime-releaseopmerkingen over versies en compatibiliteit voor alle ondersteunde Databricks Runtime-versies.

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 11.0, mogelijk gemaakt door Apache Spark 3.3.0. Databricks heeft deze versie uitgebracht in juni 2022.

Nieuwe functies en verbeteringen

Nieuwe versie van Apache Spark

Databricks Runtime 11.0 en Databricks Runtime 11.0 Photon bevatten Apache Spark 3.3.0. Zie Apache Spark voor meer informatie.

Python-notebooks gebruiken nu de IPython-kernel

In Databricks Runtime 11.0 en hoger gebruiken Python-notebooks de IPython-kernel om Python-code uit te voeren. Zie IPython-kernel.

Ondersteuning voor ipywidgets

U kunt nu ipywidgets gebruiken om uw Databricks Python-notebooks interactief te maken. Zie ipywidgets.

Synapse-connector schrijft nu Parquet-gegevens in de niet-verouderde modus

De connector voor Azure Synapse schrijft nu Parquet-gegevens in niet-verouderde modus. De tijdstempelindeling INT96 blijft behouden wanneer u PolyBase en COPY opdrachten gebruikt voor zowel batch- als streamingworkloads.

HTTPS-schema wordt nu afgedwongen wanneer de ABFS-client gebruikmaakt van een SAS-token

Wanneer de ABFS-client (Azure Blob File System) een SAS-token (Shared Access Signature) gebruikt, wordt het HTTPS-schema nu afgedwongen.

SQL: DESC is nu een alias voor DESCRIBE

U kunt nu DESC als alias gebruiken voor DESCRIBE wanneer u externe locaties of opslagreferenties beschrijft. Voorbeeld:

-- Describe an external location.
DESC EXTERNAL LOCATION location_name;

-- Describe a storage credential.
DESC STORAGE CREDENTIAL credential_name;

SQL: Nieuwe current_version functie voert versiegegevens uit

De nieuwe current_version functie voert de huidige Databricks Runtime-versie uit, indien beschikbaar, de huidige Databricks SQL-versie, indien beschikbaar, en andere gerelateerde versiedetails. Gebruik deze nieuwe functie om query's uit te voeren op versiegerelateerde informatie. Zie current_version de functie.

Het weglaten van een ontbrekende Delta-tafelbeperking geeft nu een fout weer.

Als u nu probeert een Delta-tabelbeperking op naam te verwijderen en deze beperking niet bestaat, krijgt u een foutmelding. Als u het vorige gedrag wilt ophalen, waardoor er geen fout wordt gegenereerd als de beperking niet bestaat, moet u nu de IF EXISTS instructie gebruiken. Zie ALTER TABLE.

SQL: Nieuwe EXCEPT component in instructie SELECT sluit kolommen uit van selectie

SELECT instructies ondersteunen nu de EXCEPT clausule om kolommen uit de selectie uit te sluiten. Retourneert bijvoorbeeld SELECT * EXCEPT (x) FROM table alle tablekolommen, behalve x. Geneste kolommen zijn ook toegestaan. Retourneert bijvoorbeeld SELECT * EXCEPT (x.a) FROM table alle tablekolommen, maar laat het veld a weg uit de struct x.

Ondersteuning voor het verwijderen van kolommen in Delta-tabellen (openbare preview)

U kunt respectievelijk een kolom of een lijst met kolommen uit een Delta-tabel gebruiken ALTER TABLE <table-name> DROP COLUMN [IF EXISTS] <column-name> of ALTER TABLE <table-name> DROP COLUMNS [IF EXISTS] (<column-name>, *) verwijderen als bewerking met alleen metagegevens. De kolommen zijn effectief 'voorlopig verwijderd', omdat ze zich nog in de onderliggende Parquet-bestanden bevinden, maar niet meer zichtbaar zijn voor de Delta-tabel.

U kunt REORG TABLE <table-name> APPLY (PURGE) gebruiken om een herschrijving van bestanden te activeren voor de bestanden die soft-verwijderde gegevens bevatten, zoals niet-actieve kolommen.

U kunt VACUUM gebruiken om de verwijderde bestanden uit de fysieke opslag te verwijderen, inclusief de oude bestanden die gedropte kolommen bevatten en herschreven zijn door REORG TABLE.

COPY INTO Verbeteringen

U kunt nu lege tijdelijke aanduidingen voor Delta-tabellen maken, zodat het schema later wordt afgeleid tijdens een COPY INTO opdracht:

CREATE TABLE IF NOT EXISTS my_table
[COMMENT <table-description>]
[TBLPROPERTIES (<table-properties>)];

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true');

De voorgaande SQL-instructie is idempotent en kan worden gepland om gegevens exact eenmaal op te nemen in een Delta-tabel.

Notitie

De lege Delta-tabel is niet bruikbaar buiten COPY INTO. U kunt INSERT INTO en MERGE INTO niet gebruiken om gegevens in schemavrije deltatabellen te schrijven. Nadat gegevens in de tabel zijn ingevoegd met COPY INTO, is de tabel doorzoekbaar.

Als de gegevens die u opneemt niet kunnen worden gelezen vanwege corruptieproblemen, kunt u corrupte bestanden overslaan door ignoreCorruptFiles op true in de FORMAT_OPTIONS in te stellen:

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('ignoreCorruptFiles' = 'true')

De COPY INTO opdracht retourneert het aantal bestanden dat is overgeslagen vanwege beschadiging in de num_skipped_corrupt_files kolom. Deze metrische waarde wordt ook weergegeven in de operationMetrics kolom onder numSkippedCorruptFiles nadat u op de Delta-tabel hebt uitgevoerd DESCRIBE HISTORY .

Beschadigde bestanden worden niet bijgehouden door COPY INTO, zodat ze opnieuw kunnen worden geladen in een volgende uitvoering als de beschadiging is opgelost. U kunt zien welke bestanden beschadigd zijn door in COPY INTO de modus uit te voerenVALIDATE.

CONVERT TO DELTA wordt nu ondersteund in omgevingen met Unity Catalog (openbare preview)

In Unity-Catalog-ingeschakelde omgevingen, met CONVERT TO DELTA kunt u nu:

  • Converteer Parquet-bestanden op externe locaties naar Delta Lake.
  • Converteer externe Parquet-tabellen naar Delta-tabellen.

Gedragswijzigingen

SQL: lpad en rpad functies ondersteunen nu bytereeksen

De functies lpad en rpad zijn bijgewerkt om ondersteuning voor bytereeksen toe te voegen, naast tekenreeksen.

De tekenreeksindeling in format_string en printf ondersteunt %0$ niet langer.

Als u de indeling %0$ in de format_string en printf functies opgeeft, wordt er standaard een fout gegenereerd. Deze wijziging is om verwacht gedrag te behouden met eerdere versies van de Databricks Runtime en algemene databases van derden. Het eerste argument moet altijd verwijzen %1$ wanneer u een argumentindex gebruikt om de positie van het argument in de lijst met argumenten aan te geven.

Null-waarden in CSV-bestanden worden nu standaard geschreven als lege tekenreeksen zonder aanhalingstekens

Null-waarden in CSV-bestanden werden eerder geschreven als lege tekenreeksen tussen aanhalingstekens. Met deze release worden null (lege) waarden in CSV-bestanden standaard geschreven als ongeciteerde lege reeksen. Als u wilt terugkeren naar het vorige gedrag, stelt u de nullValue optie "" in op schrijfbewerkingen.

De tabeleigenschap external is nu gereserveerd

De eigenschap external is nu standaard een gereserveerde tabeleigenschap. Er worden nu uitzonderingen gegenereerd wanneer u de external eigenschap met de CREATE TABLE ... TBLPROPERTIES en ALTER TABLE ... SET TBLPROPERTIES componenten gebruikt.

Log4j wordt bijgewerkt van Log4j 1 naar Log4j 2

Log4j 1 wordt bijgewerkt naar Log4j 2. Verouderde Log4j 1-afhankelijkheden worden verwijderd.

Als u afhankelijk bent van de Log4j 1-klassen die eerder zijn opgenomen in de Databricks Runtime, bestaan deze klassen niet meer. U moet uw afhankelijkheden upgraden naar Log4j 2.

Als u aangepaste invoegtoepassingen of configuratiebestanden hebt die afhankelijk zijn van Log4j 2, werken ze mogelijk niet meer met de versie van Log4j 2 in deze release. Neem voor hulp contact op met uw Azure Databricks-accountteam.

Bibliotheken die vanuit Maven zijn geïnstalleerd, worden nu standaard opgelost in uw rekenvlak

Maven-bibliotheken worden nu standaard omgezet in uw rekenvlak wanneer u bibliotheken in een cluster installeert. U moet toegang hebben tot Maven Central. U kunt ook terugkeren naar het vorige gedrag door de Spark-configuratie-eigenschap in te stellen:

spark.databricks.libraries.enableMavenResolution false

Bugfixes

  • Binaire compatibiliteit voor LeafNode, UnaryNodeen BinaryNode tussen Apache Spark en de Databricks Runtime is opgelost en de klassen zijn nu compatibel met Apache Spark 3.3.0 en hoger. Als u het volgende of vergelijkbare bericht tegenkomt wanneer u een pakket van derden gebruikt met de Databricks Runtime, bouwt u het pakket opnieuw op met Apache Spark 3.3.0 of hoger: Found interface org.apache.spark.sql.catalyst.plans.logical.UnaryNode, but class was expected

Bibliotheekupgrades

  • Bijgewerkte Python-bibliotheken:
    • platformdirs van 2.5.1 tot 2.5.2
    • protobuf van versie 3.20.0 naar versie 3.20.1
  • Bijgewerkte R-bibliotheken:
    • blob van 1.2.2 tot 1.2.3
    • broom van 0.7.12 naar 0.8.0
    • caret van 6.0-91 tot 6.0-92
    • cli van 3.2.0 naar 3.3.0
    • dplyr van 1.0.8 tot 1.0.9
    • toekomst van 1.24.0 tot 1.25.0
    • future.apply van versie 1.8.1 naar versie 1.9.0
    • gert van 1.5.0 tot 1.6.0
    • ggplot2 van 3.3.5 tot 3.3.6
    • glmnet van 4.1-3 tot 4.1-4
    • haven van 2.4.3 tot 2.5.0
    • httr van 1.4.2 naar 1.4.3
    • knitr van 1.38 tot 1.39
    • magrittr van 2.0.2 tot 2.0.3
    • parallel van 1.30.0 tot 1.31.1
    • ps van 1.6.0 tot 1.7.0
    • RColorBrewer van 1.1-2 tot 1.1-3
    • RcppEigen van 0.3.3.9.1 tot 0.3.3.9.2
    • readxl van 1.3.1 tot 1.4.0
    • rmarkdown van 2.13 tot 2.14
    • rprojroot van 2.0.2 tot 2.0.3
    • RSQLite van 2.2.11 tot 2.2.13
    • schaalt van 1.1.1 tot 1.2.0
    • testthat van 3.1.2 tot 3.1.4
    • tibble van 3.1.6 tot 3.1.7
    • tinytex van 0,37 tot 0,38
    • tzdb van 0.2.0 tot 0.3.0
    • uuid van 1,0-4 tot 1,1-0
    • vctrs van 0.3.8 tot 0.4.1
  • Bijgewerkte Java-bibliotheken:
    • com.fasterxml.jackson.core.jackson-aantekeningen van 2.13.0 tot 2.13.3
    • com.fasterxml.jackson.core.jackson-core van 2.13.0 tot 2.13.3
    • com.fasterxml.jackson.core.jackson-databind van 2.13.0 tot 2.13.3
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor van 2.13.0 tot 2.13.3
    • com.fasterxml.jackson.datatype.jackson-datatype-joda van 2.13.0 tot 2.13.3
    • com.fasterxml.jackson.module.jackson-module-paranamer van versie 2.13.0 naar versie 2.13.3
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 van 2.13.0 tot 2.13.3
    • com.google.crypto.tink.tink van 1.6.0 naar 1.6.1
    • com.ning.compress-lzf van 1.0.3 tot 1.1
    • dev.ludovic.netlib.arpack van versie 2.2.0 naar 2.2.1
    • dev.ludovic.netlib.blas van 2.2.0 naar 2.2.1
    • dev.netlib.lapack van 2.2.0 naar 2.2.1
    • io.netty.netty-all upgrade van 4.1.73.Final naar 4.1.74.Final
    • io.netty.netty-buffer van versie 4.1.73.Final naar versie 4.1.74.Final
    • io.netty.netty-codec van 4.1.73.Final tot 4.1.74.Final
    • io.netty.netty-common van 4.1.73.Final naar 4.1.74.Final
    • io.netty.netty-handler van versie 4.1.73.Final naar versie 4.1.74.Final
    • io.netty.netty-resolver bijgewerkt van 4.1.73.Final naar 4.1.74.Final
    • io.netty.netty-tcnative-classes van versie 2.0.46.Final naar 2.0.48.Final
    • io.netty.netty-transport van 4.1.73.Final naar 4.1.74.Final
    • io.netty.netty-transport-classes-epoll van 4.1.73.Final naar 4.1.74.Final
    • io.netty.netty-transport-classes-kqueue van 4.1.73.Final naar 4.1.74.Final
    • io.netty.netty-transport-native-epoll-linux-aarch_64 van 4.1.73.Final tot 4.1.74.Final
    • io.netty.netty-transport-native-epoll-linux-x86_64 van 4.1.73.Final tot 4.1.74.Final
    • io.netty.netty-transport-native-kqueue-osx-aarch_64 van 4.1.73.Final tot 4.1.74.Final
    • io.netty.netty-transport-native-kqueue-osx-x86_64 van 4.1.73.Final tot 4.1.74.Final
    • io.netty.netty-transport-native-unix-common van 4.1.73.Final tot 4.1.74.Final
    • joda-time.joda-time van 2.10.12 tot 2.10.13
    • org.apache.commons.commons-math3 van 3.4.1 tot 3.6.1
    • org.apache.httpcomponents.httpcore van 4.4.12 tot 4.4.14
    • org.apache.orc.orc-core van 1.7.3 tot 1.7.4
    • org.apache.orc.orc-mapreduce van 1.7.3 tot 1.7.4
    • org.apache.orc.orc-shims van versie 1.7.3 naar versie 1.7.4
    • org.eclipse.jetty.jetty-client van 9.4.43.v20210629 tot 9.4.46.v20220331
    • org.eclipse.jetty.jetty-vervolg van 9.4.43.v20210629 tot 9.4.46.v20220331
    • org.eclipse.jetty.jetty-http versie van 9.4.43.v20210629 tot 9.4.46.v20220331
    • org.eclipse.jetty.jetty-io van 9.4.43.v20210629 tot 9.4.46.v20220331
    • org.eclipse.jetty.jetty-jndi van 9.4.43.v20210629 tot 9.4.46.v20220331
    • org.eclipse.jetty.jetty-plus van 9.4.43.v20210629 tot 9.4.46.v20220331
    • org.eclipse.jetty.jetty-proxy van 9.4.43.v20210629 tot 9.4.46.v20220331
    • org.eclipse.jetty.jetty-security van 9.4.43.v20210629 tot 9.4.46.v20220331
    • org.eclipse.jetty.jetty-server van 9.4.43.v20210629 tot 9.4.46.v20220331
    • org.eclipse.jetty.jetty-servlet van 9.4.43.v20210629 tot 9.4.46.v20220331
    • org.eclipse.jetty.jetty-servlets van 9.4.43.v20210629 tot 9.4.46.v20220331
    • org.eclipse.jetty.jetty-util van 9.4.43.v20210629 tot 9.4.46.v20220331
    • org.eclipse.jetty.jetty-util-ajax van 9.4.43.v20210629 tot 9.4.46.v20220331
    • org.eclipse.jetty.jetty-webapp van 9.4.43.v20210629 tot 9.4.46.v20220331
    • org.eclipse.jetty.jetty-xml van 9.4.43.v20210629 tot 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-api van 9.4.43.v20210629 tot 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-client van 9.4.43.v20210629 tot 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-common van 9.4.43.v20210629 tot 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-server van 9.4.43.v20210629 tot 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-servlet van 9.4.43.v20210629 tot 9.4.46.v20220331
    • org.mariadb.jdbc.mariadb-java-client van 2.2.5 tot 2.7.4
    • org.postgresql.postgresql van 42.2.19 tot 42.3.3
    • org.roaringbitmap.RoaringBitmap van 0.9.23 tot 0.9.25
    • org.roaringbitmap.shims bijgewerkt van versie 0.9.23 naar 0.9.25
    • org.rocksdb.rocksdbjni van 6.20.3 tot 6.24.2
    • org.slf4j.jcl-over-slf4j van 1.7.32 tot 1.7.36
    • org.slf4j.jul-to-slf4j van 1.7.32 tot 1.7.36
    • org.slf4j.slf4j-api van 1.7.30 tot 1.7.36

Apache Spark

Databricks Runtime 11.0 bevat Apache Spark 3.3.0.

In deze sectie:

Spark SQL en Core

ANSI-modus

  • Nieuwe expliciete cast-syntaxisregels in ANSI-modus (SPARK-33354)
  • Elt() moet null retourneren als de index null is onder DE ANSI-modus (SPARK-38304)
  • Retourneer eventueel null-resultaat als het element niet bestaat in matrix/kaart (SPARK-37750)
  • Toestaan van conversie tussen numeriek type en tijdstempeltype (SPARK-37714)
  • Standaard gereserveerde ANSI-trefwoorden uitschakelen (SPARK-37724)
  • Store-toewijzingsregels gebruiken voor het oplossen van functie-aanroep (SPARK-37438)
  • Een configuratie toevoegen om casting toe te staan tussen DateTime en Numeriek (SPARK-37179)
  • Een configuratie toevoegen om optioneel gereserveerde ANSI-trefwoorden af te dwingen (SPARK-37133)
  • Voorkom binaire bewerkingen tussen interval en letterlijke tekenreeks (SPARK-36508)

Functieverbeteringen

  • Ondersteuning voor ANSI SQL INTERVAL-typen (SPARK-27790)
  • Verbeteringen in foutberichten (SPARK-38781)
  • Ondersteuning voor verborgen bestandsmetagegevens voor Spark SQL (SPARK-37273)
  • Ondersteuning voor letterlijke tekenreeks (SPARK-36371)
  • Helperklasse voor batch Dataset.observe() (SPARK-34806)
  • Ondersteuning geeft het eerste partitienummer op voor herverdeling (SPARK-38410)
  • Ondersteuning voor trapsgewijze modus voor dropNamespace API (SPARK-37929)
  • Toestaan van winkeltoewijzing en impliciete casting tussen datum- en tijdtypen (SPARK-37707)
  • Het verzamelen, eerste en laatste moeten deterministische aggregatiefuncties zijn (SPARK-32940)
  • ExpressionBuilder toevoegen voor functies met complexe overbelastingen (SPARK-37164)
  • Arrayondersteuning toevoegen aan unie op naam (SPARK-36546)
  • Voeg df.withMetadata toe: een syntaxissuiker om de metagegevens van een dataframe (SPARK-36642) bij te werken
  • Ondersteuning voor letterlijke tekenreeks (SPARK-36371)
  • CAST gebruiken bij het parseren van datums/tijdstempels met standaardpatroon (SPARK-36418)
  • Ondersteuning voor waardeklasse in geneste schema voor gegevensset (SPARK-20384)
  • Ondersteuning voor AS-OF-syntaxis toevoegen (SPARK-37219)
  • Herhaalbaar toevoegen in TABLESAMPLE om seed op te geven (SPARK-37165-)
  • Ansi-syntaxis set catalog xxx toevoegen om de huidige catalogus te wijzigen (SPARK-36841)
  • Ondersteuning voor ILIKE (ALL | ANY | ENKELE) - hoofdletterongevoelige LIKE (SPARK-36674, SPARK-36736, SPARK-36778)
  • Ondersteuningsqueryfase toont runtimestatistieken in de opgemaakte uitlegmodus (SPARK-38322)
  • Grootte van de overloop metrics toevoegen voor sort merge join (SPARK-37726)
  • De SQL-syntaxis van SHOW FUNCTIONS (SPARK-37777) bijwerken
  • Ondersteuning voor DROP COLUMN [ALS BESTAAT] syntaxis (SPARK-38939)
  • Nieuwe ingebouwde functies en hun extensies (SPARK-38783)
    • Datum/tijd
    • AES-functies (SPARK-12567)
      • Ingebouwde functies voor aes_encrypt en aes_decrypt toevoegen (SPARK-12567)
      • De GCM-modus ondersteunen door aes\_encrypt()/aes\_decrypt() (SPARK-37591)
      • Instellen GCM als de standaardmodus in aes\_encrypt()/aes\_decrypt() (SPARK-37666)
      • Voeg de mode en padding argumenten toe aan aes\_encrypt()/aes\_decrypt() (SPARK-37586)
    • ANSI-aggregatiefunctie (SPARK-37671)
      • Ondersteuning voor ansi-statistische functie: regr_count (SPARK-37613)
      • Ondersteuning voor ansi-statistische functie: regr_avgx & regr_avgy (SPARK-37614)
      • Ansi-aggregatiefunctie ondersteunen: percentile_cont (SPARK-37676, SPARK-38219)
      • Ansi-aggregatiefunctie ondersteunen: percentile_disc (SPARK-37691)
      • Ondersteuning voor ansi-statistische functie: regr_count (SPARK-37613)
      • Ondersteuning voor ansi-statistische functie: array_agg (SPARK-27974)
      • Ondersteuning voor ansi-statistische functie: regr_r2 (SPARK-37641)
      • Nieuwe SQL-functie: try_avg (SPARK-38589)
    • Verzamelingen
    • Formaat
    • Tekenreeks/binair
      • De tekenreeksfunctie CONTAINS() toevoegen (SPARK-37508)
      • De stringfuncties startswith() en endswith() toevoegen (SPARK-37520)
      • Lpad- en rpad-functies toevoegen voor binaire tekenreeksen (SPARK-37047)
      • Ondersteuning voor split_part-functie (SPARK-38063)
    • Schaalparameter toevoegen aan vloer- en ceilfuncties (SPARK-37475)
    • Nieuwe SQL-functies: try_subtract en try_multiply (SPARK-38164)
    • Implementeert de aggregatiefunctie histogram_numeric die gedeeltelijke aggregatie ondersteunt (SPARK-16280)
    • Max_by/min_by toevoegen aan sql.functions (SPARK-36963)
    • Nieuwe ingebouwde SQL-functies toevoegen: SEC en CSC (SPARK-36683)
    • array_intersect behandelt dubbele waarden van Double.NaN en Float.NaN (SPARK-36754)
    • Cot toevoegen als Scala- en Python-functies (SPARK-36660)

Prestatieverbeteringen

  • Codegeneratie in de gehele fase
    • Code-gen toevoegen voor sorteeraggregaties zonder groeperingssleutels (SPARK-37564)
    • Codegeneratie toevoegen voor een volledige outer sort merge join (SPARK-35352)
    • Code-gen toevoegen voor volledige outer shuffled hash join (SPARK-32567)
    • Code-generatie toevoegen voor existentie sorteer-samenvoeg-join (SPARK-37316)
  • Omlaag duwen (filters)
    • Filters omlaag pushen via RebalancePartitions (SPARK-37828)
    • Booleaanse kolomfilter omlaag pushen (SPARK-36644)
    • Push down limit 1 voor rechterzijde van linker semi/anti join als join voorwaarde leeg is (SPARK-37917)
    • Meer standaard statistische functies vertalen voor pushdown (SPARK-37527)
    • Ondersteuning voor propagatie van lege relaties door aggregate/union (SPARK-35442)
    • Runtimefiltering op rijniveau (SPARK-32268)
    • Ondersteuning voor Left Semi-join in runtime filters op rijniveau (SPARK-38565)
    • Ondersteuning voor predicate pushdown en kolomselectie voor geëlimineerde duplicaten in CTE's (SPARK-37670)
  • Vectorisatie
    • Een ConstantColumnVector implementeren en de prestaties van de verborgen bestandsmetagegevens verbeteren (SPARK-37896)
    • Vectorized read for VectorizedPlainValuesReader.readBooleans (SPARK-35867) inschakelen
  • Knooppunten combineren/verwijderen/vervangen
    • Unies combineren als er een project tussen hen is (SPARK-37915)
    • Combineer naar één cast als we veilig twee casts kunnen upcasten (SPARK-37922)
    • Verwijder de sortering als dit het onderliggende element is van RepartitionByExpression (SPARK-36703)
    • Hiermee verwijdert u outer join als deze alleen DISTINCT aan de gestreamde zijde heeft met alias (SPARK-37292)
    • Vervang hash door sorteeraggregaat als kind al gesorteerd is (SPARK-37455)
    • Alleen projecten samenvouwen als we geen dure expressies dupliceren (SPARK-36718)
    • Redundante aliassen verwijderen na RewritePredicateSubquery (SPARK-36280)
    • Niet-gecorreleerde scalaire subquery's samenvoegen (SPARK-34079)
  • Partitioneren
    • Voeg geen dynamische partitie pruning toe als er statische partitie pruning plaatsvindt (SPARK-38148)
    • RebalancePartitions verbeteren in regels van Optimizer (SPARK-37904)
    • Kleine partitiefactor toevoegen voor herverdeling van partities (SPARK-37357)
  • Deelnemen
    • Afstemmen van logica om broadcast-hash-join te degraderen in DynamicJoinSelection (SPARK-37753)
    • Dubbele joinsleutels negeren bij het opbouwen van een relatie voor SEMI-/ANTI-shuffled hash-join (SPARK-36794)
    • Ondersteuning voor het optimaliseren van scheve join, zelfs als u extra shuffle introduceert (SPARK-33832)
  • AQE
    • Ondersteuning elimineert limieten in AQE Optimizer (SPARK-36424)
    • Eén rijplan optimaliseren in normaal en AQE Optimizer (SPARK-38162)
  • Aggregate.groupOnly ondersteunt vouwbare expressies (SPARK-38489)
  • ByteArrayMethods arrayEquals moet de controle van uitlijnen met niet-uitgelijnd platform (SPARK-37796) snel overslaan
  • Boompatroon snoeien toevoegen aan CTESubstitutieregel (SPARK-37379)
  • Meer Not-operator-vereenvoudigingen toevoegen (SPARK-36665)
  • Ondersteuning voor BooleanType in UnwrapCastInBinaryComparison (SPARK-36607)
  • De coalesce-functie verwijdert alle expressies na de eerste niet-null-expressie (SPARK-36359)
  • Een logische planbezoeker toevoegen om de afzonderlijke kenmerken door te geven (SPARK-36194)

Ingebouwde connectoruitbreidingen

  • Algemeen
    • Lenient serialisatie van datum/tijd uit gegevensbron (SPARK-38437)
    • De locatie van de tabel behandelen als absoluut wanneer de eerste letter van het pad slash is in een create/alter-tabel (SPARK-38236)
    • Voorloopnullen verwijderen uit lege partitie voor statisch nummertype (SPARK-35561)
    • Ondersteuning ignoreCorruptFiles en ignoreMissingFiles in opties voor gegevensbronnen (SPARK-38767)
    • Opdracht SHOW CATALOGS toevoegen (SPARK-35973)
  • Parket
    • Inschakelen van overeenkomende schemakolomnamen op basis van veld-id's (SPARK-38094)
    • Verwijder de controleveldnaam bij het lezen/schrijven van data in Parquet (SPARK-27442)
    • Ondersteuning voor het vectoriseren van het lezen van booleaanse waarden met RLE-codering in combinatie met Parquet DataPage V2 (SPARK-37864)
    • Ondersteuning voor Parquet v2-gegevenspagina-codering (DELTA_BINARY_PACKED) voor de gevectoriseerde route (SPARK-36879)
    • Tijdstempels opnieuw baseren in de sessietijdzone opgeslagen in Parquet-/Avro-metagegevens (SPARK-37705)
    • Groep omlaag pushen op partitiekolom voor aggregaties (SPARK-36646)
    • Aggregate (Min/Max/Count) push down voor Parquet (SPARK-36645)
    • Parquet: overeenkomende schemakolommen inschakelen door veld-id (SPARK-38094)
    • Verklein het standaardpaginaformaat met LONG_ARRAY_OFFSET als G1GC en ON_HEAP worden gebruikt (SPARK-37593)
    • Vectorized DELTA_BYTE_ARRAY en DELTA_LENGTH_BYTE_ARRAY-coderingen implementeren voor ondersteuning voor Parquet V2 (SPARK-37974)
    • Ondersteuning voor complexe typen voor Parquet vectorized reader (SPARK-34863)
  • ORC
    • Controleerveldnaam verwijderen bij het lezen/schrijven van bestaande gegevens in Orc (SPARK-37965)
    • Aggregatiedruk naar beneden voor ORC (SPARK-34960)
    • Ondersteuning voor het lezen en schrijven van ANSI-intervallen van/naar ORC-gegevensbronnen (SPARK-36931)
    • Ondersteuning voor kolomnamen met alleen nummers in ORC-gegevensbronnen (SPARK-36663)
  • JSON
    • Respecteer allowNonNumericNumbers bij het parseren van NaN- en Infinity-waarden in JSON-reader (SPARK-38060)
    • CAST gebruiken voor datum/tijd in CSV/JSON standaard (SPARK-36536)
    • Foutbericht uitlijnen voor niet-ondersteunde sleuteltypen in MapType in Json Reader (SPARK-35320)
  • CSV
    • Oplossing die verwijst naar de beschadigde recordkolom van CSV (SPARK-38534)
    • null-waarden moeten worden opgeslagen als geen waarde in plaats van lege tekenreeksen “” als standaard (SPARK-37575)
  • JDBC
    • Voeg de IMMEDIATE instructie toe aan de DB2 dialect truncate-implementatie (SPARK-30062)
  • Hive
    • Ondersteuning voor het aanmaken van hive-gebucketeerde tabel (Hive-bestandsindelingen met Hive-hash) (SPARK-32712)
    • Expressies gebruiken om Hive-partities aan clientzijde te filteren (SPARK-35437)
    • Ondersteuning voor het verwijderen van dynamische partities voor HiveTableScanExec (SPARK-36876)
    • InsertIntoHiveDir moet gegevensbron gebruiken als deze converteerbaar is (SPARK-38215)
    • Ondersteuning voor het schrijven van Hive-gepartitioneerde tabel (Parquet/ORC-indeling met Hive-hash) (SPARK-32709)

Knooppunt buiten gebruik stellen

  • FallbackStorage mag niet proberen willekeurige 'externe' hostnaam (SPARK-38062) op te lossen
  • ExecutorMonitor.onExecutorRemoved moet ExecutorDecommission als voltooid behandelen (SPARK-38023)

Andere belangrijke wijzigingen

  • Fijnmazige vergrendeling toevoegen aan BlockInfoManager (SPARK-37356)
  • Ondersteuning voor het toewijzen van Spark GPU/fpga-resourcetypen aan aangepast YARN-resourcetype (SPARK-37208)
  • Rapporteer de nauwkeurige shuffleblokgrootte als deze verstoord is (SPARK-36967)
  • Ondersteuning voor Netty-logboekregistratie op de netwerklaag (SPARK-36719)

Gestructureerd streamen

Belangrijke functies

  • Introduceer Trigger.AvailableNow voor het uitvoeren van streamingquery's zoals Trigger.Once in meerdere batches (SPARK-36533)

Andere belangrijke wijzigingen

  • Gebruik StatefulOpClusteredDistribution voor stateful operators met respect voor achterwaartse compatibiliteit (SPARK-38204)
  • Fix time-outprobleem met flatMapGroupsWithState in batch met gegevens voor sleutel (SPARK-38320)
  • Corrigeer het juistheidsprobleem bij een stream-stream outer join met de RocksDB-statusarchiefprovider (SPARK-38684).
  • Ondersteuning voor Trigger.AvailableNow in kafka-gegevensbron (SPARK-36649)
  • Schrijfpad optimaliseren op RocksDB State Store-provider (SPARK-37224)
  • Een nieuwe gegevensbron introduceren voor het bieden van een consistente set rijen per microbatch (SPARK-37062)
  • HashClusteredDistribution gebruiken voor stateful operators met behoud van achterwaartse compatibiliteit (SPARK-38204)

PySpark

pandas API in Spark

Belangrijke verbeteringen
  • Indexoptimalisatie 'gedistribueerde reeks' met standaardinstelling (SPARK-36559, SPARK-36338)
    • Ondersteuning voor het opgeven van het indextype en de naam in pandas-API in Spark (SPARK-36709)
    • Standaardindextype weergeven in SQL-plannen voor pandas-API in Spark (SPARK-38654)
Belangrijke functies
  • Systeemeigen SparkSQL-ps.merge_asof (SPARK-36813) implementeren
  • Ondersteuning voor TimedeltaIndex in pandas-API in Spark (SPARK-37525)
  • Ondersteuning voor timedelta van Python (SPARK-37275, SPARK-37510)
  • Functies implementeren in CategoricalAccessor/CategoricalIndex (SPARK-36185)
  • Maakt gebruik van de standaardindeling van tekenreeksen van Python voor SQL API in pandas API op Spark (SPARK-37436)
  • Ondersteuning voor basisbewerkingen van timedelta Series/Index (SPARK-37510)
  • Ondersteuning ps.MultiIndex.dtypes (SPARK-36930)
  • Index.map implementeren (SPARK-36469)
  • Series implementeren.xor en Series.rxor (SPARK-36653)
  • Implementeer een unaire operator invert van integrale ps. Reeks/index (SPARK-36003)
  • DataFrame.cov implementeren (SPARK-36396)
  • Ondersteuning van str en tijdstempel voor (Series|DataFrame).describe() (SPARK-37657)
  • Ondersteuning voor lambda-parameter column van DataFrame.rename(SPARK-38763)

Andere belangrijke wijzigingen

Wijzigingen die fouten veroorzaken
  • Verwijzingen verwijderen naar ondersteuning voor Python 3.6 in docs en python/docs (SPARK-36977)
  • Verwijder namedtuple hack door ingebouwde pickle te vervangen door cloudpickle (SPARK-32079)
  • De minimale pandas-versie verhogen naar 1.0.5 (SPARK-37465)
  • Belangrijke verbeteringen
    • Geef een profiler op voor Python/Pandas UDF's (SPARK-37443)
    • Maakt gebruik van de standaardtekenreeksindeling van Python voor SQL API in PySpark (SPARK-37516)
    • Sql-status en -foutklasse beschikbaar maken in PySpark-uitzonderingen (SPARK-36953)
    • Probeer faulthandler vast te leggen wanneer een Python-worker vastloopt (SPARK-36062)
Belangrijke functies
  • DataFrame.mapInArrow implementeren in Python (SPARK-37228)
  • Maakt gebruik van de standaardtekenreeksindeling van Python voor SQL API in PySpark (SPARK-37516)
  • df.withMetadata pyspark API (SPARK-36642) toevoegen
  • Ondersteuning voor timedelta van Python (SPARK-37275)
  • tableExists beschikbaar maken in pyspark.sql.catalog (SPARK-36176)
  • DatabaseExists beschikbaar maken in pyspark.sql.catalog (SPARK-36207)
  • FunctionExists beschikbaar maken in pyspark SQL-catalogus (SPARK-36258)
  • Dataframe.observation toevoegen aan PySpark (SPARK-36263)
  • Max_by/min_by-API toevoegen aan PySpark (SPARK-36972)
  • Ondersteuning voor het afleiden van geneste woordenboeken als een struct bij het maken van een DataFrame (SPARK-35929)
  • Bit/octet_length API's toevoegen aan Scala, Python en R (SPARK-36751)
  • Ondersteuning voor ILIKE API in Python (SPARK-36882)
  • Methode IsEmpty toevoegen voor de Python DataFrame-API (SPARK-37207)
  • Meerdere kolommen toevoegen aan ondersteuning (SPARK-35173)
  • SparkContext.addArchive toevoegen in PySpark (SPARK-38278)
  • Sql-type representaties evalueerbaar maken (SPARK-18621)
  • Hints voor inlinetypen voor fpm.py in python/pyspark/mllib (SPARK-37396)
  • Parameter dropna implementeren van SeriesGroupBy.value_counts (SPARK-38837)

MLLIB

Belangrijke functies

  • Voeg de param distanceMeasure toe aan trainKMeansModel (SPARK-37118)
  • Stel LogisticRegression.setInitialModel bloot, zoals KMeans dat ook doen (SPARK-36481)
  • Ondersteuning voor CrossValidatorModel bij het verkrijgen van de standaarddeviatie van metriek voor elke paramMap (SPARK-36425)

Belangrijke verbeteringen

  • Een aantal treeAggregates in MLlib optimaliseren door toewijzingen uit te stellen (SPARK-35848)
  • Herschrijf _shared_params_code_gen.py om type-aanwijzingen inline te plaatsen voor ml/param/shared.py (SPARK-37419)

Andere belangrijke wijzigingen

SparkR

Gebruikersinterface

  • Samenvatting van metrische gegevens voor speculatie op faseniveau (SPARK-36038)
  • Eenvormige shuffle-leesbloktijd naar shuffle-leeswachttijd in StagePage (SPARK-37469)
  • Gewijzigde configuraties toevoegen voor SQL-uitvoering in de gebruikersinterface (SPARK-34735)
  • Zorgen dat ThriftServer spark.sql.redaction.string.regex herkent (SPARK-36400)
  • Handler koppelen en starten nadat de toepassing is gestart in de gebruikersinterface (SPARK-36237)
  • Doorvoerduur toevoegen aan het grafiekknooppunt van het SQL-tabblad (SPARK-34399)
  • Ondersteuning voor rocksDB-back-end in Spark History Server (SPARK-37680)
  • Opties weergeven voor Pandas-API in Spark in de gebruikersinterface (SPARK-38656)
  • Wijzig de naam 'SQL' in 'SQL/DataFrame' in de gebruikersinterface van SQL-UI (SPARK-38657)

Bouwen

Onderhoudsupdates

Zie Databricks Runtime 11.0.

Systeemomgeving

  • Besturingssysteem: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.1.3
  • Delta Lake: 1.2.1

Geïnstalleerde Python-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
Antergos Linux 2015.10 (ISO-Rolling) argon2-cffi 20.1.0 async-generator 1,10
kenmerken 21.2.0 terugroepactie 0.2.0 backports.entry-points-selectable 1.1.1
bleekmiddel 4.0.0 boto3 1.21.18 botocore 1.24.18
certificaat 2021.10.8 cffi 1.14.6 chardet 4.0.0
charset-normalizer 2.0.4 wielrijder 0.10.0 Cython 0.29.24
dbus-python 1.2.16 debugpy 1.4.1 decorateur 5.1.0
defusedxml 0.7.1 distlib 0.3.4 distro-info 0.23ubuntu1
invoerpunten 0,3 facettenoverzicht 1.0.0 bestandsvergrendeling 3.6.0
IDNA 3.2 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 Jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
jsonschema 3.2.0 jupyter-client (softwarepakket voor Jupyter-notebooks) 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.1
MarkupSafe 2.0.1 matplotlib 3.4.3 matplotlib-inline 0.1.2
onstemmen 0.8.4 nbclient 0.5.3 nbconvert 6.1.0
nbformat 5.1.3 nest-asyncio 1.5.1 notitieboekje 6.4.5
numpy 1.20.3 verpakking 21,0 Pandas 1.3.4
pandocfilters 1.4.3 parso 0.8.2 Patsy 0.5.2
pexpect 4.8.0 pickleshare 0.7.5 Kussen 8.4.0
pip 21.2.4 platformdirs 2.5.2 plotly 5.6.0
prometheus-client 0.11.0 prompt-hulpmiddelenpakket 3.0.20 protocolbuffers 3.20.1
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pyarrow 7.0.0 pycparser 2,20 Pygments 2.10.0
PyGObject 3.36.0 pyodbc 4.0.31 pyparsing 3.0.4
pyrsistent 0.18.0 python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil (een bibliotheek voor datum- en tijdgebaseerde functionaliteit in Python) 2.8.2
pytz 2021.3 pyzmq 22.2.1 Verzoeken 2.26.0
requests-unixsocket 0.2.0 s3transfer 0.5.2 scikit-learn 0.24.2
Scipy (een wetenschappelijke bibliotheek voor Python) 1.7.1 geboren op zee 0.11.2 Send2Trash 1.8.0
setuptools (een Python-pakket voor het beheren van installatie en distributie van pakketten) 58.0.4 Zes 1.16.0 ssh-import-id 5.10
statsmodels 0.12.2 vasthoudendheid 8.0.1 afgerond 0.9.4
testpath 0.5.0 threadpoolctl 2.2.0 tornado 6.1
Traitlets (Python library voor het configureren van Python-objecten) 5.1.0 upgrades zonder toezicht 0,1 urllib3 1.26.7
virtualenv 20.8.0 wcwidth 0.2.5 Webencoderingen 0.5.1
wiel 0.37.0 widgetsnbextension 3.6.0

Geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit de Microsoft CRAN-momentopname op 2022-05-06.

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
wachtwoord vragen 1.1 verzeker dat 0.2.1 terugimporten 1.4.1
basis 4.1.3 base64enc 0.1-3 beetje 4.0.4
64-bitsysteem 4.0.5 Druppel 1.2.3 opstarten 1.3-28
brouwsel 1.0-7 Brio 1.1.3 bezem 0.8.0
bslib 0.3.1 cachem 1.0.6 beller 3.7.0
Caret 6.0-92 cellranger (softwaretool voor genetische analyse) 1.1.0 Chron 2.3-56
klasse 7.3-20 CLI 3.3.0 Clipr 0.8.0
groep 2.1.3 codetools 0.2-18 kleurenruimte 2.0-3
commonmark 1.8.0 programmacompileerder 4.1.3 configuratie 0.3.1
cpp11 0.4.2 kleurpotlood 1.5.1 aanmeldingsgegevens 1.3.2
curl 4.3.2 gegevenstabel 1.14.2 gegevenssets 4.1.3
DBI 1.1.2 dbplyr 2.1.1 Beschrijving 1.4.1
devtools 2.4.3 diffobj 0.3.5 verwerken 0.6.29
dplyr (een R-pakket voor gegevensmanipulatie) 1.0.9 dtplyr 1.2.1 e1071 1.7-9
beletselteken 0.3.2 beoordelen 0,15 fans 1.0.3
kleuren 2.1.0 snelle kaart 1.1.0 Fontawesome 0.2.2
dwangarbeiders 0.5.1 foreach 1.5.2 buitenlands 0.8 - 82
smeden 0.2.0 fs 1.5.2 toekomst 1.25.0
future.apply 1.9.0 gorgelen 1.2.0 Generics 0.1.2
Gert 1.6.0 ggplot2 3.3.6 Gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-4 globale variabelen 0.14.0
lijm 1.6.2 googledrive 2.0.0 googlesheets4 1.0.0
Gower 1.0.0 afbeeldingen 4.1.3 grDevices 4.1.3
netwerk 4.1.3 gridExtra 2.3 gsubfn 0,7
gtable 0.3.0 veiligheidshelm 0.2.0 toevluchtsoord/schuilplaats 2.5.0
hoger 0,9 hms 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.3
identiteiten 1.0.1 ini 0.3.1 IPRED 0.9-12
isoband 0.2.5 Iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.0 KernSmooth 2.23-20 knitr 1.39
etikettering 0.4.2 daarna 1.3.0 latwerk 0.20-45
lava 1.6.10 levenscyclus 1.0.1 luisteren 0.8.0
lubridate 1.8.0 magrittr 2.0.3 Markdown 1.1
MASSA 7.3-56 Matrix 1.4-1 memoriseer 2.0.1
methoden 4.1.3 mgcv 1.8-40 Mime 0,12
ModelMetrics 1.2.2.2 modelr 0.1.8 munsell 0.5.0
nlme 3.1-157 nnet 7.3-17 numDeriv 2016.8 tot 1.1
OpenSSL-software 2.0.0 evenwijdig 4.1.3 parallel 1.31.1
pilaar 1.7.0 pkgbuild 1.3.1 pkgconfig 2.0.3
pkgload 1.2.4 plogr 0.2.0 plyr 1.8.7
prijzen 1.0.0 prettyunits 1.1.1 pROC 1.18.0
Processx 3.5.3 prodlim 2019.11.13 Voortgang 1.2.2
progressr 0.10.0 Beloften 1.2.0.1 Proto 1.0.0
tussenpersoon 0.4-26 P.S. 1.7.0 purrr 0.3.4
r2d3 0.2.6 R6 2.5.1 randomForest 4.7-1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.8.3 RcppEigen 0.3.3.9.2 readr 2.1.2
readxl (een programma voor het lezen van Excel-bestanden) 1.4.0 recepten 0.2.0 Rematch 1.0.1
opnieuw overeenkomen2 2.1.2 Afstandsbedieningen 2.4.2 reprex (reproduceerbaar voorbeeld) 2.0.1
reshape2 1.4.4 rlang 1.0.2 rmarkdown 2.14
RODBC 1.3-19 roxygen2 7.1.2 rpart (een R-pakket voor beslissingsboommodellering) 4.1.16
rprojroot 2.0.3 Rserve 1.8-10 RSQLite 2.2.13
rstudioapi 0,13 rversions 2.1.1 rvest (een softwarepakket voor webscraping) 1.0.2
Sass 0.4.1 weegschaal 1.2.0 Selectr 0,4-2
sessiegegevens 1.2.2 vorm 1.4.6 glanzend en nieuw 1.7.1
sourcetools 0.1.7 sparklyr 1.7.5 SparkR 3.3.0
ruimtelijk 7.3-11 Splines 4.1.3 sqldf 0.4-11
SQUAREM 2021.1 Statistieken 4.1.3 statistieken4 4.1.3
strings 1.7.6 stringr 1.4.0 survival 3.2-13
sys 3.4 tcltk 4.1.3 testthat 3.1.4
tibble 3.1.7 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 tijd en datum 3043.102 tinytex 0,38
gereedschappen 4.1.3 tzdb 0.3.0 gebruik dit 2.1.5
utf8 1.2.2 hulpmiddelen 4.1.3 UUID (Universally Unique Identifier) 1.1-0
vctrs 0.4.1 viridisLite 0.4.0 Vroom 1.5.7
Waldo 0.4.0 snor 0,4 verwelken 2.5.0
xfun 0,30 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 YAML 2.3.5 zip-bestand 2.2.0

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)

Groeps-id Artefact-ID Versie
antlr antlr 2.7.7
com.amazonaws Amazon Kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling (Amazon Web Services Java Software Development Kit voor automatisch schalen) 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config (configuratie) 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws AWS Java SDK Datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws AWS Java SDK - Elastic Load Balancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier (AWS Java SDK Glacier) 1.12.189
com.amazonaws aws-java-sdk-glue (een softwareontwikkelingskit voor het werken met AWS Glue in Java) 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws AWS Java SDK Import/Export 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logbestanden 1.12.189
com.amazonaws AWS-Java-SDK-MachineLearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway (een Java software development kit voor het beheren van opslaggateways in AWS) 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-ondersteuning 1.12.189
com.amazonaws aws-java-sdk-swf-bibliotheken 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stroom 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-gearceerd 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml klasgenoot 1.3.4
com.fasterxml.jackson.core Jackson-annotaties 2.13.3
com.fasterxml.jackson.core jackson-core 2.13.3
com.fasterxml.jackson.core jackson-databind 2.13.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.3
com.fasterxml.jackson.module jackson-module-paranamer 2.13.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.3
com.github.ben-manes.caffeine cafeïne 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib kern 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_systeem-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native systeem voor Linux x86_64, inclusief natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson (een Java-bibliotheek voor het converteren van Java-objecten naar JSON en vice versa) 2.8.6
com.google.crypto.tink Tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guave 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profielmaker 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.UITGAVE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure Azure-Data-Lake-Store-SDK 2.3.9
com.ning compress-lzf (een compressie-algoritme) 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-functie_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuratie 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
gemeenschappelijke collecties gemeenschappelijke collecties 3.2.2
commons-dbcp commons-dbcp 1.4
bestandsupload van commons bestandsupload van commons 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
gemeenschappelijke-logboekvoorziening gemeenschappelijke-logboekvoorziening 1.1.3
commons-pool (gemeenschappelijke pool) commons-pool (gemeenschappelijke pool) 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib Blas 2.2.1
dev.ludovic.netlib LAPACK 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift luchtdrukmachine 0.21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metrische gegevenskern 4.1.1
io.dropwizard.metrics graphite-metriek 4.1.1
io.dropwizard.metrics metrische gezondheidscontroles 4.1.1
io.dropwizard.metrics metrics-jetty9 (een Jetty-implementatie voor het meten van prestatie-indicatoren) 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json (metrische gegevens in JSON-formaat) 4.1.1
io.dropwizard.metrics metriekgegevens voor JVM 4.1.1
io.dropwizard.metrics metrieke gegevens-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty Netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-klassen 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-natieve-unix-algemeen 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common (algemene module voor eenvoudige client) 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx verzamelaar 0.12.0
jakarta.annotatie jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activering 1.1.1
javax.annotatie javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transactie-API 1.1
javax.xml.bind jaxb-api 2.2.11
Javolution Javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
Maven-bomen hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pekelen 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-CSV 2.2.0
net.sneeuwvlok snowflake-ingest-sdk 0.9.6
net.sneeuwvlok snowflake-jdbc 3.13.14
net.sneeuwvlok spark-snowflake_2.12 2.10.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr tekenreekstemplate 3.2.1
org.apache.ant mier 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher (startprogramma voor Ant) 1.9.2
org.apache.arrow pijlnotatie 7.0.0
org.apache.arrow pijlpunt-geheugen-kern 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow pijlvector 7.0.0
org.apache.avro AVRO 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress - een bibliotheek voor compressie 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-tekst 1,9
org.apache.curator beheerder-cliënt 2.13.0
org.apache.curator curatorraamwerk 2.13.0
org.apache.curator curator-recepten 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop Hadoop-client-api 3.3.2-databricks
org.apache.hadoop hadoop-client-uitvoeringsomgeving 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-opslag-API 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common (if no translation is needed for understanding, the original can be kept as is) 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy klimop 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.17.2
org.apache.logging.log4j log4j-api 2.17.2
org.apache.logging.log4j log4j-core 2.17.2
org.apache.logging.log4j log4j-slf4j-impl 2.17.2
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.4
org.apache.orc orc-mapreduce 1.7.4
org.apache.orc orc-shims 1.7.4
org.apache.parquet parquet-kolom 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet parquet-codering 1.12.0-databricks-0004
org.apache.parquet Parquetformatstructuren 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4,20
org.apache.yetus annotaties voor specifieke doelgroepen 0.5.0
org.apache.zookeeper dierentuinverzorger 3.6.2
org.apache.zookeeper dierentuinopzichter-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-ASL 1.9.13
org.codehaus.janino algemene compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-vervolg 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty Jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy (een omgekeerde proxy server gebaseerd op Jetty) 9.4.46.v20220331
org.eclipse.jetty Jetty-beveiliging 9.4.46.v20220331
org.eclipse.jetty Jetty Server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket WebSocket-API 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-lokalisator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-hulpbronnenzoeker 1.0.3
org.glassfish.hk2.external aopalliance opnieuw verpakt 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,34
org.glassfish.jersey.containers jersey-container-servlet-core 2,34
org.glassfish.jersey.core jersey-client 2,34
org.glassfish.jersey.core Algemene Jersey 2,34
org.glassfish.jersey.core Jersey-Server 2,34
org.glassfish.jersey.inject jersey-hk2 2,34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Aantekeningen 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap vulplaatjes 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark ongebruikt 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel katten-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
  • Last updated on