Megosztás a következőn keresztül:

Databricks Runtime 11.0 (EoS)

  • Cikk

Feljegyzés

A Databricks Runtime-verzió támogatása véget ért. A támogatás megszűnésének dátumáról lásd a támogatási előzményeket. Az összes támogatott Databricks Runtime-verziót lásd : Databricks Runtime release notes versions and compatibility.

Az alábbi kibocsátási megjegyzések az Apache Spark 3.3.0 által működtetett Databricks Runtime 11.0-ról nyújtanak információkat. A Databricks 2022 júniusában adta ki ezt a verziót.

Új funkciók és fejlesztések

Az Apache Spark új verziója

A Databricks Runtime 11.0 és a Databricks Runtime 11.0 Photon tartalmazza az Apache Spark 3.3.0-t. További részletekért lásd az Apache Sparkot.

A Python-jegyzetfüzetek most már az IPython kernelt használják

A Databricks Runtime 11.0-s és újabb verziókban a Python-jegyzetfüzetek az IPython kernel használatával hajtják végre a Python-kódot. Lásd: IPython kernel.

Ipywidgets támogatása

Mostantól ipywidgets használatával interaktívsá teheti Databricks Python-jegyzetfüzeteit. Lásd: ipywidgets.

A Synapse-összekötő mostantól parquet-adatokat ír nem örökölt módban

Az Azure Synapse-összekötő mostantól parquet-adatokat ír nem örökölt módban. Megőrzi az időbélyeg formátumát a INT96 PolyBase COPY és a kötegelt és streamelési számítási feladatok parancsai esetén.

A HTTPS-séma kényszerítve lett, amikor az ABFS-ügyfél SAS-jogkivonatot használ

Amikor az Azure Blob Fájlrendszer (ABFS) ügyfél egy KÖZÖS hozzáférésű jogosultságkód (SAS) jogkivonatot használ, a HTTPS-séma életbe lép.

SQL: mostantól a következő aliasa: DESCDESCRIBE

Mostantól DESC használhatja aliasként a DESCRIBE külső helyek vagy a tár hitelesítő adatainak leírásához. Példa:

-- Describe an external location.
DESC EXTERNAL LOCATION location_name;

-- Describe a storage credential.
DESC STORAGE CREDENTIAL credential_name;

SQL: Az új current_version függvény a verzió részleteit adja ki

Az új current_version függvény az aktuális Databricks Runtime-verziót adja ki, ha elérhető, az aktuális Databricks SQL-verziót, és egyéb kapcsolódó verzióadatokat. Ezzel az új függvénnyel lekérdezheti a verzióval kapcsolatos információkat. Lásd current_version függvényt.

Egy hiányzó Delta-tábla kényszerének elvetése hibát okoz

Ha most név alapján próbál elvetni egy Delta-táblamegkötést, és ez a kényszer nem létezik, hibaüzenet jelenik meg. Az előző viselkedés lekéréséhez, amely nem jelez hibát, ha a kényszer nem létezik, most az utasítást IF EXISTS kell használnia. Lásd: ALTER TABLE.

SQL: Az utasítás új EXCEPT záradéka SELECT kizárja az oszlopokat a kijelölésből

SELECT az utasítások mostantól támogatják a záradékot, amely kizárja az EXCEPT oszlopokat a kijelölésből. Például az összes tableoszlopot visszaadja, SELECT * EXCEPT (x) FROM table kivévex. A beágyazott oszlopok is engedélyezettek. Például az összes tableoszlopot visszaadja, SELECT * EXCEPT (x.a) FROM table de kihagyja a mezőt a a szerkezetbőlx.

Oszlopok elvetése a Delta-táblákban (nyilvános előzetes verzió)

A Delta-táblákból csak metaadat-műveletként használhat ALTER TABLE <table-name> DROP COLUMN [IF EXISTS] <column-name> ALTER TABLE <table-name> DROP COLUMNS [IF EXISTS] (<column-name>, *) vagy elvethet egy oszlopot vagy oszloplistát. Az oszlopok gyakorlatilag "helyreállíthatóan törölve" lesznek, mivel továbbra is a mögöttes Parquet-fájlokban találhatók, de már nem láthatók a Delta-tábla számára.

A REORG TABLE <table-name> APPLY (PURGE) helyreállíthatóan törölt adatokat, például az elvetett oszlopokat tartalmazó fájlokon fájlátírást indíthat el.

A VACUUM törölt fájlokat eltávolíthatja a fizikai tárolóból, beleértve az elvetett oszlopokat tartalmazó régi fájlokat is, amelyeket REORG TABLEa rendszer újraírt.

COPY INTO Fejlesztések

Most már létrehozhat üres helyőrző Delta-táblákat, hogy a séma később következtethető legyen egy COPY INTO parancs során:

CREATE TABLE IF NOT EXISTS my_table
[COMMENT <table-description>]
[TBLPROPERTIES (<table-properties>)];

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true');

Az előző SQL-utasítás idempotens, és ütemezhető úgy, hogy pontosan egyszer futtassa az adatokat egy Delta-táblába.

Feljegyzés

Az üres Delta-tábla kívül nem használható COPY INTO. Nem használhatja INSERT INTO és MERGE INTO nem írhat adatokat séma nélküli Delta-táblákba. Miután beszúrta az adatokat a táblába COPY INTO, a tábla lekérdezhető.

Ha a betöltött adatok valamilyen sérülés miatt nem olvashatók, a sérült fájlokat kihagyhatja a FORMAT_OPTIONSkövetkező beállítással:ignoreCorruptFiles true

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('ignoreCorruptFiles' = 'true')

A COPY INTO parancs az oszlop sérülése num_skipped_corrupt_files miatt kihagyott fájlok számát adja vissza. Ez a metrika a operationMetrics Delta-táblán való futtatás DESCRIBE HISTORY után is megjelenik az oszlopbannumSkippedCorruptFiles.

A sérült fájlokat nem követi nyomon COPY INTOa rendszer, így a sérülés kijavítása után újra betölthetők. A módban való futtatással COPY INTO VALIDATE láthatja, hogy mely fájlok sérültek.

CONVERT TO DELTA mostantól támogatott a Unity Catalog-kompatibilis környezetekben (nyilvános előzetes verzió)

A Unity-Catalog-kompatibilis környezetekben CONVERT TO DELTA mostantól a következőket teheti:

  • Külső helyeken lévő Parquet-fájlok konvertálása Delta Lake-fájllá.
  • Parquet külső táblák konvertálása Delta-táblákká.

Viselkedésbeli változások

SQL: lpad és rpad a függvények mostantól támogatják a bájtsorozatokat

Az lpad és az rpad függvények frissültek, így a sztringek mellett a bájtsorozatok is támogatottak.

Sztringformátum a következőben:format_string printf%0$

A formátum %0$ és printf a format_string függvények megadása mostantól alapértelmezés szerint hibát jelez. Ez a módosítás a Databricks Runtime korábbi verzióival és a közös külső adatbázisokkal a várt viselkedés megőrzése. Az első argumentumnak mindig hivatkoznia %1$ kell, amikor argumentumindex használatával jelzi az argumentum helyét az argumentumlistában.

A CSV-fájlok null értékei alapértelmezés szerint nemquoted üres sztringekként vannak megírva

A CSV-fájlok null értékeit korábban idézett üres sztringekként írták. Ezzel a kiadással a CSV-fájlok null értékei alapértelmezés szerint nem kvótált üres sztringekként lesznek megírva. Ha vissza szeretne váltani az előző viselkedésre, állítsa be az nullValue írási műveletek beállítását "" .

A táblatulajdonság external már foglalt

A tulajdonság external alapértelmezés szerint fenntartott táblatulajdonság. A kivételek akkor jelennek meg, ha a external tulajdonságot a záradékokkal CREATE TABLE ... TBLPROPERTIES együtt ALTER TABLE ... SET TBLPROPERTIES használja.

A Log4j a Log4j 1-ről a Log4j 2-re frissül

A Log4j 1 a Log4j 2-re frissül. Az örökölt Log4j 1 függőségek törlődnek.

Ha a Databricks Futtatókörnyezetben korábban szereplő Log4j 1 osztálytól függ, ezek az osztályok már nem léteznek. A függőségeket a Log4j 2-re kell frissítenie.

Ha olyan egyéni beépülő modulokkal vagy konfigurációs fájlokkal rendelkezik, amelyek a Log4j 2-től függenek, előfordulhat, hogy a továbbiakban nem működnek a Log4j 2 verziójával ebben a kiadásban. Segítségért forduljon az Azure Databricks-fiók csapatához.

A Mavenből telepített kódtárak alapértelmezés szerint feloldódnak a számítási síkban

A Maven-kódtárak alapértelmezés szerint feloldódnak a számítási síkban, amikor kódtárakat telepít egy fürtre. A fürtnek hozzáféréssel kell rendelkeznie a Maven Centralhoz. Másik lehetőségként visszatérhet az előző viselkedéshez a Spark konfigurációs tulajdonságának beállításával:

spark.databricks.libraries.enableMavenResolution false

Hibajavítások

  • Az Apache Spark és BinaryNode a Databricks Runtime bináris kompatibilitása LeafNodeUnaryNodeki lett javítva, és az osztályok kompatibilisek az Apache Spark 3.3.0-s és újabb verziókkal. Ha a databricks-futtatókörnyezettel egy harmadik féltől származó csomag használatakor a következő vagy hasonló üzenetet tapasztalja, építse újra a csomagot az Apache Spark 3.3.0-s vagy újabb verziójával: Found interface org.apache.spark.sql.catalyst.plans.logical.UnaryNode, but class was expected.

Könyvtárfrissítések

  • Frissített Python-kódtárak:
    • platformdirs 2.5.1 és 2.5.2 között
    • protobuf 3.20.0 és 3.20.1 között
  • Frissített R-kódtárak:
    • blob 1.2.2-től 1.2.3-ra
    • seprű 0.7.12–0.8.0
    • simító 6,0-91-6,0-92
    • cli 3.2.0-tól 3.3.0-ra
    • dplyr 1.0.8 és 1.0.9 között
    • 1.24.0-tól 1.25.0-ra
    • future.apply from 1.8.1 to 1.9.0
    • gert 1.5.0-tól 1.6.0-ra
    • ggplot2 3.3.5-től 3.3.6-osig
    • glmnet 4.1-3-tól 4.1-4-4-hez
    • 2.4.3-tól 2.5.0-ra
    • httr 1.4.2-től 1.4.3-ra
    • knitr 1,38-tól 1,39-ig
    • magrittr 2.0.2 és 2.0.3 között
    • párhuzamosan az 1.30.0 és 1.31.1 között
    • ps 1.6.0 és 1.7.0 között
    • RColorBrewer 1.1-2-től 1.1-3-ig
    • RcppEigen 0.3.3.9.1-től 0.3.3.9.2-től
    • readxl 1.3.1 és 1.4.0 között
    • rmarkdown 2.13-tól 2.14-ig
    • rprojroot 2.0.2-től 2.0.3-ig
    • RSQLite 2.2.11-től 2.2.13-ra
    • skálázás 1.1.1-ről 1.2.0-ra
    • testthat 3.1.2 és 3.1.4 között
    • 3.1.6-tól 3.1.7-hez
    • tinytex 0,37-től 0,38-ra
    • tzdb 0.2.0 és 0.3.0 között
    • uuid 1.0-4-től 1.1-0-ra
    • 0.3.8 és 0.4.1 közötti vctrs
  • Frissített Java-kódtárak:
    • com.fasterxml.jackson.core.jackson-annotations from 2.13.0 to 2.13.3
    • com.fasterxml.jackson.core.jackson-core 2.13.0-2.13.3
    • com.fasterxml.jackson.core.jackson-databind 2.13.0 és 2.13.3 között
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor 2.13.0 és 2.13.3 között
    • com.fasterxml.jackson.datatype.jackson-datatype-joda 2.13.0 és 2.13.3 között
    • com.fasterxml.jackson.module.jackson-module-paranamer 2.13.0-2.13.3
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 2.13.0 és 2.13.3 között
    • com.google.crypto.tink.tink.tink 1.6.0 és 1.6.1 között
    • com.ning.compress-lzf 1.0.3 és 1.1 között
    • dev.ludovic.netlib.arpack 2.2.0 és 2.2.1 között
    • dev.ludovic.netlib.blas 2.2.0 és 2.2.1 között
    • dev.ludovic.netlib.lapack 2.2.0 és 2.2.1 között
    • io.netty.netty-all 4.1.73.Final-4.1.74.Final
    • io.netty.netty-puffer 4.1.73.Final-4.1.74.Final
    • io.netty.netty-codec 4.1.73.Final-4.1.74.Final
    • io.netty.netty-common 4.1.73.Final-4.1.74.Final
    • io.netty.netty-handler 4.1.73.Final-4.1.74.Final
    • io.netty.netty-resolver 4.1.73.Final–4.1.74.Final
    • io.netty.netty-tcnative-classes 2.0.46.Final-2.0.48.Final
    • io.netty.netty-transport 4.1.73.Final-4.1.74.Final
    • io.netty.netty-transport-classes-epoll 4.1.73.Final-4.1.74.Final
    • io.netty.netty-transport-classes-kqueue 4.1.73.Final-4.1.74.Final
    • io.netty.netty-transport-native-epoll-linux-aarch_64 4.1.73.Final-4.1.74.Final
    • io.netty.netty-transport-native-epoll-linux-x86_64 4.1.73.Final-4.1.74.Final
    • io.netty.netty-transport-native-kqueue-osx-aarch_64 4.1.73.Final-tól 4.1.74.Final-ig
    • io.netty.netty-transport-native-kqueue-osx-x86_64 4.1.73.Final-tól 4.1.74.Final-ig
    • io.netty.netty-transport-native-unix-common 4.1.73.Final-4.1.74.Final
    • joda-time.joda-time 2.10.12 és 2.10.13 között
    • org.apache.commons.commons-math3 3.4.1 és 3.6.1 között
    • org.apache.httpcomponents.httpcore 4.4.12 és 4.4.14 között
    • org.apache.orc.orc-core 1.7.3 és 1.7.4 között
    • org.apache.orc.orc-mapreduce 1.7.3 és 1.7.4 között
    • org.apache.orc.orc-shims 1.7.3-tól 1.7.4-re
    • org.eclipse.jetty.jetty-client 9.4.43.v20210629-ról 9.4.46.v20220331-ra
    • org.eclipse.jetty.jetty-continuation from 9.4.43.v20210629 to 9.4.46.v20220331
    • org.eclipse.jetty.jetty-http 9.4.43.v20210629-tól 9.4.46.v20220331
    • org.eclipse.jetty.jetty-io 9.4.43.v20210629-tól 9.4.46.v20220331
    • org.eclipse.jetty.jetty-jndi 9.4.43.v20210629-tól 9.4.46.v20220331-től
    • org.eclipse.jetty.jetty-plus 9.4.43.v20210629-tól 9.4.46.v20220331
    • org.eclipse.jetty.jetty-proxy 9.4.43.v20210629-ról 9.4.46.v20220331
    • org.eclipse.jetty.jetty-security 9.4.43.v20210629-ról 9.4.46.v20220331-ra
    • org.eclipse.jetty.jetty-server 9.4.43.v20210629 és 9.4.46.v20220331
    • org.eclipse.jetty.jetty-servlet 9.4.43.v20210629 és 9.4.46.v20220331
    • org.eclipse.jetty.jetty-servlets from 9.4.43.v20210629 to 9.4.46.v20220331
    • org.eclipse.jetty.jetty-util 9.4.43.v20210629 és 9.4.46.v20220331
    • org.eclipse.jetty.jetty-util-ajax from 9.4.43.v20210629 to 9.4.46.v20220331
    • org.eclipse.jetty.jetty-webapp 9.4.43.v20210629 és 9.4.46.v20220331
    • org.eclipse.jetty.jetty-xml 9.4.43.v20210629-tól 9.4.46.v20220331-től
    • org.eclipse.jetty.websocket.websocket-api 9.4.43.v20210629 és 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-client 9.4.43.v20210629–9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-common from 9.4.43.v20210629 to 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-server 9.4.43.v20210629–9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-servlet 9.4.43.v20210629–9.4.46.v20220331
    • org.mariadb.jdbc.mariadb-java-client 2.2.5-től 2.7.4-ig
    • org.postgresql.postgresql 42.2.19-től 42.3.3-ig
    • org.roaringbitmap.RoaringBitmap 0.9.23 és 0.9.25 között
    • org.roaringbitmap.shims 0.9.23 és 0.9.25 között
    • org.rocksdb.rocksdbjni 6.20.3 és 6.24.2 között
    • org.slf4j.jcl-over-slf4j 1.7.32–1.7.36
    • org.slf4j.jul-to-slf4j 1.7.32–1.7.36
    • org.slf4j.slf4j-api 1.7.30-tól 1.7.36-osig

Apache Spark

A Databricks Runtime 11.0 tartalmazza az Apache Spark 3.3.0-t.

Ebben a szakaszban:

Spark SQL és Core

ANSI mód

  • Új explicit öntött szintaxisszabályok ANSI módban (SPARK-33354)
  • Az Elt() null értéket ad vissza, ha az index NULL az ANSI módban (SPARK-38304)
  • Ha az elem nem létezik tömbben/leképezésben (SPARK-37750) null értéket ad vissza, akkor null eredményt ad vissza.
  • Numerikus típus és időbélyeg típus közötti öntés engedélyezése (SPARK-37714)
  • Fenntartott ANSI-kulcsszavak letiltása alapértelmezés szerint (SPARK-37724)
  • Tár-hozzárendelési szabályok használata a függvényhívások feloldásához (SPARK-37438)
  • Konfiguráció hozzáadása a Datetime és a Numerikus (SPARK-37179) közötti casting engedélyezéséhez
  • Konfigurálás hozzáadása az ANSI által fenntartott kulcsszavak opcionális kényszerítéséhez (SPARK-37133)
  • Bináris műveletek letiltása intervallum és sztringkonstans között (SPARK-36508)

Funkciók fejlesztései

  • ANSI SQL INTERVAL-típusok támogatása (SPARK-27790)
  • Hibaüzenetek fejlesztései (SPARK-38781)
  • Rejtett fájl metaadatainak támogatása Spark SQL-hez (SPARK-37273)
  • Nyers sztringkonstans támogatása (SPARK-36371)
  • Helper class for batch Dataset.observe() (SPARK-34806)
  • A támogatás megadja az újraegyensúlyozás kezdeti partíciószámát (SPARK-38410)
  • Az API-k kaszkádolt módjának dropNamespace támogatása (SPARK-37929)
  • Tároló hozzárendelésének és implicit leadásának engedélyezése datetime-típusok között (SPARK-37707)
  • A collect, first és last függvénynek determinisztikus aggregátumfüggvénynek kell lennie (SPARK-32940)
  • ExpressionBuilder hozzáadása összetett túlterheléssel rendelkező függvényekhez (SPARK-37164)
  • Tömbtámogatás hozzáadása az egyesítőhöz név szerint (SPARK-36546)
  • df.withMetadata hozzáadása: szintaxiscukor egy adatkeret metaadatainak frissítéséhez (SPARK-36642)
  • Nyers sztringkonstans támogatása (SPARK-36371)
  • A CAST használata a dátumok/időbélyegek alapértelmezett mintával történő elemzéséhez (SPARK-36418)
  • Támogatási értékosztály az adathalmaz beágyazott sémájában (SPARK-20384)
  • AS OF szintaxistámogatás hozzáadása (SPARK-37219)
  • Add REPEATABLE in TABLESAMPLE to specify seed (SPARK-37165)
  • Ansi szintaxis set catalog xxx hozzáadása az aktuális katalógus módosításához (SPARK-36841)
  • ILIKE támogatása (ALL | BÁRMELY | NÉHÁNY) - esetérzékeny LIKE (SPARK-36674, SPARK-36736, SPARK-36778)
  • A lekérdezési szakasz futásidejű statisztikáinak támogatása formázott magyarázó módban (SPARK-38322)
  • Kiömlés méretmetrikáinak hozzáadása rendezési körlevél illesztéshez (SPARK-37726)
  • A SHOW FUNCTIONS (SPARK-37777) SQL-szintaxisának frissítése
  • A DROP COLUMN [HA LÉTEZIK] szintaxis támogatása (SPARK-38939)
  • Új beépített függvények és bővítményeik (SPARK-38783)
    • Datetime
      • Adja hozzá a TIMESTAMPADD() függvényt (SPARK-38195)
      • Adja hozzá a TIMESTAMPDIFF() függvényt (SPARK-38284)
      • Adja hozzá a DATEDIFF() (SPARK-38389) aliasát TIMESTAMPDIFF()
      • Alias hozzáadása a DATEADD() következőhöz TIMESTAMPADD() : (SPARK-38332)
      • convert\_timezone() A függvény hozzáadása (SPARK-37552, SPARK-37568)
      • Make_date kifejezés elérhetővé tehető a functions.scala (SPARK-36554) alkalmazásban
    • AES-függvények (SPARK-12567)
      • Aes_encrypt és aes_decrypt beépített függvények hozzáadása (SPARK-12567)
      • A GCM mód támogatása (aes\_encrypt()/aes\_decrypt()SPARK-37591)
      • Beállítás GCM alapértelmezett módként (aes\_encrypt()aes\_decrypt()/SPARK-37666)
      • Adja hozzá az mode and args toaes\_decrypt()/aes\_encrypt() (SPARK-37586)padding
    • ANSI aggregációs függvény (SPARK-37671)
      • Az ANSI-összesítő függvény támogatása: regr_count (SPARK-37613)
      • ANSI-összesítő függvény támogatása: regr_avgx ®r_avgy (SPARK-37614)
      • Az ANSI aggregációs függvény támogatása: percentile_cont (SPARK-37676, SPARK-38219)
      • Az ANSI aggregációs függvény támogatása: percentile_disc (SPARK-37691)
      • Az ANSI-összesítő függvény támogatása: regr_count (SPARK-37613)
      • Az ANSI-összesítő függvény támogatása: array_agg (SPARK-27974)
      • ANSI-összesítő függvény támogatása: regr_r2 (SPARK-37641)
      • Új SQL-függvény: try_avg (SPARK-38589)
    • Gyűjtemények
    • Formátum
    • Sztring/bináris
      • CONTAINS() sztringfüggvény hozzáadása (SPARK-37508)
      • A sztringfüggvények startswith() endswith() hozzáadása (SPARK-37520)
      • Lpad- és rpad-függvények hozzáadása bináris sztringekhez (SPARK-37047)
      • Támogatási split_part függvény (SPARK-38063)
    • Méretezési paraméter hozzáadása padló- és ceil-függvényekhez (SPARK-37475)
    • Új SQL-függvények: try_subtract és try_multiply (SPARK-38164)
    • Implementálja histogram_numeric aggregációs függvényt, amely támogatja a részleges összesítést (SPARK-16280)
    • Max_by/min_by hozzáadása az sql.functionshez (SPARK-36963)
    • Új beépített SQL-függvények hozzáadása: SEC és CSC (SPARK-36683)
    • array_intersect duplikált Double.NaN és Float.NaN (SPARK-36754) kezelése
    • Kiságy hozzáadása Scala- és Python-függvényként (SPARK-36660)

Teljesítménybeli fejlesztések

  • Teljes körű kódlétrehozás
    • Kód-gen hozzáadása csoportosítási kulcsok nélküli rendezési aggregátumhoz (SPARK-37564)
    • Kód-gen hozzáadása teljes külső rendezési egyesítési illesztéshez (SPARK-35352)
    • Kód-gen hozzáadása teljes külső elfojtott kivonat illesztéshez (SPARK-32567)
    • Kód-gen hozzáadása a létezési rendezési egyesítési illesztéshez (SPARK-37316)
  • Leküldés (szűrők)
    • Szűrők leküldése RebalancePartitions (SPARK-37828) használatával
    • Logikai oszlopszűrő leküldése (SPARK-36644)
    • 1. leküldéses korlát a bal oldali fél-/anti illesztés jobb oldalán, ha az illesztési feltétel üres (SPARK-37917)
    • További szabványos összesítő függvények fordítása leküldéshez (SPARK-37527)
    • Az üres kapcsolat propagálása aggregátum/egyesítés használatával (SPARK-35442)
    • Sorszintű futtatókörnyezet szűrése (SPARK-32268)
    • Bal oldali félillesztés támogatása sorszintű futtatókörnyezeti szűrőkben (SPARK-38565)
    • Támogatás predikátum leküldéses és oszlopmetsző de duped CTes (SPARK-37670)
  • Vektorizálás
    • KonstanscolumnVector implementálása és a rejtett fájl metaadatainak teljesítményének javítása (SPARK-37896)
    • Vektoros olvasás engedélyezése VectorizedPlainValuesReader.readBooleans (SPARK-35867)
  • Csomópontok egyesítése/eltávolítása/cseréje
    • Egyesítse az egyesítőket, ha projekt van közöttük (SPARK-37915)
    • Kombináljuk egy öntött, ha tudjuk biztonságosan fel-öntött két leadott (SPARK-37922)
    • Távolítsa el a rendezést, ha az a RepartitionByExpression (SPARK-36703) gyermeke
    • Eltávolítja a külső illesztést, ha csak a DISTINCT van a streamelt oldalon aliassal (SPARK-37292)
    • Ha a gyermek már rendezve van ( SPARK-37455)
    • Csak akkor csukja össze a projekteket, ha nem duplikáljuk a drága kifejezéseket (SPARK-36718)
    • Redundáns aliasok eltávolítása a RewritePredicateSubquery (SPARK-36280) után
    • Nem korrelált skaláris alhálózatok egyesítése (SPARK-34079)
  • Particionálás
    • Ne adjon hozzá dinamikus partíciómetszetet, ha létezik statikus partíciómetszet (SPARK-38148)
    • RebalancePartitions javítása az Optimizer szabályaiban (SPARK-37904)
    • Kis partíciótényező hozzáadása az újraegyensúlyozási partíciókhoz (SPARK-37357)
  • Csatlakozik
    • Finomhangolási logika a Broadcast hash illesztés lefokozásához a DynamicJoinSelectionben (SPARK-37753)
    • A duplikált illesztési kulcsok figyelmen kívül hagyása a SEMI/ANTI egyesítési kivonat illesztés relációjának létrehozásakor (SPARK-36794)
    • Támogatja a ferde illesztés optimalizálását még akkor is, ha extra shuffle-t vezet be (SPARK-33832)
  • AQE
    • Támogatás az AQE Optimizer (SPARK-36424) korlátainak megszüntetéséhez
    • Egy sorterv optimalizálása normál állapotban és AQE-optimalizáló (SPARK-38162)
  • Aggregate.groupOnly támogatja az összecsukható kifejezéseket (SPARK-38489)
  • A ByteArrayMethods arrayEquals-nek gyorsan át kell hagynia a nem elaltatott platformhoz való igazítás ellenőrzését (SPARK-37796)
  • Famintás metszés hozzáadása a CTESubstitution szabályhoz (SPARK-37379)
  • További nem operátoros egyszerűsítések hozzáadása (SPARK-36665)
  • A BooleanType támogatása a UnwrapCastInBinaryComparisonban (SPARK-36607)
  • A Coalesce elveti az összes kifejezést az első nem null értékű kifejezés (SPARK-36359) után
  • Logikai terv látogatójának hozzáadása a különböző attribútumok propagálásához (SPARK-36194)

Beépített összekötők fejlesztései

  • Általános
    • A datetime elenyenes szerializálása adatforrásból (SPARK-38437)
    • A tábla helyének abszolútként való kezelése, ha az elérési út első betűje perjeles a create/alter táblában (SPARK-38236)
    • Kezdő nullák eltávolítása üres statikus számtípusú partícióból (SPARK-35561)
    • Támogatási ignoreCorruptFiles és ignoreMissingFiles adatforrás-beállítások (SPARK-38767)
    • SHOW CATALOGS Parancs hozzáadása (SPARK-35973)
  • Parketta
    • Sémaoszlopnevek egyeztetésének engedélyezése mezőazonosítók szerint (SPARK-38094)
    • Mezőnév eltávolítása az adatok parquetben való olvasása/írása során (SPARK-27442)
    • A vektorizált olvasási logikai értékek támogatása RLE-kódolást használ a Parquet DataPage V2-vel (SPARK-37864)
    • Parquet v2 adatoldal kódolásának (DELTA_BINARY_PACKED) támogatása a vektoros elérési úthoz (SPARK-36879)
    • Időbélyegek újrabázisa a Parquet/Avro metaadatokban mentett munkamenet-időzónában (SPARK-37705)
    • Csoport leküldése partícióoszloponként összesítéshez (SPARK-36646)
    • A parquet (SPARK-36645) összesített (Min/Max/Count) leküldése
    • Parquet: egyező sémaoszlopok engedélyezése mezőazonosító szerint (SPARK-38094)
    • G1GC és ON_HEAP használata esetén csökkentse az alapértelmezett oldalméretet LONG_ARRAY_OFFSET (SPARK-37593)
    • Vektorizált DELTA_BYTE_ARRAY és DELTA_LENGTH_BYTE_ARRAY kódolás implementálása a Parquet V2 támogatásához (SPARK-37974)
    • Összetett típusok támogatása parquet vektoros olvasóhoz (SPARK-34863)
  • ORK
    • Meglévő adatok orc nyelven való olvasása/írásakor a jelölőnégyzet nevének eltávolítása (SPARK-37965)
    • Összesítő leküldés az ORC-hez (SPARK-34960)
    • ANSI-intervallumok olvasásának és írásának támogatása ORC-adatforrások között (SPARK-36931)
    • Csak számozott oszlopnevek támogatása ORC-adatforrásokban (SPARK-36663)
  • JSON
  • CSV
    • Javítás a CSV sérült rekordoszlopára hivatkozva (SPARK-38534)
    • a null értékeket az üres "" sztringek helyett alapértelmezés szerint semmiként kell menteni (SPARK-37575)
  • JDBC
    • Adja hozzá az AZONNALI utasítást a DB2 dialektus csonkolási implementációhoz (SPARK-30062)
  • Kaptár
    • Hive gyűjtőtáblák (Hive-fájlformátumok Hive-kivonattal) (SPARK-32712) írásának támogatása
    • Kifejezések használata Hive-partíciók ügyféloldali szűréséhez (SPARK-35437)
    • A HiveTableScanExec (SPARK-36876) dinamikus partícióinak metszésének támogatása
    • Az InsertIntoHiveDirnek adatforrást kell használnia, ha átalakítható (SPARK-38215)
    • Hive-gyűjtős táblázat írásának támogatása (Parquet/ORC formátum Hive kivonattal) (SPARK-32709)

Csomópont leszerelése

  • A FallbackStorage nem próbálja meg feloldani a tetszőleges "távoli" gazdagépnevet (SPARK-38062)
  • A ExecutorMonitor.onExecutorRemoved az ExecutorDecommission befejezettként történő kezelését kell kezelnie (SPARK-38023)

Egyéb jelentős változások

  • Részletes zárolás hozzáadása a BlockInfoManagerhez (SPARK-37356)
  • Spark GPU/fpga erőforrástípusok egyéni YARN-erőforrástípusra való leképezésének támogatása (SPARK-37208)
  • Pontos shuffle blokkméret jelentése ferdeség esetén (SPARK-36967)
  • Netty-naplózás támogatása a hálózati rétegben (SPARK-36719)

Strukturált streamelés

Főbb funkciók

  • A Trigger.AvailableNow bemutatása streamlekérdezések, például trigger.egyszer több kötegben való futtatásához (SPARK-36533)

Egyéb jelentős változások

  • A StatefulOpClusteredDistribution használata állapotalapú operátorokhoz a visszamenőleges kompatibilitás tiszteletben tartásával (SPARK-38204)
  • FlatMapGroupsWithState időtúllépés javítása kötegben kulcsadatokkal (SPARK-38320)
  • Kijavítottuk a stream-stream külső csatlakoztatásának helyességi problémáját a RocksDB állapottároló szolgáltatójával (SPARK-38684)
  • A Trigger.AvailableNow támogatása a Kafka-adatforráson (SPARK-36649)
  • Az írási útvonal optimalizálása a RocksDB állapottároló-szolgáltatóján (SPARK-37224)
  • Új adatforrás bevezetése, amely konzisztens sorokat biztosít mikrobatchenként (SPARK-37062)
  • A HashClusteredDistribution használata állapotalapú operátorokhoz a visszamenőleges kompatibilitás tiszteletben tartásával (SPARK-38204)

PySpark

Pandas API a Sparkban

Jelentős fejlesztések
  • "elosztott szekvencia" indexoptimalizálás alapértelmezett értékekkel (SPARK-36559, SPARK-36338)
    • Az indextípus és -név megadásának támogatása a Pandas API-ban a Sparkon (SPARK-36709)
    • Alapértelmezett indextípus megjelenítése a Sparkon futó Pandas API SQL-csomagjaiban (SPARK-38654)
Főbb funkciók
  • SparkSQL natív ps.merge_asof implementálása (SPARK-36813)
  • A TimedeltaIndex támogatása a Pandas API-ban a Sparkon (SPARK-37525)
  • Python timedelta támogatása (SPARK-37275, SPARK-37510)
  • Függvények implementálása a CategoricalAccessor/CategoricalIndex (SPARK-36185) alkalmazásban
  • Python szabványos sztringformázóját használja az SQL API-hoz a Sparkon futó Pandas API-ban (SPARK-37436)
  • A timedelta Series/Index (SPARK-37510) alapműveleteinek támogatása
  • Támogatás ps. MultiIndex.dtypes (SPARK-36930)
  • Index.map implementálása (SPARK-36469)
  • Adatsor implementálása.xor és Series.rxor (SPARK-36653)
  • Implementálja az integrál ps nem kívánt operátorát invert . Sorozat/index (SPARK-36003)
  • DataFrame.cov implementálása (SPARK-36396)
  • Támogatás str és időbélyeg a (Series|DataFrame).describe() (SPARK-37657)
  • A (SPARK-38763) lambda column paraméterének DataFrame.renametámogatása

Egyéb jelentős változások

Kompatibilitástörő változások
  • A Python 3.6-támogatásra mutató hivatkozások elvetése dokumentumokban és python/docsokban (SPARK-36977)
  • Távolítsa el a namedtuple hacket a beépített savanyúság cloudpickle-ra való cseréjével (SPARK-32079)
  • A pandas minimális verziója az 1.0.5-ös verzióra (SPARK-37465)
  • Jelentős fejlesztések
    • Adjon meg egy profilozót a Python/Pandas UDF-ekhez (SPARK-37443)
    • Python szabványos sztringformázóját használja az SQL API-hoz a PySparkban (SPARK-37516)
    • SQL-állapot és hibaosztály elérhetővé helyezése PySpark-kivételekben (SPARK-36953)
    • Próbálja meg rögzíteni a faulthanldert, amikor egy Python-feldolgozó összeomlik (SPARK-36062)
Főbb funkciók
  • DataFrame.mapInArrow implementálása Pythonban (SPARK-37228)
  • Python szabványos sztringformázóját használja az SQL API-hoz a PySparkban (SPARK-37516)
  • df.withMetadata pyspark API hozzáadása (SPARK-36642)
  • Python timedelta támogatása (SPARK-37275)
  • TableExists felfedés a pyspark.sql.catalog-ban (SPARK-36176)
  • DatabaseExists közzétételére pyspark.sql.catalog (SPARK-36207)
  • FunctionExists felfedés a pyspark sql-katalógusában (SPARK-36258)
  • Dataframe.observation hozzáadása a PySparkhoz (SPARK-36263)
  • Max_by/min_by API hozzáadása a PySparkhoz (SPARK-36972)
  • Beágyazott diktálás strukturáltként való következtetésének támogatása DataFrame létrehozásakor (SPARK-35929)
  • Bit/octet_length API-k hozzáadása a Scalához, a Pythonhoz és az R-hez (SPARK-36751)
  • ILIKE API támogatása Pythonon (SPARK-36882)
  • IsEmpty metódus hozzáadása a Python DataFrame API-hoz (SPARK-37207)
  • Több oszlop hozzáadása támogatással (SPARK-35173)
  • SparkContext.addArchive hozzáadása a PySparkban (SPARK-38278)
  • Sql-típusismertetők eval-able (SPARK-18621) létrehozása
  • Beágyazott típustippek a python/pyspark/mllib fpm.py (SPARK-37396)
  • A (SPARK-38837) implementálási dropna paramétere SeriesGroupBy.value_counts

MLLIB

Főbb funkciók

  • Add distanceMeasure param to trainKMeansModel (SPARK-37118)
  • LogisticRegression.setInitialModel, például KMeans et al do (SPARK-36481)
  • A CrossValidatorModel támogatása az egyes paramMap-objektumok metrikáinak szórását kapja meg (SPARK-36425)

Jelentős fejlesztések

  • Egyes treeAggregate-ek optimalizálása az MLlibben a foglalások késleltetésével (SPARK-35848)
  • _shared_params_code_gen.py átírása az ml/param/shared.py (SPARK-37419) beágyazott típusú tippjeire

Egyéb jelentős változások

SparkR

  • SparkR-dokumentumok migrálása pkgdownba (SPARK-37474)
  • Make_date kifejezés elérhetővé helyezése az R-ben (SPARK-37108)
  • Max_by/min_by API hozzáadása a SparkR-hez (SPARK-36976)
  • ILIKE API támogatása az R-en (SPARK-36899)
  • Mp és csc hozzáadása R-függvényként (SPARK-36824)
  • Bit/octet_length API-k hozzáadása a Scalához, a Pythonhoz és az R-hez (SPARK-36751)
  • Kiságy hozzáadása R-függvényként (SPARK-36688)

Felhasználói felület

  • Spekulációs metrikák összegzése fázisszinten (SPARK-36038)
  • Egyesített shuffle olvasási blokk ideje az olvasási beolvasás várakozási idejének a StagePage-ben való elegyedéséhez (SPARK-37469)
  • Módosított konfigurációk hozzáadása SQL-végrehajtáshoz a felhasználói felületen (SPARK-34735)
  • A ThriftServer felismerése spark.sql.redaction.string.regex (SPARK-36400)
  • Kezelő csatolása és indítása az alkalmazás felhasználói felületen való elindítása után (SPARK-36237)
  • Véglegesítési időtartam hozzáadása az SQL Tab gráfcsomóponthoz (SPARK-34399)
  • A RocksDB háttérrendszer támogatása a Spark History Serverben (SPARK-37680)
  • A Pandas API beállításainak megjelenítése a Sparkban a felhasználói felületen (SPARK-38656)
  • Nevezze át az "SQL" nevet "SQL/ DataFrame" névre az SQL felhasználói felületén (SPARK-38657)

Létrehozás

Karbantartási frissítések

Lásd: Databricks Runtime 11.0 (EoS).

Rendszerkörnyezet

  • Operációs rendszer: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.1.3
  • Delta Lake: 1.2.1

Telepített Python-kódtárak

Könyvtár Verzió Könyvtár Verzió Könyvtár Verzió
Antergos Linux 2015.10 (ISO-rolling) argon2-cffi 20.1.0 aszinkron generátor 1.10
attrs 21.2.0 backcall 0.2.0 backports.entry-points-selectable 1.1.1
fehérítő 4.0.0 boto3 1.21.18 botocore 1.24.18
minősítés 2021.10.8 cffi 1.14.6 karakterkészlet 4.0.0
charset-normalizer 2.0.4 biciklista 0.10.0 Cython 0.29.24
dbus-python 1.2.16 hibakeresés 1.4.1 lakberendező 5.1.0
defusedxml 0.7.1 distlib 0.3.4 distro-info 0,23ubuntu1
belépési pontok 0.3 aspektusok áttekintése 1.0.0 filelock 3.6.0
idna 3.2 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
jsonschema 3.2.0 jupyter-client 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-widgetek 1.0.0 kiwisolver 1.3.1
MarkupSafe 2.0.1 matplotlib 3.4.3 matplotlib-inline 0.1.2
mistune 0.8.4 nbclient 0.5.3 nbconvert 6.1.0
nbformat 5.1.3 nest-asyncio 1.5.1 jegyzetfüzet 6.4.5
numpy 1.20.3 csomagolás 21,0 pandas 1.3.4
pandocfilters 1.4.3 parso 0.8.2 Patsy 0.5.2
pexpect 4.8.0 pickleshare 0.7.5 Párna 8.4.0
mag 21.2.4 platformdirs 2.5.2 ábrázolás 5.6.0
prometheus-client 0.11.0 prompt-toolkit 3.0.20 protobuf 3.20.1
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pyarrow 7.0.0 pycparser 2,20 Pygments 2.10.0
PyGObject 3.36.0 pyodbc 4.0.31 pyparsing 3.0.4
pyrsistent 0.18.0 python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.2
pytz 2021.3 pyzmq 22.2.1 kérelmek 2.26.0
requests-unixsocket 0.2.0 s3transfer 0.5.2 scikit-learn 0.24.2
scipy 1.7.1 tengeri 0.11.2 Send2Trash 1.8.0
setuptools 58.0.4 Hat 1.16.0 ssh-import-id 5.10
statsmodels 0.12.2 Kitartás 8.0.1 terminado 0.9.4
testpath 0.5.0 threadpoolctl 2.2.0 tornádó 6.1
árulók 5.1.0 felügyelet nélküli frissítések 0,1 urllib3 1.26.7
virtualenv 20.8.0 wcwidth 0.2.5 webencodings 0.5.1
kerék 0.37.0 widgetsnbextension 3.6.0

Telepített R-kódtárak

Az R-kódtárak a Microsoft CRAN-pillanatképből vannak telepítve 2022.05.06-án.

Könyvtár Verzió Könyvtár Verzió Könyvtár Verzió
askpass 1,1 assertthat 0.2.1 backports 1.4.1
alap 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.3 indítás 1.3-28
főz 1.0-7 Brio 1.1.3 seprű 0.8.0
bslib 0.3.1 gyorsítótár 1.0.6 hívó 3.7.0
kalap 6.0-92 cellranger 1.1.0 chron 2.3-56
osztály 7.3-20 Cli 3.3.0 clipr 0.8.0
fürt 2.1.3 kódtoolok 0.2-18 színtér 2.0-3
commonmark 1.8.0 fordítóprogram 4.1.3 config 0.3.1
cpp11 0.4.2 zsírkréta 1.5.1 hitelesítő adatok 1.3.2
csavarodik 4.3.2 data.table 1.14.2 adatkészletek 4.1.3
DBI 1.1.2 dbplyr 2.1.1 Desc 1.4.1
devtools 2.4.3 diffobj 0.3.5 emészt 0.6.29
dplyr 1.0.9 dtplyr 1.2.1 e1071 1.7-9
három pont 0.3.2 evaluate 0,15 fani 1.0.3
farver 2.1.0 gyorstérkép 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.2 külföldi 0.8-82
kovácsol 0.2.0 Fs 1.5.2 jövő 1.25.0
future.apply 1.9.0 gargarizál 1.2.0 Generikus 0.1.2
Gert 1.6.0 ggplot2 3.3.6 Gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-4 globális 0.14.0
ragasztó 1.6.2 googledrive 2.0.0 googlesheets4 1.0.0
Gower 1.0.0 grafika 4.1.3 grDevices 4.1.3
rács 4.1.3 gridExtra 2.3 gsubfn 0,7
gtable 0.3.0 hardhat 0.2.0 kikötő 2.5.0
highr 0,9 Hms 1.1.1 htmltoolok 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.3
Azonosítók 1.0.1 ini 0.3.1 ipred 0.9-12
izoband 0.2.5 iterátorok 1.0.14 jquerylib 0.1.4
jsonlite 1.8.0 KernSmooth 2.23-20 knitr 1.39
címkézés 0.4.2 később 1.3.0 rács 0.20-45
láva 1.6.10 életciklus 1.0.1 figyelő 0.8.0
lubridate 1.8.0 magrittr 2.0.3 markdown 1,1
TÖMEG 7.3-56 Mátrix 1.4-1 memoise 2.0.1
metódusok 4.1.3 mgcv 1.8-40 MIME 0,12
ModelMetrics 1.2.2.2 modellező 0.1.8 munsell 0.5.0
nlme 3.1-157 nnet 7.3-17 numDeriv 2016.8-1.1
openssl 2.0.0 parallel 4.1.3 párhuzamosan 1.31.1
pillér 1.7.0 pkgbuild 1.3.1 pkgconfig 2.0.3
pkgload 1.2.4 plogr 0.2.0 rétegelt 1.8.7
dicséret 1.0.0 prettyunits 1.1.1 Proc 1.18.0
processx 3.5.3 prodlim 2019.11.13 haladás 1.2.2
progressr 0.10.0 Ígér 1.2.0.1 Proto 1.0.0
helyettes 0.4-26 Ps 1.7.0 purrr 0.3.4
r2d3 0.2.6 R6 2.5.1 randomForest 4.7-1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.8.3 RcppEigen 0.3.3.9.2 olvasó 2.1.2
readxl 1.4.0 receptek 0.2.0 Visszavágót 1.0.1
visszavágó2 2.1.2 Távirányító 2.4.2 reprex 2.0.1
újraformázás2 1.4.4 rlang 1.0.2 rmarkdown 2.14
RODBC 1.3-19 roxygen2 7.1.2 rpart 4.1.16
rprojroot 2.0.3 Rserve 1.8-10 RSQLite 2.2.13
rstudioapi 0,13 rversions 2.1.1 rvest 1.0.2
Sass 0.4.1 mérleg 1.2.0 választó 0.4-2
sessioninfo 1.2.2 alak 1.4.6 Fényes 1.7.1
sourcetools 0.1.7 sparklyr 1.7.5 SparkR 3.3.0
térbeli 7.3-11 splines 4.1.3 sqldf 0.4-11
NÉGYZET 2021.1 statisztika 4.1.3 statisztikák4 4.1.3
stringi 1.7.6 sztring 1.4.0 túlélés 3.2-13
sys 3.4 tcltk 4.1.3 testthat 3.1.4
tibble 3.1.7 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 timeDate 3043.102 tinytex 0,38
eszközök 4.1.3 tzdb 0.3.0 usethis 2.1.5
utf8 1.2.2 eszközök 4.1.3 uuid 1.1-0
vctrs 0.4.1 viridisLite 0.4.0 vroom 1.5.7
Waldo 0.4.0 bajusz 0,4 withr 2.5.0
xfun 0,30 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 fütyülés 2.2.0

Telepített Java- és Scala-kódtárak (Scala 2.12-fürtverzió)

Csoportazonosító Összetevő azonosítója Verzió
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics patak 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml osztálytárs 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.3
com.fasterxml.jackson.core jackson-core 2.13.3
com.fasterxml.jackson.core jackson-databind 2.13.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.3
com.fasterxml.jackson.module jackson-module-paranamer 2.13.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.3
com.github.ben-manes.koffein koffein 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natívok 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natívok 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Csellengő 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava gujávafa 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1,1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1,15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-naplózás commons-naplózás 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib Blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metrikamag 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx gyűjtő 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktiválás 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
maven-fák hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pác 1,2
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.14
net.snowflake spark-snowflake_2.12 2.10.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow nyílformátum 7.0.0
org.apache.arrow nyíl-memóriamag 7.0.0
org.apache.arrow nyíl-memória-netty 7.0.0
org.apache.arrow nyíl-vektor 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1,9
org.apache.curator kurátor-ügyfél 2.13.0
org.apache.curator kurátor-keretrendszer 2.13.0
org.apache.curator kurátor-receptek 2.13.0
org.apache.derby keménykalap 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.2-databricks
org.apache.hadoop hadoop-client-runtime 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy borostyán 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.17.2
org.apache.logging.log4j log4j-api 2.17.2
org.apache.logging.log4j log4j-core 2.17.2
org.apache.logging.log4j log4j-slf4j-impl 2.17.2
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.4
org.apache.orc orc-mapreduce 1.7.4
org.apache.orc orc-shims 1.7.4
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet parquet-kódolás 1.12.0-databricks-0004
org.apache.parquet parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus célközönség-széljegyzetek 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-juta 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty móló-folytatás 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty móló plusz 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-lokátor 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,34
org.glassfish.jersey.containers jersey-container-servlet-core 2,34
org.glassfish.jersey.core jersey-client 2,34
org.glassfish.jersey.core jersey-common 2,34
org.glassfish.jersey.core jersey-server 2,34
org.glassfish.jersey.inject jersey-hk2 2,34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Végleges
org.jdbi jdbi 2.63.1
org.jetbrains Széljegyzetek 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap Alátéteket 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt teszt-interfész 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1,2
org.scalanlp breeze_2.12 1,2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark Használatlan 1.0.0
org.threeten három-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel makró-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1