Databricks Runtime 8.4 (nem támogatott)

Az alábbi kibocsátási megjegyzések az Apache Spark 3.1.2 által működtetett Databricks Runtime 8.4-ről és a Databricks Runtime 8.4 Photon-ről nyújtanak információkat. A Databricks 2021 júliusában adta ki ezeket a képeket. A Photon nyilvános előzetes verzióban érhető el.

Új funkciók és fejlesztések

A Delta Lake funkciói és fejlesztései

Delta table change data feed (GA)

A Delta-tábla változási adatcsatornája már általánosan elérhető. Ez a táblázat különböző verziói közötti sorszintű változásokat jelöli. Ha engedélyezve van, a rendszer további információkat rögzít a tábla minden írási műveletének sorszintű változásairól. Lásd: Delta Lake change data feed használata az Azure Databricksben.

Megosztott Delta-táblák betöltése egyszerűen a Databricks Runtime használatával

A Delta Sharing 0.1.0 Apache Spark Csatlakozás or mostantól a Databricks Runtime-ban található. A megosztott táblákat spark.read.format("deltaSharing").load(uri) közvetlenül anélkül töltheti be, hogy a Delta Sharing Spark-összekötőt a fürthöz csatolja.

További táblákat használhat a dinamikus fájlmetszetelés

A dinamikus fájlmetsző funkció úgy lett hangolva, hogy kevesebb fájllal rendelkező táblákon aktiválja azokat. Lásd: Dinamikus fájlmetszet.

Jobb teljesítmény automatikus célfájlméret finomhangolásával

A Delta-táblák célfájlmérete mostantól automatikusan be van hangolva a táblázat mérete alapján. Korábban a célfájl mérete OPTIMIZEOPTIMIZE ZORDER BY 1 GB volt. A táblázatméreten alapuló automatikustuning esetén a legfeljebb 2,56 TB-os Delta-táblák célméretként 256 MB-ot fognak használni. A 10 TB-nál nagyobb táblák a korábbiakhoz hasonlóan 1 GB-ot fognak használni. Az ilyen méretek közötti táblák a táblázat méretével arányosan növekvő célméreteket használnak. Lásd: A Delta Lake konfigurálása az adatfájlok méretének szabályozásához.

Táblák megadásának további módjai a következőben: DeltaTable.forName

DeltaTable.forName Mostantól támogatja delta.`<path>` a táblák azonosítását.

Robusztus streamelési többtáblás írások használata foreachBatch

A parancson belüli foreachBatch() idempotens Delta-streamelési írások mostantól támogatottak. További részletekért lásd : Idempotens többtáblás írások.

Javított olvasási lekérdezési teljesítmény bizonyos számítási feladatokban a hangolt ellenőrzőpontok miatt

A Delta Lake mostantól hangolja, hogy milyen gyakran végez továbbfejlesztett ellenőrzőpontokat. Az ellenőrzőpont-ellenőrzés helyett a Delta mostantól dinamikusan módosítja az ellenőrzőpont gyakoriságát bizonyos eseményindítók alapján. Ez javítja az olvasási lekérdezés teljesítményét olyan számítási feladatokban, ahol bizonyos adatkihagyási optimalizálást korábban nem lehetett alkalmazni. Az optimalizálások használatához frissítse a Delta Lake-be írt feladatokat a Databricks Runtime 8.4-re. Lásd: Továbbfejlesztett ellenőrzőpontok engedélyezése strukturált streamelési lekérdezésekhez.

Létrehozás GroupState a felhasználó által definiált strukturált streamelési függvények teszteléséhez

Eddig csak a strukturált streamelési motor tudott példányokat GroupStatelétrehozni. Ezért a felhasználó által definiált függvény egységtesztjeihez streamlekérdezést kellett futtatni az Apache Sparkban.

Most már létrehozhat példányokat a GroupState használathoz TestGroupState.create(…). Ez lehetővé teszi egy felhasználó által definiált függvény tesztelését olyan egyszerű egységteszteken, amelyekhez nem szükséges a Spark futtatása. Lásd : A mapGroupsWithState frissítési függvény tesztelése. Pontosabban olyan típusú TestGroupState példányokat hoz létre, amelyek a felhasználói függvény alkalmazása után további metódusokkal bővítik a felületet GroupState a belső állapot introspektálására.

Az Automatikus betöltő funkciói és fejlesztései

A kihagyott fájlok rögzítéséhez konfigurálja a visszatöltést

Az automatikus betöltő mostantól támogatja a háttérbetöltések aszinkron végrehajtását a fájlértesítésekkel kihagyott fájlok rögzítéséhez. A fájlrendszerek és az értesítési rendszerek nem garantálják az összes fájlesemény 100%-os kézbesítését. Ezért a Databricks azt javasolja, hogy engedélyezze a rendszeres visszatöltéseket az összes adat automatikus betöltővel való rögzítéséhez. Ezzel a cloudFiles.backfillInterval beállítással rendszeres visszatöltéseket ütemezhet az adatokra. Lásd: Gyakori automatikus betöltőbeállítások.

Kötött tárterület-lábnyom nagy mennyiségű streamekhez

Most már konfigurálhatja az automatikus betöltőt úgy, hogy lejárjon, és eltávolítsa a Bejegyzéseket a RocksDB-ben, hogy az az ellenőrzőpont helyéhez kötötte a tárterület-terhelést. A Databricks nem javasolja, hogy csak akkor használja az adatokat, ha több millió fájlból álló óránkénti adatbetöltést végez. Ha helytelenül állítja be ezt a beállítást, vagy megpróbálja finomhangolni, számos adatminőségi problémát okozhat, például a feldolgozatlan fájlokat figyelmen kívül hagyhatja, vagy egyes fájlok duplikálhatók ahelyett, hogy pontosan egyszer dolgozzák fel őket. További részletekért lásd az eseménymegőrzést.

Egyszerűsített konfiguráció út nélküli támogatással

S3-gyűjtők

Most már megadhatja azt az SQS-üzenetsort, amely több útvonalról vagy S3-gyűjtőből fogad eseményeket. Ha megadja az SQS-üzenetsor URL-címét, a path beállítás nem szükséges ehhez a használati esethez. Az Automatikus betöltő S3-útvonalakat hoz létre az S3-események gyűjtőjének és kulcsának használatával. Ha a fájlokat a DBFS csatlakoztatási pontjain keresztül szeretné olvasni, az cloudFiles.pathRewrites elérési út előtagjait a DBFS-re módosíthatja. Ez csak akkor szükséges, ha különböző fiókokban AssumeRolelévő adatokat ér el.

Lásd: Fájlértesítési beállítások.

Azure Data Lake Storage Gen2-tárolók

Most már megadhatja azt az Azure-üzenetsort, amely több tárolóból fogad eseményeket. Ha megadja az Azure-üzenetsor nevét, a path beállítás nem szükséges. Az Automatikus betöltő alapértelmezés szerint az Azure Data Lake Storage Gen2 elérési útjait hozza létre a fájlesemények tárolójának és kulcsának használatával. Ha WASB-elérési utakat vagy DBFS-csatlakoztatási pontokat szeretne használni, módosíthatja cloudFiles.pathRewrites az elérési út előtagjait.

Lásd: Fájlértesítési beállítások.

Csatlakozás or-frissítések

  • A Snowflake Spark-összekötő a 2.9.0-s verzióra lett frissítve.
  • A KMS-titkosítás mostantól támogatott a UNLOAD Redshift-összekötő utasításában.

Hibajavítások

  • Kijavítottunk egy hibát a táblahozzáférés-vezérléssel engedélyezett fürtök esetében, amelyek select * from folder akkor is megjeleníthetik a mappa tartalmát, ha a felhasználó nem rendelkezik fájlhozzáféréshez szükséges engedéllyel.
  • A nem rendszergazdai adatbázis-tulajdonosok mostantól képesek a nem saját tulajdonú táblákat az adatbázisokba dobni. Ez kijavítja azt a hibát, amely miatt az adatbázistulajdonosok nem tudtak elvetni egy adatbázist, ha nem saját táblák voltak az adatbázisban.

Könyvtárfrissítések

  • Frissített Python-kódtárak:
    • 2020.12.5-ről 2021.5.30-ra frissített tanúsítvány
    • desztilláció frissítve 0.3.1-ről 0.3.2-re
    • koalák frissítve 1.8.0-ról 1.8.1-re
    • a protobuf 3.17.0-ról 3.17.3-ra frissült
  • Frissített R-kódtárak:
    • alap: 4.0.4–4.1.0
    • rendszerindítás 1.3-27-ről 1.3-28-ra
    • osztály 7.3-18-tól 7.3-19
    • fürt 2.1.1 és 2.1.2 között
    • fordító a 4.0.4-től a 4.1.0-sig
    • 4.0.4 és 4.1.0 közötti adatkészletek
    • 4.0.4 és 4.1.0 közötti grafikus elemek
    • grDevices 4.0.4-től 4.1.0-ra
    • rács 4.0.4-től 4.1.0-ra
    • KernSmooth 2.23-18-tól 2.23-20-ra
    • Rács 0,20-41-től 0,20-44-re
    • TÖMEG 7,3-53,1-7,3-54 között
    • Mátrix 1,3-2 és 1,3-3 között
    • metódusok a 4.0.4-től a 4.1.0-sig
    • mgcv 1,8-33 és 1,8-35 között
    • nnet 7.3-15-től 7.3-16-osig
    • párhuzamos 4.0.4 és 4.1.0 között
    • Rserve 1,8-7-től 1,8-8-ig
    • SparkR 3.1.1 és 3.1.2 között
    • splines from 4.0.4 to 4.1.0
    • 4.0.4 és 4.1.0 közötti statisztikák
    • stats4 from 4.0.4 to 4.1.0
    • túlélés 3,2-7-ről 3,2-11-re
    • tcltk 4.0.4 és 4.1.0 között
    • 4.0.4 és 4.1.0 közötti eszközök
    • utils from 4.0.4 to 4.1.0
  • Frissített Java-kódtárak:
    • snowflake-jdbc 3.12.8-tól 3.13.3-ig
    • spark-snowflake_2.12 2.8.1-spark_3.0-2.9.0-spark_3.1
    • RoaringBitmap 0.9.0 és 0.9.14 között
    • 0.9.0 és 0.9.14 közötti shims
    • rocksdbjni a 6.2.2-től a 6.20.3-hoz

Apache Spark

A Databricks Runtime 8.4 tartalmazza az Apache Spark 3.1.2-t. Ez a kiadás tartalmazza a Databricks Runtime 8.3(nem támogatott) összes Spark-javítását és fejlesztését, valamint a Spark következő további hibajavításait és fejlesztéseit:

  • [SPARK-35792] [SQL] A nézet nem rögzítheti a következőben használt konfigurációkat: RelationConversions
  • [SPARK-35700] [SQL] Char/varchar orc tábla olvasása külső rendszerek által létrehozott és írt szöveggel
  • [SPARK-35636] [SQL] A Lambda-kulcsok nem hivatkozhatók a lambda függvényen kívül
  • [SPARK-35800] [Cseresznye pick] A GroupState tesztelhetőségének javítása a TestGroupState bevezetésével
  • [SPARK-35391] Memóriaszivárgás javítása a ExecutorAllocationListenerben
  • [SPARK-35799] [CherryPick] Az all Frissítések TimeMs mérőszám javítása a FlatMapGroupsWithStateExecben
  • [SPARK-35763] [SS] A StateStoreCustomMetric alosztály enumerálási függőségének eltávolítása
  • [SPARK-35791 [SQL] A null értékű ANTI illesztéshez megfelelő kiadási térkép
  • [SPARK-35695] [SQL] Megfigyelt metrikák gyűjtése gyorsítótárazott és adaptív végrehajtási alfákból
  • [SPARK-35767] [SQL] Kerülje a gyermekterv kétszeri végrehajtását a CoalesceExecben
  • [SPARK-35746] [Felhasználói felület] Feladatazonosító javítása a szakaszlap tevékenységesemény-ütemtervében
  • [SPARK-35673] [SQL] Javítsa ki a felhasználó által definiált tippet és a nem felismert emlékeztetőt az albekérdezésben.
  • [SPARK-35714] [CORE] A végrehajtó leállítása során a holtpont hibajavítása
  • [SPARK-35689] [SS] Napló figyelmeztetés hozzáadása, ha a keyWithIndexToValue null értéket ad vissza
  • [SPARK-35589] [CORE] [3.1] A BlockManagerMasterEndpoint nem hagyhatja figyelmen kívül az index-only shuffle fájlt a frissítés során
  • [SPARK-35643] [PYTHON] Az functions.py oszlop() nem egyértelmű hivatkozásának javítása
  • [SPARK-35652] [SQL] joinWith on two table generated from same one
  • [SPARK-35679] [SQL] instantToMicros túlcsordulás
  • [SPARK-35602] [SS] Az állapotséma frissítése a hosszú JSON elfogadásához
  • [SPARK-35653] [SQL] A CatalystToExternalMap által értelmezett elérési út javítása meghiúsul a térképen kulcsként vagy értékként megadott esetosztályokkal
  • [SPARK-35296] [SQL] Az Dataset.observe használatának engedélyezése akkor is, ha a CollectMetricsExec egy feladatban több partíciót kezel.
  • [SPARK-35659] [SS] Ne írjon null értéket a StateStore-ba
  • [SPARK-35665] [SQL] FeloldatlanAlias feloldása a CollectMetricsben
  • [SPARK-35558] Többkvantilis lekérésre optimalizált
  • [SPARK-35621] [SQL] Szabályazonosító-metszés hozzáadása a TypeCoercion szabályhoz
  • [SPARK-35077] [SQL] Migrálás a transformWithPruning szolgáltatásba a maradék optimalizálási szabályokhoz
  • [SPARK-35610] [CORE] Javítsa ki a végrehajtó leállási horogja által bevezetett memóriaszivárgást
  • [SPARK-35544] [SQL] Faminta-metszés hozzáadása az Analyzer-szabályokhoz
  • [SPARK-35566] [SS] StateStoreRestoreExec kimeneti sorok javítása
  • [SPARK-35454] [SQL] [3.1] Egy Logikai terv több adathalmaz-azonosítóval is megfeleltethető
  • [SPARK-35538] [SQL] TransformAllExpressions hívási webhelyek migrálása a transformAllExpressionsWithPruning használatához
  • [SPARK-35106] [Core] [SQL] A célkönyvtár nem létező átnevezésének elkerülése
  • [SPARK-35287] [SQL] A RemoveRedundantProjects engedélyezése a DataSourceV2ScanRelation számára unsafeRow-t létrehozó ProjectExec megőrzéséhez
  • [SPARK-35495] [R] SparkR-karbantartó módosítása a CRAN-hoz
  • [SPARK-27991] [CORE] A lekérési kérelem elhalasztása a Netty OOM-on
  • [SPARK-35171] [R] Deklarálja a Markdown-csomagot a SparkR-csomag függőségeként
  • [SPARK-35454] [SQL] Egy Logikai terv több adathalmaz-azonosítóval is megfeleltethető
  • [SPARK-35298] [SQL] Migrálás az Optimizer.scala szabályaihoz tartozó TransformWithPruning fájlba
  • [SPARK-35480] [SQL] Percentile_approx használata a kimutatással
  • [SPARK-35093] [SQL] Az AQE mostantól a newQueryStage-csomagot használja kulcsként a gyorsítótárazott exchange-ekhez az újrahasználathoz
  • [SPARK-35146] [SQL] Migrálás a finishAnalysis.scala szabályokhoz tartozó TransformWithPruning vagy resolveWithPruning fájlba
  • [SPARK-35411] [SQL] Alapvető információk hozzáadása a TreeNode json-ra való szerializálása során
  • [SPARK-35294] [SQL] Fa bejárási metszés hozzáadása szabályokhoz dedikált fájlokkal az optimalizáló alatt
  • [SPARK-34897] [SQL] [3.1] A sémák egyeztetésének támogatása index alapján a beágyazott oszlopmetszet után
  • [SPARK-35144] [SQL] Migrálás a transformWithPruning objektumszabályokhoz
  • [SPARK-35155] [SQL] Szabályazonosító-metszés hozzáadása az Analyzer-szabályokhoz
  • [SPARK-35382] [PYTHON] Kijavíthatja a lambda változónévvel kapcsolatos problémákat a beágyazott DataFrame-függvényekben a Python API-kban.
  • [SPARK-35359] [SQL] A karakter/varchar adattípusú adatok beszúrása sikertelen lesz, ha az adathossz túllépi a hosszkorlátozást
  • [SPARK-35381] [R] Lambda változónévvel kapcsolatos problémák megoldása beágyazott magasabbrendű függvényekben az R API-kban

Rendszerkörnyezet

  • Operációs rendszer: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.54.0.21-CA-linux64
  • Scala: 2.12.10
  • Python: 3.8.8
  • R: 4.1.0 (2021-05-18)
  • Delta Lake 1.0.0

Telepített Python-kódtárak

Könyvtár Verzió Könyvtár Verzió Könyvtár Verzió
appdirs 1.4.4 asn1crypto 1.4.0 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
minősítés 2021.5.30 cffi 1.14.3 karakterkészlet 3.0.4
Titkosítás 3.1.1 cycler 0.10.0 Cython 0.29.21
Dekoratőr 4.4.2 distlib 0.3.2 docutils 0.15.2
belépési pontok 0.3 aspektusok áttekintése 1.0.0 filelock 3.0.12
idna 2.10 ipykernel 5.3.4 ipython 7.19.0
ipython-genutils 0.2.0 Jedi 0.17.2 jmespath 0.10.0
joblib 0.17.0 jupyter-client 6.1.7 jupyter-core 4.6.3
kiwisolver 1.3.0 Koalák 1.8.1 matplotlib 3.2.2
numpy 1.19.2 pandas 1.1.5 parso 0.7.0
Patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
Pip 20.2.4 ábrázolás 4.14.3 prompt-toolkit 3.0.8
protobuf 3.17.3 psycopg2 2.8.5 ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2,20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 PySocks 1.7.1
python-dateutil 2.8.1 pytz 2020.5 pyzmq 19.0.2
kérelmek 2.24.0 Újrapróbálkozás 1.3.3 s3transfer 0.3.6
scikit-learn 0.23.2 scipy 1.5.2 tengeri 0.10.0
setuptools 50.3.1 Hat 1.15.0 statsmodels 0.12.0
threadpoolctl 2.1.0 Tornádó 6.0.4 árulók 5.0.5
urllib3 1.25.11 virtualenv 20.2.1 wcwidth 0.2.5
Kerék 0.35.1

Telepített R-kódtárak

Az R-kódtárak a Microsoft CRAN-pillanatképből vannak telepítve 2020.11.02-én.

Könyvtár Verzió Könyvtár Verzió Könyvtár Verzió
askpass 1,1 assertthat 0.2.1 Backports 1.2.1
alap 4.1.0 base64enc 0.1-3 BH 1.72.0-3
Kicsit 4.0.4 bit64 4.0.5 blob 1.2.1
indítás 1.3-28 Sört 1.0-6 Brio 1.1.0
Seprű 0.7.2 hívó 3.5.1 Billentyűzettel 6.0-86
cellranger 1.1.0 chron 2.3-56 osztály 7.3-19
Cli 2.2.0 clipr 0.7.1 Fürt 2.1.2
kódtoolok 0.2-18 színtér 2.0-0 commonmark 1,7
Fordító 4.1.0 config 0.3 covr 3.5.1
cpp11 0.2.4 Zsírkréta 1.3.4 hitelesítő adatok 1.3.0
Ellenvélemények 1.1.0.1 Curl 4.3 data.table 1.13.4
adatkészletek 4.1.0 DBI 1.1.0 dbplyr 2.0.0
Desc 1.2.0 devtools 2.3.2 diffobj 0.3.2
Digest 0.6.27 dplyr 1.0.2 DT 0,16
három pont 0.3.1 evaluate 0,14 fani 0.4.1
farver 2.0.3 gyorstérkép 1.0.1 forcats 0.5.0
foreach 1.5.1 Külföldi 0.8-81 Forge 0.2.0
Fs 1.5.0 Jövőben 1.21.0 Generikus 0.1.0
Gert 1.0.2 ggplot2 3.3.2 Gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 Globals 0.14.0
Ragasztó 1.4.2 Gower 0.2.2 grafika 4.1.0
grDevices 4.1.0 Rács 4.1.0 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 Haven 2.3.1
highr 0,8 Hms 0.5.3 htmltoolok 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 Ini 0.3.1
ipred 0.9-9 izoband 0.2.3 iterátorok 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-20 knitr 1,30
Címkézés 0.4.2 Később 1.1.0.1 Rács 0.20-44
Láva 1.6.8.1 lazyeval 0.2.2 életciklus 0.2.0
figyelő 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
markdown 1,1 MASS 7.3-54 Mátrix 1.3-3
memoise 1.1.0 metódusok 4.1.0 mgcv 1.8-35
Mime 0,9 ModelMetrics 1.2.2.2 modellező 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-16
numDeriv 2016.8-1.1 Openssl 1.4.3 parallel 4.1.0
párhuzamosan 1.22.0 Pillér 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
rétegelt 1.8.6 Dicséret 1.0.0 prettyunits 1.1.1
Proc 1.16.2 processx 3.4.5 prodlim 2019.11.13
Haladás 1.2.2 Ígér 1.1.1 Proto 1.0.0
Ps 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
olvasó 1.4.0 readxl 1.3.1 receptek 0.1.15
Visszavágót 1.0.1 visszavágó2 2.1.2 Távirányító 2.2.0
reprex 0.3.0 újraformázás2 1.4.4 Rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-8 RSQLite 2.2.1 rstudioapi 0,13
rversions 2.0.2 rvest 0.3.6 Mérlegek 1.1.1
választó 0.4-2 sessioninfo 1.1.1 Alakzat 1.4.5
Fényes 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.1 Térbeli 7.3-11 splines 4.1.0
sqldf 0.4-11 NÉGYZET 2020.5 Statisztika 4.1.0
statisztikák4 4.1.0 stringi 1.5.3 sztring 1.4.0
Túlélési 3.2-11 sys 3.4 tcltk 4.1.0
TeachingDemos 2.10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0,28 eszközök 4.1.0
usethis 2.0.0 utf8 1.1.4 eszközök 4.1.0
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
Waldo 0.2.3 bajusz 0,4 withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 Yaml 2.2.1 Zip 2.1.1

Telepített Java- és Scala-kódtárak (Scala 2.12-fürtverzió)

Csoportazonosító Összetevő azonosítója Verzió
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-marketplacemeteringservice 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics Patak 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Osztálytárs 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.koffein Koffein 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natívok 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natívok 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava Guava 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEA Standard kiadás
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1,2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2,4
commons-lang commons-lang 2.6
commons-naplózás commons-naplózás 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metrikamag 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Kollektor 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktiválás 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-fák hive-2.3__hadoop-2.7 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow nyílformátum 2.0.0
org.apache.arrow nyíl-memóriamag 2.0.0
org.apache.arrow nyíl-memória-netty 2.0.0
org.apache.arrow nyíl-vektor 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1,20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3,10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator kurátor-ügyfél 2.7.1
org.apache.curator kurátor-keretrendszer 2.7.1
org.apache.curator kurátor-receptek 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-inkubálás
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy Ivy 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks9
org.apache.parquet parquet-common 1.10.1-databricks9
org.apache.parquet parquet-kódolás 1.10.1-databricks9
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus célközönség-széljegyzetek 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.36.v20210114
org.eclipse.jetty móló-folytatás 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty móló plusz 9.4.36.v20210114
org.eclipse.jetty jetty-proxy 9.4.36.v20210114
org.eclipse.jetty jetty-security 9.4.36.v20210114
org.eclipse.jetty jetty-server 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty jetty-webapp 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-lokátor 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Végleges
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Alátéteket 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt teszt-interfész 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1,0
org.scalanlp breeze_2.12 1,0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark Használatlan 1.0.0
org.springframework spring-core 4.1.4.RELEA Standard kiadás
org.springframework rugós teszt 4.1.4.RELEA Standard kiadás
org.threeten három-extra 1.5.0
org.tukaani xz 1,5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel makró-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52