Databricks Runtime 7.5 (nem támogatott)
A Databricks 2020 decemberében adta ki ezt a képet.
Az alábbi kibocsátási megjegyzések az Apache Spark 3.0 által működtetett Databricks Runtime 7.5-ről nyújtanak információkat.
Új funkciók
A Delta Lake funkciói és fejlesztései
Ez a kiadás a következő Delta Lake-funkciókat és -fejlesztéseket biztosítja:
- Az aszinkron ellenőrzőpont-kezelés kiküszöböli a streamelési mikrokötegek időtartamának kiugró csúcsait
- A legújabb táblainformációk mostantól katalógusba propagálásra kerülnek
MERGE INTOa művelet mostantól támogatja a beágyazott oszlopok sémafejlődésétMERGE INTOművelet mostantól automatikusan optimalizált írásokat használMERGE INTOésUPDATEa műveletek mostantól név alapján oldják fel a beágyazott strukturált oszlopokatCLONEga, és mostantól felülbírálhatja a táblatulajdonságokatRESTOREga- A Scala implicitjei leegyszerűsítik a Spark olvasási és írási API-jait
- A streamelési átviteli sebesség javítása az összekötő beállításával
fetchParallelism - Stream előrehaladásának nyomon követése új automatikus betöltő metrikákkal
Az aszinkron ellenőrzőpont-kezelés kiküszöböli a streamelési mikrokötegek időtartamának kiugró csúcsait
A Delta Lake alapértelmezés szerint 10 véglegesítésenként végez ellenőrzőpontokat. A streamelési számítási feladatokban az ellenőrzőpont-kezelés 10 véglegesítésenként kisebb kiugró értéket okozhat a mikro köteg időtartamában. Az aszinkron ellenőrzőpontok kiküszöbölik ezeket a kiugró csúcsokat.
Az aszinkron ellenőrzőpont-beállítás alapértelmezés szerint engedélyezve van az összes nem triggeres, streamelési számítási feladat esetében. Az aszinkron ellenőrzőpontok használata esetén a streamelési írók továbbfejlesztett ellenőrzőpontokat is írnak, így nem kell explicit módon bejelentkeznie a továbbfejlesztett ellenőrzőpontokhoz.
Az aszinkron ellenőrzőpontok letiltásához állítsa be az SQL-konfigurációt spark.databricks.delta.checkpoint.async.enabled false.
A batch számítási feladatok továbbra is szinkron módon írnak ellenőrzőpontokat, és azt javasoljuk, hogy ne engedélyezze az aszinkron ellenőrzőpont-készítést a kötegelt számítási feladatokhoz.
A legújabb táblainformációk mostantól katalógusba propagálásra kerülnek
A Delta Lake mostantól a lehető legjobb munka alapján propagálja a legújabb táblázatadatokat, például a séma- és táblatulajdonságokat olyan katalógusokban, mint a Hive metaadattár. Ezek az információk segíthetnek a katalóguseszközökkel megérteni a Delta-táblák sémáját.
A Delta Lake belsőleg nem függ ezektől az információktól, de megpróbálja naprakészen tartani. Emellett a Delta Lake tárolja a táblatulajdonságokat delta.lastUpdateVersion , és delta.lastCommitTimestamp a véglegesítés azon verzióját és időbélyegét jelöli, amely legutóbb módosította a metaadattárat. A metaadattár csak akkor frissül, ha a tábla sémája vagy a tábla tulajdonságai nem egyeznek.
Ezért a fent említett táblatulajdonságok nem feltétlenül tükrözik a tábla legújabb verzióját.
Ha a táblázat adatai és a metaadattár adatai nincsenek szinkronizálva, futtathat egy parancsot, például DESCRIBE <table> frissítheti a metaadattárat.
Feljegyzés
Mivel a Hive nem engedélyezi a változó partícióoszlopokat, de a Delta-táblák módosíthatják particionálásukat, a Delta-táblák nem jelennek meg particionáltként a Hive-ben.
MERGE INTO a művelet mostantól támogatja a beágyazott oszlopok sémafejlődését
A beágyazott oszlopok sémafejlődése mostantól ugyanolyan szemantikával rendelkezik, mint a legfelső szintű oszlopokban. Az új beágyazott oszlopok például automatikusan hozzáadhatók egy StructType oszlophoz. Részletekért tekintse meg az Automatikus sémafejlődés az egyesítésben című témakört.
MERGE INTO művelet mostantól automatikusan optimalizált írásokat használ
Az optimalizált írások sokkal jobb teljesítményt MERGE INTO nyújtanak a házon kívül, különösen a particionált táblák esetében MERGE INTO . Az optimalizált írások letiltásához állítsa a Spark-konfigurációt spark.databricks.delta.optimizeWrite.enabled a következőre false: .
MERGE INTO és UPDATE a műveletek mostantól név alapján oldják fel a beágyazott strukturált oszlopokat
A frissítési műveletek UPDATE és MERGE INTO parancsok mostantól név alapján oldják fel a beágyazott strukturált oszlopokat. Ez azt jelenti, hogy a StructType típusú oszlopok összehasonlításakor vagy hozzárendelésekor a beágyazott oszlopok sorrendje nem számít (pontosan ugyanúgy, mint a legfelső szintű oszlopok sorrendje). Ha pozíció alapján szeretne visszaállni a feloldásra, állítsa a Spark-konfigurációt spark.databricks.delta.resolveMergeUpdateStructsByName.enabled a következőre false: .
CLONE ga, és mostantól felülbírálhatja a táblatulajdonságokat
A CLONE parancs általánosan elérhető. Lásd: CREATE TABLE CLONE. Emellett a táblatulajdonságok felülbírálását is megadhatja a használat során CLONE. Példák : Tábla klónozása az Azure Databricksben.
RESTORE ga
A RESTORE parancs általánosan elérhető. Lásd: VISSZAÁLLÍTÁS.
A Scala implicitjei leegyszerűsítik a Spark olvasási és írási API-jait
Importálhatja io.delta.implicits._ a metódust a Spark olvasási delta és írási API-ival.
import io.delta.implicits._
spark.read.delta("/my/table/path")
df.write.delta("/my/table/path")
spark.readStream.delta("/my/table/path")
df.writeStream.delta("/my/table/path")
A streamelési átviteli sebesség javítása az összekötő beállításával fetchParallelism
Az AQS-összekötő mostantól támogatja a fetchParallelism párhuzamosság megadását az üzenetsor-szolgáltatásból való lekéréshez.
Stream előrehaladásának nyomon követése új automatikus betöltő metrikákkal
Az Automatikus betöltő mostantól arról számol be, hogy hány fájl található a hátralékban, és hogy mekkora a teendőlista minden köteg után. Ezekkel a metrikákkal nyomon követheti a stream előrehaladását. A metrikák megtekintésének részleteiért lásd : Mi az automatikus betöltő?.
Fejlesztések
A jegyzetfüzet-hatókörű kódtárak szélesebb körű támogatása és %conda a mágikus parancsok használata %pip
Most már telepíthet jegyzetfüzet-hatókörű kódtárakat %pip , és %conda varázsparancsokat használhat a nagy egyidejűségi fürtökre, és engedélyezve van a tábla ACL-jei vagy a hitelesítő adatok átadása.
Pontos Spark SQL-megjelenítés DECIMAL
A Spark SQL-adattípus DECIMAL mostantól pontosság és skálázás nélkül jelenik meg a táblákban.
ADLS Gen 2 storage-összekötő az ABFS-hez készült Hadoop 3.3-on alapul
Az ADLS Gen 2 storage-összekötő frissített verziója az ABFS-hez készült Hadoop 3.3-on alapul. A frissített összekötő számos stabilitási fejlesztést tartalmaz (lásd a Hadoop stabilitását), és támogatja az SAS-jogkivonat-hitelesítést.
Egyéb javítások
A Spark Streaming Databricks Kafka-összekötője el lett távolítva. Használja az Apache Spark-összekötőt.
Könyvtárfrissítések
- Frissített Python-kódtárak:
- koalák frissítve 1.3.0-ról 1.4.0-ra.
- Több telepített R-kódtárat frissített. Lásd: Telepített R-kódtárak.
- Az OpenJDK 8 build zulu 8.50.0.51-CA-linux64-re frissült (1.8.0_275-b01-es build).
Apache Spark
A Databricks Runtime 7.5 tartalmazza az Apache Spark 3.0.1-et. Ez a kiadás tartalmazza a Databricks Runtime 7.4(nem támogatott) összes Spark-javítását és fejlesztését, valamint a Spark következő további hibajavításait és fejlesztéseit:
- [SPARK-33611] [Felhasználói felület] Kerülje a kétszeri kódolást az újraírt proxy URL-cím lekérdezési paraméterén
- [SPARK-33587] [CORE] A végrehajtó megölése beágyazott végzetes hibákon (7.x)
- [SPARK-33140] [SQL] Az SQLConf lekéréséhez nem használt, átadott SparkSessiont használó kód visszaállítása.
- [SPARK-33472] [SQL] RemoveRedundantSorts szabálysorrend módosítása
- [SPARK-33422] [DOC] A bal oldali menüelem megfelelő megjelenítésének javítása
- [SPARK-27421] [SQL] A java.lang.String int oszlop és értékosztály szűrőjének javítása partícióoszlop metszésekor
- [SPARK-33483] [INFRA] [TESZTEK] Javítsa ki a patkánykizárási mintákat, és adjon hozzá egy LICEN-et Standard kiadás
- [SPARK-33464] [INFRA] A szükséges gyorsítótár hozzáadása/eltávolítása és a GitHub Actions yaml újrastrukturlése
- [SPARK-33407] [PYTHON] [7.X] A Python UDF-ek kivételüzenetének egyszerűsítése (alapértelmezés szerint le van tiltva)
- [SPARK-33435] [SQL] DSv2: A REFRESH TABLE érvényteleníti a táblára hivatkozó gyorsítótárakat
- [SPARK-33358] [SQL] Kód visszaadása a parancsfolyamat sikertelen működése esetén
- [SPARK-33183] [DBCONNECT] RemoveRedundantSorts.scala hozzáadása a ALLOW_LIST.txt fájlhoz
- [SPARK-33290] [SQL] A REFRESH TABLE alkalmazásnak érvénytelenítenie kell a gyorsítótárat annak ellenére, hogy maga a tábla nem gyorsítótárazva van
- [SPARK-33140] [SQL] Delta-fordítás javítása
- [SPARK-33316] [SQL] Egységtesztek hozzáadása from_avro és to_avro sémaregisztrációs adatbázissal és a felhasználó által megadott null értékű Avro-sémával
- [SPARK-33404] [SQL] Helytelen találatok javítása a kifejezésben
date_trunc - [SPARK-33339] [PYTHON] A Pyspark-alkalmazás nem kivételhiba miatt lefagy
- [SPARK-33412] [SQL] Az OverwriteByExpression a törlési feltételt nem a bemeneti lekérdezés, hanem a táblareláció alapján oldja fel
- [SPARK-33391] [SQL] element_at a CreateArray nem tart tiszteletben egy alapú indexet.
- [SPARK-33316] [SQL] A támogatási felhasználó null értékű Avro-sémát adott meg a nem null értékű katalizátorsémához az Avro írásában
- [SPARK-33372] [SQL] Az InSet-gyűjtő metszésének javítása
- [SPARK-33371] [PYTHON] A Python 3.9 setup.py és tesztjeinek frissítése
- [SPARK-33140] [SQL] távolítsa el az SQLConf és a SparkSession függvényt a Szabály[QueryPlan] összes alosztályában
- [SPARK-33338] [SQL] A GROUP BY függvény a literális térkép használatával nem hiúsul meg
- [SPARK-33306] [SQL] Időzónára van szükség a dátum sztringre történő leadásakor
- [SPARK-33284] [WEB-UI] A Tárterület felhasználói felület lapján a táblázat rendezéséhez bármelyik mezőre kattintva elveszik a fejléc tartalma
- [SPARK-33362] [SQL] skipSchemaResolution esetén a lekérdezést meg kell oldani
- [SPARK-32257] [SQL] Explicit hibák jelentése a Standard kiadás T/RE parancs érvénytelen használatára vonatkozóan Standard kiadás T parancs
- [SPARK-32406] [SQL] A RE Standard kiadás T szintaxisa támogatja az egyszeri konfiguráció alaphelyzetbe állítását
- [SPARK-32376] [SQL] Az unionByName nullkitöltési viselkedésének működése strukturált oszlopokkal
- [SPARK-32308] [SQL] Az unionByName névfeloldási logikájának áthelyezése AZ API-kódból az elemzési fázisba
- [SPARK-20044] [Felhasználói felület] Az előtér-fordított proxy mögötti Spark felhasználói felület támogatása az elérési út előtagjának visszaállítása proxy URL-címének használatával
- [SPARK-33268] [SQL] [PYTHON] A PythonUserDefinedType-ból/a PythonUserDefinedType-ba történő adatátadás hibáinak javítása
- [SPARK-33292] [SQL] A Literal ArrayBasedMapData sztringmegjelenítésének egyértelművé tétele
- [SPARK-33183] [SQL] Az optimalizálási szabály megszüntetésesorok javítása és egy fizikai szabály hozzáadása a redundáns rendezések eltávolításához
- [SPARK-33272] [SQL] a QueryPlan.transformUpWithNewOutput attribútumleképezésének metszete
- [SPARK-32090] [SQL] A UserDefinedType.equal() továbbfejlesztése szimmetrikussá tételéhez
- [SPARK-33267] [SQL] Az "In" szűrő NPE-hibájának kijavítása, ha az egyik érték null értéket tartalmaz
- [SPARK-33208] [SQL] A SparkSession#sql dokumentumának frissítése
- [SPARK-33260] [SQL] A SortExec helytelen eredményeinek javítása, ha a sortOrder stream
- [SPARK-33230] [SQL] Hadoop-véglegesítések a spark.sql.sources.writeJobUUID fájlban található egyedi feladatazonosító lekéréséhez
- [SPARK-33197] [SQL] A spark.sql.analyzer.maxIterations módosítása futásidőben lép érvénybe
- [SPARK-33228] [SQL] Ne csonkuljon adatokkal az azonos logikai tervvel rendelkező nézet cseréjekor
- [SPARK-32557] [CORE] Kivétel naplózása és lenyelése bejegyzésenként az Előzménykiszolgálón
- [SPARK-32436] [CORE] A numNonEmptyBlocks inicializálása a HighlyCompressedMapStatus.readExternal alkalmazásban
- [SPARK-33131] [SQL] A záradékkal rendelkező csoportosítási csoportok kijavítása nem oldható fel a minősített oszlopnévvel
- [SPARK-32761] [SQL] Több összehajtható különböző kifejezés összesítésének engedélyezése
- [SPARK-33094] [SQL] Az ORC formátum propagálja a Hadoop-konfigurációt a DS-beállításokból a mögöttes HDFS fájlrendszerbe
Karbantartási frissítések
Lásd a Databricks Runtime 7.5 karbantartási frissítéseit.
Rendszerkörnyezet
- Operációs rendszer: Ubuntu 18.04.5 LTS
- Java: Zulu 8.50.0.51-CA-linux64 (1.8.0_275-b01-es build)
- Scala: 2.12.10
- Python: 3.7.5
- R: R 3.6.3-es verzió (2020-02-29)
- Delta Lake 0.7.0
Telepített Python-kódtárak
| Könyvtár | Verzió | Könyvtár | Verzió | Könyvtár | Verzió |
|---|---|---|---|---|---|
| asn1crypto | 1.3.0 | backcall | 0.1.0 | boto3 | 1.12.0 |
| botocore | 1.15.0 | minősítés | 2020.6.20 | cffi | 1.14.0 |
| karakterkészlet | 3.0.4 | Titkosítás | 2.8 | cycler | 0.10.0 |
| Cython | 0.29.15 | Dekoratőr | 4.4.1 | docutils | 0.15.2 |
| belépési pontok | 0.3 | idna | 2.8 | ipykernel | 5.1.4 |
| ipython | 7.12.0 | ipython-genutils | 0.2.0 | Jedi | 0.17.2 |
| jmespath | 0.10.0 | joblib | 0.14.1 | jupyter-client | 5.3.4 |
| jupyter-core | 4.6.1 | kiwisolver | 1.1.0 | Koalák | 1.4.0 |
| matplotlib | 3.1.3 | numpy | 1.18.1 | pandas | 1.0.1 |
| parso | 0.7.0 | Patsy | 0.5.1 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | Pip | 20.0.2 | prompt-toolkit | 3.0.3 |
| psycopg2 | 2.8.4 | ptyprocess | 0.6.0 | pyarrow | 1.0.1 |
| pycparser | 2.19 | Pygments | 2.5.2 | PyGObject | 3.26.1 |
| pyOpenSSL | 19.1.0 | pyparsing | 2.4.6 | PySocks | 1.7.1 |
| python-apt | 1.6.5+ubuntu0.3 | python-dateutil | 2.8.1 | pytz | 2019.3 |
| pyzmq | 18.1.1 | kérelmek | 2.22.0 | s3transfer | 0.3.3 |
| scikit-learn | 0.22.1 | scipy | 1.4.1 | tengeri | 0.10.0 |
| setuptools | 45.2.0 | Hat | 1.14.0 | ssh-import-id | 5.7 |
| statsmodels | 0.11.0 | Tornádó | 6.0.3 | árulók | 4.3.3 |
| felügyelet nélküli frissítések | 0,1 | urllib3 | 1.25.8 | virtualenv | 16.7.10 |
| wcwidth | 0.1.8 | Kerék | 0.34.2 |
Telepített R-kódtárak
Az R-kódtárak a Microsoft CRAN-pillanatképből vannak telepítve 2020.11.02-én.
| Könyvtár | Verzió | Könyvtár | Verzió | Könyvtár | Verzió |
|---|---|---|---|---|---|
| askpass | 1,1 | assertthat | 0.2.1 | Backports | 1.1.10 |
| alap | 3.6.3 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| Kicsit | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.1 |
| indítás | 1.3-25 | Sört | 1.0-6 | Brio | 1.1.0 |
| Seprű | 0.7.2 | hívó | 3.5.1 | Billentyűzettel | 6.0-86 |
| cellranger | 1.1.0 | chron | 2.3-56 | osztály | 7.3-17 |
| Cli | 2.1.0 | clipr | 0.7.1 | Fürt | 2.1.0 |
| kódtoolok | 0.2-18 | színtér | 1.4-1 | commonmark | 1,7 |
| Fordító | 3.6.3 | config | 0.3 | covr | 3.5.1 |
| cpp11 | 0.2.3 | Zsírkréta | 1.3.4 | Ellenvélemények | 1.1.0.1 |
| Curl | 4.3 | data.table | 1.13.2 | adatkészletek | 3.6.3 |
| DBI | 1.1.0 | dbplyr | 1.4.4 | Desc | 1.2.0 |
| devtools | 2.3.2 | diffobj | 0.3.2 | Digest | 0.6.27 |
| dplyr | 0.8.5 | DT | 0,16 | három pont | 0.3.1 |
| evaluate | 0,14 | fani | 0.4.1 | farver | 2.0.3 |
| gyorstérkép | 1.0.1 | forcats | 0.5.0 | foreach | 1.5.1 |
| Külföldi | 0.8-76 | Forge | 0.2.0 | Fs | 1.5.0 |
| Generikus | 0.1.0 | ggplot2 | 3.3.2 | Gh | 1.1.0 |
| git2r | 0.27.1 | glmnet | 3.0-2 | Globals | 0.13.1 |
| Ragasztó | 1.4.2 | Gower | 0.2.2 | grafika | 3.6.3 |
| grDevices | 3.6.3 | Rács | 3.6.3 | gridExtra | 2.3 |
| gsubfn | 0,7 | gtable | 0.3.0 | Haven | 2.3.1 |
| highr | 0,8 | Hms | 0.5.3 | htmltoolok | 0.5.0 |
| htmlwidgets | 1.5.2 | httpuv | 1.5.4 | httr | 1.4.2 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | Ini | 0.3.1 |
| ipred | 0.9-9 | izoband | 0.2.2 | iterátorok | 1.0.13 |
| jsonlite | 1.7.1 | KernSmooth | 2.23-18 | knitr | 1,30 |
| Címkézés | 0.4.2 | Később | 1.1.0.1 | Rács | 0.20-41 |
| Láva | 1.6.8 | lazyeval | 0.2.2 | életciklus | 0.2.0 |
| lubridate | 1.7.9 | magrittr | 1,5 | markdown | 1,1 |
| MASS | 7.3-53 | Mátrix | 1.2-18 | memoise | 1.1.0 |
| metódusok | 3.6.3 | mgcv | 1.8-33 | Mime | 0,9 |
| ModelMetrics | 1.2.2.2 | modellező | 0.1.8 | munsell | 0.5.0 |
| nlme | 3.1-150 | nnet | 7.3-14 | numDeriv | 2016.8-1.1 |
| Openssl | 1.4.3 | parallel | 3.6.3 | Pillér | 1.4.6 |
| pkgbuild | 1.1.0 | pkgconfig | 2.0.3 | pkgload | 1.1.0 |
| plogr | 0.2.0 | rétegelt | 1.8.6 | Dicséret | 1.0.0 |
| prettyunits | 1.1.1 | Proc | 1.16.2 | processx | 3.4.4 |
| prodlim | 2019.11.13 | Haladás | 1.2.2 | Ígér | 1.1.1 |
| Proto | 1.0.0 | Ps | 1.4.0 | purrr | 0.3.4 |
| r2d3 | 0.2.3 | R6 | 2.5.0 | randomForest | 4.6-14 |
| rappdirs | 0.3.1 | rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 |
| Rcpp | 1.0.5 | olvasó | 1.4.0 | readxl | 1.3.1 |
| receptek | 0.1.14 | Visszavágót | 1.0.1 | visszavágó2 | 2.1.2 |
| Távirányító | 2.2.0 | reprex | 0.3.0 | újraformázás2 | 1.4.4 |
| Rex | 1.2.0 | rjson | 0.2.20 | rlang | 0.4.8 |
| rmarkdown | 2,5 | RODBC | 1.3-16 | roxygen2 | 7.1.1 |
| rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-7 |
| RSQLite | 2.2.1 | rstudioapi | 0,11 | rversions | 2.0.2 |
| rvest | 0.3.6 | Mérlegek | 1.1.1 | választó | 0.4-2 |
| sessioninfo | 1.1.1 | Alakzat | 1.4.4 | Fényes | 1.5.0 |
| sourcetools | 0.1.7 | sparklyr | 1.4.0 | SparkR | 3.0.0 |
| Térbeli | 7.3-11 | splines | 3.6.3 | sqldf | 0.4-11 |
| NÉGYZET | 2020.5 | Statisztika | 3.6.3 | statisztikák4 | 3.6.3 |
| stringi | 1.5.3 | sztring | 1.4.0 | Túlélési | 3.2-7 |
| sys | 3.4 | tcltk | 3.6.3 | TeachingDemos | 2.10 |
| testthat | 3.0.0 | tibble | 3.0.4 | tidyr | 1.1.2 |
| tidyselect | 1.1.0 | tidyverse | 1.3.0 | timeDate | 3043.102 |
| tinytex | 0.27 | eszközök | 3.6.3 | usethis | 1.6.3 |
| utf8 | 1.1.4 | eszközök | 3.6.3 | uuid | 0.1-4 |
| vctrs | 0.3.4 | viridisLite | 0.3.0 | Waldo | 0.2.2 |
| bajusz | 0,4 | withr | 2.3.0 | xfun | 0.19 |
| xml2 | 1.3.2 | xopen | 1.0.0 | xtable | 1.8-4 |
| Yaml | 2.2.1 |
Telepített Java- és Scala-kódtárak (Scala 2.12-fürtverzió)
| Csoportazonosító | Összetevő azonosítója | Verzió |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | Patak | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | Osztálytárs | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.koffein | Koffein | 2.3.4 |
| com.github.fommil | jniloader | 1,1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1,1 |
| com.github.fommil.netlib | native_ref-java-natívok | 1,1 |
| com.github.fommil.netlib | native_system-java | 1,1 |
| com.github.fommil.netlib | native_system-java-natívok | 1,1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1,1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.4-3 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | Guava | 15,0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | Profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEA Standard kiadás |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.sqlserver | mssql-jdbc | 8.2.1.jre8 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.9.0 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1,2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2,4 |
| commons-lang | commons-lang | 2.6 |
| commons-naplózás | commons-naplózás | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metrikamag | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.47.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | Kollektor | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | aktiválás | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1,1 |
| javax.transaction | transaction-api | 1,1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.razorvine | pyrolite | 4.30 |
| net.sf.jpam | jpam | 1,1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.12.8 |
| net.snowflake | spark-snowflake_2.12 | 2.8.1-spark_3.0 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.7.1 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | nyílformátum | 0.15.1 |
| org.apache.arrow | nyíl-memória | 0.15.1 |
| org.apache.arrow | nyíl-vektor | 0.15.1 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.9 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | kurátor-ügyfél | 2.7.1 |
| org.apache.curator | kurátor-keretrendszer | 2.7.1 |
| org.apache.curator | kurátor-receptek | 2.7.1 |
| org.apache.derby | Derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-common | 2.3.7 |
| org.apache.hive | hive-exec-core | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | hive-metastore | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | hive-shims | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.1 |
| org.apache.hive | hive-vector-code-gen | 2.3.7 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0-inkubálás |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | Ivy | 2.4.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.5.10 |
| org.apache.orc | orc-mapreduce | 1.5.10 |
| org.apache.orc | orc-shims | 1.5.10 |
| org.apache.parquet | parquet-column | 1.10.1-databricks6 |
| org.apache.parquet | parquet-common | 1.10.1-databricks6 |
| org.apache.parquet | parquet-kódolás | 1.10.1-databricks6 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks6 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks6 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.velocity | sebesség | 1,5 |
| org.apache.xbean | xbean-asm7-shaded | 4.15 |
| org.apache.yetus | célközönség-széljegyzetek | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.18.v20190429 |
| org.eclipse.jetty | móló-folytatás | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-http | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-io | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-jndi | 9.4.18.v20190429 |
| org.eclipse.jetty | móló plusz | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-proxy | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-security | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-server | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-servlet | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-servlets | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-util | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-webapp | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-xml | 9.4.18.v20190429 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-lokátor | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | jersey-common | 2.30 |
| org.glassfish.jersey.core | jersey-server | 2.30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Végleges |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.6.6 |
| org.json4s | json4s-core_2.12 | 3.6.6 |
| org.json4s | json4s-jackson_2.12 | 3.6.6 |
| org.json4s | json4s-scalap_2.12 | 3.6.6 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | Alátéteket | 0.7.45 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | teszt-interfész | 1,0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1,0 |
| org.scalanlp | breeze_2.12 | 1,0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | Használatlan | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEA Standard kiadás |
| org.springframework | rugós teszt | 4.1.4.RELEA Standard kiadás |
| org.threeten | három-extra | 1.5.0 |
| org.tukaani | xz | 1,5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | makró-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.5 |
| org.yaml | snakeyaml | 1.24 |
| Oro | Oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1,5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |