Databricks Runtime 8.3 (EoS)
Feljegyzés
A Databricks Runtime-verzió támogatása véget ért. A támogatás megszűnésének dátumáról lásd a támogatási előzményeket. Az összes támogatott Databricks Runtime-verziót lásd : Databricks Runtime release notes versions and compatibility.
A következő kibocsátási megjegyzések az Apache Spark 3.1.1 által működtetett Databricks Runtime 8.3-ról és a Databricks Runtime 8.3 Photon-ről nyújtanak információkat. A Databricks 2021 júniusában adta ki ezt a verziót. A Photon nyilvános előzetes verzióban érhető el.
Új funkciók és fejlesztések
- Létrehozott oszlopok a Delta-táblákban (nyilvános előzetes verzió)
- Az Automatikus betöltő funkciói és fejlesztései
- Delta-táblák létrehozása új programozott API-kkal (nyilvános előzetes verzió)
- Delta-táblaméretek helyes kiszámítása az SQL-ben
ANALYZE - A RocksDB teljesítményének részletes metrikái a RocksDBStateStore használatakor
- Automatikusan optimalizált írások
- Gyűjtőbe ágyazott illesztések engedélyezése, ha csak egy illesztőoldal van gyűjtőben
- Nagyobb biztonság a Spark UDF-ek definiálásakor (nyilvános előzetes verzió)
- Csökkentett számú kérés a sémaregisztrációs adatbázishoz a lekérdezésekhez
from_avro - Több találat az R-ben ListResults (nyilvános előzetes verzió) használatával
Létrehozott oszlopok a Delta-táblákban (nyilvános előzetes verzió)
A Delta Lake mostantól támogatja a létrehozott oszlopokat, amelyek olyan speciális oszloptípusok, amelyek értékei automatikusan létrejönnek egy felhasználó által megadott függvény alapján a Delta tábla más oszlopai felett. A legtöbb beépített SQL-függvényt használhatja ezeknek a generált oszlopoknak az értékeinek létrehozásához. Létrehozhat például egy dátumoszlopot (a tábla dátum szerinti particionálásához) az időbélyeg oszlopból; a táblába történő írásoknak csak az időbélyeg oszlop adatait kell megadniuk. Sql, Scala, Java vagy Python API-k használatával létrehozhat Delta-táblákat generált oszlopokkal.
További információ: Delta Lake által létrehozott oszlopok.
Az Automatikus betöltő funkciói és fejlesztései
- Sémakövetkeztetés CSV-fájlokhoz az Automatikus betöltőben
- Továbbfejlesztett indítási idő az automatikus betöltő streamekhez
- Gyorsabb címtárlista az Automatikus betöltőben
- Csökkentett tárterület-terhelés az automatikus betöltő ellenőrzőpontok esetében
- Az Automatikus betöltő tartalmazza a fájl elérési útját a mentett adatoszlopban, ha elérhető
- Az Automatikus betöltő támogatja a fájl átnevezését az Azure Data Lake Storage Gen2-ben fájlértesítési módban
Sémakövetkeztetés CSV-fájlokhoz az Automatikus betöltőben
Az Automatikus betöltő mostantól támogatja a CSV-fájlok sémakövetkeztetését és fejlődését. Az Automatikus betöltő a következő képességeket biztosítja az Apache Spark meglévő CSV-elemzőjén felül:
- Sémaegyesítés: Az automatikus betöltő különböző sémával (eltérő számú oszlop, eltérő oszloprendezés) rendelkező CSV-fájlokat tölthet be a fájlok között.
- Mentett adatoszlop: A mentett adatoszlop használatával mentheti a CSV-fájlokban esetleg megjelenő váratlan adatokat. Ez magában foglalja azokat az adatokat, amelyek nem elemezhetők a várt adattípusban, azokat az oszlopokat, amelyek eltérő burkolat- vagy nullértékekkel rendelkeznek a fejlécben, vagy olyan további oszlopokat is, amelyek nem részei a várt sémának.
További információ: Sémakövetkeztetés és -fejlesztés konfigurálása az Automatikus betöltőben.
Továbbfejlesztett indítási idő az automatikus betöltő streamekhez
Az automatikus betöltő streamek az első indításkor aszinkron módon végzik el a stream kezdeti visszatöltését, ami sokkal gyorsabb indítási időt eredményez a streamhez. Ez lehetővé teszi a kód gyors iterálását éles adatokkal, különösen akkor, ha több millió vagy milliárd fájlt tartalmazó könyvtárakból kell adatokat betöltődnie.
Emellett az újrainduló streamek rendszerindítási ideje is javul, mivel párhuzamosítottuk a RocksDB-fájlok letöltését és feltöltését, amelyeket az Auto Loader a pontos egyszeri szemantikák biztosításához használ.
Gyorsabb címtárlista az Automatikus betöltőben
Jelentősen javítottuk a címtárak automatikus betöltőben való listázásának hatékonyságát. Ennek a teljesítménybeli javulásnak az a mellékhatása, hogy a stream több listakérést bocsáthat ki a tárolórendszernek, ha nincs feldolgozandó új adat, ami a listakérések díjának megugrásához vezethet. Általános ajánlott eljárásként a Databricks azt javasolja, hogy ésszerű triggerintervallumot állítson be az éles streamelési folyamatokhoz. Lásd a strukturált streamelés éles szempontjait.
Csökkentett tárterület-terhelés az automatikus betöltő ellenőrzőpontok esetében
Az automatikus betöltő streamek mostantól automatikusan törlik az elavult fájlokat az ellenőrzőpont-címtárban aszinkron módon, hogy az ellenőrzőpont-címtár mérete ne nőjön határozatlan ideig, és csökkentse a tárolási költségeket.
Az Automatikus betöltő tartalmazza a fájl elérési útját a mentett adatoszlopban, ha elérhető
A mentett adatoszlop automatikusan megadja a mentett adatok fájlútvonalát, ha az alkalmazható a névvel ellátott _file_ pathoszlopban. Ez segíthet az adatminőségi problémák kiváltó okának nyomon követésében. Az oszlop nem szerepel, ha az adatséma tartalmaz egy ._file_path Szükség esetén az SQL-konfigurációval spark.databricks.sql.rescuedDataColumn.filePath.name átnevezheti az oszlopot.
Az Automatikus betöltő támogatja a fájl átnevezését az Azure Data Lake Storage Gen2-ben fájlértesítési módban
Az Automatikus betöltő mostantól támogatja az Azure Data Lake Storage Gen2 BlobRenamed eseményeit, ha fájlértesítési módban fut. Az Azure Data Lake Storage Gen2-tárolóba fájlértesítéseket tartalmazó átnevezési művelettel feltöltött fájlok feldolgozásához a Databricks Runtime 8.3 használatával indítsa el az új streamet az Automatikus betöltővel. Annak érdekében, hogy egy fájl pontosan egyszer legyen feldolgozva, győződjön meg arról, hogy az automatikus betöltő nem figyeli azt a forráskönyvtárat, amelyről a fájlt átnevezik.
Delta-táblák létrehozása új programozott API-kkal (nyilvános előzetes verzió)
Mostantól a DataFrame API-k használata nélkül is létrehozhat új Delta-táblákat programozott módon (a Scala, a Java és a Python használatával). Az új DeltaTableBuilder és DeltaColumnBuilder API-k lehetővé teszik az SQL CREATE TABLEhasználatával megadható táblaadatok megadását.
További információ: Tábla létrehozása.
Delta-táblaméretek helyes kiszámítása az SQL-ben ANALYZE
A meglévő elemzési logika helytelenül számítja ki a Delta-táblák táblaméretét, és helytelen mérettel frissíti a katalógust. A javítás egy Delta-tábla méretének lekérése a Delta-naplóból.
A RocksDB teljesítményének részletes metrikái a RocksDBStateStore használatakor
Ha konfigurálta a strukturált streamelési lekérdezést úgy, hogy a RocksDB-t használja állapottárolóként, mostantól jobban áttekintheti a RocksDB teljesítményét, részletes metrikákkal a késések, a tömörítési késések, a gyorsítótár-találatok stb. Ezek a metrikák a StreamingQueryProgress streamelési lekérdezések figyelésére szolgáló API-kon StreamingQueryListener keresztül érhetők el.
További információ: A RocksDB állapottároló konfigurálása az Azure Databricksben.
Automatikusan optimalizált írások
A particionált Delta-táblákra optimalizált írások mostantól automatikusan engedélyezve vannak az al lekérdezéseket tartalmazó lekérdezések frissítéséhez és törléséhez.
Gyűjtőbe ágyazott illesztések engedélyezése, ha csak egy illesztőoldal van gyűjtőben
Az új konfiguráció spark.databricks.sql.minBucketsForBucketedJoin lehetővé teszi a gyűjtőbe illesztéseket, ha csak egy illesztőoldal van gyűjtőben, és a gyűjtők száma nem kisebb ennél a konfigurációs értéknél. Alapértelmezés szerint ez a konfigurációs érték megegyezik az alapértelmezett shuffle partíciószámmal (200).
Nagyobb biztonság a Spark UDF-ek definiálásakor (nyilvános előzetes verzió)
A felhasználói információs függvények current_user is_member már nem bírálhatók felül ideiglenes függvényekkel, beleértve a Pythont spark.udf.register vagy az SQL-t create or replace temp functionis.
Csökkentett számú kérés a sémaregisztrációs adatbázishoz a lekérdezésekhez from_avro
A sémaregisztrációs adatbázis támogatásával rendelkező from_avro lekérdezések már nem generálnak annyi kérést a sémaregisztrációs szolgáltatáshoz, ami üzemeltetési költséget takarít meg.
Több találat az R-ben ListResults (nyilvános előzetes verzió) használatával
A Databricks R-jegyzetfüzetek mostantól több eredményt is támogatnak minden cellában. Korábban csak egyetlen eredmény lett renderelve az egyes jegyzetfüzetcellákhoz. Az R-jegyzetfüzetekben lévő egyetlen cella eredményei jelenleg az alábbi sorrendben jelennek meg:
- RShiny URL-címe
- Rajzolás
- displayHTML-kimenetek
- Táblák
- stdout
Könyvtárfrissítések
- Frissített Python-kódtár:
- koalák frissítve 1.7.0-ról 1.8.0-ra.
- a pandas 1.1.3-ról 1.1.5-re frissült.
- Az s3transfer 0.3.4-ről 0.3.6-ra frissült.
- Frissített R-kódtár:
- A SparkR 3.1.1-ről 3.1.2-re frissült.
- Frissített Java-kódtár:
- mariadb-java-client 2.1.2 és 2.2.5 között.
- parquet-column from 1.10.1-databricks6 to 1.10.1-databricks9
- parquet-common from 1.10.1-databricks6 to 1.10.1-databricks9
- parquet-encoding from 1.10.1-databricks6 to 1.10.1-databricks9
- parquet-hadoop 1.10.1-databricks6-tól 1.10.1-databricks9-hez
- parquet-jackson 1.10.1-databricks6-1.10.1-databricks9
Apache Spark
A Databricks Runtime 8.3 tartalmazza az Apache Spark 3.1.1-et. Ez a kiadás tartalmazza a Databricks Runtime 8.2 -ben (EoS) található összes Spark-javítást és -fejlesztést, valamint a Spark következő további hibajavításait és fejlesztéseit:
- [SPARK-34614] [SQL] ANSI mód: A sztring logikai értékre történő kiírása kivételt eredményez az elemzési hiba esetén
- [SPARK-34246] [FOLYTATÁS] Módosítsa a "findTightestCommonT...
- [SPARK-35213] [SQL] A beágyazott szerkezetek helyes sorrendjének megtartása aField-műveletekkel összekapcsolva
- [SPARK-35096] [SQL] A SchemaPruningnak meg kell felelnie a spark.sql.caseSensitive konfigurációnak
- [SPARK-35227] [BUILD] Spark-csomagok feloldójának frissítése a SparkSubmitben
- [SPARK-35224] [SQL] Puffer túlcsordulásának javítása
MutableProjectionSuite - [SPARK-34245] [CORE] Győződjön meg arról, hogy a főkiszolgáló eltávolítja azokat a végrehajtókat, amelyek nem küldték el a kész állapotot
- [SPARK-34856] [SQL] ANSI mód: Összetett típusok sztringtípusként való leadása engedélyezése
- [SPARK-34946] [SQL] Nem támogatott korrelált skaláris részlekérdezés letiltása összesítésben
- [SPARK-35014] Javítsa ki a PhysicalAggregation mintát, hogy ne írja újra az összehajtható kifejezéseket
- [SPARK-34769] [SQL] AnsiTypeCoercion: a legközelebbi...
Rendszerkörnyezet
- Operációs rendszer: Ubuntu 18.04.5 LTS
- Java: Zulu 8.52.0.23-CA-linux64 (1.8.0_282-b08-es build)
- Scala: 2.12.10
- Python: 3.8.8
- R: R 4.0.4-es verzió (2021-02-15)
- Delta Lake 1.0.0
Telepített Python-kódtárak
| Könyvtár | Verzió | Könyvtár | Verzió | Könyvtár | Verzió |
|---|---|---|---|---|---|
| appdirs | 1.4.4 | asn1crypto | 1.4.0 | backcall | 0.2.0 |
| boto3 | 1.16.7 | botocore | 1.19.7 | brotlipy | 0.7.0 |
| minősítés | 2020.12.5 | cffi | 1.14.3 | karakterkészlet | 3.0.4 |
| kriptográfia | 3.1.1 | biciklista | 0.10.0 | Cython | 0.29.21 |
| lakberendező | 4.4.2 | distlib | 0.3.1 | docutils | 0.15.2 |
| belépési pontok | 0.3 | aspektusok áttekintése | 1.0.0 | filelock | 3.0.12 |
| idna | 2.10 | ipykernel | 5.3.4 | ipython | 7.19.0 |
| ipython-genutils | 0.2.0 | jedi | 0.17.2 | jmespath | 0.10.0 |
| joblib | 0.17.0 | jupyter-client | 6.1.7 | jupyter-core | 4.6.3 |
| kiwisolver | 1.3.0 | Koalák | 1.8.0 | matplotlib | 3.2.2 |
| numpy | 1.19.2 | pandas | 1.1.5 | parso | 0.7.0 |
| Patsy | 0.5.1 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| mag | 20.2.4 | ábrázolás | 4.14.3 | prompt-toolkit | 3.0.8 |
| protobuf | 3.17.0 | psycopg2 | 2.8.5 | ptyprocess | 0.6.0 |
| pyarrow | 1.0.1 | pycparser | 2,20 | Pygments | 2.7.2 |
| pyOpenSSL | 19.1.0 | pyparsing | 2.4.7 | PySocks | 1.7.1 |
| python-dateutil | 2.8.1 | pytz | 2020.5 | pyzmq | 19.0.2 |
| kérelmek | 2.24.0 | Újrapróbálkozás… | 1.3.3 | s3transfer | 0.3.6 |
| scikit-learn | 0.23.2 | scipy | 1.5.2 | tengeri | 0.10.0 |
| setuptools | 50.3.1 | Hat | 1.15.0 | statsmodels | 0.12.0 |
| threadpoolctl | 2.1.0 | tornádó | 6.0.4 | árulók | 5.0.5 |
| urllib3 | 1.25.11 | virtualenv | 20.2.1 | wcwidth | 0.2.5 |
| kerék | 0.35.1 |
Telepített R-kódtárak
Az R-kódtárak a Microsoft CRAN-pillanatképből vannak telepítve 2020.11.02-én.
| Könyvtár | Verzió | Könyvtár | Verzió | Könyvtár | Verzió |
|---|---|---|---|---|---|
| askpass | 1,1 | assertthat | 0.2.1 | backports | 1.2.1 |
| alap | 4.0.4 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| bit | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.1 |
| indítás | 1.3-27 | főz | 1.0-6 | Brio | 1.1.0 |
| seprű | 0.7.2 | hívó | 3.5.1 | kalap | 6.0-86 |
| cellranger | 1.1.0 | chron | 2.3-56 | osztály | 7.3-18 |
| Cli | 2.2.0 | clipr | 0.7.1 | fürt | 2.1.1 |
| kódtoolok | 0.2-18 | színtér | 2.0-0 | commonmark | 1,7 |
| fordítóprogram | 4.0.4 | config | 0.3 | covr | 3.5.1 |
| cpp11 | 0.2.4 | zsírkréta | 1.3.4 | hitelesítő adatok | 1.3.0 |
| Ellenvélemények | 1.1.0.1 | csavarodik | 4.3 | data.table | 1.13.4 |
| adatkészletek | 4.0.4 | DBI | 1.1.0 | dbplyr | 2.0.0 |
| Desc | 1.2.0 | devtools | 2.3.2 | diffobj | 0.3.2 |
| emészt | 0.6.27 | dplyr | 1.0.2 | DT | 0,16 |
| három pont | 0.3.1 | evaluate | 0,14 | fani | 0.4.1 |
| farver | 2.0.3 | gyorstérkép | 1.0.1 | forcats | 0.5.0 |
| foreach | 1.5.1 | külföldi | 0.8-81 | kovácsol | 0.2.0 |
| Fs | 1.5.0 | jövő | 1.21.0 | Generikus | 0.1.0 |
| Gert | 1.0.2 | ggplot2 | 3.3.2 | Gh | 1.2.0 |
| gitcreds | 0.1.1 | glmnet | 4.0-2 | globális | 0.14.0 |
| ragasztó | 1.4.2 | Gower | 0.2.2 | grafika | 4.0.4 |
| grDevices | 4.0.4 | rács | 4.0.4 | gridExtra | 2.3 |
| gsubfn | 0,7 | gtable | 0.3.0 | kikötő | 2.3.1 |
| highr | 0,8 | Hms | 0.5.3 | htmltoolok | 0.5.0 |
| htmlwidgets | 1.5.3 | httpuv | 1.5.4 | httr | 1.4.2 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| ipred | 0.9-9 | izoband | 0.2.3 | iterátorok | 1.0.13 |
| jsonlite | 1.7.2 | KernSmooth | 2.23-18 | knitr | 1,30 |
| címkézés | 0.4.2 | később | 1.1.0.1 | rács | 0.20-41 |
| láva | 1.6.8.1 | lazyeval | 0.2.2 | életciklus | 0.2.0 |
| figyelő | 0.8.0 | lubridate | 1.7.9.2 | magrittr | 2.0.1 |
| markdown | 1,1 | TÖMEG | 7.3-53.1 | Mátrix | 1.3-2 |
| memoise | 1.1.0 | metódusok | 4.0.4 | mgcv | 1.8-33 |
| MIME | 0,9 | ModelMetrics | 1.2.2.2 | modellező | 0.1.8 |
| munsell | 0.5.0 | nlme | 3.1-152 | nnet | 7.3-15 |
| numDeriv | 2016.8-1.1 | openssl | 1.4.3 | parallel | 4.0.4 |
| párhuzamosan | 1.22.0 | pillér | 1.4.7 | pkgbuild | 1.1.0 |
| pkgconfig | 2.0.3 | pkgload | 1.1.0 | plogr | 0.2.0 |
| rétegelt | 1.8.6 | dicséret | 1.0.0 | prettyunits | 1.1.1 |
| Proc | 1.16.2 | processx | 3.4.5 | prodlim | 2019.11.13 |
| haladás | 1.2.2 | Ígér | 1.1.1 | Proto | 1.0.0 |
| Ps | 1.5.0 | purrr | 0.3.4 | r2d3 | 0.2.3 |
| R6 | 2.5.0 | randomForest | 4.6-14 | rappdirs | 0.3.1 |
| rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 | Rcpp | 1.0.5 |
| olvasó | 1.4.0 | readxl | 1.3.1 | receptek | 0.1.15 |
| Visszavágót | 1.0.1 | visszavágó2 | 2.1.2 | Távirányító | 2.2.0 |
| reprex | 0.3.0 | újraformázás2 | 1.4.4 | Rex | 1.2.0 |
| rlang | 0.4.9 | rmarkdown | 2.6 | RODBC | 1.3-17 |
| roxygen2 | 7.1.1 | rpart | 4.1-15 | rprojroot | 2.0.2 |
| Rserve | 1.8-7 | RSQLite | 2.2.1 | rstudioapi | 0,13 |
| rversions | 2.0.2 | rvest | 0.3.6 | mérleg | 1.1.1 |
| választó | 0.4-2 | sessioninfo | 1.1.1 | alak | 1.4.5 |
| Fényes | 1.5.0 | sourcetools | 0.1.7 | sparklyr | 1.5.2 |
| SparkR | 3.1.2 | térbeli | 7.3-11 | splines | 4.0.4 |
| sqldf | 0.4-11 | NÉGYZET | 2020.5 | statisztika | 4.0.4 |
| statisztikák4 | 4.0.4 | stringi | 1.5.3 | sztring | 1.4.0 |
| túlélés | 3.2-7 | sys | 3.4 | tcltk | 4.0.4 |
| TeachingDemos | 2.10 | testthat | 3.0.0 | tibble | 3.0.4 |
| tidyr | 1.1.2 | tidyselect | 1.1.0 | tidyverse | 1.3.0 |
| timeDate | 3043.102 | tinytex | 0,28 | eszközök | 4.0.4 |
| usethis | 2.0.0 | utf8 | 1.1.4 | eszközök | 4.0.4 |
| uuid | 0.1-4 | vctrs | 0.3.5 | viridisLite | 0.3.0 |
| Waldo | 0.2.3 | bajusz | 0,4 | withr | 2.3.0 |
| xfun | 0.19 | xml2 | 1.3.2 | xopen | 1.0.0 |
| xtable | 1.8-4 | yaml | 2.2.1 | fütyülés | 2.1.1 |
Telepített Java- és Scala-kódtárak (Scala 2.12-fürtverzió)
| Csoportazonosító | Összetevő azonosítója | Verzió |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | patak | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | osztálytárs | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.koffein | koffein | 2.3.4 |
| com.github.fommil | jniloader | 1,1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1,1 |
| com.github.fommil.netlib | native_ref-java-natívok | 1,1 |
| com.github.fommil.netlib | native_system-java | 1,1 |
| com.github.fommil.netlib | native_system-java-natívok | 1,1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1,1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.8-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | gujávafa | 15,0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | Profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1,2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2,4 |
| commons-lang | commons-lang | 2.6 |
| commons-naplózás | commons-naplózás | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| hive-2.3__hadoop-2.7 | jets3t-0.7 | liball_deps_2.12 |
| hive-2.3__hadoop-2.7 | zookeeper-3.4 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metrikamag | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.51.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | gyűjtő | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | aktiválás | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1,1 |
| javax.transaction | transaction-api | 1,1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-fák | hive-2.3__hadoop-2.7 | liball_deps_2.12 |
| net.razorvine | pyrolite | 4.30 |
| net.sf.jpam | jpam | 1,1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.3 |
| net.snowflake | spark-snowflake_2.12 | 2.9.0-spark_3.1 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8-1 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | nyílformátum | 2.0.0 |
| org.apache.arrow | nyíl-memóriamag | 2.0.0 |
| org.apache.arrow | nyíl-memória-netty | 2.0.0 |
| org.apache.arrow | nyíl-vektor | 2.0.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1,20 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3,10 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | kurátor-ügyfél | 2.7.1 |
| org.apache.curator | kurátor-keretrendszer | 2.7.1 |
| org.apache.curator | kurátor-receptek | 2.7.1 |
| org.apache.derby | keménykalap | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-common | 2.3.7 |
| org.apache.hive | hive-exec-core | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | hive-metastore | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | hive-shims | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive | hive-vector-code-gen | 2.3.7 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0-inkubálás |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | borostyán | 2.4.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.5.12 |
| org.apache.orc | orc-mapreduce | 1.5.12 |
| org.apache.orc | orc-shims | 1.5.12 |
| org.apache.parquet | parquet-column | 1.10.1-databricks9 |
| org.apache.parquet | parquet-common | 1.10.1-databricks9 |
| org.apache.parquet | parquet-kódolás | 1.10.1-databricks9 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks9 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks9 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.velocity | sebesség | 1,5 |
| org.apache.xbean | xbean-asm7-shaded | 4.15 |
| org.apache.yetus | célközönség-széljegyzetek | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.36.v20210114 |
| org.eclipse.jetty | móló-folytatás | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-http | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-io | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-jndi | 9.4.36.v20210114 |
| org.eclipse.jetty | móló plusz | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-proxy | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-security | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-server | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlet | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlets | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-webapp | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-xml | 9.4.36.v20210114 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-lokátor | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | jersey-common | 2.30 |
| org.glassfish.jersey.core | jersey-server | 2.30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Végleges |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M5 |
| org.json4s | json4s-core_2.12 | 3.7.0-M5 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M5 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M5 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.2.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.9.0 |
| org.roaringbitmap | Alátéteket | 0.9.0 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | teszt-interfész | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | Használatlan | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | rugós teszt | 4.1.4.RELEASE |
| org.threeten | három-extra | 1.5.0 |
| org.tukaani | xz | 1,5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | makró-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.2 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1,5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |