Databricks Runtime 6.4 (EoS)
Feljegyzés
A Databricks Runtime-verzió támogatása véget ért. A támogatás megszűnésének dátumáról lásd a támogatási előzményeket. Az összes támogatott Databricks Runtime-verziót lásd : Databricks Runtime release notes versions and compatibility.
A Databricks 2020 februárjában adta ki ezt a verziót.
Feljegyzés
A Databricks Runtime 6.4 támogatása 2021. április 1-jén véget ért, mivel a mögöttes Ubuntu operációs rendszer támogatása megszűnt. A Databricks azt javasolja, hogy frissítsen a Databricks Runtime 7.x vagy 8.x verziójára, hogy kihasználhassa az Apache Spark 3.x előnyeit, valamint az újabb futtatókörnyezetekbe beépített számos új funkciót és fejlesztést.
Lehetősége van a Databricks Runtime 6.4 kiterjesztett támogatására való migrálásra, amely megegyezik a Databricks Runtime 6.4-es verziójával, kivéve az operációs rendszer verzióját, a JDK-t, valamint néhány R- és Python-kódtárat. Lásd: Databricks Runtime 6.4 Kiterjesztett támogatás (EoS).
Az alábbi kibocsátási megjegyzések az Apache Spark által üzemeltetett Databricks Runtime 6.4-ről nyújtanak információkat.
Új funkciók
Új adatfájlok növekményes feldolgozása az Automatikus betöltővel (nyilvános előzetes verzió)
Az Automatikus betöltővel hatékonyabban dolgozhatja fel az új adatfájlokat növekményesen, amikor azok az ETL során egy felhőalapú blobtárolóba érkeznek. Ez a fájlalapú strukturált streamelés továbbfejlesztése, amely azonosítja az új fájlokat a felhőkönyvtár ismételt listázásával és a látott fájlok nyomon követésével, és a címtár növekedésével nagyon nem hatékony. Az automatikus betöltő kényelmesebb és hatékonyabb, mint a fájlértesítésen alapuló strukturált streamelés, amelyhez manuálisan kell konfigurálni a fájlértesítési szolgáltatásokat a felhőben, és nem engedi a meglévő fájlok feltöltését. További részletekért lásd : Mi az automatikus betöltő?.
Adatok betöltése a Delta Lake-be idempotens újrapróbálkozással (nyilvános előzetes verzió)
Az COPY INTO SQL-paranccsal idempotens újrapróbálkozással tölthet be adatokat a Delta Lake-be. Az adatok Delta Lake-be való betöltéséhez ma Apache Spark DataFrame API-kat kell használnia. Ha a terhelések során hibák lépnek fel, hatékonyan kell kezelnie őket. Az új COPY INTO parancs ismerős deklaratív felületet biztosít az SQL-felhasználók számára az adatok betöltéséhez. A parancs nyomon követi a korábban betöltött fájlokat, és hiba esetén biztonságosan újra futtathatja őket.
A deltatáblán lévő összes írási, frissítési és törlési műveletmetrika mostantól megjelenik a táblaelőzményekben
Mostantól láthatja a műveletmetrikákat (például a módosított fájlok és sorok számát) a tábla előzményeiben lévő Delta-táblák összes írási, frissítési és törlési műveletéhez. Ezeknek a metrikáknak a létrehozása alapértelmezés szerint le van tiltva. A metrikagenerálás engedélyezéséhez állítsa a Spark konfigurációt spark.databricks.delta.history.metricsEnabled a következőre true: .
A beágyazott Matplotlib-ábrák mostantól alapértelmezés szerint engedélyezve lesznek az Azure Databricks-jegyzetfüzetekben (nyilvános előzetes verzió)
A Matplotlib-ábrák megjelenítése anélkül, hogy át kellene adnia az ábrát a display metódusnak, alapértelmezés szerint engedélyezve van. További részletekért lásd : Matplotlib.
Fejlesztések
Kijavítottuk a Parquet szűrőhibát StartsWith
Kijavítottuk a NullPointerException leküldéses szűrő által okozott hibát StartWith a Parquetbe. A probléma akkor fordul elő, ha egy Parquet-fájlban lévő oszlop esete eltér a külső táblában definiált oszlop esetétől.
Apache Spark
A Databricks Runtime 6.4 tartalmazza az Apache Spark 2.4.5-öt. Ez a kiadás tartalmazza a Databricks Runtime 6.3 -ban (EoS) található összes Spark-javítást és -fejlesztést, valamint a Spark következő további hibajavításait és fejlesztéseit:
- [SPARK-30657][SPARK-30658][SS] Kijavítottunk két hibát a streamelési korlátokban [6.x]
- [SPARK-30433][SQL] Ütközési csomagok gyűjtésének optimalizálása
- [SPARK-30633][SQL] L hozzáfűzése a vetőmaghoz, ha a típus LongType
- [SPARK-29777][[SPARKR] A már nem érvényes teszt eltávolítása rekurzív hívások esetén
- [SPARK-30645][[SPARKR] Unicode-tesztadatok áthelyezése külső fájlba
- [SPARK-30630][ML] NumTrees elavul a GBT-ben a 2.4.5-ben
- [SPARK-30082][SQL] Scala-típus kényszerítésétől függ a csere lekérdezés létrehozásakor
- [SPARK-30556][SQL] SparkContext.localproperties másolása gyermekszálba inSubqueryExec.executionContext
- [SPARK-30433][SQL] Az ütközési attribútumok felbontásának skálázhatóbbá tétele a ResolveReferencesben
- [SPARK-29708][SQL] Az összesített értékek javítása csoportosítási csoportok duplikálása esetén
- [SPARK-29450][SS] A kimeneti sorok számának mérése a hozzáfűzési móddal történő streamelési összesítéshez
- [SPARK-30312][SQL] Conf átnevezése hozzáadással
.enabled - [SPARK-30325][CORE] markPartitionCompleted ok tevékenységállapot inkonzisztens
- [SPARK-30246][CORE] A OneForOneStreamManager memóriavesztést okozhat a connectionTerminated
- [SPARK-28152][SQL] Régi conf hozzáadása régi MsSqlServerDialect numerikus leképezéshez
- [SPARK-30458][WEBUI] Hibás végrehajtói számítási idő kijavítása a szakaszlap idősorában
- [SPARK-30312][SQL] Elérési út engedélyének és acl-jének megőrzése tábla csonkításkor
- [SPARK-30447][SQL] Állandó propagálás nullbilitási problémája
- [SPARK-30410][SQL] A nagy számú partícióval rendelkező tábla méretének kiszámítása elárasztott naplókat okoz
- [SPARK-30225][CORE] Helyes olvasási() viselkedés a NioBufferedFileInputStream EOF-jában
- [SPARK-30285][CORE] Holtpont javítása a LiveListenerBus#stop és az AsyncEventQueue#removeListenerOnError között
- [SPARK-26560][SQL] A Sparknak képesnek kell lennie a Hive UDF futtatására jar használatával, függetlenül az aktuális szál környezeti osztálybetöltőjétől
- [SPARK-30339][SQL] A függvénykeresés során ne legyen kétszer sikertelen
- [SPARK-30269][SQL] A régi partícióstatisztikák használatával döntse el, hogy frissíti-e a statisztikát a partíció elemzésekor
- [SPARK-30318][CORE] Frissítés a 9.3.27.v20190418-ra
- [SPARK-17398][SQL] A ClassCastException javítása particionált JSON-tábla lekérdezésekor
Karbantartási frissítések
Lásd a Databricks Runtime 6.4 karbantartási frissítéseit.
Rendszerkörnyezet
- Operációs rendszer: Ubuntu 16.04.6 LTS
- Java: 1.8.0_252
- Scala: 2.11.12
- Python: 3.7.3
- R: R 3.6.2-es verzió (2019-12-12)
- Delta Lake: 0.5.0
Feljegyzés
Bár a Scala 2.12 kísérleti funkcióként érhető el az Apache Spark 2.4-ben, a Databricks Runtime 6.4-ben nem támogatott.
Ebben a szakaszban:
- Telepített Python-kódtárak
- Telepített R-kódtárak
- Telepített Java- és Scala-kódtárak (Scala 2.11-fürtverzió)
Telepített Python-kódtárak
| Könyvtár | Verzió | Könyvtár | Verzió | Könyvtár | Verzió |
|---|---|---|---|---|---|
| asn1crypto | 0.24.0 | backcall | 0.1.0 | boto | 2.49.0 |
| boto3 | 1.9.162 | botocore | 1.12.163 | minősítés | 2019.3.9 |
| cffi | 1.12.2 | karakterkészlet | 3.0.4 | kriptográfia | 2.6.1 |
| biciklista | 0.10.0 | Cython | 0.29.6 | lakberendező | 4.4.0 |
| docutils | 0,14 | idna | 2.8 | ipykernel | 5.1.0 |
| ipython | 7.4.0 | ipython-genutils | 0.2.0 | jedi | 0.13.3 |
| jmespath | 0.9.4 | jupyter-client | 5.2.4 | jupyter-core | 4.4.0 |
| kiwisolver | 1.1.0 | matplotlib | 3.0.3 | numpy | 1.16.2 |
| pandas | 0.24.2 | parso | 0.3.4 | Patsy | 0.5.1 |
| pexpect | 4.6.0 | pickleshare | 0.7.5 | mag | 19.0.3 |
| prompt-toolkit | 2.0.9 | psycopg2 | 2.7.6.1 | ptyprocess | 0.6.0 |
| pyarrow | 0.13.0 | pycparser | 2.19 | pycurl | 7.43.0 |
| Pygments | 2.3.1 | PyGObject | 3.20.0 | pyOpenSSL | 19.0.0 |
| pyparsing | 2.4.6 | PySocks | 1.6.8 | python-apt | 1.1.0.b1+ubuntu0.16.04.8 |
| python-dateutil | 2.8.0 | pytz | 2018.9 | pyzmq | 18.0.0 |
| kérelmek | 2.21.0 | s3transfer | 0.2.1 | scikit-learn | 0.20.3 |
| scipy | 1.2.1 | tengeri | 0.9.0 | setuptools | 40.8.0 |
| Hat | 1.12.0 | ssh-import-id | 5,5 | statsmodels | 0.9.0 |
| tornádó | 6.0.2 | árulók | 4.3.2 | felügyelet nélküli frissítések | 0,1 |
| urllib3 | 1.24.1 | virtualenv | 16.4.1 | wcwidth | 0.1.7 |
| kerék | 0.33.1 |
Telepített R-kódtárak
| Könyvtár | Verzió | Könyvtár | Verzió | Könyvtár | Verzió |
|---|---|---|---|---|---|
| abind | 1.4-5 | askpass | 1,1 | assertthat | 0.2.1 |
| backports | 1.1.5 | alap | 3.6.2 | base64enc | 0.1-3 |
| BH | 1.69.0-1 | bit | 1.1-14 | bit64 | 0.9-7 |
| bitops | 1.0-6 | blob | 1.2.0 | indítás | 1.3-23 |
| főz | 1.0-6 | hívó | 3.3.2 | autó | 3.0-4 |
| carData | 3.0-2 | kalap | 6.0-84 | cellranger | 1.1.0 |
| chron | 2.3-54 | osztály | 7.3-15 | Cli | 1.1.0 |
| clipr | 0.7.0 | clisymbols | 1.2.0 | fürt | 2.1.0 |
| kódtoolok | 0.2-16 | színtér | 1.4-1 | commonmark | 1,7 |
| fordítóprogram | 3.6.2 | config | 0.3 | covr | 3.3.2 |
| zsírkréta | 1.3.4 | Ellenvélemények | 1.0.0 | csavarodik | 4.2 |
| data.table | 1.12.6 | adatkészletek | 3.6.2 | DBI | 1.0.0 |
| dbplyr | 1.4.2 | Desc | 1.2.0 | devtools | 2.2.1 |
| emészt | 0.6.22 | doMC | 1.3.6 | dplyr | 0.8.3 |
| DT | 0,9 | három pont | 0.3.0 | evaluate | 0,14 |
| fani | 0.4.0 | gyorstérkép | 1.0.1 | forcats | 0.4.0 |
| foreach | 1.4.7 | külföldi | 0.8-75 | kovácsol | 0.2.0 |
| Fs | 1.3.1 | gbm | 2.1.5 | Generikus | 0.0.2 |
| ggplot2 | 3.2.1 | Gh | 1.0.1 | git2r | 0.26.1 |
| glmnet | 2.0-18 | ragasztó | 1.3.1 | Gower | 0.2.1 |
| grafika | 3.6.2 | grDevices | 3.6.2 | rács | 3.6.2 |
| gridExtra | 2.3 | gsubfn | 0,7 | gtable | 0.3.0 |
| h2o | 3.26.0.2 | kikötő | 2.1.1 | Hms | 0.5.1 |
| htmltoolok | 0.4.0 | htmlwidgets | 1.5.1 | httpuv | 1.5.2 |
| httr | 1.4.1 | hwriter | 1.3.2 | hwriterPlus | 1.0-3 |
| ini | 0.3.1 | ipred | 0.9-9 | iterátorok | 1.0.12 |
| jsonlite | 1.6 | KernSmooth | 2.23-16 | címkézés | 0.3 |
| később | 1.0.0 | rács | 0.20-38 | láva | 1.6.6 |
| lazyeval | 0.2.2 | életciklus | 0.1.0 | kicsi | 0.3.9 |
| lme4 | 1.1-21 | lubridate | 1.7.4 | magrittr | 1,5 |
| mapproj | 1.2.6 | Térképek | 3.3.0 | maptools | 0.9-8 |
| TÖMEG | 7.3-51.5 | Mátrix | 1.2-18 | MatrixModels | 0.4-1 |
| memoise | 1.1.0 | metódusok | 3.6.2 | mgcv | 1.8-31 |
| MIME | 0,7 | minqa | 1.2.4 | ModelMetrics | 1.2.2 |
| munsell | 0.5.0 | mvtnorm | 1.0-11 | nlme | 3.1-144 |
| nloptr | 1.2.1 | nnet | 7.3-12 | numDeriv | 2016.8-1.1 |
| openssl | 1.4.1 | openxlsx | 4.1.2 | parallel | 3.6.2 |
| pbkrtest | 0.4-7 | pillér | 1.4.2 | pkgbuild | 1.0.6 |
| pkgconfig | 2.0.3 | pkgKitten | 0.1.5 | pkgload | 1.0.2 |
| plogr | 0.2.0 | rétegelt | 1.8.4 | dicséret | 1.0.0 |
| prettyunits | 1.0.2 | Proc | 1.15.3 | processx | 3.4.1 |
| prodlim | 2018.04.18 | haladás | 1.2.2 | Ígér | 1.1.0 |
| Proto | 1.0.0 | Ps | 1.3.0 | purrr | 0.3.3 |
| quantreg | 5.51 | R.methodsS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils | 2.9.0 | r2d3 | 0.2.3 | R6 | 2.4.0 |
| randomForest | 4.6-14 | rappdirs | 0.3.1 | rcmdcheck | 1.3.3 |
| RColorBrewer | 1.1-2 | Rcpp | 1.0.2 | RcppEigen | 0.3.3.5.0 |
| RCurl | 1.95-4.12 | olvasó | 1.3.1 | readxl | 1.3.1 |
| receptek | 0.1.7 | Visszavágót | 1.0.1 | Távirányító | 2.1.0 |
| újraformázás2 | 1.4.3 | Rex | 1.1.2 | Rio | 0.5.16 |
| rlang | 0.4.1 | RODBC | 1.3-16 | roxygen2 | 6.1.1 |
| rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-6 |
| RSQLite | 2.1.2 | rstudioapi | 0.10 | rversions | 2.0.0 |
| mérleg | 1.0.0 | sessioninfo | 1.1.1 | Fényes | 1.4.0 |
| sourcetools | 0.1.7 | Sp | 1.3-1 | sparklyr | 1.0.4 |
| SparkR | 2.4.5 | SparseM | 1.77 | térbeli | 7.3-11 |
| splines | 3.6.2 | sqldf | 0.4-11 | NÉGYZET | 2017.10-1 |
| statmod | 1.4.32 | statisztika | 3.6.2 | statisztikák4 | 3.6.2 |
| stringi | 1.4.3 | sztring | 1.4.0 | túlélés | 2.44-1.1 |
| sys | 3.3 | tcltk | 3.6.2 | TeachingDemos | 2.10 |
| testthat | 2.2.1 | tibble | 2.1.3 | tidyr | 1.0.0 |
| tidyselect | 0.2.5 | timeDate | 3043.102 | eszközök | 3.6.2 |
| usethis | 1.5.1 | utf8 | 1.1.4 | eszközök | 3.6.2 |
| vctrs | 0.2.0 | viridisLite | 0.3.0 | bajusz | 0,4 |
| withr | 2.1.2 | xml2 | 1.2.2 | xopen | 1.0.0 |
| xtable | 1.8-4 | yaml | 2.2.0 | zeallot | 0.1.0 |
| fütyülés | 2.0.4 |
Telepített Java- és Scala-kódtárak (Scala 2.11-fürtverzió)
| Csoportazonosító | Összetevő azonosítója | Verzió |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.8.10 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.595 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.595 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.595 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.595 |
| com.amazonaws | aws-java-sdk-config | 1.11.595 |
| com.amazonaws | aws-java-sdk-core | 1.11.595 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.595 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.595 |
| com.amazonaws | aws-java-sdk-directory | 1.11.595 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.595 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.595 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.595 |
| com.amazonaws | aws-java-sdk-efs | 1.11.595 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.595 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.595 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.595 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.595 |
| com.amazonaws | aws-java-sdk-emr | 1.11.595 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.595 |
| com.amazonaws | aws-java-sdk-glue | 1.11.595 |
| com.amazonaws | aws-java-sdk-iam | 1.11.595 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.595 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.595 |
| com.amazonaws | aws-java-sdk-kms | 1.11.595 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.595 |
| com.amazonaws | aws-java-sdk-logs | 1.11.595 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.595 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.595 |
| com.amazonaws | aws-java-sdk-rds | 1.11.595 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.595 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.595 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.595 |
| com.amazonaws | aws-java-sdk-ses | 1.11.595 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.595 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.595 |
| com.amazonaws | aws-java-sdk-sns | 1.11.595 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.595 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.595 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.595 |
| com.amazonaws | aws-java-sdk-sts | 1.11.595 |
| com.amazonaws | aws-java-sdk-support | 1.11.595 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.595 |
| com.amazonaws | jmespath-java | 1.11.595 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | patak | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db8-spark2.4 |
| com.databricks | dbml-local_2.11-tesztek | 0.5.0-db8-spark2.4 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | osztálytárs | 1.0.0 |
| com.fasterxml.jackson.core | jackson-annotations | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1,1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1,1 |
| com.github.fommil.netlib | native_ref-java-natívok | 1,1 |
| com.github.fommil.netlib | native_system-java | 1,1 |
| com.github.fommil.netlib | native_system-java-natívok | 1,1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1,1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | gujávafa | 15,0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.azure | azure-storage | 7.0.0 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0.3 |
| com.twitter | chill-java | 0.9.3 |
| com.twitter | chill_2.11 | 0.9.3 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.7.3 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1,2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2,4 |
| commons-lang | commons-lang | 2.6 |
| commons-naplózás | commons-naplózás | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metrikamag | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | metrics-healthchecks | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlets | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.42.Final |
| javax.activation | aktiválás | 1.1.1 |
| javax.annotation | javax.annotation-api | 1,2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1,1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.9.3 |
| junit | junit | 4.12 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.razorvine | pyrolite | 4.13 |
| net.sf.jpam | jpam | 1,1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.12.0 |
| net.snowflake | spark-snowflake_2.11 | 2.5.9-spark_2.4 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | nyílformátum | 0.10.0 |
| org.apache.arrow | nyíl-memória | 0.10.0 |
| org.apache.arrow | nyíl-vektor | 0.10.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | kalcit-avatica | 1.2.0-inkubálás |
| org.apache.calcite | kalcitmag | 1.2.0-inkubálás |
| org.apache.calcite | calcite-linq4j | 1.2.0-inkubálás |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3,5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | kurátor-ügyfél | 2.7.1 |
| org.apache.curator | kurátor-keretrendszer | 2.7.1 |
| org.apache.curator | kurátor-receptek | 2.7.1 |
| org.apache.derby | keménykalap | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-inkubálás |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.10 |
| org.apache.ivy | borostyán | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.5.5 |
| org.apache.orc | orc-mapreduce-nohive | 1.5.5 |
| org.apache.orc | orc-shims | 1.5.5 |
| org.apache.parquet | parquet-column | 1.10.1.2-databricks4 |
| org.apache.parquet | parquet-common | 1.10.1.2-databricks4 |
| org.apache.parquet | parquet-kódolás | 1.10.1.2-databricks4 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1.2-databricks4 |
| org.apache.parquet | parquet-jackson | 1.10.1.2-databricks4 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm6-shaded | 4.8 |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.10 |
| org.codehaus.janino | janino | 3.0.10 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.27.v20190418 |
| org.eclipse.jetty | móló-folytatás | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-http | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-io | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-jndi | 9.3.27.v20190418 |
| org.eclipse.jetty | móló plusz | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-proxy | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-security | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-server | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-servlet | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-servlets | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-util | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-webapp | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-xml | 9.3.27.v20190418 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-lokátor | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hamcrest | hamcrest-core | 1.3 |
| org.hamcrest | hamcrest-library | 1.3 |
| org.hibernate | hibernate-validator | 5.1.1.Végleges |
| org.iq80.snappy | rámenős | 0,2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | json4s-jackson_2.11 | 3.5.3 |
| org.json4s | json4s-scalap_2.11 | 3.5.3 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-core | 1.10.19 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | Alátéteket | 0.7.45 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.12 |
| org.scala-lang | scala-library_2.11 | 2.11.12 |
| org.scala-lang | scala-reflect_2.11 | 2.11.12 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.1.0 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | teszt-interfész | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | Használatlan | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | rugós teszt | 4.1.4.RELEASE |
| org.tukaani | xz | 1,5 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | makró-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.3 |
| org.yaml | snakeyaml | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |