Databricks Runtime 6.3 (EoS)
Feljegyzés
A Databricks Runtime-verzió támogatása véget ért. A támogatás megszűnésének dátumáról lásd a támogatási előzményeket. Az összes támogatott Databricks Runtime-verziót lásd : Databricks Runtime release notes versions and compatibility.
A Databricks 2020 januárjában adta ki ezt a verziót.
Az alábbi kibocsátási megjegyzések az Apache Spark által üzemeltetett Databricks Runtime 6.3-ról nyújtanak információkat.
Új funkciók
Delta Lake
Ez a kiadás továbbfejlesztett egyidejűséget vezet be. A főbb funkciók a következők:
Továbbfejlesztett egyidejűség az összes Delta Lake-művelethez – Mostantól egyszerre több Delta Lake-műveletet is futtathat. A Delta Lake optimista egyidejűség-vezérlése jobb lett a ütközésészlelés finomításával. Így egyszerűbben futtathat összetett munkafolyamatokat Delta-táblákon. Példa:
- Törlések futtatása (például GDPR-megfelelőség esetén) egyidejűleg a régebbi partíciókon, miközben az újabb partíciók hozzá vannak fűzve.
- Frissítések futtatása és egyidejű egyesítések különálló partíciókészleteken.
- Fájltömörítések egyidejű futtatása hozzáfűzőkkel.
Lásd: Elkülönítési szintek és írási ütközések az Azure Databricksben.
Továbbfejlesztett támogatás a fájltömörítéshez – Mostantól tömörítheti a fájlokat úgy, hogy újraírja őket a következő beállítással
dataChangefalse: .DataFrameWriter> Ez a beállítás lehetővé teszi, hogy a tömörítési művelet párhuzamosan fusson más köteg- és streamelési műveletekkel. Részletekért tekintse meg a Fájlok tömörítése című témakört.Továbbfejlesztett teljesítmény a csak beszúrásos egyesítéshez – A Delta Lake mostantól optimalizáltabb teljesítményt nyújt az olyan egyesítési műveletekhez, amelyek csak beszúrási záradékokkal és frissítési záradékokkal rendelkeznek. Emellett a Delta Lake biztosítja, hogy az ilyen csak beszúrásos egyesítésekből származó írások csak új adatokat fűznek hozzá a táblához. Ezért mostantól használhat strukturált streamelést és csak beszúrásos egyesítéseket az adatok (például naplók) folyamatos deduplikációjára. Részletekért tekintse meg az adatdeduplikációt a Delta-táblákba való íráskor.
További portok hozzáadása a lista engedélyezéséhez, ha a folyamatelkülönítés engedélyezve van
Feljegyzés
Ez a cikk az Azure Databricks által nem használt kifejezésre , az engedélyezési listára mutató hivatkozásokat tartalmaz. Ha a kifejezés el lesz távolítva a szoftverből, a cikkből is eltávolítjuk.
Ha engedélyezi az olyan biztonsági szolgáltatásokat, mint a tábla ACL-ek vagy a hitelesítő adatok átengedése a fürtön, mostantól további kimenő portokat is megadhat, amelyekhez a Python-folyamatok hozzáférhetnek, ha a Spark-konfigurációt az engedélyezett portokra állítjaspark.databricks.pyspark.iptable.outbound.whitelisted.ports. A konfigurációs érték támogatott formátuma például: [port[:port][,port[:port]]...]21,22,9000:9999. A portnak az érvényes tartományon belül kell lennie, azaz 0-65535.
Scala-feladatok feladatkimenetének letiltása
A feladat kimenetére, például az stdout számára kibocsátott naplókimenetre 20 MB-os méretkorlát vonatkozik.
A Spark-konfiguráció truebeállításával megakadályozhatja, hogy az illesztő visszakerüljön az spark.databricks.driver.disableScalaOutput Azure Databricksbe. A jelölő vezérli a Scala JAR-feladatok és Scala-jegyzetfüzetek cellakimenetét. Lásd a JAR-feladatok kimeneti méretkorlátait.
A beágyazott Matplotlib-ábrák mostantól támogatottak az Azure Databricks-jegyzetfüzetekben (nyilvános előzetes verzió)
Mostantól automatikusan megjelenítheti a Matplotlib-ábrákat anélkül, hogy át kellene adnia az ábrát a display metódusnak. További részletekért lásd : Matplotlib.
Új paraméter hozzáadva az Azure Synapse Analyticshez
A paraméter applicationName alapértelmezés szerint a következőre Databricks-User-Queryvan állítva: . Az alapértelmezett érték megakadályozza, hogy az Azure DB Monitorozási eszköz hamis SQL-injektálási riasztásokat gyűjtsön a lekérdezések ellen. Ha nincs megadva, vagy az érték egy üres sztring, a rendszer hozzáadja a címke alapértelmezett értékét a JDBC URL-címéhez. Tekintse meg az Azure Databricks Synapse-összekötő beállításainak referenciáit.
Fejlesztések
shutil.copytreemost már dolgozik a következőhöz/dbfs: .- Ha strukturált streamelési éles feladatokat futtat magas egyidejűségi módú fürtökön, a feladat újraindítása időnként meghiúsulna, mert a korábban futó feladat nem lett megfelelően leállva. Az előző futtatás leállásának biztosításához állítsa be az SQL-konfigurációt
spark.sql.streaming.stopActiveRunOnRestart truea fürtön. Abban az esetben, ha a stream nem állítható le megfelelően, a rendszer 15 másodperc alatt időtúllépési kivételt küld. Ebben az esetben javasoljuk, hogy indítsa újra a fürtöt. - Több telepített R-kódtárat frissített. Lásd: Telepített R-kódtárak.
Apache Spark
A Databricks Runtime 6.3 tartalmazza az Apache Spark 2.4.4-et. Ez a kiadás tartalmazza a Databricks Runtime 6.2 -ben (EoS) található összes Spark-javítást és -fejlesztést, valamint a Spark következő további hibajavításait és fejlesztéseit:
- [SPARK-30198][CORE] A BytesToBytesMap nem a várt módon növekszik a belső hosszú tömbben
- [SPARK-29918][SQL] A RecordBinaryComparatornak ellenőriznie kell az endianitást, ha hosszú
- [SPARK-30274][CORE] A BytesToBytesMap keresésének elkerülése örökre lefagy, ha a kulcsok maximális kapacitást érnek el
- [SPARK-25392][CORE] [WEBUI] Hibalap megakadályozása a készletek lapnak az előzménykiszolgálóról való elérésekor
- [SPARK-30263][CORE] Ne naplózza a Spark-küldés során figyelmen kívül hagyott nem Spark-tulajdonságok potenciálisan bizalmas értékét
- [SPARK-28637][SQL] Thriftserver támogatási időköz típusa
- [SPARK-30238][SQL] a hive partition pruning csak sztringeket és integráltípusokat támogat
- [SPARK-30198][CORE] A BytesToBytesMap nem a várt módon növekszik a belső hosszú tömbben
- [SPARK-24666][ML] Javítsa ki a Word2Vec által előállított végtelen vektorokat, ha a numIterations nagy
- [SPARK-30129][CORE] Ügyfélazonosító beállítása a TransportClientben a sikeres hitelesítés után
- [SPARK-30050][SQL] a tábla elemzése és a tábla átnevezése nem törölheti a hive-tábla gyűjtőinformációját
- [SPARK-28152][SQL] ShortType leképezése SMALLINT-re és FloatType-ra VALÓS értékre msSqlServerDialect esetén
- [SPARK-29971][CORE] Pufferszivárgások javítása
TransportFrameDecoder/TransportCipher - [SPARK-29970][WEBUI] A Timelineview nyitott/bezárt állapotának megőrzése
- [SPARK-29949][SQL] Az időbélyegek JSON-/CSV-adatforrások általi formázásának javítása
- [SPARK-27558][CORE] A feladat kecses tisztítása, ha az OOM-kivétellel meghiúsul
- [SPARK-29758][SQL] A kért sztringmezők csonkolásának javítása a következőben:
json_tuple - [SPARK-29949][SQL] Az időbélyegek JSON-/CSV-adatforrások általi formázásának javítása
- [SPARK-29936][R] SparkR-lint hibák javítása és lint-r GitHub-művelet hozzáadása
- [SPARK-29904][SQL] Időbélyegek elemzése mikroszekundumos pontosságban JSON/CSV-adatforrások szerint
- [SPARK-29904][SQL] Időbélyegek elemzése mikroszekundumos pontosságban JSON/CSV-adatforrások szerint
- [SPARK-26499][SQL] A JdbcUtils.makeGetter nem kezeli a ByteType-t
- [SPARK-29682][SQL] Ütköző attribútumok feloldása a Kibontásban
- [SPARK-29875][PYTHON] [SQL] Ne használjon elavult pyarrow.open_stream API-t a Spark 2.4.x-ben
- [SPARK-29850][SQL] rendezés-egyesítés-illesztés üres táblához nem szabad memóriavesztés
- [SPARK-28939][SQL] SQLConf propagálása a toRdd által végrehajtott tervekhez
Karbantartási frissítések
Lásd a Databricks Runtime 6.3 karbantartási frissítéseit.
Rendszerkörnyezet
- Operációs rendszer: Ubuntu 16.04.6 LTS
- Java: 1.8.0_252
- Scala: 2.11.12
- Python: 3.7.3
- R: R 3.6.2-es verzió (2019-12-12)
- Delta Lake: 0.5.0
Feljegyzés
Bár a Scala 2.12 kísérleti funkcióként érhető el az Apache Spark 2.4-ben, a Databricks Runtime 6.3 nem támogatja.
Ebben a szakaszban:
- Telepített Python-kódtárak
- Telepített R-kódtárak
- Telepített Java- és Scala-kódtárak (Scala 2.11-fürtverzió)
Telepített Python-kódtárak
| Könyvtár | Verzió | Könyvtár | Verzió | Könyvtár | Verzió |
|---|---|---|---|---|---|
| asn1crypto | 0.24.0 | backcall | 0.1.0 | boto | 2.49.0 |
| boto3 | 1.9.162 | botocore | 1.12.163 | minősítés | 2019.3.9 |
| cffi | 1.12.2 | karakterkészlet | 3.0.4 | kriptográfia | 2.6.1 |
| biciklista | 0.10.0 | Cython | 0.29.6 | lakberendező | 4.4.0 |
| docutils | 0,14 | idna | 2.8 | ipykernel | 5.1.0 |
| ipython | 7.4.0 | ipython-genutils | 0.2.0 | jedi | 0.13.3 |
| jmespath | 0.9.4 | jupyter-client | 5.2.4 | jupyter-core | 4.4.0 |
| kiwisolver | 1.1.0 | matplotlib | 3.0.3 | numpy | 1.16.2 |
| pandas | 0.24.2 | parso | 0.3.4 | Patsy | 0.5.1 |
| pexpect | 4.6.0 | pickleshare | 0.7.5 | mag | 19.0.3 |
| prompt-toolkit | 2.0.9 | psycopg2 | 2.7.6.1 | ptyprocess | 0.6.0 |
| pyarrow | 0.13.0 | pycparser | 2.19 | pycurl | 7.43.0 |
| Pygments | 2.3.1 | PyGObject | 3.20.0 | pyOpenSSL | 19.0.0 |
| pyparsing | 2.4.6 | PySocks | 1.6.8 | python-apt | 1.1.0.b1+ubuntu0.16.04.5 |
| python-dateutil | 2.8.0 | pytz | 2018.9 | pyzmq | 18.0.0 |
| kérelmek | 2.21.0 | s3transfer | 0.2.1 | scikit-learn | 0.20.3 |
| scipy | 1.2.1 | tengeri | 0.9.0 | setuptools | 40.8.0 |
| Hat | 1.12.0 | ssh-import-id | 5,5 | statsmodels | 0.9.0 |
| tornádó | 6.0.2 | árulók | 4.3.2 | felügyelet nélküli frissítések | 0,1 |
| urllib3 | 1.24.1 | virtualenv | 16.4.1 | wcwidth | 0.1.7 |
| kerék | 0.33.1 |
Telepített R-kódtárak
| Könyvtár | Verzió | Könyvtár | Verzió | Könyvtár | Verzió |
|---|---|---|---|---|---|
| abind | 1.4-5 | askpass | 1,1 | assertthat | 0.2.1 |
| backports | 1.1.5 | alap | 3.6.2 | base64enc | 0.1-3 |
| BH | 1.69.0-1 | bit | 1.1-14 | bit64 | 0.9-7 |
| bitops | 1.0-6 | blob | 1.2.0 | indítás | 1.3-23 |
| főz | 1.0-6 | hívó | 3.3.2 | autó | 3.0-4 |
| carData | 3.0-2 | kalap | 6.0-84 | cellranger | 1.1.0 |
| chron | 2.3-54 | osztály | 7.3-15 | Cli | 1.1.0 |
| clipr | 0.7.0 | clisymbols | 1.2.0 | fürt | 2.1.0 |
| kódtoolok | 0.2-16 | színtér | 1.4-1 | commonmark | 1,7 |
| fordítóprogram | 3.6.2 | config | 0.3 | covr | 3.3.2 |
| zsírkréta | 1.3.4 | Ellenvélemények | 1.0.0 | csavarodik | 4.2 |
| data.table | 1.12.6 | adatkészletek | 3.6.2 | DBI | 1.0.0 |
| dbplyr | 1.4.2 | Desc | 1.2.0 | devtools | 2.2.1 |
| emészt | 0.6.22 | doMC | 1.3.6 | dplyr | 0.8.3 |
| DT | 0,9 | három pont | 0.3.0 | evaluate | 0,14 |
| fani | 0.4.0 | gyorstérkép | 1.0.1 | forcats | 0.4.0 |
| foreach | 1.4.7 | külföldi | 0.8-74 | kovácsol | 0.2.0 |
| Fs | 1.3.1 | gbm | 2.1.5 | Generikus | 0.0.2 |
| ggplot2 | 3.2.1 | Gh | 1.0.1 | git2r | 0.26.1 |
| glmnet | 2.0-18 | ragasztó | 1.3.1 | Gower | 0.2.1 |
| grafika | 3.6.2 | grDevices | 3.6.2 | rács | 3.6.2 |
| gridExtra | 2.3 | gsubfn | 0,7 | gtable | 0.3.0 |
| h2o | 3.26.0.2 | kikötő | 2.1.1 | Hms | 0.5.1 |
| htmltoolok | 0.4.0 | htmlwidgets | 1.5.1 | httpuv | 1.5.2 |
| httr | 1.4.1 | hwriter | 1.3.2 | hwriterPlus | 1.0-3 |
| ini | 0.3.1 | ipred | 0.9-9 | iterátorok | 1.0.12 |
| jsonlite | 1.6 | KernSmooth | 2.23-16 | címkézés | 0.3 |
| később | 1.0.0 | rács | 0.20-38 | láva | 1.6.6 |
| lazyeval | 0.2.2 | életciklus | 0.1.0 | kicsi | 0.3.9 |
| lme4 | 1.1-21 | lubridate | 1.7.4 | magrittr | 1,5 |
| mapproj | 1.2.6 | Térképek | 3.3.0 | maptools | 0.9-8 |
| TÖMEG | 7.3-51.5 | Mátrix | 1.2-18 | MatrixModels | 0.4-1 |
| memoise | 1.1.0 | metódusok | 3.6.2 | mgcv | 1.8-31 |
| MIME | 0,7 | minqa | 1.2.4 | ModelMetrics | 1.2.2 |
| munsell | 0.5.0 | mvtnorm | 1.0-11 | nlme | 3.1-143 |
| nloptr | 1.2.1 | nnet | 7.3-12 | numDeriv | 2016.8-1.1 |
| openssl | 1.4.1 | openxlsx | 4.1.2 | parallel | 3.6.2 |
| pbkrtest | 0.4-7 | pillér | 1.4.2 | pkgbuild | 1.0.6 |
| pkgconfig | 2.0.3 | pkgKitten | 0.1.5 | pkgload | 1.0.2 |
| plogr | 0.2.0 | rétegelt | 1.8.4 | dicséret | 1.0.0 |
| prettyunits | 1.0.2 | Proc | 1.15.3 | processx | 3.4.1 |
| prodlim | 2018.04.18 | haladás | 1.2.2 | Ígér | 1.1.0 |
| Proto | 1.0.0 | Ps | 1.3.0 | purrr | 0.3.3 |
| quantreg | 5.51 | R.methodsS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils | 2.9.0 | r2d3 | 0.2.3 | R6 | 2.4.0 |
| randomForest | 4.6-14 | rappdirs | 0.3.1 | rcmdcheck | 1.3.3 |
| RColorBrewer | 1.1-2 | Rcpp | 1.0.2 | RcppEigen | 0.3.3.5.0 |
| RCurl | 1.95-4.12 | olvasó | 1.3.1 | readxl | 1.3.1 |
| receptek | 0.1.7 | Visszavágót | 1.0.1 | Távirányító | 2.1.0 |
| újraformázás2 | 1.4.3 | Rex | 1.1.2 | Rio | 0.5.16 |
| rlang | 0.4.1 | RODBC | 1.3-16 | roxygen2 | 6.1.1 |
| rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-6 |
| RSQLite | 2.1.2 | rstudioapi | 0.10 | rversions | 2.0.0 |
| mérleg | 1.0.0 | sessioninfo | 1.1.1 | Fényes | 1.4.0 |
| sourcetools | 0.1.7 | Sp | 1.3-1 | sparklyr | 1.0.4 |
| SparkR | 2.4.5 | SparseM | 1.77 | térbeli | 7.3-11 |
| splines | 3.6.2 | sqldf | 0.4-11 | NÉGYZET | 2017.10-1 |
| statmod | 1.4.32 | statisztika | 3.6.2 | statisztikák4 | 3.6.2 |
| stringi | 1.4.3 | sztring | 1.4.0 | túlélés | 2.44-1.1 |
| sys | 3.3 | tcltk | 3.6.2 | TeachingDemos | 2.10 |
| testthat | 2.2.1 | tibble | 2.1.3 | tidyr | 1.0.0 |
| tidyselect | 0.2.5 | timeDate | 3043.102 | eszközök | 3.6.2 |
| usethis | 1.5.1 | utf8 | 1.1.4 | eszközök | 3.6.2 |
| vctrs | 0.2.0 | viridisLite | 0.3.0 | bajusz | 0,4 |
| withr | 2.1.2 | xml2 | 1.2.2 | xopen | 1.0.0 |
| xtable | 1.8-4 | yaml | 2.2.0 | zeallot | 0.1.0 |
| fütyülés | 2.0.4 |
Telepített Java- és Scala-kódtárak (Scala 2.11-fürtverzió)
| Csoportazonosító | Összetevő azonosítója | Verzió |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.8.10 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.595 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.595 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.595 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.595 |
| com.amazonaws | aws-java-sdk-config | 1.11.595 |
| com.amazonaws | aws-java-sdk-core | 1.11.595 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.595 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.595 |
| com.amazonaws | aws-java-sdk-directory | 1.11.595 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.595 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.595 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.595 |
| com.amazonaws | aws-java-sdk-efs | 1.11.595 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.595 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.595 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.595 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.595 |
| com.amazonaws | aws-java-sdk-emr | 1.11.595 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.595 |
| com.amazonaws | aws-java-sdk-glue | 1.11.595 |
| com.amazonaws | aws-java-sdk-iam | 1.11.595 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.595 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.595 |
| com.amazonaws | aws-java-sdk-kms | 1.11.595 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.595 |
| com.amazonaws | aws-java-sdk-logs | 1.11.595 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.595 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.595 |
| com.amazonaws | aws-java-sdk-rds | 1.11.595 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.595 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.595 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.595 |
| com.amazonaws | aws-java-sdk-ses | 1.11.595 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.595 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.595 |
| com.amazonaws | aws-java-sdk-sns | 1.11.595 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.595 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.595 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.595 |
| com.amazonaws | aws-java-sdk-sts | 1.11.595 |
| com.amazonaws | aws-java-sdk-support | 1.11.595 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.595 |
| com.amazonaws | jmespath-java | 1.11.595 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | patak | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db8-spark2.4 |
| com.databricks | dbml-local_2.11-tesztek | 0.5.0-db8-spark2.4 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | osztálytárs | 1.0.0 |
| com.fasterxml.jackson.core | jackson-annotations | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1,1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1,1 |
| com.github.fommil.netlib | native_ref-java-natívok | 1,1 |
| com.github.fommil.netlib | native_system-java | 1,1 |
| com.github.fommil.netlib | native_system-java-natívok | 1,1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1,1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | gujávafa | 15,0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.azure | azure-storage | 7.0.0 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0.3 |
| com.twitter | chill-java | 0.9.3 |
| com.twitter | chill_2.11 | 0.9.3 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.7.3 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1,2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2,4 |
| commons-lang | commons-lang | 2.6 |
| commons-naplózás | commons-naplózás | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metrikamag | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | metrics-healthchecks | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlets | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.42.Final |
| javax.activation | aktiválás | 1.1.1 |
| javax.annotation | javax.annotation-api | 1,2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1,1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.9.3 |
| junit | junit | 4.12 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.razorvine | pyrolite | 4.13 |
| net.sf.jpam | jpam | 1,1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.12.0 |
| net.snowflake | spark-snowflake_2.11 | 2.5.9-spark_2.4 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | nyílformátum | 0.10.0 |
| org.apache.arrow | nyíl-memória | 0.10.0 |
| org.apache.arrow | nyíl-vektor | 0.10.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | kalcit-avatica | 1.2.0-inkubálás |
| org.apache.calcite | kalcitmag | 1.2.0-inkubálás |
| org.apache.calcite | calcite-linq4j | 1.2.0-inkubálás |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3,5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | kurátor-ügyfél | 2.7.1 |
| org.apache.curator | kurátor-keretrendszer | 2.7.1 |
| org.apache.curator | kurátor-receptek | 2.7.1 |
| org.apache.derby | keménykalap | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-inkubálás |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.10 |
| org.apache.ivy | borostyán | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.5.5 |
| org.apache.orc | orc-mapreduce-nohive | 1.5.5 |
| org.apache.orc | orc-shims | 1.5.5 |
| org.apache.parquet | parquet-column | 1.10.1.2-databricks4 |
| org.apache.parquet | parquet-common | 1.10.1.2-databricks4 |
| org.apache.parquet | parquet-kódolás | 1.10.1.2-databricks4 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1.2-databricks4 |
| org.apache.parquet | parquet-jackson | 1.10.1.2-databricks4 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm6-shaded | 4.8 |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.10 |
| org.codehaus.janino | janino | 3.0.10 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.27.v20190418 |
| org.eclipse.jetty | móló-folytatás | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-http | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-io | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-jndi | 9.3.27.v20190418 |
| org.eclipse.jetty | móló plusz | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-proxy | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-security | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-server | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-servlet | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-servlets | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-util | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-webapp | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-xml | 9.3.27.v20190418 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-lokátor | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hamcrest | hamcrest-core | 1.3 |
| org.hamcrest | hamcrest-library | 1.3 |
| org.hibernate | hibernate-validator | 5.1.1.Végleges |
| org.iq80.snappy | rámenős | 0,2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | json4s-jackson_2.11 | 3.5.3 |
| org.json4s | json4s-scalap_2.11 | 3.5.3 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-core | 1.10.19 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | Alátéteket | 0.7.45 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.12 |
| org.scala-lang | scala-library_2.11 | 2.11.12 |
| org.scala-lang | scala-reflect_2.11 | 2.11.12 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.1.0 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | teszt-interfész | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | Használatlan | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | rugós teszt | 4.1.4.RELEASE |
| org.tukaani | xz | 1,5 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | makró-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.3 |
| org.yaml | snakeyaml | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |