Databricks Runtime 5.1 (nem támogatott)
A Databricks 2018 decemberében adta ki ezt a képet.
Fontos
Ez a kiadás 2023. május 2-án elavult. A Databricks Runtime elavultsági szabályzatával és ütemezésével kapcsolatos további információkért lásd a Databricks futtatókörnyezet támogatási életciklusait.
Az alábbi kibocsátási megjegyzések az Apache Spark által üzemeltetett Databricks Runtime 5.1-ről nyújtanak információkat.
Új funkciók
Delta Lake
A KITERJESZTETT szintaxis támogatása a MERGE INTO alkalmazásban.
- Több
MATCHEDzáradék, további feltételekMATCHEDésNOT MATCHEDzáradékok támogatása,DELETEművelet. Ez akkor hasznos, ha módosított adatokat (beszúrásokat, frissítéseket és törléseket) ír egy adatbázisból egy Delta-táblába. - *-be
UPDATE- ésINSERTműveletek támogatása az oszlopnevek automatikus kitöltéséhez (a *-hozSELECThasonlóan). Ez megkönnyíti a nagyon sok oszlopot tartalmazó táblák lekérdezéseinek írásátMERGE.
- Több
A Delta-táblákhoz tartozó tonhalhalászható elkülönítési szintek támogatása.
- A deltatáblák úgy konfigurálhatók, hogy az alábbi két elkülönítési szint egyikével rendelkezzenek: Szerializálható és WriteSerializable (alapértelmezett).
- Az alapértelmezett elkülönítési szint a Szerializálhatóról a WriteSerializable értékre van ellazulva a nagyobb rendelkezésre állás érdekében. Pontosabban ,
UPDATEDELETEésMERGEegyidejűleg futtathatók hozzáfűzőkkel (például streamlekérdezésből). Az Elkülönítési szintek és az Azure Databricks-ütközések írásával megismerheti a relaxáció következményeit, valamint azokat a lépéseket, amelyek szükség esetén kényszerítik a korábbi viselkedést.
A parancs privát előzetes verziója
CONVERT TO DELTA, amely lehetővé teszi, hogy a Parquet-táblázatokat helyben, fájlok másolása nélkül konvertálja Delta-táblává. Ha szeretné kipróbálni, forduljon az Azure Databricks ügyfélszolgálatához.
Jegyzetfüzet-hatókörű kódtárak Pythonhoz. A Databricks Utilities api használatával mostantól Python-kódtárakat is telepíthet a Python-jegyzetfüzetekbe, köztük a Tojásokat, a Wheelst és a PyPI-t. Az API-val telepített kódtárak csak abban a jegyzetfüzetben érhetők el, amelyben a kódtárak telepítve vannak. Lásd: Library segédprogram (dbutils.library) (örökölt).
Fontos
Ez a funkció a nyilvános előzetes verzióban érhető el.
A Databricks Runtime 5.1-et futtató fürtökön alapértelmezés szerint engedélyezett kódtár-segédprogramok. Ezért alapértelmezés szerint az egyes jegyzetfüzetek Python REPL-folyamata külön Python-végrehajtható fájllal van elkülönítve, amely a jegyzetfüzet csatolásakor jön létre, és örökli a fürt alapértelmezett Python-környezetét. Az Init-szkripteken keresztül azure Databricks Python-környezetbe telepített kódtárak továbbra is elérhetők. Ez a funkció letiltható a következő beállítással
spark.databricks.libraryIsolation.enabledfalse: .A
displayfüggvény mostantól támogatja a pandas DataFrame-eket. Lásd: Új vizualizáció létrehozása.
Fejlesztések
- Delta-tó
- Továbbfejlesztett méretezhetőség
OPTIMIZEnagy számú kis fájllal. - Mostantól
SETbeágyazott oszlopot is létrehozhat a fájlbanUPDATE.
- Továbbfejlesztett méretezhetőség
- SQL-teljesítmény
- Optimalizálás
LIMITcsak az elsőnpartíciók beolvasásával. - Tartományillesztések optimalizálása. Olyan optimalizáló szabályokat adtunk hozzá, amelyek a hatékonyabb végrehajtás érdekében átírják a tartománybeillesztéseket . Ez nagyságrendekkel felgyorsíthatja ezt a lekérdezéstípust. Az optimalizálás engedélyezéséhez adjon hozzá egy tippet a lekérdezéshez. Az aktuális átírás a következő tartományillesztésű lekérdezésalakzatokat támogatja:
- Időközi pont:
a.begin < b.point AND b.point < a.end - Intervallum átfedése:
a.begin < b.end AND b.begin < a.end
- Időközi pont:
- Optimalizálás
- Frissítette az ADLS Gen2 összekötőt, amely kritikus hibajavításokat tartalmaz. Javasoljuk, hogy az Azure Data Lake Storage Gen2 összes felhasználója frissítsen a Databricks Runtime 5.1-re.
- A Java 1.8.0_162-ről 1.8.0_181-re frissült.
- A Sparkhoz frissített Snowflake Csatlakozás or 2.4.10-re.
- Frissített néhány telepített Python-kódtárat:
- pip: 18.0–18.1
- setuptools: 40.4.1–40.6.2
- virtualenv: 15.0.1–16.1.0
- kerék: 0.31.1–0.32.3
- Több telepített R-kódtárat frissített. Lásd: Telepített R-kódtárak.
Hibajavítások
- Kijavítottuk az Azure Data Lake Storage Gen2 támogatását, amely nem tudta listázni az 5000-nél több fájlt tartalmazó könyvtárakat.
TRANSFORMmegfelelően kell kezelnie a különböző bemeneti adattípusokat.- Törölje a lejárt külső shuffle-fájlokat a végrehajtók leállása után, hogy megakadályozza a hosszú ideig futó fürtök elfogyását a lemezből.
Apache Spark
A Databricks Runtime 5.1 tartalmazza az Apache Spark 2.4.0-t. Ez a kiadás tartalmazza a Databricks Runtime 5.0 (nem támogatott) összes javítását és fejlesztését, valamint a Spark következő további hibajavításait és fejlesztéseit:
- [SPARK-26147][SQL] csak az értékelhetetlen python udf-et húzza ki az illesztés feltételéből
- [SPARK-26129][SQL] A lekérdezésenkénti tervezési idő rendszerezése
- [SPARK-25921][PYSPARK] Akadályfeladat-futtatás javítása BarrierTaskContext nélkül, python-feldolgozó újrafelhasználása közben
- [SPARK-23207][SQL] Az SQLConf.get.enableRadixSort használata SparkEnv.get.conf.get(SQLConf.RADIX_SORT_ENABLED) helyett
- [SPARK-26057][SQL] Az átalakítás a deduplikációk esetén is elemezte a terveket
- [SPARK-25974][SQL] A megadott sorrend alapján történő megrendeléshez optimalizálja a bájtkód generálását
- [SPARK-25901][CORE] Csak egy szál használata a BarrierTaskContext companiban...
- [SPARK-25381][SQL] Rétegzett mintavételezés oszlopargumentum szerint
- [SPARK-25514][SQL] Szép JSON létrehozása to_json
- [SPARK-22827][SQL] A SparkOutOfMemoryError dobása a HashAggregateExecben is.
- [SPARK-25979][SQL] Ablakfüggvény: zárójelek engedélyezése az ablakhivatkozás körül
- [SPARK-25988][SQL] A nevek változatlanok maradnak az oszlopnevek deduplikációjakor az Analyzerben
- [SPARK-25904][CORE] Az Int.MaxValue-nál kisebb tömbök lefoglalása
- [SPARK-24901][SQL] A RegularHashMap és a fastHashMap kódrészletének egyesítése a fordító maxCodesize értékének csökkentése érdekében, ha a VectorizedHashMap értéke hamis.
- [SPARK-25850][SQL] A kód által létrehozott függvény felosztási küszöbértékének konfigurálhatóvá tétele
- [SPARK-25866][ML] A KMeans formatVersion frissítése
- [SPARK-22148][SPARK-15815][SCHEDULER] Új végrehajtók beszerzése a letiltás miatti lefagyás elkerülése érdekében
- [SPARK-25827][CORE] Ne konvertálja a bejövő titkosított blokkokat bájtpufferekké
- [SPARK-25918][SQL] A LOAD DATA LOCAL INPATH relatív elérési utat kell kezelnie
- [SPARK-25837][CORE] A lehetséges lassulás javítása az AppStatusListenerben a szakaszok tisztításakor
- [SPARK-25773][CORE] A zombifeladatok megszakítása az eredményszakaszban, amikor a feladat befejeződik (5.x)
- [SPARK-25767][SQL] A kifejezések lazán kiértékelt adatfolyamának javítása a kódgenerálás során
- [SPARK-25819][SQL] A from_avro függvény támogatási elemzési módjának beállítása
- [SPARK-25044] ScalaUDF konstruktor-aláírás módosítása
- [SPARK-25699][SQL] Részben leküldéses leküldéses kötőhártya-predikátum az ORC-ben
- [SPARK-25559][SQL] Távolítsa el a nem támogatott predikátumokat a Parquetben, ha ...
- [SPARK-25540][SPARK-25525][SQL] [PYSPARK] A SparkSession.getOrCreate-ban ne frissítse a meglévő SparkContext konföderációt.
- [SPARK-25595] Sérült Avro-fájlok figyelmen kívül hagyása, ha engedélyezve van a jelölő IGNORE_CORRUPT_FILES
- [SPARK-25458][SQL] Az ANALYZE TABLE ÖSSZES OSZLOPának támogatása
- [SPARK-25449][CORE] A szívverés nem tartalmazhat zéró metrikákhoz tartozó akkumulátorokat
- [SPARK-25399][SS] A folyamatos feldolgozási állapot nem befolyásolhatja a mikrobatch végrehajtási feladatait
- [SPARK-26092][SS] A streamelési metaadatfájl írása a CheckpointFileManager használatával
Karbantartási frissítések
Lásd a Databricks Runtime 5.1 karbantartási frissítéseit.
Rendszerkörnyezet
- Operációs rendszer: Ubuntu 16.04.5 LTS
- Java: 1.8.0_181
- Scala: 2.11.8
- Python: 2.7.12 Python 2-fürtökhöz és 3.5.2 Python 3-fürtökhöz.
- R: R 3.4.4-es verzió (2018-03-15)
- GPU-fürtök: A következő NVIDIA GPU-kódtárak vannak telepítve:
- Tesla driver 375.66
- CUDA 9.0
- cuDNN 7.0
Feljegyzés
Bár a Scala 2.12 az Apache Spark 2.4-ben támogatott, a Databricks Runtime 5.1-ben nem támogatott.
Telepített Python-kódtárak
| Könyvtár | Verzió | Könyvtár | Verzió | Könyvtár | Verzió |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0,5 |
| boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| brewer2mpl | 1.4.1 | minősítés | 2016.2.28 | cffi | 1.7.0 |
| karakterkészlet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
| Titkosítás | 1,5 | cycler | 0.10.0 | Cython | 0.24.1 |
| Dekoratőr | 4.0.10 | docutils | 0,14 | enum34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| fusepy | 2.0.4 | Határidős | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0,999 | idna | 2.1 | ipaddress | 1.0.16 |
| ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1,2 |
| Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
| lxml | 3.6.4 | Korrektúra Széf | 0.23 | matplotlib | 1.5.3 |
| mpld3 | 0,2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| numba | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
| pandas | 0.19.2 | pathlib2 | 2.1.0 | Patsy | 0.4.1 |
| pexpect | 4.0.1 | pickleshare | 0.7.4 | Párna | 3.3.1 |
| Pip | 18.1 | Réteg | 3.9 | prompt-toolkit | 1.0.7 |
| psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2.14 |
| Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
| pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
| python-dateutil | 2.5.3 | python-geohash | 0.8.5 | pytz | 2016.6.1 |
| kérelmek | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
| scipy | 0.18.1 | Kutat | 0.32 | tengeri | 0.7.1 |
| setuptools | 40.6.2 | simplejson | 3.8.2 | simples3 | 1,0 |
| singledispatch | 3.4.0.3 | Hat | 1.10.0 | statsmodels | 0.6.1 |
| Tornádó | 5.1.1 | árulók | 4.3.0 | urllib3 | 1.19.1 |
| virtualenv | 16.1.0 | wcwidth | 0.1.7 | Kerék | 0.32.3 |
| wsgiref | 0.1.2 |
Telepített R-kódtárak
| Könyvtár | Verzió | Könyvtár | Verzió | Könyvtár | Verzió |
|---|---|---|---|---|---|
| abind | 1.4-5 | assertthat | 0.2.0 | Backports | 1.1.2 |
| alap | 3.4.4 | base64enc | 0.1-3 | BH | 1.66.0-1 |
| bindr | 0.1.1 | bindrcpp | 0.2.2 | Kicsit | 1.1-14 |
| bit64 | 0.9-7 | bitops | 1.0-6 | blob | 1.1.1 |
| indítás | 1.3-20 | Sört | 1.0-6 | Seprű | 0.5.0 |
| hívó | 3.0.0 | autó | 3.0-2 | carData | 3.0-2 |
| Billentyűzettel | 6.0-80 | cellranger | 1.1.0 | chron | 2.3-53 |
| osztály | 7.3-14 | Cli | 1.0.1 | clipr | 0.4.1 |
| clisymbols | 1.2.0 | Fürt | 2.0.7-1 | kódtoolok | 0.2-15 |
| színtér | 1.3-2 | commonmark | 1.6 | Fordító | 3.4.4 |
| Zsírkréta | 1.3.4 | Curl | 3.2 | CVST | 0.2-2 |
| data.table | 1.11.8 | adatkészletek | 3.4.4 | DBI | 1.0.0 |
| ddalpha | 1.3.4 | DEoptimR | 1.0-8 | Desc | 1.2.0 |
| devtools | 2.0.1 | Digest | 0.6.18 | dimRed | 0.1.0 |
| doMC | 1.3.5 | dplyr | 0.7.7 | DRR | 0.0.3 |
| fani | 0.4.0 | forcats | 0.3.0 | foreach | 1.4.4 |
| Külföldi | 0.8-70 | Fs | 1.2.6 | gbm | 2.1.4 |
| Geometria | 0.3-6 | ggplot2 | 3.1.0 | Gh | 1.0.1 |
| git2r | 0.23.0 | glmnet | 2.0-16 | Ragasztó | 1.3.0 |
| Gower | 0.1.2 | grafika | 3.4.4 | grDevices | 3.4.4 |
| Rács | 3.4.4 | gridExtra | 2.3 | gsubfn | 0,7 |
| gtable | 0.2.0 | H2o | 3.20.0.8 | Haven | 1.1.2 |
| Hms | 0.4.2 | httr | 1.3.1 | hwriter | 1.3.2 |
| hwriterPlus | 1.0-3 | Ini | 0.3.1 | ipred | 0.9-8 |
| iterátorok | 1.0.10 | jsonlite | 1,5 | kernlab | 0.9-27 |
| KernSmooth | 2.23-15 | Címkézés | 0.3 | Rács | 0.20-38 |
| Láva | 1.6.3 | lazyeval | 0.2.1 | kicsi | 0.3.5 |
| lme4 | 1.1-18-1 | lubridate | 1.7.4 | Magic | 1.5-9 |
| magrittr | 1,5 | mapproj | 1.2.6 | Térképek | 3.3.0 |
| maptools | 0.9-4 | MASS | 7.3-50 | Mátrix | 1.2-14 |
| MatrixModels | 0.4-1 | memoise | 1.1.0 | metódusok | 3.4.4 |
| mgcv | 1.8-25 | Mime | 0,6 | minqa | 1.2.4 |
| ModelMetrics | 1.2.2 | munsell | 0.5.0 | mvtnorm | 1.0-8 |
| nlme | 3.1-137 | nloptr | 1.2.1 | nnet | 7.3-12 |
| numDeriv | 2016.8-1 | Openssl | 1.0.2 | openxlsx | 4.1.0 |
| parallel | 3.4.4 | pbkrtest | 0.4-7 | Pillér | 1.3.0 |
| pkgbuild | 1.0.2 | pkgconfig | 2.0.2 | pkgKitten | 0.1.4 |
| pkgload | 1.0.2 | plogr | 0.2.0 | Pls | 2.7-0 |
| rétegelt | 1.8.4 | Dicséret | 1.0.0 | prettyunits | 1.0.2 |
| Proc | 1.13.0 | processx | 3.2.0 | prodlim | 2018.04.18 |
| Proto | 1.0.0 | Ps | 1.2.0 | purrr | 0.2.5 |
| quantreg | 5,36 | R.methodsS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils | 2.7.0 | R6 | 2.3.0 | randomForest | 4.6-14 |
| rcmdcheck | 1.3.1 | RColorBrewer | 1.1-2 | Rcpp | 0.12.19 |
| RcppEigen | 0.3.3.4.0 | RcppRoll | 0.3.0 | RCurl | 1.95-4.11 |
| olvasó | 1.1.1 | readxl | 1.1.0 | receptek | 0.1.3 |
| Visszavágót | 1.0.1 | Távirányító | 2.0.2 | újraformázás2 | 1.4.3 |
| Rio | 0.5.10 | rlang | 0.3.0.1 | robustbase | 0.93-3 |
| RODBC | 1.3-15 | roxygen2 | 6.1.0 | rpart | 4.1-13 |
| rprojroot | 1.3-2 | Rserve | 1.7-3 | RSQLite | 2.1.1 |
| rstudioapi | 0,8 | Mérlegek | 1.0.0 | sessioninfo | 1.1.1 |
| sfsmisc | 1.1-2 | Sp | 1.3-1 | SparkR | 2.4.0 |
| SparseM | 1.77 | Térbeli | 7.3-11 | splines | 3.4.4 |
| sqldf | 0.4-11 | NÉGYZET | 2017.10-1 | statmod | 1.4.30 |
| Statisztika | 3.4.4 | statisztikák4 | 3.4.4 | stringi | 1.2.4 |
| sztring | 1.3.1 | Túlélési | 2.43-1 | tcltk | 3.4.4 |
| TeachingDemos | 2.10 | testthat | 2.0.1 | tibble | 1.4.2 |
| tidyr | 0.8.2 | tidyselect | 0.2.5 | timeDate | 3043.102 |
| eszközök | 3.4.4 | usethis | 1.4.0 | utf8 | 1.1.4 |
| eszközök | 3.4.4 | viridisLite | 0.3.0 | bajusz | 0.3-2 |
| withr | 2.1.2 | xml2 | 1.2.0 | xopen | 1.0.0 |
| Zip | 1.0.0 |
Telepített Java- és Scala-kódtárak (Scala 2.11-fürtverzió)
| Csoportazonosító | Összetevő azonosítója | Verzió |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.8.10 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config | 1.11.313 |
| com.amazonaws | aws-java-sdk-core | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.313 |
| com.amazonaws | aws-java-sdk-directory | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr | 1.11.313 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.313 |
| com.amazonaws | aws-java-sdk-iam | 1.11.313 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.313 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.313 |
| com.amazonaws | aws-java-sdk-kms | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs | 1.11.313 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds | 1.11.313 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ses | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.313 |
| com.amazonaws | aws-java-sdk-sts | 1.11.313 |
| com.amazonaws | aws-java-sdk-support | 1.11.313 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | Patak | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db8-spark2.4 |
| com.databricks | dbml-local_2.11-tesztek | 0.5.0-db8-spark2.4 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | Osztálytárs | 1.0.0 |
| com.fasterxml.jackson.core | jackson-annotations | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1,1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1,1 |
| com.github.fommil.netlib | native_ref-java-natívok | 1,1 |
| com.github.fommil.netlib | native_system-java | 1,1 |
| com.github.fommil.netlib | native_system-java-natívok | 1,1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1,1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | Guava | 15,0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEA Standard kiadás |
| com.mchange | c3p0 | 0.9.5.1 |
| com.mchange | mchange-commons-java | 0.2.10 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0.3 |
| com.twitter | chill-java | 0.9.3 |
| com.twitter | chill_2.11 | 0.9.3 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.7.3 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.7.0 |
| commons-beanutils | commons-beanutils-core | 1.8.0 |
| commons-cli | commons-cli | 1,2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2,4 |
| commons-lang | commons-lang | 2.6 |
| commons-naplózás | commons-naplózás | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metrikamag | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | metrics-healthchecks | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlets | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| io.prometheus | simpleclient | 0.0.16 |
| io.prometheus | simpleclient_common | 0.0.16 |
| io.prometheus | simpleclient_dropwizard | 0.0.16 |
| io.prometheus | simpleclient_servlet | 0.0.16 |
| io.prometheus.jmx | Kollektor | 0,7 |
| javax.activation | aktiválás | 1.1.1 |
| javax.annotation | javax.annotation-api | 1,2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1,1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2,11 |
| joda-time | joda-time | 2.9.3 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.razorvine | pyrolite | 4.13 |
| net.sf.jpam | jpam | 1,1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.5 |
| net.snowflake | snowflake-jdbc | 3.6.15 |
| net.snowflake | spark-snowflake_2.11 | 2.4.10-spark_2.4 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | nyílformátum | 0.10.0 |
| org.apache.arrow | nyíl-memória | 0.10.0 |
| org.apache.arrow | nyíl-vektor | 0.10.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | kalcit-avatica | 1.2.0-inkubálás |
| org.apache.calcite | kalcitmag | 1.2.0-inkubálás |
| org.apache.calcite | calcite-linq4j | 1.2.0-inkubálás |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3,5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | kurátor-ügyfél | 2.7.1 |
| org.apache.curator | kurátor-keretrendszer | 2.7.1 |
| org.apache.curator | kurátor-receptek | 2.7.1 |
| org.apache.derby | Derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-inkubálás |
| org.apache.httpcomponents | httpclient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | Ivy | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.5.2 |
| org.apache.orc | orc-mapreduce-nohive | 1.5.2 |
| org.apache.orc | orc-shims | 1.5.2 |
| org.apache.parquet | parquet-column | 1.10.1-databricks3 |
| org.apache.parquet | parquet-common | 1.10.1-databricks3 |
| org.apache.parquet | parquet-kódolás | 1.10.1-databricks3 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks3 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks3 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm6-shaded | 4.8 |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.9 |
| org.codehaus.janino | janino | 3.0.9 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | móló-folytatás | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | móló plusz | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-security | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-server | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-webapp | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-lokátor | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hibernate | hibernate-validator | 5.1.1.Végleges |
| org.iq80.snappy | Snappy | 0,2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | json4s-jackson_2.11 | 3.5.3 |
| org.json4s | json4s-scalap_2.11 | 3.5.3 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.5.11 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.8 |
| org.scala-lang | scala-library_2.11 | 2.11.8 |
| org.scala-lang | scala-reflect_2.11 | 2.11.8 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.0.2 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | teszt-interfész | 1,0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-exec | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | Használatlan | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEA Standard kiadás |
| org.springframework | rugós teszt | 4.1.4.RELEA Standard kiadás |
| org.tukaani | xz | 1,5 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | makró-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.1 |
| org.yaml | snakeyaml | 1.16 |
| Oro | Oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |