Databricks Runtime 8.4 (EoS)
Feljegyzés
A Databricks Runtime-verzió támogatása véget ért. A támogatás megszűnésének dátumáról lásd a támogatási előzményeket. Az összes támogatott Databricks Runtime-verziót lásd : Databricks Runtime release notes versions and compatibility.
Az alábbi kibocsátási megjegyzések az Apache Spark 3.1.2 által működtetett Databricks Runtime 8.4-ről és a Databricks Runtime 8.4 Photon-ről nyújtanak információkat. A Databricks 2021 júliusában adta ki ezt a verziót. A Photon nyilvános előzetes verzióban érhető el.
Új funkciók és fejlesztések
- A Delta Lake funkciói és fejlesztései
- Az Automatikus betöltő funkciói és fejlesztései
- Összekötő frissítései
- Hibajavítások
A Delta Lake funkciói és fejlesztései
- Delta table change data feed (GA)
- Megosztott Delta-táblák betöltése egyszerűen a Databricks Runtime használatával
- További táblákat használhat a dinamikus fájlmetszetelés
- Jobb teljesítmény automatikus célfájlméret finomhangolásával
- Táblák megadásának további módjai a következőben:
DeltaTable.forName
- Robusztus streamelési többtáblás írások használata
foreachBatch
- Javított olvasási lekérdezési teljesítmény bizonyos számítási feladatokban a hangolt ellenőrzőpontok miatt
- Létrehozás
GroupState
a felhasználó által definiált strukturált streamelési függvények teszteléséhez
Delta table change data feed (GA)
A Delta-tábla változási adatcsatornája már általánosan elérhető. Ez a táblázat különböző verziói közötti sorszintű változásokat jelöli. Ha engedélyezve van, a rendszer további információkat rögzít a tábla minden írási műveletének sorszintű változásairól. Lásd: Delta Lake change data feed használata az Azure Databricksben.
Megosztott Delta-táblák betöltése egyszerűen a Databricks Runtime használatával
Az Apache Spark Connector for Delta Sharing 0.1.0 már a Databricks Runtime-ban található. A megosztott táblákat spark.read.format("deltaSharing").load(uri)
közvetlenül anélkül töltheti be, hogy a Delta Sharing Spark-összekötőt a fürthöz csatolja.
További táblákat használhat a dinamikus fájlmetszetelés
A dinamikus fájlmetsző funkció úgy lett hangolva, hogy kevesebb fájllal rendelkező táblákon aktiválja azokat. Lásd: Dinamikus fájlmetszet.
Jobb teljesítmény automatikus célfájlméret finomhangolásával
A Delta-táblák célfájlmérete mostantól automatikusan be van hangolva a táblázat mérete alapján. Korábban a célfájl mérete OPTIMIZE
OPTIMIZE ZORDER BY
1 GB volt. A táblázatméreten alapuló automatikustuning esetén a legfeljebb 2,56 TB-os Delta-táblák célméretként 256 MB-ot fognak használni. A 10 TB-nál nagyobb táblák a korábbiakhoz hasonlóan 1 GB-ot fognak használni. Az ilyen méretek közötti táblák a táblázat méretével arányosan növekvő célméreteket használnak.
Lásd: A Delta Lake konfigurálása az adatfájlok méretének szabályozásához.
Táblák megadásának további módjai a következőben: DeltaTable.forName
DeltaTable.forName
Mostantól támogatja delta.`<path>`
a táblák azonosítását.
Robusztus streamelési többtáblás írások használata foreachBatch
A parancson belüli foreachBatch()
idempotens Delta-streamelési írások mostantól támogatottak. További részletekért lásd : Idempotens többtáblás írások.
Javított olvasási lekérdezési teljesítmény bizonyos számítási feladatokban a hangolt ellenőrzőpontok miatt
A Delta Lake mostantól hangolja, hogy milyen gyakran végez továbbfejlesztett ellenőrzőpontokat. Az ellenőrzőpont-ellenőrzés helyett a Delta mostantól dinamikusan módosítja az ellenőrzőpont gyakoriságát bizonyos eseményindítók alapján. Ez javítja az olvasási lekérdezés teljesítményét olyan számítási feladatokban, ahol bizonyos adatkihagyási optimalizálást korábban nem lehetett alkalmazni. Az optimalizálások használatához frissítse a Delta Lake-be írt feladatokat a Databricks Runtime 8.4-re. Lásd: Továbbfejlesztett ellenőrzőpontok engedélyezése strukturált streamelési lekérdezésekhez.
Létrehozás GroupState
a felhasználó által definiált strukturált streamelési függvények teszteléséhez
Eddig csak a strukturált streamelési motor tudott példányokat GroupState
létrehozni. Ezért a felhasználó által definiált függvény egységtesztjeihez streamlekérdezést kellett futtatni az Apache Sparkban.
Most már létrehozhat példányokat a GroupState
használathoz TestGroupState.create(…)
. Ez lehetővé teszi egy felhasználó által definiált függvény tesztelését olyan egyszerű egységteszteken, amelyekhez nem szükséges a Spark futtatása. Lásd : A mapGroupsWithState frissítési függvény tesztelése. Pontosabban olyan típusú TestGroupState
példányokat hoz létre, amelyek a felhasználói függvény alkalmazása után további metódusokkal bővítik a felületet GroupState
a belső állapot introspektálására.
Az Automatikus betöltő funkciói és fejlesztései
- A kihagyott fájlok rögzítéséhez konfigurálja a visszatöltést
- Kötött tárterület-lábnyom nagy mennyiségű streamekhez
- Egyszerűsített konfiguráció út nélküli támogatással
A kihagyott fájlok rögzítéséhez konfigurálja a visszatöltést
Az automatikus betöltő mostantól támogatja a háttérbetöltések aszinkron végrehajtását a fájlértesítésekkel kihagyott fájlok rögzítéséhez. A fájlrendszerek és az értesítési rendszerek nem garantálják az összes fájlesemény 100%-os kézbesítését. Ezért a Databricks azt javasolja, hogy engedélyezze a rendszeres visszatöltéseket az összes adat automatikus betöltővel való rögzítéséhez. Ezzel a cloudFiles.backfillInterval
beállítással rendszeres visszatöltéseket ütemezhet az adatokra. Lásd: Gyakori automatikus betöltőbeállítások.
Kötött tárterület-lábnyom nagy mennyiségű streamekhez
Most már konfigurálhatja az automatikus betöltőt úgy, hogy lejárjon, és eltávolítsa a Bejegyzéseket a RocksDB-ben, hogy az az ellenőrzőpont helyéhez kötötte a tárterület-terhelést. A Databricks nem javasolja, hogy csak akkor használja az adatokat, ha több millió fájlból álló óránkénti adatbetöltést végez. Ha helytelenül állítja be ezt a beállítást, vagy megpróbálja finomhangolni, számos adatminőségi problémát okozhat, például a feldolgozatlan fájlokat figyelmen kívül hagyhatja, vagy egyes fájlok duplikálhatók ahelyett, hogy pontosan egyszer dolgozzák fel őket. További részletekért lásd az eseménymegőrzést.
Egyszerűsített konfiguráció út nélküli támogatással
S3-gyűjtők
Most már megadhatja azt az SQS-üzenetsort, amely több útvonalról vagy S3-gyűjtőből fogad eseményeket.
Ha megadja az SQS-üzenetsor URL-címét, a path
beállítás nem szükséges ehhez a használati esethez.
Az Automatikus betöltő S3-útvonalakat hoz létre az S3-események gyűjtőjének és kulcsának használatával. Ha a fájlokat a DBFS csatlakoztatási pontjain keresztül szeretné olvasni, az cloudFiles.pathRewrites
elérési út előtagjait a DBFS-re módosíthatja. Ez csak akkor szükséges, ha különböző fiókokban AssumeRole
lévő adatokat ér el.
Lásd: Fájlértesítési beállítások.
Azure Data Lake Storage Gen2-tárolók
Most már megadhatja azt az Azure-üzenetsort, amely több tárolóból fogad eseményeket.
Ha megadja az Azure-üzenetsor nevét, a path
beállítás nem szükséges.
Az Automatikus betöltő alapértelmezés szerint az Azure Data Lake Storage Gen2 elérési útjait hozza létre a fájlesemények tárolójának és kulcsának használatával.
Ha WASB-elérési utakat vagy DBFS-csatlakoztatási pontokat szeretne használni, módosíthatja cloudFiles.pathRewrites
az elérési út előtagjait.
Lásd: Fájlértesítési beállítások.
Összekötő frissítései
- A Snowflake Spark-összekötő a 2.9.0-s verzióra lett frissítve.
- A KMS-titkosítás mostantól támogatott a
UNLOAD
Redshift-összekötő utasításában.
Hibajavítások
- Kijavítottunk egy hibát a táblahozzáférés-vezérléssel engedélyezett fürtök esetében, amelyek
select * from folder
akkor is megjeleníthetik a mappa tartalmát, ha a felhasználó nem rendelkezik fájlhozzáféréshez szükséges engedéllyel. - A nem rendszergazdai adatbázis-tulajdonosok mostantól képesek a nem saját tulajdonú táblákat az adatbázisokba dobni. Ez kijavítja azt a hibát, amely miatt az adatbázistulajdonosok nem tudtak elvetni egy adatbázist, ha nem saját táblák voltak az adatbázisban.
Könyvtárfrissítések
- Frissített Python-kódtárak:
- 2020.12.5-ről 2021.5.30-ra frissített tanúsítvány
- desztilláció frissítve 0.3.1-ről 0.3.2-re
- koalák frissítve 1.8.0-ról 1.8.1-re
- a protobuf 3.17.0-ról 3.17.3-ra frissült
- Frissített R-kódtárak:
- alap: 4.0.4–4.1.0
- rendszerindítás 1.3-27-ről 1.3-28-ra
- osztály 7.3-18-tól 7.3-19
- fürt 2.1.1 és 2.1.2 között
- fordító a 4.0.4-től a 4.1.0-sig
- 4.0.4 és 4.1.0 közötti adatkészletek
- 4.0.4 és 4.1.0 közötti grafikus elemek
- grDevices 4.0.4-től 4.1.0-ra
- rács 4.0.4-től 4.1.0-ra
- KernSmooth 2.23-18-tól 2.23-20-ra
- Rács 0,20-41-től 0,20-44-re
- TÖMEG 7,3-53,1-7,3-54 között
- Mátrix 1,3-2 és 1,3-3 között
- metódusok a 4.0.4-től a 4.1.0-sig
- mgcv 1,8-33 és 1,8-35 között
- nnet 7.3-15-től 7.3-16-osig
- párhuzamos 4.0.4 és 4.1.0 között
- Rserve 1,8-7-től 1,8-8-ig
- SparkR 3.1.1 és 3.1.2 között
- splines from 4.0.4 to 4.1.0
- 4.0.4 és 4.1.0 közötti statisztikák
- stats4 from 4.0.4 to 4.1.0
- túlélés 3,2-7-ről 3,2-11-re
- tcltk 4.0.4 és 4.1.0 között
- 4.0.4 és 4.1.0 közötti eszközök
- utils from 4.0.4 to 4.1.0
- Frissített Java-kódtárak:
- snowflake-jdbc 3.12.8-tól 3.13.3-ig
- spark-snowflake_2.12 2.8.1-spark_3.0-2.9.0-spark_3.1
- RoaringBitmap 0.9.0 és 0.9.14 között
- 0.9.0 és 0.9.14 közötti shims
- rocksdbjni a 6.2.2-től a 6.20.3-hoz
Apache Spark
A Databricks Runtime 8.4 tartalmazza az Apache Spark 3.1.2-t. Ez a kiadás tartalmazza a Databricks Runtime 8.3 -ban (EoS) található összes Spark-javítást és -fejlesztést, valamint a Spark következő további hibajavításait és fejlesztéseit:
- [SPARK-35792] [SQL] A nézet nem rögzítheti a következőben használt konfigurációkat:
RelationConversions
- [SPARK-35700] [SQL] Char/varchar orc tábla olvasása külső rendszerek által létrehozott és írt szöveggel
- [SPARK-35636] [SQL] A Lambda-kulcsok nem hivatkozhatók a lambda függvényen kívül
- [SPARK-35800] [Cseresznye pick] A GroupState tesztelhetőségének javítása a TestGroupState bevezetésével
- [SPARK-35391] Memóriaszivárgás javítása a ExecutorAllocationListenerben
- [SPARK-35799] [CherryPick] Az allUpdatesTimeMs metrika javítása a FlatMapGroupsWithStateExecben
- [SPARK-35763] [SS] A StateStoreCustomMetric alosztály enumerálási függőségének eltávolítása
- [SPARK-35791 [SQL] A null értékű ANTI illesztéshez megfelelő kiadási térkép
- [SPARK-35695] [SQL] Megfigyelt metrikák gyűjtése gyorsítótárazott és adaptív végrehajtási alfákból
- [SPARK-35767] [SQL] Kerülje a gyermekterv kétszeri végrehajtását a CoalesceExecben
- [SPARK-35746] [Felhasználói felület] Feladatazonosító javítása a szakaszlap tevékenységesemény-ütemtervében
- [SPARK-35673] [SQL] Javítsa ki a felhasználó által definiált tippet és a nem felismert emlékeztetőt az albekérdezésben.
- [SPARK-35714] [CORE] A végrehajtó leállítása során a holtpont hibajavítása
- [SPARK-35689] [SS] Napló figyelmeztetés hozzáadása, ha a keyWithIndexToValue null értéket ad vissza
- [SPARK-35589] [CORE] [3.1] A BlockManagerMasterEndpoint nem hagyhatja figyelmen kívül az index-only shuffle fájlt a frissítés során
- [SPARK-35643] [PYTHON] Az functions.py oszlop() nem egyértelmű hivatkozásának javítása
- [SPARK-35652] [SQL] joinWith on two table generated from same one
- [SPARK-35679] [SQL] instantToMicros túlcsordulás
- [SPARK-35602] [SS] Az állapotséma frissítése a hosszú JSON elfogadásához
- [SPARK-35653] [SQL] A CatalystToExternalMap által értelmezett elérési út javítása meghiúsul a térképen kulcsként vagy értékként megadott esetosztályokkal
- [SPARK-35296] [SQL] Az Dataset.observe használatának engedélyezése akkor is, ha a CollectMetricsExec egy feladatban több partíciót kezel.
- [SPARK-35659] [SS] Ne írjon null értéket a StateStore-ba
- [SPARK-35665] [SQL] FeloldatlanAlias feloldása a CollectMetricsben
- [SPARK-35558] Többkvantilis lekérésre optimalizált
- [SPARK-35621] [SQL] Szabályazonosító-metszés hozzáadása a TypeCoercion szabályhoz
- [SPARK-35077] [SQL] Migrálás a transformWithPruning szolgáltatásba a maradék optimalizálási szabályokhoz
- [SPARK-35610] [CORE] Javítsa ki a végrehajtó leállási horogja által bevezetett memóriaszivárgást
- [SPARK-35544] [SQL] Faminta-metszés hozzáadása az Analyzer-szabályokhoz
- [SPARK-35566] [SS] StateStoreRestoreExec kimeneti sorok javítása
- [SPARK-35454] [SQL] [3.1] Egy Logikai terv több adathalmaz-azonosítóval is megfeleltethető
- [SPARK-35538] [SQL] TransformAllExpressions hívási webhelyek migrálása a transformAllExpressionsWithPruning használatához
- [SPARK-35106] [Core] [SQL] A célkönyvtár nem létező átnevezésének elkerülése
- [SPARK-35287] [SQL] A RemoveRedundantProjects engedélyezése a DataSourceV2ScanRelation számára unsafeRow-t létrehozó ProjectExec megőrzéséhez
- [SPARK-35495] [R] SparkR-karbantartó módosítása a CRAN-hoz
- [SPARK-27991] [CORE] A lekérési kérelem elhalasztása a Netty OOM-on
- [SPARK-35171] [R] Deklarálja a Markdown-csomagot a SparkR-csomag függőségeként
- [SPARK-35454] [SQL] Egy Logikai terv több adathalmaz-azonosítóval is megfeleltethető
- [SPARK-35298] [SQL] Migrálás az Optimizer.scala szabályaihoz tartozó TransformWithPruning fájlba
- [SPARK-35480] [SQL] Percentile_approx használata a kimutatással
- [SPARK-35093] [SQL] Az AQE mostantól a newQueryStage-csomagot használja kulcsként a gyorsítótárazott exchange-ekhez az újrahasználathoz
- [SPARK-35146] [SQL] Migrálás a finishAnalysis.scala szabályokhoz tartozó TransformWithPruning vagy resolveWithPruning fájlba
- [SPARK-35411] [SQL] Alapvető információk hozzáadása a TreeNode json-ra való szerializálása során
- [SPARK-35294] [SQL] Fa bejárási metszés hozzáadása szabályokhoz dedikált fájlokkal az optimalizáló alatt
- [SPARK-34897] [SQL] [3.1] A sémák egyeztetésének támogatása index alapján a beágyazott oszlopmetszet után
- [SPARK-35144] [SQL] Migrálás a transformWithPruning objektumszabályokhoz
- [SPARK-35155] [SQL] Szabályazonosító-metszés hozzáadása az Analyzer-szabályokhoz
- [SPARK-35382] [PYTHON] Kijavíthatja a lambda változónévvel kapcsolatos problémákat a beágyazott DataFrame-függvényekben a Python API-kban.
- [SPARK-35359] [SQL] A karakter/varchar adattípusú adatok beszúrása sikertelen lesz, ha az adathossz túllépi a hosszkorlátozást
- [SPARK-35381] [R] Lambda változónévvel kapcsolatos problémák megoldása beágyazott magasabbrendű függvényekben az R API-kban
Rendszerkörnyezet
- Operációs rendszer: Ubuntu 18.04.5 LTS
- Java: Zulu 8.54.0.21-CA-linux64
- Scala: 2.12.10
- Python: 3.8.8
- R: 4.1.0 (2021-05-18)
- Delta Lake 1.0.0
Telepített Python-kódtárak
Könyvtár | Verzió | Könyvtár | Verzió | Könyvtár | Verzió |
---|---|---|---|---|---|
appdirs | 1.4.4 | asn1crypto | 1.4.0 | backcall | 0.2.0 |
boto3 | 1.16.7 | botocore | 1.19.7 | brotlipy | 0.7.0 |
minősítés | 2021.5.30 | cffi | 1.14.3 | karakterkészlet | 3.0.4 |
kriptográfia | 3.1.1 | biciklista | 0.10.0 | Cython | 0.29.21 |
lakberendező | 4.4.2 | distlib | 0.3.2 | docutils | 0.15.2 |
belépési pontok | 0.3 | aspektusok áttekintése | 1.0.0 | filelock | 3.0.12 |
idna | 2.10 | ipykernel | 5.3.4 | ipython | 7.19.0 |
ipython-genutils | 0.2.0 | jedi | 0.17.2 | jmespath | 0.10.0 |
joblib | 0.17.0 | jupyter-client | 6.1.7 | jupyter-core | 4.6.3 |
kiwisolver | 1.3.0 | Koalák | 1.8.1 | matplotlib | 3.2.2 |
numpy | 1.19.2 | pandas | 1.1.5 | parso | 0.7.0 |
Patsy | 0.5.1 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
mag | 20.2.4 | ábrázolás | 4.14.3 | prompt-toolkit | 3.0.8 |
protobuf | 3.17.3 | psycopg2 | 2.8.5 | ptyprocess | 0.6.0 |
pyarrow | 1.0.1 | pycparser | 2,20 | Pygments | 2.7.2 |
pyOpenSSL | 19.1.0 | pyparsing | 2.4.7 | PySocks | 1.7.1 |
python-dateutil | 2.8.1 | pytz | 2020.5 | pyzmq | 19.0.2 |
kérelmek | 2.24.0 | Újrapróbálkozás… | 1.3.3 | s3transfer | 0.3.6 |
scikit-learn | 0.23.2 | scipy | 1.5.2 | tengeri | 0.10.0 |
setuptools | 50.3.1 | Hat | 1.15.0 | statsmodels | 0.12.0 |
threadpoolctl | 2.1.0 | tornádó | 6.0.4 | árulók | 5.0.5 |
urllib3 | 1.25.11 | virtualenv | 20.2.1 | wcwidth | 0.2.5 |
kerék | 0.35.1 |
Telepített R-kódtárak
Az R-kódtárak a Microsoft CRAN-pillanatképből vannak telepítve 2020.11.02-én.
Könyvtár | Verzió | Könyvtár | Verzió | Könyvtár | Verzió |
---|---|---|---|---|---|
askpass | 1,1 | assertthat | 0.2.1 | backports | 1.2.1 |
alap | 4.1.0 | base64enc | 0.1-3 | BH | 1.72.0-3 |
bit | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.1 |
indítás | 1.3-28 | főz | 1.0-6 | Brio | 1.1.0 |
seprű | 0.7.2 | hívó | 3.5.1 | kalap | 6.0-86 |
cellranger | 1.1.0 | chron | 2.3-56 | osztály | 7.3-19 |
Cli | 2.2.0 | clipr | 0.7.1 | fürt | 2.1.2 |
kódtoolok | 0.2-18 | színtér | 2.0-0 | commonmark | 1,7 |
fordítóprogram | 4.1.0 | config | 0.3 | covr | 3.5.1 |
cpp11 | 0.2.4 | zsírkréta | 1.3.4 | hitelesítő adatok | 1.3.0 |
Ellenvélemények | 1.1.0.1 | csavarodik | 4.3 | data.table | 1.13.4 |
adatkészletek | 4.1.0 | DBI | 1.1.0 | dbplyr | 2.0.0 |
Desc | 1.2.0 | devtools | 2.3.2 | diffobj | 0.3.2 |
emészt | 0.6.27 | dplyr | 1.0.2 | DT | 0,16 |
három pont | 0.3.1 | evaluate | 0,14 | fani | 0.4.1 |
farver | 2.0.3 | gyorstérkép | 1.0.1 | forcats | 0.5.0 |
foreach | 1.5.1 | külföldi | 0.8-81 | kovácsol | 0.2.0 |
Fs | 1.5.0 | jövő | 1.21.0 | Generikus | 0.1.0 |
Gert | 1.0.2 | ggplot2 | 3.3.2 | Gh | 1.2.0 |
gitcreds | 0.1.1 | glmnet | 4.0-2 | globális | 0.14.0 |
ragasztó | 1.4.2 | Gower | 0.2.2 | grafika | 4.1.0 |
grDevices | 4.1.0 | rács | 4.1.0 | gridExtra | 2.3 |
gsubfn | 0,7 | gtable | 0.3.0 | kikötő | 2.3.1 |
highr | 0,8 | Hms | 0.5.3 | htmltoolok | 0.5.0 |
htmlwidgets | 1.5.3 | httpuv | 1.5.4 | httr | 1.4.2 |
hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
ipred | 0.9-9 | izoband | 0.2.3 | iterátorok | 1.0.13 |
jsonlite | 1.7.2 | KernSmooth | 2.23-20 | knitr | 1,30 |
címkézés | 0.4.2 | később | 1.1.0.1 | rács | 0.20-44 |
láva | 1.6.8.1 | lazyeval | 0.2.2 | életciklus | 0.2.0 |
figyelő | 0.8.0 | lubridate | 1.7.9.2 | magrittr | 2.0.1 |
markdown | 1,1 | TÖMEG | 7.3-54 | Mátrix | 1.3-3 |
memoise | 1.1.0 | metódusok | 4.1.0 | mgcv | 1.8-35 |
MIME | 0,9 | ModelMetrics | 1.2.2.2 | modellező | 0.1.8 |
munsell | 0.5.0 | nlme | 3.1-152 | nnet | 7.3-16 |
numDeriv | 2016.8-1.1 | openssl | 1.4.3 | parallel | 4.1.0 |
párhuzamosan | 1.22.0 | pillér | 1.4.7 | pkgbuild | 1.1.0 |
pkgconfig | 2.0.3 | pkgload | 1.1.0 | plogr | 0.2.0 |
rétegelt | 1.8.6 | dicséret | 1.0.0 | prettyunits | 1.1.1 |
Proc | 1.16.2 | processx | 3.4.5 | prodlim | 2019.11.13 |
haladás | 1.2.2 | Ígér | 1.1.1 | Proto | 1.0.0 |
Ps | 1.5.0 | purrr | 0.3.4 | r2d3 | 0.2.3 |
R6 | 2.5.0 | randomForest | 4.6-14 | rappdirs | 0.3.1 |
rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 | Rcpp | 1.0.5 |
olvasó | 1.4.0 | readxl | 1.3.1 | receptek | 0.1.15 |
Visszavágót | 1.0.1 | visszavágó2 | 2.1.2 | Távirányító | 2.2.0 |
reprex | 0.3.0 | újraformázás2 | 1.4.4 | Rex | 1.2.0 |
rlang | 0.4.9 | rmarkdown | 2.6 | RODBC | 1.3-17 |
roxygen2 | 7.1.1 | rpart | 4.1-15 | rprojroot | 2.0.2 |
Rserve | 1.8-8 | RSQLite | 2.2.1 | rstudioapi | 0,13 |
rversions | 2.0.2 | rvest | 0.3.6 | mérleg | 1.1.1 |
választó | 0.4-2 | sessioninfo | 1.1.1 | alak | 1.4.5 |
Fényes | 1.5.0 | sourcetools | 0.1.7 | sparklyr | 1.5.2 |
SparkR | 3.1.1 | térbeli | 7.3-11 | splines | 4.1.0 |
sqldf | 0.4-11 | NÉGYZET | 2020.5 | statisztika | 4.1.0 |
statisztikák4 | 4.1.0 | stringi | 1.5.3 | sztring | 1.4.0 |
túlélés | 3.2-11 | sys | 3.4 | tcltk | 4.1.0 |
TeachingDemos | 2.10 | testthat | 3.0.0 | tibble | 3.0.4 |
tidyr | 1.1.2 | tidyselect | 1.1.0 | tidyverse | 1.3.0 |
timeDate | 3043.102 | tinytex | 0,28 | eszközök | 4.1.0 |
usethis | 2.0.0 | utf8 | 1.1.4 | eszközök | 4.1.0 |
uuid | 0.1-4 | vctrs | 0.3.5 | viridisLite | 0.3.0 |
Waldo | 0.2.3 | bajusz | 0,4 | withr | 2.3.0 |
xfun | 0.19 | xml2 | 1.3.2 | xopen | 1.0.0 |
xtable | 1.8-4 | yaml | 2.2.1 | fütyülés | 2.1.1 |
Telepített Java- és Scala-kódtárak (Scala 2.12-fürtverzió)
Csoportazonosító | Összetevő azonosítója | Verzió |
---|---|---|
antlr | antlr | 2.7.7 |
com.amazonaws | amazon-kinesis-client | 1.12.0 |
com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
com.amazonaws | aws-java-sdk-config | 1.11.655 |
com.amazonaws | aws-java-sdk-core | 1.11.655 |
com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
com.amazonaws | aws-java-sdk-directory | 1.11.655 |
com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
com.amazonaws | aws-java-sdk-efs | 1.11.655 |
com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
com.amazonaws | aws-java-sdk-emr | 1.11.655 |
com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
com.amazonaws | aws-java-sdk-glue | 1.11.655 |
com.amazonaws | aws-java-sdk-iam | 1.11.655 |
com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
com.amazonaws | aws-java-sdk-kms | 1.11.655 |
com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
com.amazonaws | aws-java-sdk-logs | 1.11.655 |
com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
com.amazonaws | aws-java-sdk-marketplacemeteringservice | 1.11.655 |
com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
com.amazonaws | aws-java-sdk-rds | 1.11.655 |
com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
com.amazonaws | aws-java-sdk-ses | 1.11.655 |
com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
com.amazonaws | aws-java-sdk-sns | 1.11.655 |
com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
com.amazonaws | aws-java-sdk-sts | 1.11.655 |
com.amazonaws | aws-java-sdk-support | 1.11.655 |
com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
com.amazonaws | jmespath-java | 1.11.655 |
com.chuusai | shapeless_2.12 | 2.3.3 |
com.clearspring.analytics | patak | 2.9.6 |
com.databricks | Rserve | 1.8-3 |
com.databricks | jets3t | 0.7.1-0 |
com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
com.esotericsoftware | kryo-shaded | 4.0.2 |
com.esotericsoftware | minlog | 1.3.0 |
com.fasterxml | osztálytárs | 1.3.4 |
com.fasterxml.jackson.core | jackson-annotations | 2.10.0 |
com.fasterxml.jackson.core | jackson-core | 2.10.0 |
com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
com.github.ben-manes.koffein | koffein | 2.3.4 |
com.github.fommil | jniloader | 1,1 |
com.github.fommil.netlib | core | 1.1.2 |
com.github.fommil.netlib | native_ref-java | 1,1 |
com.github.fommil.netlib | native_ref-java-natívok | 1,1 |
com.github.fommil.netlib | native_system-java | 1,1 |
com.github.fommil.netlib | native_system-java-natívok | 1,1 |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1,1 |
com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1,1 |
com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
com.github.luben | zstd-jni | 1.4.8-1 |
com.github.wendykierp | JTransforms | 3.1 |
com.google.code.findbugs | jsr305 | 3.0.0 |
com.google.code.gson | gson | 2.2.4 |
com.google.flatbuffers | flatbuffers-java | 1.9.0 |
com.google.guava | gujávafa | 15,0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.h2database | h2 | 1.4.195 |
com.helger | Profiler | 1.1.1 |
com.jcraft | jsch | 0.1.50 |
com.jolbox | bonecp | 0.8.0.RELEASE |
com.lihaoyi | sourcecode_2.12 | 0.1.9 |
com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
com.ning | compress-lzf | 1.0.3 |
com.sun.mail | javax.mail | 1.5.2 |
com.tdunning | json | 1.8 |
com.thoughtworks.paranamer | paranamer | 2.8 |
com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
com.twitter | chill-java | 0.9.5 |
com.twitter | chill_2.12 | 0.9.5 |
com.twitter | util-app_2.12 | 7.1.0 |
com.twitter | util-core_2.12 | 7.1.0 |
com.twitter | util-function_2.12 | 7.1.0 |
com.twitter | util-jvm_2.12 | 7.1.0 |
com.twitter | util-lint_2.12 | 7.1.0 |
com.twitter | util-registry_2.12 | 7.1.0 |
com.twitter | util-stats_2.12 | 7.1.0 |
com.typesafe | config | 1.2.1 |
com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
com.univocity | univocity-parsers | 2.9.1 |
com.zaxxer | HikariCP | 3.1.0 |
commons-beanutils | commons-beanutils | 1.9.4 |
commons-cli | commons-cli | 1,2 |
commons-codec | commons-codec | 1.10 |
commons-collections | commons-collections | 3.2.2 |
commons-configuration | commons-configuration | 1.6 |
commons-dbcp | commons-dbcp | 1.4 |
commons-digester | commons-digester | 1.8 |
commons-fileupload | commons-fileupload | 1.3.3 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2,4 |
commons-lang | commons-lang | 2.6 |
commons-naplózás | commons-naplózás | 1.1.3 |
commons-net | commons-net | 3.1 |
commons-pool | commons-pool | 1.5.4 |
hive-2.3__hadoop-2.7 | jets3t-0.7 | liball_deps_2.12 |
hive-2.3__hadoop-2.7 | zookeeper-3.4 | liball_deps_2.12 |
info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
io.airlift | aircompressor | 0.10 |
io.delta | delta-sharing-spark_2.12 | 0.1.0 |
io.dropwizard.metrics | metrikamag | 4.1.1 |
io.dropwizard.metrics | metrics-graphite | 4.1.1 |
io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
io.dropwizard.metrics | metrics-jmx | 4.1.1 |
io.dropwizard.metrics | metrics-json | 4.1.1 |
io.dropwizard.metrics | metrics-jvm | 4.1.1 |
io.dropwizard.metrics | metrics-servlets | 4.1.1 |
io.netty | netty-all | 4.1.51.Final |
io.prometheus | simpleclient | 0.7.0 |
io.prometheus | simpleclient_common | 0.7.0 |
io.prometheus | simpleclient_dropwizard | 0.7.0 |
io.prometheus | simpleclient_pushgateway | 0.7.0 |
io.prometheus | simpleclient_servlet | 0.7.0 |
io.prometheus.jmx | gyűjtő | 0.12.0 |
jakarta.annotation | jakarta.annotation-api | 1.3.5 |
jakarta.validation | jakarta.validation-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.activation | aktiválás | 1.1.1 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.servlet | javax.servlet-api | 3.1.0 |
javax.servlet.jsp | jsp-api | 2.1 |
javax.transaction | jta | 1,1 |
javax.transaction | transaction-api | 1,1 |
javax.xml.bind | jaxb-api | 2.2.2 |
javax.xml.stream | stax-api | 1.0-2 |
javolution | javolution | 5.5.1 |
jline | jline | 2.14.6 |
joda-time | joda-time | 2.10.5 |
log4j | apache-log4j-extras | 1.2.17 |
log4j | log4j | 1.2.17 |
maven-fák | hive-2.3__hadoop-2.7 | liball_deps_2.12 |
net.java.dev.jna | jna | 5.8.0 |
net.razorvine | pyrolite | 4.30 |
net.sf.jpam | jpam | 1,1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | super-csv | 2.2.0 |
net.snowflake | snowflake-ingest-sdk | 0.9.6 |
net.snowflake | snowflake-jdbc | 3.13.3 |
net.snowflake | spark-snowflake_2.12 | 2.9.0-spark_3.1 |
net.sourceforge.f2j | arpack_combined_all | 0,1 |
org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
org.antlr | ST4 | 4.0.4 |
org.antlr | antlr-runtime | 3.5.2 |
org.antlr | antlr4-runtime | 4.8-1 |
org.antlr | stringtemplate | 3.2.1 |
org.apache.ant | ant | 1.9.2 |
org.apache.ant | ant-jsch | 1.9.2 |
org.apache.ant | ant-launcher | 1.9.2 |
org.apache.arrow | nyílformátum | 2.0.0 |
org.apache.arrow | nyíl-memóriamag | 2.0.0 |
org.apache.arrow | nyíl-memória-netty | 2.0.0 |
org.apache.arrow | nyíl-vektor | 2.0.0 |
org.apache.avro | avro | 1.8.2 |
org.apache.avro | avro-ipc | 1.8.2 |
org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
org.apache.commons | commons-compress | 1,20 |
org.apache.commons | commons-crypto | 1.1.0 |
org.apache.commons | commons-lang3 | 3,10 |
org.apache.commons | commons-math3 | 3.4.1 |
org.apache.commons | commons-text | 1.6 |
org.apache.curator | kurátor-ügyfél | 2.7.1 |
org.apache.curator | kurátor-keretrendszer | 2.7.1 |
org.apache.curator | kurátor-receptek | 2.7.1 |
org.apache.derby | keménykalap | 10.12.1.1 |
org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
org.apache.directory.api | api-util | 1.0.0-M20 |
org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
org.apache.hadoop | hadoop-annotations | 2.7.4 |
org.apache.hadoop | hadoop-auth | 2.7.4 |
org.apache.hadoop | hadoop-client | 2.7.4 |
org.apache.hadoop | hadoop-common | 2.7.4 |
org.apache.hadoop | hadoop-hdfs | 2.7.4 |
org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
org.apache.hive | hive-beeline | 2.3.7 |
org.apache.hive | hive-cli | 2.3.7 |
org.apache.hive | hive-jdbc | 2.3.7 |
org.apache.hive | hive-llap-client | 2.3.7 |
org.apache.hive | hive-llap-common | 2.3.7 |
org.apache.hive | hive-serde | 2.3.7 |
org.apache.hive | hive-shims | 2.3.7 |
org.apache.hive | hive-storage-api | 2.7.2 |
org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
org.apache.hive.shims | hive-shims-common | 2.3.7 |
org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
org.apache.htrace | htrace-core | 3.1.0-inkubálás |
org.apache.httpcomponents | httpclient | 4.5.6 |
org.apache.httpcomponents | httpcore | 4.4.12 |
org.apache.ivy | borostyán | 2.4.0 |
org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
org.apache.orc | orc-core | 1.5.12 |
org.apache.orc | orc-mapreduce | 1.5.12 |
org.apache.orc | orc-shims | 1.5.12 |
org.apache.parquet | parquet-column | 1.10.1-databricks9 |
org.apache.parquet | parquet-common | 1.10.1-databricks9 |
org.apache.parquet | parquet-kódolás | 1.10.1-databricks9 |
org.apache.parquet | parquet-format | 2.4.0 |
org.apache.parquet | parquet-hadoop | 1.10.1-databricks9 |
org.apache.parquet | parquet-jackson | 1.10.1-databricks9 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.12.0 |
org.apache.xbean | xbean-asm7-shaded | 4.15 |
org.apache.yetus | célközönség-széljegyzetek | 0.5.0 |
org.apache.zookeeper | zookeeper | 3.4.14 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
org.codehaus.jackson | jackson-xc | 1.9.13 |
org.codehaus.janino | commons-compiler | 3.0.16 |
org.codehaus.janino | janino | 3.0.16 |
org.datanucleus | datanucleus-api-jdo | 4.2.4 |
org.datanucleus | datanucleus-core | 4.1.17 |
org.datanucleus | datanucleus-rdbms | 4.1.19 |
org.datanucleus | javax.jdo | 3.2.0-m3 |
org.eclipse.jetty | jetty-client | 9.4.36.v20210114 |
org.eclipse.jetty | móló-folytatás | 9.4.36.v20210114 |
org.eclipse.jetty | jetty-http | 9.4.36.v20210114 |
org.eclipse.jetty | jetty-io | 9.4.36.v20210114 |
org.eclipse.jetty | jetty-jndi | 9.4.36.v20210114 |
org.eclipse.jetty | móló plusz | 9.4.36.v20210114 |
org.eclipse.jetty | jetty-proxy | 9.4.36.v20210114 |
org.eclipse.jetty | jetty-security | 9.4.36.v20210114 |
org.eclipse.jetty | jetty-server | 9.4.36.v20210114 |
org.eclipse.jetty | jetty-servlet | 9.4.36.v20210114 |
org.eclipse.jetty | jetty-servlets | 9.4.36.v20210114 |
org.eclipse.jetty | jetty-util | 9.4.36.v20210114 |
org.eclipse.jetty | jetty-util-ajax | 9.4.36.v20210114 |
org.eclipse.jetty | jetty-webapp | 9.4.36.v20210114 |
org.eclipse.jetty | jetty-xml | 9.4.36.v20210114 |
org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
org.glassfish.hk2 | hk2-api | 2.6.1 |
org.glassfish.hk2 | hk2-lokátor | 2.6.1 |
org.glassfish.hk2 | hk2-utils | 2.6.1 |
org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
org.glassfish.jersey.core | jersey-client | 2.30 |
org.glassfish.jersey.core | jersey-common | 2.30 |
org.glassfish.jersey.core | jersey-server | 2.30 |
org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
org.hibernate.validator | hibernate-validator | 6.1.0.Final |
org.javassist | javassist | 3.25.0-GA |
org.jboss.logging | jboss-logging | 3.3.2.Végleges |
org.jdbi | jdbi | 2.63.1 |
org.joda | joda-convert | 1,7 |
org.jodd | jodd-core | 3.5.2 |
org.json4s | json4s-ast_2.12 | 3.7.0-M5 |
org.json4s | json4s-core_2.12 | 3.7.0-M5 |
org.json4s | json4s-jackson_2.12 | 3.7.0-M5 |
org.json4s | json4s-scalap_2.12 | 3.7.0-M5 |
org.lz4 | lz4-java | 1.7.1 |
org.mariadb.jdbc | mariadb-java-client | 2.2.5 |
org.objenesis | objenesis | 2.5.1 |
org.postgresql | postgresql | 42.1.4 |
org.roaringbitmap | RoaringBitmap | 0.9.14 |
org.roaringbitmap | Alátéteket | 0.9.14 |
org.rocksdb | rocksdbjni | 6.20.3 |
org.rosuda.REngine | REngine | 2.1.0 |
org.scala-lang | scala-compiler_2.12 | 2.12.10 |
org.scala-lang | scala-library_2.12 | 2.12.10 |
org.scala-lang | scala-reflect_2.12 | 2.12.10 |
org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
org.scala-sbt | teszt-interfész | 1.0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.0.8 |
org.scalanlp | breeze-macros_2.12 | 1.0 |
org.scalanlp | breeze_2.12 | 1.0 |
org.scalatest | scalatest_2.12 | 3.0.8 |
org.slf4j | jcl-over-slf4j | 1.7.30 |
org.slf4j | jul-to-slf4j | 1.7.30 |
org.slf4j | slf4j-api | 1.7.30 |
org.slf4j | slf4j-log4j12 | 1.7.30 |
org.spark-project.spark | Használatlan | 1.0.0 |
org.springframework | spring-core | 4.1.4.RELEASE |
org.springframework | rugós teszt | 4.1.4.RELEASE |
org.threeten | három-extra | 1.5.0 |
org.tukaani | xz | 1,5 |
org.typelevel | algebra_2.12 | 2.0.0-M2 |
org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
org.typelevel | machinist_2.12 | 0.6.8 |
org.typelevel | makró-compat_2.12 | 1.1.1 |
org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
org.typelevel | spire-util_2.12 | 0.17.0-M1 |
org.typelevel | spire_2.12 | 0.17.0-M1 |
org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
org.xerial | sqlite-jdbc | 3.8.11.2 |
org.xerial.snappy | snappy-java | 1.1.8.2 |
org.yaml | snakeyaml | 1.24 |
oro | oro | 2.0.8 |
pl.edu.icm | JLargeArrays | 1,5 |
software.amazon.ion | ion-java | 1.0.2 |
stax | stax-api | 1.0.1 |
xmlenc | xmlenc | 0,52 |