Databricks Runtime 8.0 (nem támogatott)

  • Cikk

A Databricks 2021 márciusában adta ki ezt a képet.

Az alábbi kibocsátási megjegyzések az Apache Spark 3.1.1 által üzemeltetett Databricks Runtime 8.0-ról nyújtanak információkat.

Új funkciók

A Databricks Runtime 8.0 tartalmazza az Apache Spark 3.1.1-et. További részletekért lásd az Apache Sparkot.

Fejlesztések

A Delta mostantól az alapértelmezett formátum, ha nincs megadva formátum

A Databricks Runtime 8.0 úgy módosítja az alapértelmezett formátumot, delta hogy egyszerűbbé tegye a Delta-tábla létrehozását. Ha SQL-parancsokkal vagy {Dataset|DataFrame}.{read|readStream|write|writeTo|writeStream} API-kkal hoz létre táblázatot, és nem ad meg formátumot, az alapértelmezett formátum a következő delta.

A Delta Lake-zel jobb teljesítményt érhet el a Parquettel szemben, jobb adatmeg megbízhatóságot, gazdag sémaérvényesítéssel, minőségi korlátozásokkal és tranzakciós garanciával. A Delta Lake használatával egységes strukturált streameléssel és kötegelt feldolgozással egyszerűsítheti az adatfolyamokat egyetlen adatforráson.

Bár a Databricks a Delta Lake használatát javasolja az adatok tárolásához, előfordulhat, hogy régebbi munkafolyamatok szükségesek a Delta Lake-be való migráláshoz. A meglévő munkafolyamatok migrálásával kapcsolatos információkért lásd : Mi az a Delta Lake?.

Az új strukturált streamelés alapértelmezett eseményindító-időköze csökkenti a költségeket

Ha nem állít be triggerintervallumot Trigger.ProcessingTime a streamelési lekérdezésben, az időköz értéke 500 ms. Korábban az alapértelmezett időköz 0 ms volt. Ennek a változásnak csökkentenie kell az üres eseményindítók számát, és csökkentenie kell a felhőbeli tárolás( például a lista) költségeit.

Az LDA transzformációs függvény használata hitelesítő adatok átengedése (nyilvános előzetes verzió)

Most már használhatja az LDA transzformációs függvényt egy olyan fürtön, amely hitelesítő adatok átengedésére van konfigurálva a hitelesítéshez.

A hitelesítő adatok átengedéséhez konfigurált egyetlen felhasználói fürtökhez már nincs szükség megbízható fájlrendszerekre (nyilvános előzetes verzió)

A továbbiakban nem kell megbízható fájlrendszerként konfigurálnia a helyi fájlrendszereket, ha egy hitelesítőadat-átengedéshez konfigurált standard vagy feladatfürtöt használ egyetlen felhasználóval. Ez a módosítás eltávolítja a szükségtelen fájlrendszerkorlátozásokat, amikor feladatokat futtat egyetlen felhasználói fürtön.

Könyvtárfrissítések

Apache Spark

A Databricks Runtime 8.0 tartalmazza az Apache Spark 3.1.1-et.

Ebben a szakaszban:

Core és Spark SQL

Kiemelés

ANSI SQL-kompatibilitási fejlesztések

  • Támogatási karakter/varchar adattípus (SPARK-33480)
  • ANSI mód: futásidejű hibák a null érték visszaadása helyett (SPARK-33275)
  • ANSI mód: új explicit öntött szintaxis szabályai (SPARK-33354)
  • Sql Standard parancs SET TIME ZONE hozzáadása (SPARK-32272)
  • Tábla SQL-szintaxisának egységesítése (SPARK-31257)
  • Ideiglenes nézet és állandó nézet viselkedésének egységesítése (SPARK-33138)
  • Támogatási oszloplista utasításban INSERT (SPARK-32976)
  • Az ANSI beágyazott zárójeles megjegyzéseinek támogatása (SPARK-28880)

Teljesítménybeli fejlesztések

  • Gazda-helyi shuffle data reading without shuffle service (SPARK-32077)
  • Redundáns rendezések eltávolítása újraparticionálási csomópontok előtt (SPARK-32276)
  • Részben leküldéses predikátumok (SPARK-32302, SPARK-32352)
  • Szűrők leküldése kibontással (SPARK-33302)
  • További lehetséges predikátumok leküldése csatlakozással CNF-átalakítással (SPARK-31705)
  • A shuffle eltávolítása a szórási kivonat illesztés kimeneti particionálásának megőrzésével (SPARK-31869)
  • Az illesztési kulcsok átrendezésével (SPARK-32282) eltávolíthatja a shuffle-t
  • A shuffle eltávolítása a kimeneti particionálás és a rendezés normalizálásával (SPARK-33399)
  • Shuffled hash join improvement (SPARK-32461)
    • Shuffled hash join buildoldali particionálás megőrzése (SPARK-32330)
    • A kivonat illesztés (BHJ és SHJ) streamoldali sorrendjének megőrzése (SPARK-32383)
    • Gyűjtőtáblák a rendezési körlevél illesztéshez (SPARK-32286)
    • Kód-gen hozzáadása az elfojtott kivonat illesztéséhez (SPARK-32421)
    • Teljes külső illesztés támogatása az összefolyt kivonatos illesztésben (SPARK-32399)
  • Teljes fázisú kódgennel (SPARK-33092) rendelkező projekt szubexpressziós eltávolításának támogatása
  • Szubexpresszió kizárásának támogatása feltételes kifejezésekben (SPARK-33337)
  • Szubexpresszió kizárásának támogatása az értelmezett kifejezés kiértékelése esetén (SPARK-33427)
  • Szubexpressziós kizárás támogatása értelmezett predikátumhoz (SPARK-33540)
  • Egyéb optimalizáló szabályok
    • Szabály ExtractSingleColumnNullAwareAntiJoin (SPARK-32290)
    • Szabály EliminateNullAwareAntiJoin (SPARK-32573)
    • Szabály EliminateAggregateFilter (SPARK-32540)
    • Szabály UnwrapCastInBinaryComparison (SPARK-32858)
    • Szabály DisableUnnecessaryBucketedScan (SPARK-32859)
    • Szabály CoalesceBucketsInJoin (SPARK-31350)
    • Felesleges beágyazott mezők eltávolítása projekt nélkül (SPARK-29721)
    • A szükségtelen beágyazott mezők aggregátumból és kibontásból való kivágása (SPARK-27217)
    • A felesleges beágyazott mezők metszése az újraparticionálás kifejezés és illesztés alapján (SPARK-31736)
    • A feleslegesen beágyazott mezőket a kozmetikai változatok fölé metsszük (SPARK-32163)
    • A szükségtelen beágyazott mezők metszése az ablakból és a rendezésből (SPARK-32059)
    • A CreateArray/CreateMap méretének optimalizálása a gyermekek méretéhez (SPARK-33544)

Bővíthetőségi fejlesztések

  • API-k hozzáadása SupportsPartitions a DataSourceV2-n (SPARK-31694)
  • API hozzáadása SupportsMetadataColumns a DataSourceV2-n (SPARK-31255)
  • Az SQL Cache szerializálásának csatlakoztathatóvá tétele (SPARK-32274)
  • purge A v2-katalógus (SPARK-33364) beállításának TableCatalog.dropTable bemutatása

Csatlakozás or fejlesztései

  • Hive Metastore partíciószűrő leküldéses fejlesztése (SPARK-33537)
    • A támogatás szűrőket tartalmaz, kezdő és befejező szűrőket tartalmaz (SPARK-33458)
    • Támogatási szűrő dátumtípus szerint (SPARK-33477)
    • Támogatásszűrő nem egyenlők szerint (SPARK-33582)
  • Parketta
    • Összetett típus engedélyezése a térkép kulcstípusában a Parquetben (SPARK-32639)
    • Az INT96 mentésének és betöltésének engedélyezése a Parquetben újrabetöltés nélkül (SPARK-33160)
  • ORK
    • Beágyazott oszlop predikátum leküldéses leküldése az ORC-hez (SPARK-25557)
    • Az Apache ORC frissítése 1.5.12-re (SPARK-33050)
  • CSV
    • SQL szöveges adatforrás használata a CSV-séma következtetése során (SPARK-32270)
  • JSON
    • Támogatási szűrők leküldéses leküldése JSON-adatforrásban (SPARK-30648)
  • JDBC
    • Katalógus API-k implementálása JDBC-hez (SPARK-32375, SPARK-32579, SPARK-32402, SPARK-33130)
    • JDBC-hitelesítésszolgáltató fejlesztői API létrehozása (SPARK-32001)
    • JDBC kapcsolatszolgáltatói letiltási lehetőség hozzáadása (SPARK-32047)
  • Avro
    • Támogatási szűrők leküldéses leküldése az Avro-adatforrásban (SPARK-32346)

Funkciók fejlesztései

  • Csomópont leszerelése (SPARK-20624)
    • Alapszintű keretrendszer (SPARK-20628)
    • RDD-blokkok migrálása leszerelés közben (SPARK-20732)
    • Kecses leszerelés a dinamikus skálázás részeként (SPARK-31198)
    • Shuffle blokkok migrálása leszerelés közben (SPARK-20629)
    • Csak kilépési végrehajtó, ha a feladatok és a blokkmigrálás befejeződött (SPARK-31197)
    • Tartalék tárolás támogatása leszerelés közben (SPARK-33545)
  • Új beépített függvények
  • EXPLAIN parancs fejlesztése (SPARK-32337, SPARK-31325)
  • Adjon meg egy lehetőséget a felhasználó által megadott tippek letiltására (SPARK-31875)
  • Hive stílus CSERE OSZLOPAINAK szintaxisa (SPARK-30613)
  • Támogatás LIKE ANY és LIKE ALL operátorok (SPARK-30724)
  • Korlátlan és NOT MATCHED in MATCHEDMERGE INTO (SPARK-32030) támogatás
  • Támogatás Futótagú lebegőpontos literálok (SPARK-32207)
  • Támogatási RESET szintaxis az önálló konfiguráció alaphelyzetbe állításához (SPARK-32406)
  • A támogatási szűrőkifejezés lehetővé teszi a DISTINCT spark-30276 egyidejű használatát
  • A DSv2 (SPARK-32512) alter table add/drop partition parancsának támogatása
  • Beágyazott feltételeken belüli OR al lekérdezések támogatása NOT IN (SPARK-25154)
  • Támogatási REFRESH FUNCTION parancs (SPARK-31999)
  • Add sameSemantics and sementicHash methods in Dataset (SPARK-30791)
  • Támogatott esetosztálytípus az UDF-ben (SPARK-31826)
  • Kódolók számbavételének támogatása (SPARK-32585)
  • Beágyazott mező API-k withField és dropFields (SPARK-31317, SPARK-32511) támogatása
  • Támogatás a hiányzó oszlopok null értékének kitöltéséhez (unionByNameSPARK-29358)
  • A megadott beállítások (SPARK-32592, SPARK-32844) támogatása DataFrameReader.table
  • A HDFS helyének támogatása (spark.sql.hive.metastore.jarsSPARK-32852)
  • Támogatási --archives lehetőség natív módon (SPARK-33530, SPARK-33615)
  • Az API továbbfejlesztése ExecutorPlugin a tevékenységek kezdési és befejezési eseményeinek metódusaihoz (SPARK-33088)

Egyéb jelentős változások

  • Keresési függvény megadása a Spark-dokumentumok webhelyén (SPARK-33166)
  • Az Apache Arrow frissítése 2.0.0-ra (SPARK-33213)
  • Java 8 time API engedélyezése a takarékos kiszolgálón (SPARK-31910)
  • Java 8 time API engedélyezése UDF-ekben (SPARK-32154)
  • Túlcsordulás ellenőrzése az összesített összeg tizedesvesszővel (SPARK-28067)
  • Véglegesítési ütközés javítása dinamikus partíciót felülíró módban (SPARK-27194, SPARK-29302)
  • El lett távolítva a rabszolga-, feketelistára és engedélyezési listára mutató hivatkozások (SPARK-32004, SPARK-32036, SPARK-32037)
  • A feladat eredményének méretének ellenőrzése a shuffle map stage (SPARK-32470) esetében
  • Általánosítás ExecutorSource a felhasználó által megadott fájlrendszersémák (SPARK-33476) elérhetővé terjesztéséhez
  • Hozzáadás StorageLevel.DISK_ONLY_3 (SPARK-32517)
  • Végrehajtói memóriametrikák elérhetővé tétele a webes felhasználói felületen végrehajtók számára (SPARK-23432)
  • A végrehajtó memóriametrikáinak elérhetővé tétele a szakasz szintjén, a Fázisok lapon (SPARK-26341)
  • A YARN-fürt módban kifejezett halmaz javítása spark.ui.port (SPARK-29465)
  • Konfiguráció hozzáadása spark.submit.waitForCompletion a spark-submit kilépés szabályozásához önálló fürt módban (SPARK-31486)
  • yarn.Client Közvetlen csatolások nyomtatása illesztőprogram-stdout/stderr (SPARK-33185)
  • Memóriavesztés javítása, ha nem sikerül tárolni a közvetítési elemet (SPARK-32715)
  • Konfigurálhatóvá teheti az BlockManagerMaster illesztőprogram szívverésének időtúllépését (SPARK-34278)
  • A gyorsítótár működésének egységesítése és befejezése (SPARK-33507)

Viselkedésváltozások

Tekintse meg az egyes összetevők migrálási útmutatóját: Spark Core és Spark SQL.

PySpark

Project Zen

  • Project Zen: A Python használhatóságának javítása (SPARK-32082)
  • PySpark típusú tippek támogatása (SPARK-32681)
  • A PySpark újratervezésének dokumentációja (SPARK-31851)
  • Migrálás a NumPy dokumentációs stílusára (SPARK-32085)
  • Telepítési lehetőség PyPI-felhasználók számára (SPARK-32017)
  • DataFrame-séma következtetésének megszüntetése a diktálás listájából (SPARK-32686)
  • A Python UDF-ek kivételüzenetének egyszerűsítése (SPARK-33407)

Egyéb jelentős változások

  • Determinisztikus PythonUDF-hívások deduplikálása (SPARK-33303)
  • Magasabb rendű függvények támogatása a PySpark-függvényekben (SPARK-30681)
  • Adatforrás v2x írási API-k támogatása (SPARK-29157)
  • Támogatás percentile_approx a PySpark-függvényekben (SPARK-30569)
  • Támogatás inputFiles a PySpark DataFrame-ben (SPARK-31763)
  • Támogatás withField a PySpark-oszlopban (SPARK-32835)
  • Támogatás dropFields a PySpark-oszlopban (SPARK-32511)
  • Támogatás nth_value a PySpark-függvényekben (SPARK-33020)
  • Támogatás acoshés asinhatanh (SPARK-33563)
  • Támogatási getCheckpointDir módszer a PySpark SparkContextben (SPARK-33017)
  • A hiányzó oszlopok null értékének kitöltésének támogatása a spark-32798-ban unionByName
  • Frissítés cloudpickle az 1.5.0-s verzióra (SPARK-32094)
  • Támogatás hozzáadása MapType a PySparkhoz nyíllal (SPARK-24554)
  • DataStreamReader.table és DataStreamWriter.toTable (SPARK-33836)

Viselkedésváltozások

Lásd a[PySpark]https://spark.apache.org/docs/3.1.1/pyspark-migration-guide.html> migrálási útmutatóit.

Strukturált streamelés

Teljesítménybeli fejlesztések

  • Gyorsítótárazott fájlok listája a maxFilesPerTrigger fájlon túl olvasatlan fájlként (SPARK-30866)
  • Egyszerűsítse a fájlstream forrásának és a fogadó metaadatnaplójának logikáját (SPARK-30462)
  • Kerülje a kompakt metaadatok naplójának kétszeri olvasását, ha a lekérdezés újraindul a kompakt kötegből (SPARK-30900)

Funkciók fejlesztései

  • API hozzáadása DataStreamReader.table (SPARK-32885)
  • API hozzáadása DataStreamWriter.toTable (SPARK-32896)
  • Bal oldali adatfolyam-illesztés (SPARK-32862)
  • Teljes külső streamcsatlakozás (SPARK-32863)
  • Adjon meg egy új lehetőséget a kimeneti fájlok megőrzésére (SPARK-27188)
  • Spark strukturált streamelőzmény-kiszolgáló támogatása (SPARK-31953)
  • Állapotséma-ellenőrzés bevezetése a lekérdezés újraindítása között (SPARK-27237)

Egyéb jelentős változások

  • Sémaérvényesítés bevezetése streamelési állapottárolóhoz (SPARK-31894)
  • Más tömörítési kodek használata az állapottárolóban (SPARK-33263)
  • A Kafka-összekötő végtelen várakozási idő, mert a metaadatok nem frissültek (SPARK-28367)
  • A Kafka frissítése 2.6.0-ra (SPARK-32568)
  • Lapozás támogatása strukturált streamelési felhasználói felületi lapokhoz (SPARK-31642, SPARK-30119)
  • Állapotinformációk a strukturált streamelési felhasználói felületen (SPARK-33223)
  • A vízjel résadatai a strukturált streamelési felhasználói felületen (SPARK-33224)
  • Egyéni állapotmetrikák adatainak nyilvánosságra helyezése az SS felhasználói felületén (SPARK-33287)
  • Adjon hozzá egy új metrikát a vízjelnél későbbi sorok számával kapcsolatban (SPARK-24634)

Viselkedésváltozások

Tekintse meg a strukturált streamelés migrálási útmutatóját.

MLlib

Legfontosabb tudnivalók

  • LinearSVC– bemeneti vektorok blokkolása (SPARK-30642)
  • LogisticRegression blockify input vectors (SPARK-30659)
  • LinearRegression blockify input vectors (SPARK-30660)
  • Az AFT blokkolja a bemeneti vektorokat (SPARK-31656)
  • A társítás szabályainak támogatása az ML-ben (SPARK-19939)
  • A LinearSVCModel (SPARK-20249) betanítási összegzésének hozzáadása
  • Összegzés hozzáadása a RandomForestClassificationModelhez (SPARK-23631)
  • Betanítási összefoglalás hozzáadása az FMClassificationModelhez (SPARK-32140)
  • Összegzés hozzáadása a MultilayerPerceptronClassificationModelhez (SPARK-32449)
  • FMClassifier hozzáadása a SparkR-hez (SPARK-30820)
  • SparkR LinearRegression burkoló hozzáadása (SPARK-30818)
  • FMRegressor burkoló hozzáadása a SparkR-hez (SPARK-30819)
  • SparkR-burkoló hozzáadása a következőhöz vector_to_array : (SPARK-33040)
  • adaptív módon blokkolja a példányokat – LinearSVC (SPARK-32907)
  • CrossValidator/TrainValidateSplit/OneVsRest Reader/Writer támogatása Python háttérbecslő/kiértékelő (SPARK-33520)
  • A GEMV által ajánlott ML ALS-javaslat teljesítményének javítása (SPARK-33518)
  • UnivariateFeatureSelector hozzáadása (SPARK-34080)

Egyéb jelentős változások

  • GMM számítási összefoglaló és frissítési disztribúciók egy feladatban (SPARK-31032)
  • Távolítsa el a ChiSqSelector-függőséget az mllib-ről. ChiSqSelectorModel (SPARK-31077)
  • A testChiSquare -ben (SPARK-31301) végzett tesztek eredmény adatkeretének elsimítása
  • MinHash keyDistance optimization (SPARK-31436)
  • KMeans-optimalizálás háromszög-egyenlőtlenség alapján (SPARK-31007)
  • Súlytámogatás hozzáadása a ClusteringEvaluatorban (SPARK-31734)
  • GetMetrics hozzáadása az értékelőkben (SPARK-31768)
  • Példány súlyának támogatása a LinearRegressionSummary-ben (SPARK-31944)
  • Felhasználó által megadott fold oszlop hozzáadása a CrossValidatorhoz (SPARK-31777)
  • Az ML-paramok alapértelmezett érték paritása a funkcióban és a hangolásban (SPARK-32310)
  • A KMeans/BiKMeans (SPARK-32676) kettős gyorsítótárazásának javítása
  • aft transform optimization (SPARK-33111)
  • FeatureHasher átalakítás optimalizálása (SPARK-32974)
  • Array_to_vector függvény hozzáadása adatkeretoszlophoz (SPARK-33556)
  • Az ML-paramok alapértelmezett érték paritása a besorolásban, regresszióban, fürtözésben és fpm-ben (SPARK-32310)
  • Summary.totalIterations nagyobb, mint maxIters (SPARK-31925)
  • famodellek előrejelzésének optimalizálása (SPARK-32298)

Viselkedésváltozások

Az MLlib migrálási útmutatóinak megtekintése.

SparkR

  • SparkR-felület hozzáadása magasabb rendű függvényekhez (SPARK-30682)
  • Az unionByName (SPARK-32798) hiányzó oszlopainak null értékű kitöltésének támogatása
  • Támogatás a SparkR-függvényekben aColumn használatával (SPARK-32946)
  • A SparkR-függvények timestamp_seconds támogatása (SPARK-32949)
  • A SparkR-függvények (SPARK-33030) nth_value támogatása
  • A nyíl minimális verziója 1.0.0-ra (SPARK-32452) ütközött
  • A SparkR-függvények array_to_vector támogatása (SPARK-33622)
  • Támogatás acosh, asinh és atanh (SPARK-33563)
  • Támogatási from_avro és to_avro (SPARK-33304)

Viselkedésváltozások

Tekintse meg a SparkR (R a Sparkon) migrálási útmutatóját.

GraphX

Programozási útmutató: GraphX programozási útmutató.

Karbantartási frissítések

Lásd a Databricks Runtime 8.0 karbantartási frissítéseit.

Rendszerkörnyezet

  • Operációs rendszer: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.50.0.51-CA-linux64 (1.8.0_275-b01-es build)
  • Scala: 2.12.10
  • Python: 3.8.8 (2021. május 26-i 3.8.6-os frissítésről frissítve)
  • R: R 4.0.3-es verzió (2020-10-10)
  • Delta Lake 0.8.0

Telepített Python-kódtárak

Könyvtár Verzió Könyvtár Verzió Könyvtár Verzió
appdirs 1.4.4 asn1crypto 1.4.0 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
minősítés 2020.12.5 cffi 1.14.3 karakterkészlet 3.0.4
Titkosítás 3.1.1 cycler 0.10.0 Cython 0.29.21
Dekoratőr 4.4.2 distlib 0.3.1 docutils 0.15.2
belépési pontok 0.3 filelock 3.0.12 idna 2.10
ipykernel 5.3.4 ipython 7.19.0 ipython-genutils 0.2.0
Jedi 0.17.2 jmespath 0.10.0 joblib 0.17.0
jupyter-client 6.1.7 jupyter-core 4.6.3 kiwisolver 1.3.0
Koalák 1.5.0 matplotlib 3.2.2 numpy 1.19.2
pandas 1.1.3 parso 0.7.0 Patsy 0.5.1
pexpect 4.8.0 pickleshare 0.7.5 Pip 20.2.4
prompt-toolkit 3.0.8 psycopg2 2.8.5 ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2,20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 PySocks 1.7.1
python-dateutil 2.8.1 pytz 2020.1 pyzmq 19.0.2
kérelmek 2.24.0 s3transfer 0.3.3 scikit-learn 0.23.2
scipy 1.5.2 tengeri 0.10.0 setuptools 50.3.1
Hat 1.15.0 statsmodels 0.12.0 threadpoolctl 2.1.0
Tornádó 6.0.4 árulók 5.0.5 urllib3 1.25.11
virtualenv 20.2.1 wcwidth 0.2.5 Kerék 0.35.1

Telepített R-kódtárak

Az R-kódtárak a Microsoft CRAN-pillanatképből vannak telepítve 2020.11.02-én.

Könyvtár Verzió Könyvtár Verzió Könyvtár Verzió
askpass 1,1 assertthat 0.2.1 Backports 1.2.1
alap 4.0.3 base64enc 0.1-3 BH 1.72.0-3
Kicsit 4.0.4 bit64 4.0.5 blob 1.2.1
indítás 1.3-25 Sört 1.0-6 Brio 1.1.0
Seprű 0.7.2 hívó 3.5.1 Billentyűzettel 6.0-86
cellranger 1.1.0 chron 2.3-56 osztály 7.3-17
Cli 2.2.0 clipr 0.7.1 Fürt 2.1.0
kódtoolok 0.2-18 színtér 2.0-0 commonmark 1,7
Fordító 4.0.3 config 0.3 covr 3.5.1
cpp11 0.2.4 Zsírkréta 1.3.4 hitelesítő adatok 1.3.0
Ellenvélemények 1.1.0.1 Curl 4.3 data.table 1.13.4
adatkészletek 4.0.3 DBI 1.1.0 dbplyr 2.0.0
Desc 1.2.0 devtools 2.3.2 diffobj 0.3.2
Digest 0.6.27 dplyr 1.0.2 DT 0,16
három pont 0.3.1 evaluate 0,14 fani 0.4.1
farver 2.0.3 gyorstérkép 1.0.1 forcats 0.5.0
foreach 1.5.1 Külföldi 0.8-79 Forge 0.2.0
Fs 1.5.0 Jövőben 1.21.0 Generikus 0.1.0
Gert 1.0.2 ggplot2 3.3.2 Gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 Globals 0.14.0
Ragasztó 1.4.2 Gower 0.2.2 grafika 4.0.3
grDevices 4.0.3 Rács 4.0.3 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 Haven 2.3.1
highr 0,8 Hms 0.5.3 htmltoolok 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 Ini 0.3.1
ipred 0.9-9 izoband 0.2.3 iterátorok 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-18 knitr 1,30
Címkézés 0.4.2 Később 1.1.0.1 Rács 0.20-41
Láva 1.6.8.1 lazyeval 0.2.2 életciklus 0.2.0
figyelő 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
markdown 1,1 MASS 7.3-53 Mátrix 1.2-18
memoise 1.1.0 metódusok 4.0.3 mgcv 1.8-33
Mime 0,9 ModelMetrics 1.2.2.2 modellező 0.1.8
munsell 0.5.0 nlme 3.1-151 nnet 7.3-14
numDeriv 2016.8-1.1 Openssl 1.4.3 parallel 4.0.3
párhuzamosan 1.22.0 Pillér 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
rétegelt 1.8.6 Dicséret 1.0.0 prettyunits 1.1.1
Proc 1.16.2 processx 3.4.5 prodlim 2019.11.13
Haladás 1.2.2 Ígér 1.1.1 Proto 1.0.0
Ps 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
olvasó 1.4.0 readxl 1.3.1 receptek 0.1.15
Visszavágót 1.0.1 visszavágó2 2.1.2 Távirányító 2.2.0
reprex 0.3.0 újraformázás2 1.4.4 Rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-7 RSQLite 2.2.1 rstudioapi 0,13
rversions 2.0.2 rvest 0.3.6 Mérlegek 1.1.1
választó 0.4-2 sessioninfo 1.1.1 Alakzat 1.4.5
Fényes 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.0 Térbeli 7.3-11 splines 4.0.3
sqldf 0.4-11 NÉGYZET 2020.5 Statisztika 4.0.3
statisztikák4 4.0.3 stringi 1.5.3 sztring 1.4.0
Túlélési 3.2-7 sys 3.4 tcltk 4.0.3
TeachingDemos 2.10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0,28 eszközök 4.0.3
usethis 2.0.0 utf8 1.1.4 eszközök 4.0.3
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
Waldo 0.2.3 bajusz 0,4 withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 Yaml 2.2.1 Zip 2.1.1

Telepített Java- és Scala-kódtárak (Scala 2.12-fürtverzió)

Csoportazonosító Összetevő azonosítója Verzió
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics Patak 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Osztálytárs 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.koffein Koffein 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natívok 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natívok 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava Guava 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEA Standard kiadás
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.0
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1,2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2,4
commons-lang commons-lang 2.6
commons-naplózás commons-naplózás 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.dropwizard.metrics metrikamag 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Kollektor 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktiválás 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.8
net.snowflake spark-snowflake_2.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow nyílformátum 2.0.0
org.apache.arrow nyíl-memóriamag 2.0.0
org.apache.arrow nyíl-memória-netty 2.0.0
org.apache.arrow nyíl-vektor 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1,20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3,10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator kurátor-ügyfél 2.7.1
org.apache.curator kurátor-keretrendszer 2.7.1
org.apache.curator kurátor-receptek 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-inkubálás
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy Ivy 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks6
org.apache.parquet parquet-common 1.10.1-databricks6
org.apache.parquet parquet-kódolás 1.10.1-databricks6
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks6
org.apache.parquet parquet-jackson 1.10.1-databricks6
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity sebesség 1,5
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus célközönség-széljegyzetek 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.34.v20201102
org.eclipse.jetty móló-folytatás 9.4.34.v20201102
org.eclipse.jetty jetty-http 9.4.34.v20201102
org.eclipse.jetty jetty-io 9.4.34.v20201102
org.eclipse.jetty jetty-jndi 9.4.34.v20201102
org.eclipse.jetty móló plusz 9.4.34.v20201102
org.eclipse.jetty jetty-proxy 9.4.34.v20201102
org.eclipse.jetty jetty-security 9.4.34.v20201102
org.eclipse.jetty jetty-server 9.4.34.v20201102
org.eclipse.jetty jetty-servlet 9.4.34.v20201102
org.eclipse.jetty jetty-servlets 9.4.34.v20201102
org.eclipse.jetty jetty-util 9.4.34.v20201102
org.eclipse.jetty jetty-webapp 9.4.34.v20201102
org.eclipse.jetty jetty-xml 9.4.34.v20201102
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-lokátor 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Végleges
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.0
org.roaringbitmap Alátéteket 0.9.0
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt teszt-interfész 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1,0
org.scalanlp breeze_2.12 1,0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark Használatlan 1.0.0
org.springframework spring-core 4.1.4.RELEA Standard kiadás
org.springframework rugós teszt 4.1.4.RELEA Standard kiadás
org.threeten három-extra 1.5.0
org.tukaani xz 1,5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel makró-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52