Megosztás a következőn keresztül:


Databricks Runtime 10.1 (EoS)

Feljegyzés

A Databricks Runtime-verzió támogatása véget ért. A támogatás megszűnésének dátumáról lásd a támogatási előzményeket. Az összes támogatott Databricks Runtime-verziót lásd : Databricks Runtime release notes versions and compatibility.

Az alábbi kibocsátási megjegyzések az Apache Spark 3.2.0 által működtetett Databricks Runtime 10.1-es és Databricks Runtime 10.1 Photon-ról nyújtanak információkat. A Databricks 2021 novemberében adta ki ezt a verziót. A Photon nyilvános előzetes verzióban érhető el.

Új funkciók és fejlesztések

Új Delta-táblabeállítások kis fájlok tömörítéséhez

A Delta tábla tulajdonság delta.autoOptimize.autoCompact mostantól elfogadja a meglévő és a meglévő értékek mellett az új értékeket true auto legacy falseis. Ha (ajánlott) értékre auto van állítva, az automatikus tömörítés jobb alapértelmezett értékeket használ, például 32 MB-ot állít be célfájlméretként (bár az alapértelmezett viselkedés a jövőben változhat). Ha be van állítva vagy legacy true, az Automatikus tömörítés 128 MB-ot használ a célfájl méreteként.

Ahelyett, hogy ezt a tulajdonságot egy adott táblához állítanák be, beállíthatja a konfigurációt auto, legacyvagy true engedélyezheti az spark.databricks.delta.autoCompact.enabled automatikus tömörítést az összes Delta-tábla esetében. Ez a konfiguráció elsőbbséget élvez a kapcsolódó táblatulajdonságokkal szemben az aktuális munkamenet során.

Az automatikus tömörítés célfájlmérete a spark.databricks.delta.autoCompact.maxFileSize konfigurációval szabályozható.

További információ az automatikus tömörítésről: Delta Lake automatikus tömörítése az Azure Databricksben.

Új sorcsoportmetrikák Parquet-lekérdezésekhez

A Parquet-vizsgálatokkal rendelkező lekérdezések most már a Sorcsoport metrikákat vizsgálják a Spark felhasználói felületén. Ezek a sorcsoportmetrikák a következők:

  • parquet sorcsoportok teljes száma
  • olvasott parquet sorcsoportok száma

Trigger.AvailableNow a Delta-forrás streamelési lekérdezéseihez

Ez a módosítás támogatja a Delta-forrásstreamelési lekérdezések új típusú eseményindítóját a Scalában: Trigger.AvailableNow. Ez olyan, mintha Trigger.Onceaz összes rendelkezésre álló adatot feldolgozza, majd leállítja a lekérdezést. Trigger.AvailableNow Azonban jobb méretezhetőséget biztosít, mivel az adatok több kötegben is feldolgozhatók egy helyett. Ez a módosítás nem vezet be új felületet; egy meglévő Spark API-t implementál. Ez az eseményindító az összes olyan sebességkorlátozó beállítást is támogatja, amelyet a Delta már támogat forrásként.

Példa:

spark.readStream
  .format("delta")
  .option("maxFilesPerTrigger", "1")
  .load(inputDir)
  .writeStream
  .trigger(Trigger.AvailableNow)
  .option("checkpointLocation", checkpointDir)
  .start()

A Mi az automatikus betöltő? című témakört Trigger.AvailableNow tekinti meg.

Trigger.AvailableNow automatikus betöltőhöz

Trigger.AvailableNowA egy új stream-eseményindító mód, amely a .Trigger.Once Trigger.Once feldolgozza az összes rendelkezésre álló adatot, majd leállítja a lekérdezést. Trigger.AvailableNow nagyobb méretezhetőséget biztosít, mivel az adatok több kötegben is feldolgozhatók egy helyett. Az automatikus betöltő mostantól támogatja Trigger.AvailableNow a Scala címtár- és fájlértesítési módjait is. A Mi az automatikus betöltő? című témakört Trigger.AvailableNow tekinti meg.

A DataFrame-beállításokon keresztül átadott Hadoop fájlrendszerkonfigurációk delta támogatása

A Parquethez hasonlóan a Delta mostantól támogatja a Hadoop fájlrendszer konfigurációinak olvasását, valamint DataFrameWriter a táblázat olvasási vagy írási lehetőségeit a használatával vagy DataFrameWriter.save(path)használatávalDataFrameReader.load(path). DataFrameReader Lásd a Delta Storage hitelesítő adatainak konfigurálását.

Az aszinkron állapot-ellenőrzőpontozás mostantól támogatott az állapotalapú streamelési feladatokban (nyilvános előzetes verzió)

Az aszinkron állapot-ellenőrzőpontozás egy új funkció, amely potenciálisan csökkenti a végpontok közötti mikrobatch-késést a nagy állapotfrissítéseket tartalmazó állapotalapú streamelési feladatokban. Tekintse meg az állapotalapú lekérdezések aszinkron állapot-ellenőrzőpontozását.

Sparklyr hitelesítő adatok átengedésével

Mostantól a sparklyr API-k használatával adatokat olvashat és írhat a felhőbeli tárolókba és onnan a hitelesítő adatok átengedésével. Ez a funkció az egyfelhasználós hozzáféréssel rendelkező standard fürtökre korlátozódik. Lásd: Access Azure Data Lake Storage a Microsoft Entra ID hitelesítő adatok átengedés (örökölt) használatával.

Databricks Utilities data summarize precision control (Public Preview)

Az összefoglaló eredmények pontosságát vezérlő új precise paraméter dbutils.data.summarize . Ha precise hamis (alapértelmezett) értékre van állítva, az összegzés hozzávetőleges eredményeket ad vissza a különböző darabszámok, percentilisek és gyakori elemek száma alapján. Ha precise igaz értékre van állítva, az összegzések mostantól pontos eltérő darabszámmal és gyakori tételszámokkal vannak kiszámítva, pontosabb percentilisbecslésekkel. Lásd: summarize command (dbutils.data.summarize).

Az Azure Databricks-jegyzetfüzetek mostantól használhatók az IPython kernellel

Most már konfigurálhat egy Azure Databricks-fürtöt az IPython kernel használatával a Python-kód végrehajtásához. Az IPython kernel azure Databricksen való használata támogatja az IPython megjelenítési és kimeneti eszközkészletét. Az IPython kernel emellett rögzíti a jegyzetfüzet által létrehozott gyermekfolyamatok stdout- és stderr-kimeneteit, így a kimenet szerepelhet a jegyzetfüzet parancseredményeiben.

További információ: IPython kernel.

Új függvények a Spark SQL-ben

A következő objektumok és parancsok lettek hozzáadva az adatok unity katalógusban (előzetes verzió) való kezeléséhez:

A deltamegosztáshoz (előzetes verzió) a következő parancsok lettek hozzáadva, amelyek lehetővé teszik az írásvédett adatok megosztását a szervezeten kívüli címzettekkel:

Hibajavítások

  • Kijavítottunk egy olyan versenyfeltételt, amely olyan lekérdezési hibát IOException okozhat, amely No FileSystem for scheme miatt a módosítások sparkContext.hadoopConfiguration nem lépnek érvénybe a lekérdezésekben.

Könyvtárfrissítések

  • Frissített Python-kódtárak:
    • filelock 3.0.12 és 3.3.1 között
    • koalák 1.8.1 és 1.8.2 között
    • ábrázolás 5.1.0 és 5.3.0 között
  • Frissített R-kódtárak:
    • bslib 0.3.0 és 0.3.1 között
    • 6,0-88-tól 6,0-90-hez
    • cpp11 0.3.1-től 0.4.0-ra
    • data.table 1.14.0 és 1.14.2 között
    • desc 1.3.0-tól 1.4.0-ra
    • diffobj 0.3.4 és 0.3.5 között
    • kivonat 0.6.27-től 0.6.28-ra
    • általános 0.1.0 és 0.1.1 között
    • hms 1.1.0 és 1.1.1 között
    • knitr 1,34-től 1,36-ig
    • Rács 0,20-44-ről 0,20-45-re
    • életciklus 1.0.0 és 1.0.1 között
    • lubridate 1.7.10-től 1.8.0-ra
    • mgcv 1,8-37-től 1,8-38-ra
    • mime 0,11 és 0,12 között
    • pkgload 1.2.2-től 1.2.3-ra
    • progressr 0.8.0 és 0.9.0 között
    • rcmdcheck 1.3.3-tól 1.4.0-ra
    • olvasó 2.0.1 és 2.0.2 között
    • receptek 0.1.16-tól 0.1.17-ig
    • 2.4.0 és 2.4.1 közötti távoli
    • rlang 0.4.11-től 0.4.12-ig
    • rvest 1.0.1 és 1.0.2 között
    • fényes 1.6.0 és 1.7.1 között
    • stringi 1.7.4 és 1.7.5 között
    • testthat 3.0.4-től 3.1.0-ra
    • tidyr 1.1.3-tól 1.1.4-től
    • tinytex 0,33 és 0,34 között
    • usethis 2.0.1-től 2.1.2-ig
    • xfun 0,26 és 0,27 között
  • Frissített Java-kódtárak:
    • com.zaxxer.HikariCP 3.1.0-tól 4.0.3-ig

Apache Spark

A Databricks Runtime 10.1 tartalmazza az Apache Spark 3.2.0-t. Ez a kiadás tartalmazza a Databricks Runtime 10.0 (EoS) összes Spark-javítását és fejlesztését, valamint a Spark következő további hibajavításait és fejlesztéseit:

  • [SPARK-37037] [SQL] A bájttömbök rendezésének javítása az UTF8String és a ByteArray egyesítésével
  • [SPARK-37091] [R] SystemRequirements to include Java < 18
  • [SPARK-37041] [SQL] Backport HIVE-15025: Secure-Socket-Layer (SSL) támogatás a HMS-hez
  • [SPARK-37098] [SQL] A tábla tulajdonságainak módosítása érvényteleníti a gyorsítótárat
  • [SPARK-36992] [SQL] A bájttömb rendezési perf javítása az UTF8String és a ByteArray getPrefix függvényének egységesítésével
  • [SPARK-37047] [SQL] Lpad- és rpad-függvények hozzáadása bináris sztringekhez
  • [SPARK-37076] [SQL] A StructType.toString explicit implementálása a Scala 2.13-hoz
  • [SPARK-37075] [SQL] UDAF-kifejezésépítés áthelyezése sql/katalizátorról sql/core-ra
  • [SPARK-37084] [SQL] A spark.sql.files.openCostInBytes beállítása bájtconf értékre
  • [SPARK-37088] [PYSPARK] [SQL] Az írószál nem férhet hozzá a bemenethez a feladat befejezése figyelőjének visszatérése után
  • [SPARK-37069] [SQL] Megfelelő tartalék, ha a Hive.getWithoutRegisterFns nem érhető el
  • [SPARK-37050] [PYTHON] A Conda telepítési utasításainak frissítése
  • [SPARK-37067] [SQL] A DatetimeUtils időzóna-sztringjének kezelése a ZoneId.of() használatával
  • [SPARK-35925] [SQL] DayTimeIntervalType támogatása a width-bucket függvényben
  • [SPARK-35926] [SQL] Támogatás hozzáadása YearMonthIntervalType width_bucket
  • [SPARK-35973] [SQL] Hozzáadás parancs SHOW CATALOGS
  • [SPARK-36922] [SQL] A SIGN/SIGNUM függvényeknek támogatniuk kell az ANSI-intervallumokat
  • [SPARK-37078] [CORE] Régi 3-paraméteres fogadókonstruktorok támogatása
  • [SPARK-37061] [SQL] CustomMetrics javítása belső osztályok használatakor
  • [SPARK-35918] [AVRO] A sémaeltérés kezelésének egységesítése olvasási/írási és javító hibaüzenetek esetén
  • [SPARK-36871] [SQL] CreateViewStatement áttelepítése v2-parancsra
  • [SPARK-36898] [SQL] Konfigurálhatóvá teheti az shuffle kivonat illesztés tényezőt
  • [SPARK-36921] [SQL] ANSI-intervallumok támogatása a következővel: DIV
  • [SPARK-36794] [SQL] A duplikált illesztési kulcsok figyelmen kívül hagyása a SEMI/ANTI egyesítési kapcsolat létrehozásakor
  • [SPARK-36867] [SQL] A GROUP BY aliast tartalmazó hibaüzenet javítása
  • [SPARK-36914] [SQL] DropIndex és listIndexes implementálása a JDBC-ben (MySQL-dialektus)
  • [SPARK-35531] [SQL] Közvetlenül adja át a HiveClientnek a HiveClientnek a getPartitions hívásakor, hogy elkerülje a HiveTable-ból való szükségtelen átalakítást –> CatalogTable – HiveTable>
  • [SPARK-36718] [SQL] Csak akkor csukja össze a projekteket, ha nem duplikáljuk a drága kifejezéseket
  • [SPARK-37046] [SQL]: Az alter view nem őrzi meg az oszlopos esetet
  • [SPARK-36978] [SQL] Az InferConstraints-szabálynak a gyökér beágyazott típusa helyett isNotNull-kényszereket kell létrehoznia a megnyitott beágyazott mezőre
  • [SPARK-37052] [CORE] A Spark csak akkor adjon át részletes argumentumot a főosztálynak, ha az SQL Shell
  • [SPARK-37017] [SQL] A szinkronizált hatókör csökkentése a lehetséges holtpont elkerülése érdekében
  • [SPARK-37032] [SQL] Hibás SQL-szintaxis hivatkozásának javítása az SQL referenciaoldalán
  • [SPARK-36905] [SQL] A hive-nézetek olvasásának javítása explicit oszlopnevek nélkül
  • [SPARK-36678] A SHOW TABLES áttelepítése a V2 parancs alapértelmezés szerint való használatához
  • [SPARK-36943] [SQL] A hiányzó oszlophibák olvashatóságának javítása
  • [SPARK-36980] [SQL] Támogatási lekérdezés beszúrása a CTE-vel
  • [SPARK-37001] [SQL] Két szint leképezésének letiltása a végleges kivonatok összesítéséhez alapértelmezés szerint
  • [SPARK-36970] [SQL] A funkció manuális letiltott formátuma B date_format a Java 17-nek a Java 8-nal való kompatibilitásának érdekében
  • [SPARK-36546] [SQL] Tömbtámogatás hozzáadása az egyesítőhöz név szerint
  • [SPARK-36979] [SQL] RewriteLateralSubquery szabály hozzáadása a nemExcludableRules elemhez
  • [SPARK-36949] [SQL] Hive-szolgáltató tábláinak letiltása ANSI-intervallumokkal
  • [SPARK-36849] [SQL] A UseStatement migrálása v2-parancs keretrendszerbe
  • [SPARK-36868] [SQL] CreateFunctionStatement migrálása v2-parancs keretrendszerbe
  • [SPARK-36841] [SQL] Ansi szintaxis set catalog xxx hozzáadása az aktuális katalógus módosításához
  • [SPARK-36821] [SQL] ColumnarBatch osztály bővíthetővé tétele – kiegészítés
  • [SPARK-36963] [SQL] Max_by/min_by hozzáadása az sql.functionshez
  • [SPARK-36913] [SQL] CreateIndex és IndexExists implementálása a DS V2 JDBC-ben (MySQL-dialektus)
  • [SPARK-36848] [SQL] ShowCurrentNamespaceStatement migrálása a v2-parancs keretrendszerbe
  • [SPARK-36526] [SQL] DSV2 indextámogatás: SupportIndex-felület hozzáadása
  • [SPARK-36960] [SQL] Leküldéses szűrők ANSI-intervallumértékekkel az ORC-be
  • [SPARK-36929] [SQL] Remove Unused Method EliminateSubqueryAliasesSuite#assertEquivalent
  • [SPARK-36931] [SQL] ANSI-intervallumok olvasásának és írásának támogatása ORC-adatforrásokból és -adatforrásokból
  • [SPARK-34980] [SQL] A coalesce partíció támogatása az AQE-ben való unión keresztül
  • [SPARK-36809] [SQL] A DPP-ben használt InSubqueryExec szórásának eltávolítása
  • [SPARK-36813] [SQL] [PYTHON] Csatlakozás és imlement ps.merge_asof infrastruktúrájának felajánlása
  • [SPARK-36918] [SQL] A típusok figyelmen kívül hagyása az unionByName szerkezeteinek összehasonlításakor
  • [SPARK-36891] [SQL] A SpecificParquetRecordReaderBase újrabontása és további lefedettség hozzáadása a vektoros Parquet-dekódoláshoz
  • [SPARK-36920] [SQL] ANSI-intervallumok támogatása a következővel: ABS()
  • [SPARK-36888] [SQL] tesztesetek hozzáadása sha2-függvényhez
  • [SPARK-36889] [SQL] Tisztelet spark.sql.parquet.filterPushdown a v2 parquet scan builder által
  • [SPARK-36830] [SQL] ANSI-intervallumok olvasásának és írásának támogatása JSON-adatforrásokból és -adatforrásokból
  • [SPARK-36870] [SQL] INTERNAL_ERROR hibaosztály bemutatása
  • [SPARK-36831] [SQL] Támogatja az ANSI-intervallumok olvasását és írását a CSV-adatforrások között.
  • [SPARK-36550] [SQL] Propagálási ok, ha az UDF-tükröződés meghiúsul
  • [SPARK-36866] [SQL] Leküldéses szűrők ANSI-intervallumértékekkel a parquethez
  • [SPARK-33832] [SQL] Az illesztési kód egyszerűsítésének és fejlesztésének kényszerítése
  • [SPARK-36642] [SQL] df.withMetadata pyspark API hozzáadása
  • [SPARK-35765] [SQL] A különböző aggreditációk nem duplikálják a bizalmas elemeket
  • [SPARK-36825] [SQL] Adatkeretek olvasása/írása ANSI-időközökkel a fájlokból/fájlokból a parquet fájlokba
  • [SPARK-36829] [SQL] A collectionOperators null értékű ellenőrzésének újrabontása
  • [SPARK-32712] [SQL] Hive-gyűjtős tábla írásának támogatása (Hive-fájlformátumok Hive-kivonattal)
  • [SPARK-36797] [SQL] Az Uniónak felső szintű oszlopként kell feloldania a beágyazott oszlopokat
  • [SPARK-36838] [SQL] Az InSet által létrehozott kód teljesítményének javítása
  • [SPARK-36683] [SQL] Új beépített SQL-függvények hozzáadása: SEC és CSC
  • [SPARK-36721] [SQL] Logikai egyenlőség egyszerűsítése, ha az egyik oldal literál
  • [SPARK-36760] [SQL] Adapter hozzáadása SupportsPushDownV2Filters
  • [SPARK-36652] [SQL] Az AQE dinamikus illesztés kiválasztása nem vonatkozik a nem egyenlő illesztésre
  • [SPARK-36745] [SQL] A ExtractEquiJoinKeys az illesztőkulcsok eredeti predikátumait adja vissza
  • [SPARK-36107] [SQL] 20 lekérdezésvégrehajtási hiba első halmazának újrabontása hibaosztályok használatához
  • [SPARK-32709] [SQL] Hive-gyűjtős tábla írásának támogatása (Parquet/ORC formátum Hive kivonattal)
  • [SPARK-36735] [SQL] A gyorsítótárazott reláció többletterhelésének módosítása a DPP-hez
  • [SPARK-33832] [SQL] A ferde illesztés optimalizálása akkor is támogatott, ha extra shuffle-t vezet be
  • [SPARK-36822] [SQL] A BroadcastNestedLoopJoinExec a nem egyenlő feltétel helyett az összes feltételt használja
  • [SPARK-35221] [SQL] A támogatott illesztések ellenőrzésére vonatkozó tippek hozzáadása
  • [SPARK-36814] [SQL] A ColumnarBatch osztály bővíthetővé tétele
  • [SPARK-36663] [SQL] Csak számozott oszlopnevek támogatása ORC-adatforrásokban
  • [SPARK-36751] [SQL] [PYTHON] [R] Bit/octet_length API-k hozzáadása a Scalához, a Pythonhoz és az R-hez
  • [SPARK-36733] [SQL] A SchemaPruning perf hibájának kijavítása, ha egy struktúra több mezővel rendelkezik
  • [SPARK-36724] [SQL] A SessionWindow időoszlopaként timestamp_ntz támogatása
  • [SPARK-36556] [SQL] DSV2-szűrők hozzáadása
  • [SPARK-36687] [SQL] [CORE] Hibaosztályok átnevezése _ERROR utótaggal
  • [SPARK-35803] [SQL] A DataSource V2 CreateTempViewUsing támogatása
  • [SPARK-36642] [SQL] df.withMetadata hozzáadása: szintaxisos suger egy adatkeret metaadatainak frissítéséhez

Karbantartási frissítések

Lásd a Databricks Runtime 10.1 karbantartási frissítéseit.

Rendszerkörnyezet

  • Operációs rendszer: Ubuntu 20.04.3 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.1
  • Delta Lake: 1.0.0

Telepített Python-kódtárak

Könyvtár Verzió Könyvtár Verzió Könyvtár Verzió
Antergos Linux 2015.10 (ISO-rolling) appdirs 1.4.4 argon2-cffi 20.1.0
aszinkron generátor 1.10 attrs 20.3.0 backcall 0.2.0
fehérítő 3.3.0 boto3 1.16.7 botocore 1.19.7
minősítés 2020.12.5 cffi 1.14.5 karakterkészlet 4.0.0
biciklista 0.10.0 Cython 0.29.23 dbus-python 1.2.16
lakberendező 5.0.6 defusedxml 0.7.1 distlib 0.3.3
distro-info 0,23ubuntu1 belépési pontok 0.3 aspektusok áttekintése 1.0.0
filelock 3.3.1 idna 2.10 ipykernel 5.3.4
ipython 7.22.0 ipython-genutils 0.2.0 ipywidgets 7.6.3
jedi 0.17.2 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.0.1 jsonschema 3.2.0 jupyter-client 6.1.12
jupyter-core 4.7.1 jupyterlab-pygments 0.1.2 jupyterlab-widgetek 1.0.0
kiwisolver 1.3.1 Koalák 1.8.2 MarkupSafe 2.0.1
matplotlib 3.4.2 mistune 0.8.4 nbclient 0.5.3
nbconvert 6.0.7 nbformat 5.1.3 nest-asyncio 1.5.1
jegyzetfüzet 6.3.0 numpy 1.19.2 csomagolás 20.9
pandas 1.2.4 pandocfilters 1.4.3 parso 0.7.0
Patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
Párna 8.2.0 mag 21.0.1 ábrázolás 5.3.0
prometheus-client 0.10.1 prompt-toolkit 3.0.17 protobuf 3.17.2
psycopg2 2.8.5 ptyprocess 0.7.0 pyarrow 4.0.0
pycparser 2,20 Pygments 2.8.1 PyGObject 3.36.0
pyparsing 2.4.7 pyrsistent 0.17.3 python-apt 2.0.0+ubuntu0.20.4.6
python-dateutil 2.8.1 pytz 2020.5 pyzmq 20.0.0
kérelmek 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 tengeri 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 Hat 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 Kitartás 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornádó 6.1 árulók 5.0.5 felügyelet nélküli frissítések 0,1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 kerék 0.36.2 widgetsnbextension 3.5.1

Telepített R-kódtárak

Az R-kódtárak a Microsoft CRAN 2021-10-26-os pillanatképéből vannak telepítve.

Könyvtár Verzió Könyvtár Verzió Könyvtár Verzió
askpass 1,1 assertthat 0.2.1 backports 1.2.1
alap 4.1.1 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 indítás 1.3-28
főz 1.0-6 Brio 1.1.2 seprű 0.7.9
bslib 0.3.1 gyorsítótár 1.0.6 hívó 3.7.0
kalap 6.0-90 cellranger 1.1.0 chron 2.3-56
osztály 7.3-19 Cli 3.0.1 clipr 0.7.1
fürt 2.1.2 kódtoolok 0.2-18 színtér 2.0-2
commonmark 1,7 fordítóprogram 4.1.1 config 0.3.1
cpp11 0.4.0 zsírkréta 1.4.1 hitelesítő adatok 1.3.1
csavarodik 4.3.2 data.table 1.14.2 adatkészletek 4.1.1
DBI 1.1.1 dbplyr 2.1.1 Desc 1.4.0
devtools 2.4.2 diffobj 0.3.5 emészt 0.6.28
dplyr 1.0.7 dtplyr 1.1.0 e1071 1.7-9
három pont 0.3.2 evaluate 0,14 fani 0.5.0
farver 2.1.0 gyorstérkép 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.1 külföldi 0.8-81
kovácsol 0.2.0 Fs 1.5.0 jövő 1.22.1
future.apply 1.8.1 gargarizál 1.2.0 Generikus 0.1.1
Gert 1.4.1 ggplot2 3.3.5 Gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-2 globális 0.14.0
ragasztó 1.4.2 googledrive 2.0.0 googlesheets4 1.0.0
Gower 0.2.2 grafika 4.1.1 grDevices 4.1.1
rács 4.1.1 gridExtra 2.3 gsubfn 0,7
gtable 0.3.0 kikötő 2.4.3 highr 0,9
Hms 1.1.1 htmltoolok 0.5.2 htmlwidgets 1.5.4
httpuv 1.6.3 httr 1.4.2 hwriter 1.3.2
hwriterPlus 1.0-3 Azonosítók 1.0.1 ini 0.3.1
ipred 0.9-12 izoband 0.2.5 iterátorok 1.0.13
jquerylib 0.1.4 jsonlite 1.7.2 KernSmooth 2.23-20
knitr 1.36 címkézés 0.4.2 később 1.3.0
rács 0.20-45 láva 1.6.10 életciklus 1.0.1
figyelő 0.8.0 lubridate 1.8.0 magrittr 2.0.1
markdown 1,1 TÖMEG 7.3-54 Mátrix 1.3-4
memoise 2.0.0 metódusok 4.1.1 mgcv 1.8-38
MIME 0,12 ModelMetrics 1.2.2.2 modellező 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-16
numDeriv 2016.8-1.1 openssl 1.4.5 parallel 4.1.1
párhuzamosan 1.28.1 pillér 1.6.4 pkgbuild 1.2.0
pkgconfig 2.0.3 pkgload 1.2.3 plogr 0.2.0
rétegelt 1.8.6 dicséret 1.0.0 prettyunits 1.1.1
Proc 1.18.0 processx 3.5.2 prodlim 2019.11.13
haladás 1.2.2 progressr 0.9.0 Ígér 1.2.0.1
Proto 1.0.0 helyettes 0.4-26 Ps 1.6.0
purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-2 Rcpp 1.0.7 olvasó 2.0.2
readxl 1.3.1 receptek 0.1.17 Visszavágót 1.0.1
visszavágó2 2.1.2 Távirányító 2.4.1 reprex 2.0.1
újraformázás2 1.4.4 rlang 0.4.12 rmarkdown 2,11
RODBC 1.3-19 roxygen2 7.1.2 rpart 4.1-15
rprojroot 2.0.2 Rserve 1.8-8 RSQLite 2.2.8
rstudioapi 0,13 rversions 2.1.1 rvest 1.0.2
Sass 0.4.0 mérleg 1.1.1 választó 0.4-2
sessioninfo 1.1.1 alak 1.4.6 Fényes 1.7.1
sourcetools 0.1.7 sparklyr 1.7.2 SparkR 3.2.0
térbeli 7.3-11 splines 4.1.1 sqldf 0.4-11
NÉGYZET 2021.1 statisztika 4.1.1 statisztikák4 4.1.1
stringi 1.7.5 sztring 1.4.0 túlélés 3.2-13
sys 3.4 tcltk 4.1.1 TeachingDemos 2.10
testthat 3.1.0 tibble 3.1.5 tidyr 1.1.4
tidyselect 1.1.1 tidyverse 1.3.1 timeDate 3043.102
tinytex 0.34 eszközök 4.1.1 tzdb 0.1.2
usethis 2.1.2 utf8 1.2.2 eszközök 4.1.1
uuid 0.1-4 vctrs 0.3.8 viridisLite 0.4.0
vroom 1.5.5 Waldo 0.3.1 bajusz 0,4
withr 2.4.2 xfun 0.27 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 yaml 2.2.1
fütyülés 2.2.0

Telepített Java- és Scala-kódtárak (Scala 2.12-fürtverzió)

Csoportazonosító Összetevő azonosítója Verzió
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics patak 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml osztálytárs 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.2
com.fasterxml.jackson.core jackson-core 2.12.2
com.fasterxml.jackson.core jackson-databind 2.12.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.2
com.fasterxml.jackson.module jackson-module-paranamer 2.12.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.2
com.github.ben-manes.koffein koffein 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natívok 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natívok 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Csellengő 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava gujávafa 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1,2
commons-codec commons-codec 1,15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-naplózás commons-naplózás 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 1.3.2
dev.ludovic.netlib Blas 1.3.2
dev.ludovic.netlib lapack 1.3.2
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.19
io.delta delta-sharing-spark_2.12 0.2.0
io.dropwizard.metrics metrikamag 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.63.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx gyűjtő 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktiválás 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-fák hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow nyílformátum 2.0.0
org.apache.arrow nyíl-memóriamag 2.0.0
org.apache.arrow nyíl-memória-netty 2.0.0
org.apache.arrow nyíl-vektor 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1,20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator kurátor-ügyfél 2.13.0
org.apache.curator kurátor-keretrendszer 2.13.0
org.apache.curator kurátor-receptek 2.13.0
org.apache.derby keménykalap 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-inkubálás
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy borostyán 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.10
org.apache.orc orc-mapreduce 1.6.10
org.apache.orc orc-shims 1.6.10
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-kódolás 1.12.0-databricks-0003
org.apache.parquet parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus célközönség-széljegyzetek 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-juta 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.40.v20210413
org.eclipse.jetty móló-folytatás 9.4.40.v20210413
org.eclipse.jetty jetty-http 9.4.40.v20210413
org.eclipse.jetty jetty-io 9.4.40.v20210413
org.eclipse.jetty jetty-jndi 9.4.40.v20210413
org.eclipse.jetty móló plusz 9.4.40.v20210413
org.eclipse.jetty jetty-proxy 9.4.40.v20210413
org.eclipse.jetty jetty-security 9.4.40.v20210413
org.eclipse.jetty jetty-server 9.4.40.v20210413
org.eclipse.jetty jetty-servlet 9.4.40.v20210413
org.eclipse.jetty jetty-servlets 9.4.40.v20210413
org.eclipse.jetty jetty-util 9.4.40.v20210413
org.eclipse.jetty jetty-util-ajax 9.4.40.v20210413
org.eclipse.jetty jetty-webapp 9.4.40.v20210413
org.eclipse.jetty jetty-xml 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-api 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-client 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-common 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-server 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-servlet 9.4.40.v20210413
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-lokátor 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2,34
org.glassfish.jersey.containers jersey-container-servlet-core 2,34
org.glassfish.jersey.core jersey-client 2,34
org.glassfish.jersey.core jersey-common 2,34
org.glassfish.jersey.core jersey-server 2,34
org.glassfish.jersey.inject jersey-hk2 2,34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Végleges
org.jdbi jdbi 2.63.1
org.jetbrains Széljegyzetek 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Alátéteket 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt teszt-interfész 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark Használatlan 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework rugós teszt 4.1.4.RELEASE
org.threeten három-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel makró-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1