Megosztás a következőn keresztül:

Databricks Runtime 10.0 (nem támogatott)

  • Cikk

Az alábbi kibocsátási megjegyzések az Apache Spark 3.2.0 által működtetett Databricks Runtime 10.0-s és Databricks Runtime 10.0 Photon-ről nyújtanak információkat. A Databricks 2021 októberében adta ki ezeket a képeket. A Photon nyilvános előzetes verzióban érhető el.

Új funkciók és fejlesztések

Az Apache Spark új verziója

A Databricks Runtime 10.0 és a Databricks Runtime 10.0 Photon tartalmazza az Apache Spark 3.2.0-t. További részletekért lásd az Apache Sparkot.

Standard kiadás LECT utasítás mostantól támogatja a QUALIFY záradékot az ablakfüggvények eredményeinek szűréséhez

Az SELECT utasítás most már támogatja a záradékot QUALIFY . QUALIFY az ablakfüggvények eredményeinek szűrésére használható. Egy vagy több ablakfüggvénynek szerepelnie kell a SELECT listában vagy a feltételben QUALIFY . Példa:

SELECT * FROM t QUALIFY SUM(c2) OVER (PARTITION BY c1) > 0;

A JDK 11 fürttámogatása (nyilvános előzetes verzió)

A Databricks mostantól fürttámogatást biztosít a Java Development Kit (JDK) 11-hez.

Fürt létrehozásakor megadhatja, hogy a fürt JDK 11-et használjon (az illesztőprogramhoz és a végrehajtóhoz egyaránt). Ehhez adja hozzá a következő környezeti változót az Advanced Options Spark környezeti változóihoz:>>

JNAME=zulu11-ca-amd64

Az Automatikus betöltő mostantól null értékűként kezeli a sémákat

Az Automatikus betöltő mostantól alapértelmezés szerint null értékűként kezeli az összes következtetett és felhasználó által biztosított sémát. Ennek célja, hogy elkerülje az adatsérülést olyan esetekben, amikor az adatok null mezőket tartalmaznak a nem null értékű oszlopokhoz. Ennek a viselkedésnek a nyomon követésére új konfiguráció jelenik meg. spark.databricks.cloudFiles.schema.forceNullable Ez a konfiguráció alapértelmezés szerint azt a beállítást spark.sql.streaming.fileSource.schema.forceNullabletartalmazza, amelyet az Apache Spark FileStreamSource használ, és alapértelmezés szerint be van állítva true .

Kompatibilitástörő változások

Kompatibilitástörő változások az összes Spark SQL-felhasználónál

  • Új spark.databricks.behaviorChange.SC78546CorrelatedPredicate.enabled konfiguráció: ha be van trueállítva, lehetővé teszi a korrelált egyenlőségi predikátumok egy részhalmazát, amikor egy alqueryt összesít. Az alapértelmezett beállítás: true.
  • Új spark.databricks.behaviorChange.SC82201BlockAutoAlias.enabled konfiguráció: ha be van állítva, letiltja az truealiasok automatikus létrehozását a nézetek létrehozásakor. Az alapértelmezett beállítás: true.
  • Új spark.databricks.behaviorChange.SC81078CTASWithLocation.enabled konfiguráció: ha be van trueállítva, letiltja CREATE TABLE AS SELECT a nem üres helyet. Az alapértelmezett beállítás: true. Vegye figyelembe, hogy ha spark.sql.legacy.allowNonEmptyLocationInCTAS a beállítás is be van állítva true, a konfigurációnak nincs hatása, és CREATE TABLE AS SELECT a nem üres hely mindig engedélyezett.

Az ANSI-módot engedélyező Spark SQL-felhasználók kompatibilitástörő változásai

Az ANSI-móddal kapcsolatos információkért lásd a Databricks Runtime ANSI-megfelelőségét.

  • Új spark.databricks.behaviorChange.SC83587NextDayDOW.enabled konfiguráció: ha be van trueállítva, a next_day függvény érvénytelen dayOfWeek argumentuma IllegalArgumentException ANSI módban ad eredményül, ellenkező esetben a függvény eredményenull. Az alapértelmezett beállítás: true.
  • Új spark.databricks.behaviorChange.SC83796CanCast.enabled konfiguráció: ha be van állítva, engedélyezi az trueúj explicit öntött szintaxis szabályait ANSI módban. Az alapértelmezett beállítás: true.
  • Új spark.databricks.behaviorChange.SC79099CastStringToBoolean.enabled konfiguráció: ha be van trueállítva, egy elemzési hibakivétel jelenik meg, amikor egy sztringet logikai értékre ad, ellenkező esetben a függvény ad vissza egy kivételt null. Az alapértelmezett beállítás: true.
  • Új spark.databricks.behaviorChange.SC79064AbsOutsideRange.enabled konfiguráció: ha be van trueállítva, a abs függvény kivételt jelez, ha a bemenet túllépi a tartományt. Az alapértelmezett beállítás: true.

Kompatibilitástörő változások minden Python-felhasználónál

  • A Python API delta.tables.DeltaTable.convertToDelta most a megfelelő DeltaTable Python-objektumot adja vissza, amely a Delta Lake-parancsok futtatására használható. Korábban egy belső objektumot adott vissza, amelyet nem lehetett közvetlenül meghívni.

Könyvtárfrissítések

Apache Hadoop 3 frissítése

  • A Databricks Runtime 10.0 a Hadoop-függőséget a Hadoop 2.7.4-ről a Hadoop 3.3.1-re frissíti.

Viselkedésbeli változások

  • A Hadoop 3 a hadoop-client-api és a hadoop-client-runtime kódtárakat használja a hadoop-common kódtár helyett, amely árnyékolja a Hadoop nyilvános API-kban vagy bővítményekben esetleg használható bizonyos külső függőségeket.
  • A Hadoop 3 konfigurációs beállításai megváltoztak a Hadoop 2 óta. A Hadoop 3.3.1 beállításaiért lásd a core-default.xml.
  • A Databricks frissített néhány alapértelmezett konfigurációt, hogy a Hadoop 3 konzisztens legyen a Hadoop 2-vel, hogy a tároló-összekötők azonos alapértelmezett hitelesítési beállításokkal és teljesítményszintekkel rendelkezzenek:
    • fs.azure.authorization.caching.enable = false
    • fs.s3a.attempts.maximum = 10
    • fs.s3a.block.size = 67108864
    • fs.s3a.connection.timeout = 50000
    • fs.s3a.max.total.tasks = 1000
    • fs.s3a.retry.limit = 20
    • fs.s3a.retry.throttle.interval = 500ms
    • fs.s3a.assumed.role.credentials.provider = com.amazonaws.auth.InstanceProfileCredentialsProvider
    • fs.s3a.aws.credentials.provider = BasicAWSCredentialsProvider, DatabricksInstanceProfileCredentialsProvider, EnvironmentVariableCredentialsProvider, AnonymousAWSCredentialsProvider
  • A Google Cloud Storage (GCS) összekötő 2.1.6-ról 2.2.2-re frissült.
  • Az Amazon Redshift-összekötő most már a sémát s3a:// használja. A s3n:// séma elavult.
  • Kezeli az Amazon S3 MetadataStore API OSS-osztályneveit az árnyékolt osztályok mellett. Ez lehetővé teszi az OSS-konfigurációk feldolgozását az árnyékolt osztálynevek megkövetelése nélkül.
    • Megadhatja például az osztályt org.apache.hadoop.fs.s3a.s3guard.NullMetadataStore a Hadoop-konfigurációban.
  • Teszi a new Configuration() és sparkContext.hadoopConfiguration konzisztens.
    • Most már minden alkalommal, amikor új Hadoop-konfigurációt hoz létre, az konzisztens lesz a Databricks-futtatókörnyezet előre sparkContext.hadoopConfiguration definiált Hadoop-konfigurációjával, beleértve a fájlrendszersémákat és azok alapértelmezett konfigurációját.
  • Bár a Databricks Runtime-ban található Hadoop-tároló-összekötők teljes mértékben kompatibilisek a Hadoop 3.3.1-zel, nem garantált, hogy szinkronban vannak az OSS Hadoop 3.3.1-összekötőkkel, és eltérő viselkedésük lehet.
    • Az Amazon S3-összekötő továbbra is engedélyezi (bár figyelmeztetéssel) a felhasználó:titkos hitelesítést az S3 URL-címeken, szemben a HADOOP-14833-tal , amely eltávolítja.
  • A globStatus mostantól mindig rendezett eredményeket ad vissza (HADOOP-10798)
  • Hozzáadva az fs.s3a.endpoint, ha a unset és az fs.s3a.endpoint régió null (SPARK-35878)
    • Előfordulhat, hogy a Databricks által biztosított Amazon S3 régió automatikus feloldása bizonyos esetekben nem aktiválódik a globális végpont beállítása miatt. Ez nem probléma, mivel az AWS SDK helyesen oldja meg a régiót.
  • Adja hozzá az fs.s3a.downgrade.syncable.exceptions értéket, ha nincs beállítva (SPARK-35868)
  • Az LZ4 és a Snappy-kodekek nem támaszkodnak a natív Hadoop-kódtárra (HADOOP-17125)

Ismert problémák

  • SPARK-36681 A SnappyCodec használata a szekvenciafájl írásához sikertelen lesz a Hadoop 3.3.1(HADOOP-17891) ismert hibája miatt.

Apache Spark

A Databricks Runtime 10.0 tartalmazza az Apache Spark 3.2.0-t.

Ebben a szakaszban:

Legfontosabb tudnivalók

Core és Spark SQL

ANSI SQL-kompatibilitási fejlesztések

  • ANSI SQL INTERVAL-típusok támogatása (SPARK-27790)
  • Új típusú kényszerítő szintaxisszabályok ANSI módban (SPARK-34246)

Teljesítménybeli fejlesztések

  • Lekérdezésoptimalizálás
    • Redundáns aggregátumok eltávolítása az Optimalizálóban (SPARK-33122)
    • Leküldési korlát a Projecten keresztül csatlakozással (SPARK-34622)
    • Az egyesítő, rendezési és tartomány operátorának számosságbecslése (SPARK-33411)
    • UnwrapCastInBinaryComparison support In/InSet predicate (SPARK-35316)
    • A partíció metszése után tartsa meg a szükséges statisztikákat (SPARK-34119)
  • Lekérdezés végrehajtása
    • A Zstandard pufferkészlet engedélyezése alapértelmezés szerint (SPARK-34340, SPARK-34390)
    • Kód-gen hozzáadása a rendezési egyesítés összes típusához (SPARK-34705)
    • Beágyazott hurkok szórásának javítása (SPARK-34706)
    • A kivonattérképek két szintjének támogatása a végleges kivonatok összesítéséhez (SPARK-35141)
    • Egyidejű írók engedélyezése dinamikus partíciók és gyűjtőtáblák írásához (SPARK-26164)
    • A FETCH_PRIOR feldolgozásának teljesítményének javítása a Thriftserverben (SPARK-33655)

Csatlakozás or fejlesztései

  • Parketta
    • Parquet frissítése 1.12.1-re (SPARK-36726)
    • A parquetben int32 fizikai típusként tárolt nem aláírt parquettípusok olvasása (SPARK-34817)
    • Read Parquet unsigned int64 logical type that stored as signed int64 physical type to decimal(20, 0)(SPARK-34786)
    • Parquet fejlesztése a szűrőleküldésben (SPARK-32792)
  • ORK
    • Az ORC frissítése az 1.6.11-es verzióra (SPARK-36482)
    • Az ORC kényszerített pozíciófejlődésének támogatása (SPARK-32864)
    • Beágyazott oszlop támogatása ORC vektoros olvasóban (SPARK-34862)
    • ZSTD- és LZ4-tömörítés támogatása ORC-adatforrásban (SPARK-33978, SPARK-35612)
  • Avro
    • Az Avro frissítése az 1.10.2-es verzióra (SPARK-34778)
    • Az Avro sémafejlődésének támogatása particionált Hive-táblákhoz az "avro.schema.literal" használatával (SPARK-26836)
    • Új Avro-adatforrás-beállítások hozzáadása az olvasási dátum/idő újrakezdés szabályozásához (SPARK-34404)
    • A felhasználó által megadott séma URL-címének támogatása az Avro-ban (SPARK-34416)
    • Támogatás hozzáadása a helyzeti Catalyst-to-Avro sémaegyezéshez (SPARK-34365)
  • JSON
    • Jackson frissítése a 2.12.3-ra (SPARK-35550)
    • A Json-adatforrások nem ascii karaktereket írhatnak kódpontokként (SPARK-35047)
  • JDBC
    • Pontosabb partíciós lépték kiszámítása a JDBCRelation(SPARK-34843) alkalmazásban
  • A Hive Metastore támogatási szűrője nincs beadva (SPARK-34538)

Funkciók fejlesztései

  • Allekérdezés
    • Korrelált al lekérdezések javítása (SPARK-35553)
  • Új beépített függvények
  • Alapértelmezés szerint az Apache Hadoop 3.3.1 használata (SPARK-29250)
  • Ellenőrzőösszeg hozzáadása shuffle blokkokhoz (SPARK-35275)
  • Alapértelmezés szerint engedélyezze a spark.storage.replication.proaktív beállítást (SPARK-33870)
  • Tartalék tárterület karbantartása a SparkContext (SPARK-34142) leállítása során
  • Java-számokat támogat a Scala Dataset API-ból (SPARK-23862)
  • Az ADD JAR borostyán koordinátákkal kompatibilisnek kell lennie a Hive tranzitív viselkedésével (SPARK-34506)
  • Az ADD ARCHIVE és a LIST ARCHIVES parancs (SPARK-34603) támogatása
  • Több elérési út támogatása a FILE/JAR/ARCHIVE parancsok hozzáadásához (SPARK-35105)
  • Fájlok archiválása erőforrásokként a CREATE FÜGGVÉNYHEZ szintaxis használatával (SPARK-35236)
  • SparkSessionExtensions betöltése a ServiceLoaderből (SPARK-35380)
  • Mondatfüggvények hozzáadása a függvényekhez. {scala,py} (SPARK-35418)
  • Spark.sql.hive.metastorePartitionPruning alkalmazása nem Hive-táblákra, amelyek Hive metaadattárat használnak partíciókezeléshez (SPARK-36128)
  • Exec loss okának propagálása webes felhasználói felületre (SPARK-34764)
  • Kerülje a nem determinisztikus ctes (SPARK-36447)
  • Támogatás egy adott adatbázis összes táblája elemzéséhez (SPARK-33687)
  • Kivételüzenetek szabványosítása a Sparkban (SPARK-33539)
  • Támogatás (IGNORE | RESPECT) NULL ÉRTÉK AZ LEAD/LAG/NTH_VALUE/FIRST_VALUE/LAST_VALUE (SPARK-30789) esetében

Egyéb jelentős változások

  • Monitor
    • Az ExternalShuffleService (SPARK-35258) új metrikái
    • Új fázisszintű REST API-k és paraméterek hozzáadása (SPARK-26399)
    • Feladat- és végrehajtói metrikák disztribúcióinak metrikáinak terjesztése a REST API-ban (SPARK-34488)
    • Tartalék metrikák hozzáadása kivonat-összesítéshez (SPARK-35529)
  • Count_distinct hozzáadása az Adatkészlet#összegzés (SPARK-34165) elemhez
  • ScriptTransform implementálása sql/core-ban (SPARK-31936)
  • A BlockManagerMaster illesztőprogram szívverési időtúllépésének konfigurálása (SPARK-34278)
  • Konfigurálhatóvá teheti az shuffle szolgáltatás nevét az ügyféloldalon, és engedélyezheti a kiszolgálóoldali classpath-alapú konfiguráció felülbírálását (SPARK-34828)
  • A ExecutorMetricsPollernek a stageTCMP-ben kell tartania a szakaszbejegyzést, amíg szívverés nem történik (SPARK-34779)
  • Cserélje le a szűrő záradékot a RewriteDistinctAggregates(SPARK-34882)
  • Hiba kijavítása a CostBasedJoinReorder öncsatlakozáskor történő alkalmazásakor (SPARK-34354)
  • A CREATE TABLE LIKE-nak tiszteletben kell tartania a fenntartott tábla tulajdonságait (SPARK-34935)
  • Borostyán Gépház fájl küldése az illesztőhöz YARN-fürt módban (SPARK-34472)
  • Duplikált gyakori oszlopok feloldása a USING/NATURAL JOIN(SPARK-34527) szolgáltatásból
  • Belső nézettulajdonságok elrejtése a táblázat parancsmagjának leírásához (SPARK-35318)
  • Támogatás az elosztott/fürtalapú/újraparticionálási tipp (SPARK-35331) hiányzó attr-einek feloldásához
  • Hagyja figyelmen kívül a hibát a FileStreamSink.hasMetadata(SPARK-34526) elérési út ellenőrzésekor
  • Az s3a magic committer támogatásának javítása hiányzó konfigurációk (SPARK-35383) következtetésével
  • Kihagyás engedélyezése: a STRUCT típusú sztringben (SPARK-35706)
  • Adjon hozzá egy új operátort, amely megkülönbözteti, hogy az AQE képes-e biztonságosan optimalizálni (SPARK-35786)
  • Új beágyazott struktúramezők hozzáfűzése a null kitöltésű unionByName rendezése helyett (SPARK-35290)
  • A ArraysZip-nek meg kell őriznie a mezőneveket, hogy az elemző/optimalizáló ne írja újra (SPARK-35876)
  • A NullType (SPARK-36224) típusneveként használja a Void függvényt
  • Új API bevezetése a FileCommitProtocol rugalmas fájlelnevezésének engedélyezéséhez (SPARK-33298)

Viselkedésváltozások

Tekintse meg az egyes összetevők migrálási útmutatóját: Spark Core.

Strukturált streamelés

Főbb funkciók

  • EventTime-alapú munkamenet-szervezés (munkamenet-ablak)(SPARK-10816)
  • Kafka-ügyfél frissítése 2.8.0-ra (SPARK-33913)
  • Trigger.AvailableNow streamlekérdezések futtatásához, például Trigger.Once in multiple batches in Scala (SPARK-36533)

Egyéb jelentős változások

  • Új beállítás bevezetése a Kafka-forrásban az eseményindítónként beolvasott rekordok minimális számának megadásához (SPARK-35312)
  • A legújabb eltolások hozzáadása a forrásállapothoz (SPARK-33955)

PySpark

Project Zen

  • Pandas API a Sparkon (SPARK-34849)
  • a Python-feldolgozó összeomlott támogatása (SPARK-36062)
  • Kígyóelnevezési szabály használata a függvény API-kkal (SPARK-34306)
  • A spark.sql.execution.pyspark.udf.egyszerűsítettTraceback.enabled alapértelmezés szerint engedélyezve (SPARK-35419)
  • Beágyazott diktálás strukturáltként való következtetésének támogatása DataFrame létrehozásakor (SPARK-35929)

Egyéb jelentős változások

  • Rögzített szál mód engedélyezése alapértelmezés szerint (SPARK-35303)
  • NullType-támogatás hozzáadása nyílvégrehajtásokhoz (SPARK-33489)
  • Arrow self_destruct támogatás hozzáadása a ToPandashoz (SPARK-32953)
  • Szál célburkoló API hozzáadása pyspark pin thread módhoz (SPARK-35498)

Viselkedésváltozások

Tekintse meg a migrálási útmutatókat.

MLlib

Teljesítménynövelő fejlesztések

Modellbetanítás fejlesztései

  • Refactor Logistic Aggregator – a virtuális központozás támogatása (SPARK-34797)
  • Bináris logisztikai regresszió elfogástámogatási központosítással (SPARK-34858, SPARK-34448)
  • Többnomiális logisztikai regresszió elfogótámogatási központozással (SPARK-34860)

BLAS-fejlesztések

  • A teljes com.github.fommil.netlib cseréje dev.ludovic.netlib:2.0 (SPARK-35295)
  • Vektorizált BLAS-implementáció hozzáadása (SPARK-33882)
  • Gyorsítsa fel a tartalék BLAS-t a dev.ludovic.netlib(SPARK-35150) használatával

Egyéb jelentős változások

  • OVR-átalakítás a lehetséges oszlopütközések kijavítása (SPARK-34356)

Elavulások és eltávolítások

  • Deprecate spark.launcher.child Csatlakozás ionTimeout(SPARK-33717)
  • csoport elavulása ... STANDARD KIADÁS TS (...) csoportosítása és a CSOPORTOSÍTÁS előléptetése Standard kiadás TS (...) csoportosításával (SPARK-34932)
  • Ps.broadcast API (SPARK-35810) elavult
  • Az argumentum elavulása num_files (SPARK-35807)
  • Elavult DataFrame.to_spark_io (SPARK-35811)

Karbantartási frissítések

Lásd a Databricks Runtime 10.0 karbantartási frissítéseit.

Rendszerkörnyezet

  • Operációs rendszer: Ubuntu 20.04.3 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.1
  • Delta Lake: 1.0.0

Telepített Python-kódtárak

Könyvtár Verzió Könyvtár Verzió Könyvtár Verzió
Antergos Linux 2015.10 (ISO-rolling) appdirs 1.4.4 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 minősítés 2020.12.5
karakterkészlet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 Dekoratőr 5.0.6 distlib 0.3.3
distro-info 0,23ubuntu1 aspektusok áttekintése 1.0.0 filelock 3.0.12
idna 2.10 ipykernel 5.3.4 ipython 7.22.0
ipython-genutils 0.2.0 Jedi 0.17.2 jmespath 0.10.0
joblib 1.0.1 jupyter-client 6.1.12 jupyter-core 4.7.1
kiwisolver 1.3.1 Koalák 1.8.1 matplotlib 3.4.2
numpy 1.19.2 pandas 1.2.4 parso 0.7.0
Patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
Párna 8.2.0 Pip 21.0.1 ábrázolás 5.1.0
prompt-toolkit 3.0.17 protobuf 3.17.2 psycopg2 2.8.5
ptyprocess 0.7.0 pyarrow 4.0.0 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 python-apt 2.0.0+ubuntu0.20.4.6
python-dateutil 2.8.1 pytz 2020.5 pyzmq 20.0.0
kérelmek 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 tengeri 0.11.1
setuptools 52.0.0 Hat 1.15.0 ssh-import-id 5.10
statsmodels 0.12.2 Kitartás 8.0.1 threadpoolctl 2.1.0
Tornádó 6.1 árulók 5.0.5 felügyelet nélküli frissítések 0,1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
Kerék 0.36.2

Telepített R-kódtárak

Az R-kódtárak a Microsoft CRAN-pillanatképből vannak telepítve 2021.09.21-én.

Könyvtár Verzió Könyvtár Verzió Könyvtár Verzió
askpass 1,1 assertthat 0.2.1 Backports 1.2.1
alap 4.1.1 base64enc 0.1-3 Kicsit 4.0.4
bit64 4.0.5 blob 1.2.2 indítás 1.3-28
Sört 1.0-6 Brio 1.1.2 Seprű 0.7.9
bslib 0.3.0 gyorsítótár 1.0.6 hívó 3.7.0
Billentyűzettel 6.0-88 cellranger 1.1.0 chron 2.3-56
osztály 7.3-19 Cli 3.0.1 clipr 0.7.1
Fürt 2.1.2 kódtoolok 0.2-18 színtér 2.0-2
commonmark 1,7 Fordító 4.1.1 config 0.3.1
cpp11 0.3.1 Zsírkréta 1.4.1 hitelesítő adatok 1.3.1
Curl 4.3.2 data.table 1.14.0 adatkészletek 4.1.1
DBI 1.1.1 dbplyr 2.1.1 Desc 1.3.0
devtools 2.4.2 diffobj 0.3.4 Digest 0.6.27
dplyr 1.0.7 dtplyr 1.1.0 három pont 0.3.2
evaluate 0,14 fani 0.5.0 farver 2.1.0
gyorstérkép 1.1.0 forcats 0.5.1 foreach 1.5.1
Külföldi 0.8-81 Forge 0.2.0 Fs 1.5.0
Jövőben 1.22.1 future.apply 1.8.1 Gargarizál 1.2.0
Generikus 0.1.0 Gert 1.4.1 ggplot2 3.3.5
Gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-2
Globals 0.14.0 Ragasztó 1.4.2 googledrive 2.0.0
googlesheets4 1.0.0 Gower 0.2.2 grafika 4.1.1
grDevices 4.1.1 Rács 4.1.1 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 Haven 2.4.3
highr 0,9 Hms 1.1.0 htmltoolok 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.3 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 Azonosítók 1.0.1
Ini 0.3.1 ipred 0.9-12 izoband 0.2.5
iterátorok 1.0.13 jquerylib 0.1.4 jsonlite 1.7.2
KernSmooth 2.23-20 knitr 1.34 Címkézés 0.4.2
Később 1.3.0 Rács 0.20-44 Láva 1.6.10
életciklus 1.0.0 figyelő 0.8.0 lubridate 1.7.10
magrittr 2.0.1 markdown 1,1 MASS 7.3-54
Mátrix 1.3-4 memoise 2.0.0 metódusok 4.1.1
mgcv 1.8-37 Mime 0,11 ModelMetrics 1.2.2.2
modellező 0.1.8 munsell 0.5.0 nlme 3.1-152
nnet 7.3-16 numDeriv 2016.8-1.1 Openssl 1.4.5
parallel 4.1.1 párhuzamosan 1.28.1 Pillér 1.6.2
pkgbuild 1.2.0 pkgconfig 2.0.3 pkgload 1.2.2
plogr 0.2.0 rétegelt 1.8.6 Dicséret 1.0.0
prettyunits 1.1.1 Proc 1.18.0 processx 3.5.2
prodlim 2019.11.13 Haladás 1.2.2 progressr 0.8.0
Ígér 1.2.0.1 Proto 1.0.0 Ps 1.6.0
purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 rcmdcheck 1.3.3
RColorBrewer 1.1-2 Rcpp 1.0.7 olvasó 2.0.1
readxl 1.3.1 receptek 0.1.16 Visszavágót 1.0.1
visszavágó2 2.1.2 Távirányító 2.4.0 reprex 2.0.1
újraformázás2 1.4.4 rlang 0.4.11 rmarkdown 2,11
RODBC 1.3-19 roxygen2 7.1.2 rpart 4.1-15
rprojroot 2.0.2 Rserve 1.8-8 RSQLite 2.2.8
rstudioapi 0,13 rversions 2.1.1 rvest 1.0.1
Sass 0.4.0 Mérlegek 1.1.1 választó 0.4-2
sessioninfo 1.1.1 Alakzat 1.4.6 Fényes 1.6.0
sourcetools 0.1.7 sparklyr 1.7.2 SparkR 3.2.0
Térbeli 7.3-11 splines 4.1.1 sqldf 0.4-11
NÉGYZET 2021.1 Statisztika 4.1.1 statisztikák4 4.1.1
stringi 1.7.4 sztring 1.4.0 Túlélési 3.2-13
sys 3.4 tcltk 4.1.1 TeachingDemos 2.10
testthat 3.0.4 tibble 3.1.4 tidyr 1.1.3
tidyselect 1.1.1 tidyverse 1.3.1 timeDate 3043.102
tinytex 0.33 eszközök 4.1.1 tzdb 0.1.2
usethis 2.0.1 utf8 1.2.2 eszközök 4.1.1
uuid 0.1-4 vctrs 0.3.8 viridisLite 0.4.0
vroom 1.5.5 Waldo 0.3.1 bajusz 0,4
withr 2.4.2 xfun 0,26 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 Yaml 2.2.1
Zip 2.2.0

Telepített Java- és Scala-kódtárak (Scala 2.12-fürtverzió)

Csoportazonosító Összetevő azonosítója Verzió
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics Patak 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Osztálytárs 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.2
com.fasterxml.jackson.core jackson-core 2.12.2
com.fasterxml.jackson.core jackson-databind 2.12.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.2
com.fasterxml.jackson.module jackson-module-paranamer 2.12.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.2
com.github.ben-manes.koffein Koffein 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natívok 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natívok 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Csellengő 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava Guava 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEA Standard kiadás
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-cli commons-cli 1,2
commons-codec commons-codec 1,15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-naplózás commons-naplózás 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 1.3.2
dev.ludovic.netlib Blas 1.3.2
dev.ludovic.netlib lapack 1.3.2
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.19
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metrikamag 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.63.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Kollektor 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktiválás 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-fák hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow nyílformátum 2.0.0
org.apache.arrow nyíl-memóriamag 2.0.0
org.apache.arrow nyíl-memória-netty 2.0.0
org.apache.arrow nyíl-vektor 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1,20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator kurátor-ügyfél 2.13.0
org.apache.curator kurátor-keretrendszer 2.13.0
org.apache.curator kurátor-receptek 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-inkubálás
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy Ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.10
org.apache.orc orc-mapreduce 1.6.10
org.apache.orc orc-shims 1.6.10
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-kódolás 1.12.0-databricks-0003
org.apache.parquet parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus célközönség-széljegyzetek 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-juta 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.40.v20210413
org.eclipse.jetty móló-folytatás 9.4.40.v20210413
org.eclipse.jetty jetty-http 9.4.40.v20210413
org.eclipse.jetty jetty-io 9.4.40.v20210413
org.eclipse.jetty jetty-jndi 9.4.40.v20210413
org.eclipse.jetty móló plusz 9.4.40.v20210413
org.eclipse.jetty jetty-proxy 9.4.40.v20210413
org.eclipse.jetty jetty-security 9.4.40.v20210413
org.eclipse.jetty jetty-server 9.4.40.v20210413
org.eclipse.jetty jetty-servlet 9.4.40.v20210413
org.eclipse.jetty jetty-servlets 9.4.40.v20210413
org.eclipse.jetty jetty-util 9.4.40.v20210413
org.eclipse.jetty jetty-util-ajax 9.4.40.v20210413
org.eclipse.jetty jetty-webapp 9.4.40.v20210413
org.eclipse.jetty jetty-xml 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-api 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-client 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-common 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-server 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-servlet 9.4.40.v20210413
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-lokátor 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2,34
org.glassfish.jersey.containers jersey-container-servlet-core 2,34
org.glassfish.jersey.core jersey-client 2,34
org.glassfish.jersey.core jersey-common 2,34
org.glassfish.jersey.core jersey-server 2,34
org.glassfish.jersey.inject jersey-hk2 2,34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Végleges
org.jdbi jdbi 2.63.1
org.jetbrains Széljegyzetek 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Alátéteket 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt teszt-interfész 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1,0
org.scalanlp breeze_2.12 1,0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark Használatlan 1.0.0
org.springframework spring-core 4.1.4.RELEA Standard kiadás
org.springframework rugós teszt 4.1.4.RELEA Standard kiadás
org.threeten három-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel makró-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1