Megosztás a következőn keresztül:


Databricks Runtime 10.3 (nem támogatott)

A következő kibocsátási megjegyzések az Apache Spark 3.2.1 által működtetett Databricks Runtime 10.3-ról és a Databricks Runtime 10.3 Photon-ről nyújtanak információkat. A Photon nyilvános előzetes verzióban érhető el. A Databricks 2022 februárjában adta ki ezeket a képeket.

Új funkciók és fejlesztések

A parquet- és Avro-írók most már a munkamenet időzónáit használják a Parquet-adatforrásokban lévő időbélyegek újbóli használatakor

A parquet- és Avro-írók most a munkamenet időzónáját használják, míg az időbélyeg az legacy alapértelmezett JVM időzóna helyett módban van. A munkamenet időzónája alapértelmezés szerint a JVM időzónára van állítva.

Új függvények a Spark SQL-ben

Ebben a kiadásban a következő Spark SQL-függvények támogatottak:

  • aes_decrypt: visszafejti a bemenetet az AES használatával.
  • aes_encrypt: titkosítja a bemenetet az AES használatával.
  • tartalmaz: meghatározza, hogy egy kifejezés tartalmaz-e másik kifejezést.
  • endswith: azt határozza meg, hogy egy kifejezés egy másik kifejezéssel végződik-e.
  • percentile_cont: percentilis értéket ad vissza.
  • startswith: azt határozza meg, hogy egy kifejezés egy másik kifejezéssel kezdődik-e.

Az alacsony shuffle merge mostantól általánosan elérhető

A Delta MERGE INTO parancs egy alacsony egyesítés nevű technikát használ, amely csökkenti a nem módosított sorok elegyítését. Ez javítja a parancs teljesítményét, és segít megőrizni a meglévő fürtözést a táblán, például a Z-rendezést. Ez a funkció a Databricks Runtime 9.0 nyilvános előzetes verziójában lett bevezetve, és most általánosan elérhető. Az alacsony sorrendű egyesítés engedélyezéséhez állítsa a következőre spark.databricks.delta.merge.enableLowShuffletrue: . Lásd: Alacsony shuffle merge az Azure Databricksben.

Új COPY INTO funkciók: érvényesítési mód és sémafejlődés

Érvényesítési mód: COPY INTO mostantól támogatja azt VALIDATE a módot, amelyben a táblába betöltendő adatok érvényesítve vannak, de nem a táblába vannak írva. Ezek az érvényesítések a következők:

  • Az adatok elemezhetők-e.
  • Azt, hogy a séma megfelel-e a tábla sémájának, vagy a sémát fejleszteni kell.
  • Annak ellenőrzése, hogy teljesül-e az összes nullhihetőségi és ellenőrzési korlátozás.

Példahasználat:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
VALIDATE [ALL | <num-rows> ROWS]

Az alapértelmezett érték az összes betöltendő adat ellenőrzése. A kulcsszóval ROWS érvényesítendő sorok száma megadható, például VALIDATE 15 ROWS. Az COPY INTO utasítás 50 sor vagy kevesebb adat előnézetét adja vissza, ha a kulcsszóval ROWS több mint 50-et használ.

Sémafejlődés: COPY INTO mostantól támogatja a sémafejlődést a mergeSchema következő COPY_OPTIONSlehetőséggel: . Egy tábla sémájának továbbfejlesztéséhez engedélyekkel kell rendelkeznie OWN a táblán.

Példahasználat:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
COPY_OPTIONS ('mergeSchema' = 'true')

Lásd: COPY INTO.

Az identitásoszlopok mostantól támogatottak a Delta-táblákban (nyilvános előzetes verzió)

A Delta Lake mostantól támogatja az identitásoszlopokat. Amikor egy identitásoszlopot meghatározó Delta-táblába ír, és nem ad meg értékeket az oszlophoz, a Delta mostantól automatikusan hozzárendel egy egyedi és statisztikailag növekvő vagy csökkenő értéket. Lásd: CREATE TABLE [USING].

Könyvtárfrissítések

  • Frissített Python-kódtárak:
    • 0.3.3 és 0.3.4 közötti eloszlás
    • filelock 3.4.0 és 3.4.2 között
    • numpy 1.19.2 és 1.20.1 között
    • ábrázolás az 5.3.1-től az 5.5.0-sig
  • Frissített R-kódtárak:
    • backports from 1.4.0 to 1.4.1
    • brio 1.1.2 és 1.1.3 között
    • seprű 0.7.10-től 0.7.11-ig
    • osztály 7,3-19-7,3-20
    • cpp11 0.4.1 és 0.4.2 között
    • DBI 1.1.1 és 1.1.2 között
    • devtools 2.4.2-től 2.4.3-ra
    • kivonat 0.6.28-tól 0.6.29-ig
    • dtplyr 1.1.0 és 1.2.0 között
    • fani 0.5.0-tól 1.0.2-től
    • idegen 0,8-81-0,8-82
    • fs 1.5.0 és 1.5.2 között
    • gert 1.4.3-tól 1.5.0-ra
    • 1.5.0 és 1.6.0 közötti ragasztó
    • httpuv 1.6.3-tól 1.6.5-ösig
    • jsonlite 1.7.2-től 1.7.3-ra
    • knitr 1,36-tól 1,37-ig
    • TÖMEG 7,3-54 és 7,3-55 között
    • Mátrix 1,3-4 és 1,4-0 között
    • nlme a 3.1-152-től a 3.1-155-ösig
    • nnet frm 7.3-16 to 7.3-17
    • 1.4.5-től 1.4.6-os verzióig
    • párhuzamosan az 1.29.0-tól az 1.30.0-sig
    • pkgbuild 1.2.0-1.3.1
    • pkgload 1.2.3–1.2.4
    • progressr 0.9.0-tól 0.10.0-ra
    • Rcpp 1.0.7-től 1.0.8-ra
    • olvasó 2.1.0 és 2.1.1 között
    • 2.4.1-től 2.4.2-től
    • RSQLite 2.2.8-tól 2.2.9-esig
    • sessioninfo 1.2.1 és 1.2.2 között
    • sparklyr 1.7.2 és 1.7.4 között
    • testthat 3.1.0-tól 3.1.1-től
    • tinytex 0,35 és 0,36 között
    • usethis 2.1.3-tól 2.1.5-ig
    • vroom 1.5.6-tól 1.5.7-hez
    • 2.4.2-től 2.4.3-ra
    • xfun 0,28 és 0,29 között
    • xml2 1.3.2 és 1.3.3 között
  • Frissített Java-kódtárak:
    • dev.ludovic.netlib.arpack 1.3.2 és 2.2.1 között
    • dev.ludovic.netlib.blas 1.3.2 és 2.2.1 között
    • dev.ludovic.netlib.lapack 1.3.2 és 2.2.1 között
    • io.delta.delta-sharing-spark_2.12 0.2.0 és 0.3.0 között

Apache Spark

A Databricks Runtime 10.3 tartalmazza az Apache Spark 3.2.1-et. Ez a kiadás tartalmazza a Databricks Runtime 10.2(nem támogatott) összes Spark-javítását és fejlesztését, valamint a Spark következő további hibajavításait és fejlesztéseit:

  • [SPARK-37896] [SQL] ConstantColumnVector implementálása és a rejtett fájl metaadatainak teljesítményének javítása
  • [SPARK-37924] [SQL] Táblázattulajdonságok rendezése kulcs szerint a SHOW CREATE TABLE on VIEW (v1) (v1) nézetben
  • [SPARK-37636] [SQL] CREATE NAMESPACE migrálása a V2-parancs alapértelmezés szerint való használatához
  • [SPARK-37381] [SQL] 1- és 2-s verzió egységesítése a CREATE TABLE-tesztek megjelenítése
  • [SPARK-37876] [CORE] [SQL] Ugrás SpecificParquetRecordReaderBase.listDirectory ide: TestUtils
  • [SPARK-37854] [CORE] Típusellenőrzés cseréje mintaegyezésre a Spark-kódban
  • [SPARK-36967] [CORE] Pontos shuffle blokkméret jelentése, ha a blokk el van varrva
  • [SPARK-37864] [SQL] A vektorizált olvasási logikai értékek támogatása RLE-kódolás használata Parquet DataPage V2-vel
  • [SPARK-37862] [SQL] A RecordBinaryComparatornak gyorsan át kell hagynia a nem elaltatott platformhoz való igazítás ellenőrzését
  • [SPARK-37855] [SQL] IllegalStateException beágyazott szerkezeten belüli tömb átalakításakor
  • [SPARK-37858] [SQL] Dobás SparkRuntimeException hibaosztályokkal az AES-függvényekből
  • [SPARK-37841] [SQL] A BasicWriteTaskStatsTracker nem próbálja meg lekérni a kihagyott fájlok állapotát
  • [SPARK-37860] [Felhasználói felület] Feladatindex javítása a szakaszlap tevékenységesemény-ütemtervében
  • [SPARK-36879] [SQL] Parquet v2 adatoldal kódolásának (DELTA_BINARY_PACKED) támogatása a vektorizált elérési úthoz
  • [SPARK-37828] [SQL] Szűrők leküldése a RebalancePartitions használatával
  • [SPARK-37802] [SQL] [3.2] Az összetett mező nevének működnie kell az összesítő leküldéssel
  • [SPARK-37826] [SQL] Zstd kodeknév használata a hive orc impl ORC-fájlneveiben
  • [SPARK-37820] [SQL] Cserélje le az ApacheCommonBase64-et JavaBase64-re sztring-funcsok esetén
  • [SPARK-37832] [SQL] Az Orc szerkezetkonverternek tömböt kell használnia a mezőkonverterek kereséséhez csatolt lista helyett
  • [SPARK-37786] [SQL] A StreamingQueryListener támogatása az SQLConf.get használatával lekérheti a megfelelő SessionState SQLConf-jét
  • [SPARK-37527] [SQL] További szabványos összesítő függvények fordítása leküldéshez
  • [SPARK-37777] [SQL] A FÜGGVÉNYEK MEGJELENÍTÉSE SQL-szintaxisának frissítése
  • [SPARK-8582] [CORE] Ellenőrzőpont lelkesen, amikor arra kérik, hogy ezt valós
  • [SPARK-37822] [SQL] A StringSplit függvénynek nem null értékű elemeken lévő tömböt kell visszaadnia
  • [SPARK-37812] [SQL] Orc-szerkezet deszerializálásakor lehetőség szerint használja újra az eredménysort
  • [SPARK-37367] [SQL] Újravehető kivételteszt a DDLParserSuite.create nézetben – alapszintű
  • [SPARK-37796] [SQL] A ByteArrayMethods arrayEquals-nek gyorsan ki kell hagynia a nem elaltatott platformhoz való igazítás ellenőrzését
  • [SPARK-37817] [SQL] [Alverzió] Nem elérhető kód eltávolítása a complexTypeExtractors.scala fájlban
  • [SPARK-37807] [SQL] Elírás javítása a HttpAuthenticationException üzenetben
  • [SPARK-37750] [SQL] ANSI mód: igény szerint null eredményt ad vissza, ha az elem nem létezik tömbben/térképen
  • [SPARK-37789] [SQL] Osztály hozzáadása az általános aggregátumfüggvények megjelenítéséhez a DS V2-ben
  • [SPARK-37785] [SQL] [CORE] Utils.isInRunningSparkTask hozzáadása
  • [SPARK-37780] [SQL] A QueryExecutionListener támogatása az SQLConf.get használatával lekérheti a megfelelő SessionState SQLConf-jét
  • [SPARK-37783] [SS] [SQL] [CORE] A tail-recursion engedélyezése, ahol csak lehetséges
  • [SPARK-37726] [SQL] Kiömlés méretmetrikáinak hozzáadása a rendezési körlevél illesztéshez
  • [SPARK-37800] [SQL] A TreeNode.argString helytelenül formázja a Set[_] típusú argumentumokat
  • [SPARK-37716] [SQL] A hibaüzenetek javítása, ha egy LateralJoin nem determinisztikus kifejezéseket tartalmaz
  • [SPARK-37779] [SQL] A ColumnarToRowExec-terv kanonikussá tétele a (de)szerializálás után
  • [SPARK-37578] [SQL] Tevékenységmetrikák frissítése a ds v2 egyéni metrikákból
  • [SPARK-37676] [SQL] ANSI aggregációs függvény támogatása: percentile_cont
  • [SPARK-37724] [SQL] ANSI mód: alapértelmezés szerint tiltsa le a fenntartott ANSI-kulcsszavakat
  • [SPARK-37705] [SQL] [3.2] Időbélyegek újrabázisa a Parquet/Avro metaadatokban mentett munkamenet-időzónában
  • [SPARK-34755] [SQL] A utils támogatása az átalakítás számformátumához
  • [SPARK-36703] [SQL] A Rendezés eltávolítása, ha az a RepartitionByExpression gyermekének számít
  • [SPARK-37369] [SQL] A redundáns ColumnarToRow áttűnés elkerülése az InMemoryTableScanon
  • [SPARK-37450] [SQL] Felesleges mezők metszése a Létrehozásból
  • [SPARK-37728] [SQL] A beágyazott oszlopok ORC vektoros olvasóval való olvasása ArrayIndexOutOfBoundsException-t okozhat
  • [SPARK-37564] [SQL] Kód-gen hozzáadása csoportosítási kulcsok nélküli rendezési aggregátumhoz
  • [SPARK-37659] [Felhasználói felület] [3.2] Az FsHistoryProvider versenyfeltételeinek javítása a lista és a naplóadatok törlése között
  • [SPARK-37727] [SQL] A SparkSession.builder.getOrCreate-ban már beállított konföderációkra vonatkozó figyelmen kívül hagyott confs > elrejtési figyelmeztetések megjelenítése
  • [SPARK-37391] [SQL] A Jdbc Csatlakozás ionProvider azt jelzi, hogy módosítja-e a biztonsági környezetet
  • [SPARK-37273] [SQL] Rejtett fájl metaadatoszlopainak támogatása a Spark SQL-ben
  • [SPARK-36876] [SQL] A HiveTableScanExec dinamikus partíciójának metszésének támogatása
  • [SPARK-37546] [SQL] A V2 ReplaceTableAsSelect parancsnak helynek kell lennie
  • [SPARK-37545] [SQL] A V2 CreateTableAsSelect parancsnak helynek kell lennie
  • [SPARK-37707] [SQL] Tároló hozzárendelésének és implicit leadásának engedélyezése a datetime-típusok között
  • [SPARK-37644] [SQL] Az adatforrás v2 teljes összesítő leküldésének támogatása
  • [SPARK-37695] [CORE] [SHUFFLE] A leküldéses alapú shuffle-ből származó ob egyesített blokkok diagnosztikáinak kihagyása
  • [SPARK-35295] [ML] A teljes com.github.fommil.netlib cseréje dev.ludovic.netlib:2.0
  • [SPARK-37694] [SQL] Erőforrások törlésének letiltása a Spark SQL cli-ben
  • [SPARK-37330] [SQL] ReplaceTableStatement áttelepítése v2-parancsra
  • [SPARK-27974] [SQL] ANSI-összesítő függvény támogatása: array_agg
  • [SPARK-36902] [SQL] CreateTableAsSelectStatement áttelepítése v2-parancsra
  • [SPARK-37678] [PYTHON] _cleanup_and_return aláírás javítása
  • [SPARK-37613] [SQL] ANSI-összesítő függvény támogatása: regr_count
  • [SPARK-37689] [SQL] A propagálást támogatni kell a PropagálásEmptyRelation szolgáltatásban
  • [SPARK-37654] [SQL] Az NPE javítása a Row.getSeq-ben null értékű mező esetén
  • [SPARK-37496] [SQL] ReplaceTableAsSelectStatement áttelepítése v2-parancsra
  • [SPARK-37483] [SQL] Támogatás leküldés a felső N-ről JDBC-adatforrásra V2
  • [SPARK-37577] [SQL] A ClassCastException javítása: A ArrayType nem adható át a StructType-ba a metszés létrehozásához
  • [SPARK-37310] [SQL] ALTER NAMESPACE migrálása ... Standard kiadás T PROPERTIES a V2 parancs alapértelmezés szerint való használatához
  • [SPARK-37501] [SQL] A CREATE/REPLACE TABLE 2-parancs helyének megfelelőnek kell lennie
  • [SPARK-37343] [SQL] CreateIndex, IndexExists és dropIndex implementálása a JDBC-ben (Postgres dialektus)
  • [SPARK-37060] [CORE] [3.2] Az illesztőprogram állapotára adott válasz kezelése a biztonsági mentési főkiszolgálóktól
  • [SPARK-37629] [SQL] Az Expression.canonicalized felgyorsítása
  • [SPARK-37633] [SQL] Unwrap cast kell kihagyni, ha a downcast nem sikerült egy ...
  • [SPARK-37631] [SQL] Kódtisztítás a sztringek dupla típusra való előléptetéséhez a matematikai függvényekben
  • [SPARK-37569] [SQL] Ne jelölje meg a beágyazott nézetmezőket null értékűként
  • [SPARK-37557] [SQL] Objektumkivonat cseréje rendezési összesítésre, ha a gyermek már rendezve van
  • [SPARK-36850] [SQL] CreateTableStatement migrálása a v2-parancs keretrendszerbe
  • [SPARK-37592] [SQL] A teljesítmény javítása JoinSelection
  • [SPARK-37217] [SQL] A dinamikus partíciók számának korai ellenőrzése külső táblákba való íráskor
  • [SPARK-37584] [SQL] Új SQL-függvény: map_contains_key
  • [SPARK-37455] [SQL] Ha a gyermek már rendezve van, cserélje le a kivonatot rendezési aggregátumra
  • [SPARK-34735] [SQL] [Felhasználói felület] Módosított konfigurációk hozzáadása SQL-végrehajtáshoz a felhasználói felületen
  • [SPARK-37540] [SQL] Több nem támogatott időutazás észlelése
  • [SPARK-37376] [SQL] Új DataSource V2-felület hasPartitionKey bemutatása
  • [SPARK-37666] [SQL] Beállítás GCM alapértelmezett módként a következőben: aes_encrypt()/aes_decrypt()
  • [SPARK-37573] [SQL] Az IsolatedClientLoadernek vissza kell esnie a kapcsolódó verzióra, nem mindig hadoop-2.7.4
  • [SPARK-37561] [SQL] Ne töltse be az összes függvényt a Hive DelegationTokenjének beszerzésekor
  • [SPARK-37370] [SQL] SQL-konfigurációk hozzáadása a 3.3-ban újonnan hozzáadott illesztőkód-gen vezérléséhez
  • [SPARK-37311] [SQL] ALTER NAMESPACE migrálása ... Standard kiadás T LOCATION a V2-parancs alapértelmezés szerint való használatához
  • [SPARK-37192] [SQL] A SHOW TBLPROPERTIES migrálása a V2-parancs alapértelmezett használatára
  • [SPARK-37219] [SQL] AS OF szintaxistámogatás hozzáadása
  • [SPARK-37316] [SQL] Kód-gen hozzáadása a létezési rendezési egyesítési illesztéshez
  • [SPARK-37591] [SQL] A GCM mód támogatása a következővel: aes_encrypt()/aes_decrypt()
  • [SPARK-37586] [SQL] Az and padding args hozzáadása a mode következőhöz:aes_encrypt()/aes_decrypt()
  • [SPARK-12567] [SQL] Beépített függvények hozzáadása aes_encrypt és aes_decrypt
  • [SPARK-37392] [SQL] A teljesítményhiba javítása a létrehozási kényszerek következtetésekor
  • [SPARK-37481] [Core] [WebUI] A kihagyott szakaszok eltűnésének javítása az újrapróbálkozás után
  • [SPARK-37533] [SQL] Új SQL-függvény: try_element_at
  • [SPARK-37451] [SQL] Ha engedélyezve van a spark.sql.legacy.allowNegativeScaleOfDecimal parancs, javítsa az elöntött sztring típusát decimális típusra
  • [SPARK-37062] [SS] Új adatforrás bevezetése a mikrobatch-alapú sorok konzisztens készletének biztosításához
  • [SPARK-37552] [SQL] A convert_timezone() függvény hozzáadása
  • [SPARK-37555] [SQL] a spark-sql-nek a háttérrendszernek kell átadnia az utolsó be nem adott megjegyzést
  • [SPARK-37286] [SQL] CompileAggregates áthelyezése JDBCRDD-ről JdbcDialect-re
  • [SPARK-37485] [CORE] [SQL] Olyan kifejezésekre cserélje le a helyére map , amelyek nem eredményeznek eredményt foreach
  • [SPARK-37556] [SQL] A Deser void osztály a Java szerializálásával meghiúsul
  • [SPARK-37520] [SQL] A és endswith() a sztringfüggvények startswith() hozzáadása
  • [SPARK-37471] [SQL] spark-sql-támogatás ; beágyazott zárójeles megjegyzésben
  • [SPARK-37360] [SQL] Az IdőbélyegNTZ támogatása JSON-adatforrásban
  • [SPARK-37508] [SQL] CONTAINS() sztringfüggvény hozzáadása
  • [SPARK-37494] [SQL] A parancs v1- és v2-beállítások kimenetének SHOW CREATE TABLE egyesítése
  • [SPARK-37524] [SQL] A dinamikus partíciómetszet tesztelése után minden táblát el kell dobnunk.
  • [SPARK-37389] [SQL] Nem szögletes megjegyzések ellenőrzése
  • [SPARK-37220] [SQL] A Parquet-olvasó bemeneti fájljának felosztása összesített leküldéssel
  • [SPARK-37326] [SQL] A TimestampNTZ támogatása CSV-adatforrásban
  • [SPARK-35867] [SQL] Vektoros olvasás engedélyezése VectorizedPlainValuesReader.readBooleans esetén
  • [SPARK-37484] [CORE] [SQL] Csere get és getOrElsegetOrElse
  • [SPARK-37492] [SQL] Orc-tesztkód optimalizálása aAllNativeOrcReaders használatával
  • [SPARK-37458] [SS] Szükségtelen SzerializeFromObject eltávolítása a foreachBatch tervéből

Karbantartási frissítések

Lásd a Databricks Runtime 10.3 karbantartási frissítéseit.

Rendszerkörnyezet

  • Operációs rendszer: Ubuntu 20.04.3 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.2
  • Delta Lake: 1.1.0

Telepített Python-kódtárak

Könyvtár Verzió Könyvtár Verzió Könyvtár Verzió
Antergos Linux 2015.10 (ISO-rolling) appdirs 1.4.4 argon2-cffi 20.1.0
aszinkron generátor 1.10 attrs 20.3.0 backcall 0.2.0
bidict 0.21.4 Fehérítő 3.3.0 boto3 1.16.7
botocore 1.19.7 minősítés 2020.12.5 cffi 1.14.5
karakterkészlet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 Dekoratőr 5.0.6 defusedxml 0.7.1
distlib 0.3.4 distro-info 0,23ubuntu1 belépési pontok 0.3
aspektusok áttekintése 1.0.0 filelock 3.4.2 idna 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 Jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgetek 1.0.0 kiwisolver 1.3.1 Koalák 1.8.2
Korrektúra Széf 2.0.1 matplotlib 3.4.2 mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 jegyzetfüzet 6.3.0 numpy 1.20.1
Csomagolás 20.9 pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 Patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Párna 8.2.0 Pip 21.0.1
ábrázolás 5.5.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2,20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.6 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
kérelmek 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 tengeri 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 Hat 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 Kitartás 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
Tornádó 6.1 árulók 5.0.5 felügyelet nélküli frissítések 0,1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 Kerék 0.36.2 widgetsnbextension 3.5.1

Telepített R-kódtárak

Az R-kódtárak a Microsoft CRAN-pillanatképből vannak telepítve 2022-01-19-én.

Könyvtár Verzió Könyvtár Verzió Könyvtár Verzió
askpass 1,1 assertthat 0.2.1 Backports 1.4.1
alap 4.1.2 base64enc 0.1-3 Kicsit 4.0.4
bit64 4.0.5 blob 1.2.2 indítás 1.3-28
Sört 1.0-6 Brio 1.1.3 Seprű 0.7.11
bslib 0.3.1 gyorsítótár 1.0.6 hívó 3.7.0
Billentyűzettel 6.0-90 cellranger 1.1.0 chron 2.3-56
osztály 7.3-20 Cli 3.1.0 clipr 0.7.1
Fürt 2.1.2 kódtoolok 0.2-18 színtér 2.0-2
commonmark 1,7 Fordító 4.1.2 config 0.3.1
cpp11 0.4.2 Zsírkréta 1.4.2 hitelesítő adatok 1.3.2
Curl 4.3.2 data.table 1.14.2 adatkészletek 4.1.2
DBI 1.1.2 dbplyr 2.1.1 Desc 1.4.0
devtools 2.4.3 diffobj 0.3.5 Digest 0.6.29
dplyr 1.0.7 dtplyr 1.2.0 e1071 1.7-9
három pont 0.3.2 evaluate 0,14 fani 1.0.2
farver 2.1.0 gyorstérkép 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.1 Külföldi 0.8-82
Forge 0.2.0 Fs 1.5.2 Jövőben 1.23.0
future.apply 1.8.1 Gargarizál 1.2.0 Generikus 0.1.1
Gert 1.5.0 ggplot2 3.3.5 Gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 Globals 0.14.0
Ragasztó 1.6.0 googledrive 2.0.0 googlesheets4 1.0.0
Gower 0.2.2 grafika 4.1.2 grDevices 4.1.2
Rács 4.1.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.0 Haven 2.4.3 highr 0,9
Hms 1.1.1 htmltoolok 0.5.2 htmlwidgets 1.5.4
httpuv 1.6.5 httr 1.4.2 hwriter 1.3.2
hwriterPlus 1.0-3 Azonosítók 1.0.1 Ini 0.3.1
ipred 0.9-12 izoband 0.2.5 iterátorok 1.0.13
jquerylib 0.1.4 jsonlite 1.7.3 KernSmooth 2.23-20
knitr 1,37 Címkézés 0.4.2 Később 1.3.0
Rács 0.20-45 Láva 1.6.10 életciklus 1.0.1
figyelő 0.8.0 lubridate 1.8.0 magrittr 2.0.1
markdown 1,1 MASS 7.3-55 Mátrix 1.4-0
memoise 2.0.1 metódusok 4.1.2 mgcv 1.8-38
Mime 0,12 ModelMetrics 1.2.2.2 modellező 0.1.8
munsell 0.5.0 nlme 3.1-155 nnet 7.3-17
numDeriv 2016.8-1.1 Openssl 1.4.6 parallel 4.1.2
párhuzamosan 1.30.0 Pillér 1.6.4 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgload 1.2.4 plogr 0.2.0
rétegelt 1.8.6 Dicséret 1.0.0 prettyunits 1.1.1
Proc 1.18.0 processx 3.5.2 prodlim 2019.11.13
Haladás 1.2.2 progressr 0.10.0 Ígér 1.2.0.1
Proto 1.0.0 Proxy 0.4-26 Ps 1.6.0
purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-2 Rcpp 1.0.8 RcppEigen 0.3.3.9.1
olvasó 2.1.1 readxl 1.3.1 receptek 0.1.17
Visszavágót 1.0.1 visszavágó2 2.1.2 Távirányító 2.4.2
reprex 2.0.1 újraformázás2 1.4.4 rlang 0.4.12
rmarkdown 2,11 RODBC 1.3-19 roxygen2 7.1.2
rpart 4.1-15 rprojroot 2.0.2 Rserve 1.8-10
RSQLite 2.2.9 rstudioapi 0,13 rversions 2.1.1
rvest 1.0.2 Sass 0.4.0 Mérlegek 1.1.1
választó 0.4-2 sessioninfo 1.2.2 Alakzat 1.4.6
Fényes 1.7.1 sourcetools 0.1.7 sparklyr 1.7.4
SparkR 3.2.0 Térbeli 7.3-11 splines 4.1.2
sqldf 0.4-11 NÉGYZET 2021.1 Statisztika 4.1.2
statisztikák4 4.1.2 stringi 1.7.6 sztring 1.4.0
Túlélési 3.2-13 sys 3.4 tcltk 4.1.2
TeachingDemos 2.10 testthat 3.1.1 tibble 3.1.6
tidyr 1.1.4 tidyselect 1.1.1 tidyverse 1.3.1
timeDate 3043.102 tinytex 0.36 eszközök 4.1.2
tzdb 0.2.0 usethis 2.1.5 utf8 1.2.2
eszközök 4.1.2 uuid 1.0-3 vctrs 0.3.8
viridisLite 0.4.0 vroom 1.5.7 Waldo 0.3.1
bajusz 0,4 withr 2.4.3 xfun 0,29
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
Yaml 2.2.1 Zip 2.2.0

Telepített Java- és Scala-kódtárak (Scala 2.12-fürtverzió)

Csoportazonosító Összetevő azonosítója Verzió
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics Patak 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Osztálytárs 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.koffein Koffein 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natívok 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natívok 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Csellengő 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava Guava 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEA Standard kiadás
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1,2
commons-codec commons-codec 1,15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-naplózás commons-naplózás 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib Blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.3.0
io.dropwizard.metrics metrikamag 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Kollektor 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktiválás 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-fák hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow nyílformátum 2.0.0
org.apache.arrow nyíl-memóriamag 2.0.0
org.apache.arrow nyíl-memória-netty 2.0.0
org.apache.arrow nyíl-vektor 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator kurátor-ügyfél 2.13.0
org.apache.curator kurátor-keretrendszer 2.13.0
org.apache.curator kurátor-receptek 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-inkubálás
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy Ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.12
org.apache.orc orc-mapreduce 1.6.12
org.apache.orc orc-shims 1.6.12
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-kódolás 1.12.0-databricks-0003
org.apache.parquet parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus célközönség-széljegyzetek 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-juta 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty móló-folytatás 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty móló plusz 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-lokátor 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2,34
org.glassfish.jersey.containers jersey-container-servlet-core 2,34
org.glassfish.jersey.core jersey-client 2,34
org.glassfish.jersey.core jersey-common 2,34
org.glassfish.jersey.core jersey-server 2,34
org.glassfish.jersey.inject jersey-hk2 2,34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Végleges
org.jdbi jdbi 2.63.1
org.jetbrains Széljegyzetek 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Alátéteket 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt teszt-interfész 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1,2
org.scalanlp breeze_2.12 1,2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark Használatlan 1.0.0
org.springframework spring-core 4.1.4.RELEA Standard kiadás
org.springframework rugós teszt 4.1.4.RELEA Standard kiadás
org.threeten három-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel makró-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1