Databricks Runtime 12.2 LTS
Az alábbi kibocsátási megjegyzések az Apache Spark 3.3.2 által működtetett Databricks Runtime 12.2 LTS-ről nyújtanak információkat.
A Databricks 2023 márciusában adta ki ezt a verziót.
Feljegyzés
Az LTS azt jelenti, hogy ez a verzió hosszú távú támogatás alatt áll. Lásd: Databricks Runtime LTS-verzió életciklusa.
Tipp.
A támogatás megszűnését (EoS) elérő Databricks Runtime-verziók kibocsátási megjegyzéseit a databricks runtime kiadási megjegyzéseiben találhatja meg. Az EoS Databricks Runtime-verziók ki lettek állítva, és előfordulhat, hogy nem frissülnek.
Működésbeli változások
[Kompatibilitástörő változás] Az új Python-verzióhoz a Databricks Connect V1 Python-ügyfelek frissítése szükséges
A szükséges biztonsági javítások alkalmazásához a Databricks Runtime 12.2 LTS Python-verziója 3.9.5-ről 3.9.19-re frissül. Mivel ezek a módosítások hibákat okozhatnak az adott PySpark-függvényeket használó ügyfeleknél, a Databricks Connect V1 for Pythont a Databricks Runtime 12.2 LTS-sel használó ügyfeleket Python 3.9.7 vagy újabb verzióra kell frissíteni.
Új funkciók és fejlesztések
- A Delta Lake sémafejlődése támogatja a forrásoszlopok egyesítési utasításokban való megadását
- A strukturált streamelési számítási feladatok támogatottak megosztott hozzáférési móddal rendelkező fürtökön
- A prediktív I/O új funkciói
- Implicit oldaloszlop-aliasálás támogatása
- Új forEachBatch funkció
- A lekérdezési összevonás szabványosított kapcsolati beállításai
- Bővített SQL-függvénytár tömbkezeléshez
- Új maszkfüggvény sztringek anonimizálásához
- A gyakori hibafeltételek mostantól SQLSTATE-eket adnak vissza
- Generátorfüggvények meghívása a FROM záradékban
- Általánosan elérhető a protokollpufferek támogatása
- Útmutató a jegyzetfüzet változóihoz és függvényeihez
- Jegyzetfüzet gyorsjavítása kódtárak automatikus importálásához
- Hibajavítások
A Delta Lake sémafejlődése támogatja a forrásoszlopok egyesítési utasításokban való megadását
Mostantól csak a forrástáblában lévő oszlopokat adhatja meg az egyesítési utasítások beszúrási vagy frissítési műveleteiben, ha a sémafejlődés engedélyezve van. A Databricks Runtime 12.1-ben és alatta csak INSERT * vagy UPDATE SET * műveletek használhatók a sémafejlődéshez az egyesítéssel. Lásd a Delta Lake-egyesítés automatikus sémafejlődését.
A strukturált streamelési számítási feladatok támogatottak megosztott hozzáférési móddal rendelkező fürtökön
Mostantól a strukturált streamelés használatával használhatja a Unity-katalógust megosztott fürtökön. Bizonyos korlátozások érvényesek. Tekintse meg, hogy a Unity Catalog milyen strukturált streamelési funkciókat támogat?
A prediktív I/O új funkciói
A fogadó foton-támogatása Foreachbatch már elérhető. A forrásból streamelő és deltatáblákba egyesíthető vagy több fogadóba írható számítási feladatok mostantól élvezhetik a fotonizált Foreachbatch fogadó előnyeit.
Implicit oldaloszlop-aliasálás támogatása
Az Azure Databricks mostantól alapértelmezés szerint támogatja az implicit oldaloszlop-aliasolást. Most már újra felhasználhat egy korábban megadott kifejezést ugyanabban SELECT a listában. Például, adott , a be, a be a + 1 lehet oldani, mint a korábban definiált 1 AS a.a a + 1 AS bSELECT 1 AS a A névfeloldásban további részleteket talál a megoldási sorrendben.
A funkció kikapcsolásához állítsa be a következőt spark.sql.lateralColumnAlias.enableImplicitResolution false: .
Új forEachBatch funkció
A Photon mostantól támogatott az adatgyűjtőbe való íráshoz foreachBatch .
A lekérdezési összevonás szabványosított kapcsolati beállításai
Mostantól egységes beállításkészlettel (gazdagép, port, adatbázis, felhasználó, jelszó) csatlakozhat a lekérdezési összevonásban támogatott adatforrásokhoz. Port nem kötelező, és az adatforrások alapértelmezett portszámát használja, kivéve, ha meg van adva.
Bővített SQL-függvénytár tömbkezeléshez
Mostantól az összes NULL elemet eltávolíthatja egy tömbből array_compact használatával. Ha elemeket szeretne hozzáfűzni egy tömbhöz, használja a array_append.
Új maszkfüggvény sztringek anonimizálásához
A maszkfüggvény meghívása bizalmas sztringértékek anonimizálásához.
A gyakori hibafeltételek mostantól SQLSTATE-eket adnak vissza
A Databricks Runtime legtöbb hibafeltétele tartalmaz dokumentált SQLSTATE-értékeket , amelyek felhasználhatók a hibák sql szabványnak megfelelő tesztelésére.
Generátorfüggvények meghívása a FROM záradékban
Mostantól meghívhatja a táblaértékű generátorfüggvényeket, például a lekérdezések normál FROM záradékában való robbantásokat. Ez igazítja a generátorfüggvények meghívását más beépített és felhasználó által definiált táblafüggvényekhez.
Általánosan elérhető a protokollpufferek támogatása
Az és to_protobuf a függvények from_protobuf segítségével adatcserét végezhet bináris és strukturált típusok között. Lásd: Olvasási és írási protokollpufferek.
Útmutató a jegyzetfüzet változóihoz és függvényeihez
A jegyzetfüzetekben gyorsan elérheti egy változó, függvény vagy egy utasítás mögötti %run kód definícióját, ha a jobb gombbal a változóra vagy a függvény nevére kattint.
Jegyzetfüzet gyorsjavítása kódtárak automatikus importálásához
A Databricks Notebooks mostantól gyorsjavítási funkciót kínál a kódtárak automatikus importálásához. Ha elfelejtette importálni a pandashoz hasonló kódtárat, vigye az egérmutatót az aláhúzott szintaxis figyelmeztetés fölé, majd kattintson a Gyorsjavítás gombra, a funkciók használatához engedélyezni kell a Databricks Assistantet a munkaterületen.
Hibajavítások
- Továbbfejlesztett konzisztencia a Delta véglegesítési viselkedéséhez a ,
deleteésmergeparancsokkal kapcsolatosupdateüres tranzakciók esetében. ElkülönítésiWriteSerializableszinten azokat a parancsokat, amelyek nem eredményeznek módosításokat, most üres véglegesítést hoznak létre. ElkülönítésiSerializableszinten az ilyen üres tranzakciók most már nem hoznak létre véglegesítést.
Viselkedésbeli változások
Viselkedésváltozások az új oldaloszlop alias funkciójával
Az új oldaloszlop-alias funkció a névfeloldás során a következő esetekben vezet be viselkedésváltozásokat:
- Az oldalirányú oszlop aliasa mostantól elsőbbséget élvez az azonos nevű korrelált hivatkozásokkal szemben. Ebben a lekérdezésben
SELECT (SELECT c2 FROM (SELECT 1 AS c1, c1 AS c2) WHERE c2 > 5) FROM VALUES(6) AS t(c1)például ac1belsőc1 AS c2a korrelált hivatkozásrat.c1lett feloldva, de most az oldaloszlop aliasa1 AS c1lesz. A lekérdezés most visszaadja a következőtNULL: . - Az oldalirányú oszlop aliasa mostantól elsőbbséget élvez az azonos nevű függvényparaméterekkel szemben. A függvény
CREATE OR REPLACE TEMPORARY FUNCTION func(x INT) RETURNS TABLE (a INT, b INT, c DOUBLE) RETURN SELECT x + 1 AS x, xesetében például a függvény törzsében axfüggvény törzse az x függvényparaméterre lett feloldva, de a függvény törzsében az oldalirányú oszlop aliasárax + 1vált. A lekérdezés mostSELECT * FROM func(1)visszaadja a következőt2, 2: . - Az oldaloszlop alias funkciójának kikapcsolásához állítsa be a következőt
spark.sql.lateralColumnAlias.enableImplicitResolutionfalse: . További információ: Névfeloldás.
Könyvtárfrissítések
- Frissített Python-kódtárak:
- filelock 3.8.2-től 3.9.0-ra
- joblib 1.1.0 és 1.1.1 között
- platformdirs 2.6.0 és 2.6.2 között
- whatthepatch 1.0.3-tól 1.0.4-re
- Frissített R-kódtárak:
- osztály 7,3-20-7,3-21
- 0,2-18 és 0,2-19 közötti kódtoolok
- TÖMEG 7,3-58 és 7,3-58,2 között
- nlme 3.1-160-tól 3.1-162-hez
- 1,8-11-től 1,8-12-ig
- SparkR 3.3.1 és 3.3.2 között
Viselkedésváltozások
- A felhasználóknak most már rendelkezniük
SELECTMODIFYkell a megadott hellyel rendelkező séma létrehozásakor minden fájlhoz és jogosultsághoz.
Apache Spark
A Databricks Runtime 12.2 tartalmazza az Apache Spark 3.3.2-t. Ez a kiadás tartalmazza a Databricks Runtime 12.1 -ben (EoS) található összes Spark-javítást és -fejlesztést, valamint a Spark következő további hibajavításait és fejlesztéseit:
- [SPARK-42416] [SC-123205][SC-122851][SQL] A dátumhalmaz-műveletek nem oldják fel újra az elemzett logikai tervet
- [SPARK-41848] "[CHERRY-PICK][12.x][12.1][12.0][SC-120037][CORE] A TaskResourceProfile-val túlütemezett tevékenységek javítása"
- [SPARK-42162] [SC-122711][ES-556261] MultiCommutativeOp-kifejezés bevezetése memóriaoptimalizálásként a vesszővel rendelkező kifejezések nagy fajainak canonicalizálásához
- [SPARK-42406] [SC-122998][PROTOBUF][Cseresznye-pick] Rekurzív mélység beállítása a Protobuf-függvényekhez
- [SPARK-42002] [SC-122476][CONNECT][PYTHON] DataFrameWriterV2 implementálása
- [SPARK-41716] [SC-122545][CONNECT] _catalog_to_pandas átnevezése _execute_and_fetch a katalógusban
- [SPARK-41490] [SC-121774][SQL] Név hozzárendelése _LEGACY_ERROR_TEMP_2441
- [SPARK-41600] [SC-122538][SPARK-41623][SPARK-41612][CONNECT] Catalog.cacheTable implementálása, isCached és uncache
- [SPARK-42191] [SC-121990][SQL] Az udf "luhn_check" támogatása
- [SPARK-42253] [SC-121976][PYTHON] Ismétlődő hibaosztály észlelésére szolgáló teszt hozzáadása
- [SPARK-42268] [SC-122251][CONNECT][PYTHON] UserDefinedType hozzáadása a protosban
- [SPARK-42231] [SC-121841][SQL] Bekapcsolás
MISSING_STATIC_PARTITION_COLUMNinternalError - [SPARK-42136] [SC-122554] BroadcastHashJoinExec kimeneti particionálási számítás újrabontása
- [SPARK-42158] [SC-121610][SQL] Integrálás
_LEGACY_ERROR_TEMP_1003aFIELD_NOT_FOUND - [SPARK-42192] [12.x][SC-121820][PYTHON] A TypeError migrálása a pyspark/sql/dataframe.py-ból a PySparkTypeErrorba
- [SPARK-35240] "[SC-118242][SS] A CheckpointFileManager ...
- [SPARK-41488] [SC-121858][SQL] Név hozzárendelése _LEGACY_ERROR_TEMP_1176 (és 1177)
- [SPARK-42232] [SC-122267][SQL] Hibaosztály átnevezése:
UNSUPPORTED_FEATURE.JDBC_TRANSACTION - [SPARK-42346] [SC-122480][SQL] Eltérő aggregátumok újraírása a részbefés után
- [SPARK-42306] [SC-122539][SQL] Integrálás
_LEGACY_ERROR_TEMP_1317aUNRESOLVED_COLUMN.WITH_SUGGESTION - [SPARK-42234] [SC-122354][SQL] Hibaosztály átnevezése:
UNSUPPORTED_FEATURE.REPEATED_PIVOT - [SPARK-42343] [SC-122437][CORE] Figyelmen kívül hagyás
IOExceptionahandleBlockRemovalFailureSparkContext leállítása esetén - [SPARK-41295] [SC-122442][SPARK-41296][SQL] A hibaosztályok átnevezése
- [SPARK-42320] [SC-122478][SQL] Név hozzárendelése _LEGACY_ERROR_TEMP_2188
- [SPARK-42255] [SC-122483][SQL] Név hozzárendelése _LEGACY_ERROR_TEMP_2430
- [SPARK-42156] [SC-121851][CONNECT] A SparkConnectClient mostantól támogatja a RetryPoliciest
- [SPARK-38728] [SC-116723][SQL] A hibaosztály tesztelése: FAILED_RENAME_PATH
- [SPARK-40005] [12.X] Önálló példák a PySparkban
- [SPARK-39347] [SC-122457][SS] Hibajavítás az időablak-számításhoz, amikor az eseményidő < 0
- [SPARK-42336] [SC-122458][CORE] Használat
getOrElse()acontains()ResourceAllocator helyett - [SPARK-42125] [SC-121827][CONNECT][PYTHON] Pandas UDF a Spark Connectben
- [SPARK-42217] [SC-122263][SQL] Implicit oldaloszlop-alias támogatása a windowsos lekérdezésekben
- [SPARK-35240] [SC-118242][SS] CheckpointFileManager használata ellenőrzőpont-fájlkezeléshez
- [SPARK-42294] [SC-122337][SQL] Oszlop alapértelmezett értékeinek belefoglalása a DESCRIBE kimenetbe v2-táblák esetén
- [SPARK-41979] "Revert "[12.x][SC-121190][SQL] Hiányzó pont hozzáadása hibaüzenetekhez hibaosztályokban.""
- [SPARK-42286] [SC-122336][SQL] Visszalépés az előző codegen-kódútvonalra az összetett kiff és a CAST használatával
- [SPARK-42275] [SC-122249][CONNECT][PYTHON] Kerülje a beépített lista használatát, diktálás statikus gépelés közben
- [SPARK-41985] [SC-122172][SQL] További oszlopfeloldási szabályok központosítása
- [SPARK-42126] [SC-122330][PYTHON][CONNECT] Visszatérési típus elfogadása DDL-sztringekben Python skaláris UDF-ekhez a Spark Connectben
- [SPARK-42197] [SC-122328][SC-121514][CONNECT] Újra felhasználja a JVM inicializálását, és külön konfigurációs csoportokat állít be távoli helyi módban
- [SPARK-41575] [SC-120118][SQL] Név hozzárendelése _LEGACY_ERROR_TEMP_2054
- [SPARK-41985] "[SC-122172][SQL] További oszlopfeloldási szabályok központosítása"
- [SPARK-42123] [SC-122234][SC-121453][SQL] Oszlop alapértelmezett értékeinek belefoglalása a DESCRIBE és a SHOW CREATE TABLE kimenetbe
- [SPARK-41985] [SC-122172][SQL] További oszlopfeloldási szabályok központosítása
- [SPARK-42284] [SC-122233][CONNECT] Az ügyféltesztek futtatása előtt győződjön meg arról, hogy a kapcsolódási kiszolgáló szerelvénye létrejön – SBT
- [SPARK-42239] [SC-121790][SQL] Integrál
MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY - [SPARK-42278] [SC-122170][SQL] A DS V2 leküldéses leküldése támogatja az önállóan lefordított
SortOrderJDBC-dialektusokat - [SPARK-42259] [SC-122168][SQL] A ResolveGroupingAnalyticsnek gondoskodnia kell a Python UDAF-ről
- [SPARK-41979] "[12.x][SC-121190][SQL] Hiányzó pont hozzáadása a hibaüzenetekhez a hibaosztályokban."
- [SPARK-42224] [12.x][SC-121708][CONNECT] TypeError migrálása a Spark Connect-függvények hiba keretrendszerébe
- [SPARK-41712] [12.x][SC-121189][PYTHON][CONNECT] A Spark Connect-hibák migrálása a PySpark hibakeretébe.
- [SPARK-42119] [SC-121913][SC-121342][SQL] Beépített táblaértékű függvények hozzáadása beágyazott és inline_outer
- [SPARK-41489] [SC-121713][SQL] Név hozzárendelése _LEGACY_ERROR_TEMP_2415
- [SPARK-42082] [12.x][SC-121163][SPARK-41598][PYTHON][CONNECT] A PySparkValueError és a PySparkTypeError bemutatása
- [SPARK-42081] [SC-121723][SQL] A tervmódosítás ellenőrzésének javítása
- [SPARK-42225] [12.x][SC-121714][CONNECT] A Spark Connect-hiba pontos kezeléséhez adja hozzá a SparkConnectIllegalArgumentException parancsot.
- [SPARK-42044] [12.x][SC-121280][SQL] Helytelen hibaüzenet javítása a következőhöz:
MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY - [SPARK-42194] [12.x][SC-121712][PS] Oszlopparaméter engedélyezése Adatkeret adatsorokkal való létrehozásakor.
- [SPARK-42078] [12.x][SC-120761][PYTHON] A JVM által a PySparkExceptionbe dobott hibák migrálása.
- [SPARK-42133] [12.x][SC-121250] Alapszintű Adathalmaz API-metódusok hozzáadása a SparkConnect Scala-ügyfélhez
- [SPARK-41979] [12.x][SC-121190][SQL] Hiányzó pont hozzáadása hibaüzenetekhez a hibaosztályokban.
- [SPARK-42124] [12.x][SC-121420][PYTHON][CONNECT] Skaláris beágyazott Python UDF a Spark Connectben
- [SPARK-42051] [SC-121994][SQL] Codegen-támogatás a HiveGenericUDF-hez
- [SPARK-42257] [SC-121948][CORE] A nem használt változó külső rendező eltávolítása
- [SPARK-41735] [SC-121771][SQL] A STANDARD helyett a MINIMAL használata SparkListenerSQLExecutionEndhez
- [SPARK-42236] [SC-121882][SQL] Finomít
NULLABLE_ARRAY_OR_MAP_ELEMENT - [SPARK-42233] [SC-121775][SQL] Hibaüzenet javítása a következőhöz:
PIVOT_AFTER_GROUP_BY - [SPARK-42229] [SC-121856][CORE] Migrálás
SparkCoreErrorshibaosztályokba - [SPARK-42163] [SC-121839][SQL] Nem összecsukható tömbindex vagy térképkulcs sémametszetének javítása
- [SPARK-40711] [SC-119990][SQL] Kiömlés méretmetrikáinak hozzáadása az ablakhoz
- [SPARK-42023] [SC-121847][SPARK-42024][CONNECT][PYTHON]
createDataFrameTámogatásiAtomicType -> StringTypekényszerítés - [SPARK-42202] [SC-121837][Csatlakozás][Teszt] Az E2E tesztkiszolgáló leállási logikájának fejlesztése
- [SPARK-41167] [SC-117425][SQL] Több hasonló teljesítmény javítása egy kiegyensúlyozott kifejezésfa-predikátum létrehozásával
- [SPARK-41931] [SC-121618][SQL] Jobb hibaüzenet hiányos összetett típusdefiníció esetén
- [SPARK-36124] [SC-121339][SC-110446][SQL] Az unionon keresztüli korrelációval rendelkező al lekérdezések támogatása
- [SPARK-42090] [SC-121290][3.3] Sasl újrapróbálkozási számának bevezetése a RetryingBlockTransferorban
- [SPARK-42157] [SC-121264][CORE]
spark.scheduler.mode=FAIRfair schedulert kell biztosítania - [SPARK-41572] [SC-120772][SQL] Név hozzárendelése _LEGACY_ERROR_TEMP_2149
- [SPARK-41983] [SC-121224][SQL] Átnevezés > hibaüzenet javítása a következőhöz:
NULL_COMPARISON_RESULT - [SPARK-41976] [SC-121024][SQL] Hibaüzenet javítása a következőhöz:
INDEX_NOT_FOUND - [SPARK-41994] [SC-121210][SC-120573] SQLSTATE-k hozzárendelése (1/2)
- [SPARK-41415] [SC-121117][3.3] SASL-kérelem újrapróbálkozása
- [SPARK-38591] [SC-121018][SQL] FlatMapSortedGroups és cogroupSorted hozzáadása
- [SPARK-41975] [SC-120767][SQL] Hibaüzenet javítása a következőhöz:
INDEX_ALREADY_EXISTS - [SPARK-42056] [SC-121158][SQL][PROTOBUF] Hiányzó beállítások hozzáadása a Protobuf-függvényekhez
- [SPARK-41984] [SC-120769][SQL] Átnevezés > hibaüzenet javítása a következőhöz:
RESET_PERMISSION_TO_ORIGINAL - [SPARK-41948] [SC-121196][SQL] Hibaosztályok NPE-jának javítása: CANNOT_PARSE_JSON_FIELD
- [SPARK-41772] [SC-121176][CONNECT][PYTHON] Helytelen oszlopnév javítása a dokumentumtesztben
withField - [SPARK-41283] [SC-121175][CONNECT][PYTHON] Hozzáadás
array_appenda csatlakozáshoz - [SPARK-41960] [SC-120773][SQL] Név hozzárendelése _LEGACY_ERROR_TEMP_1056
- [SPARK-42134] [SC-121116][SQL] A getPartitionFiltersAndDataFilters() javítása a hivatkozott attribútumok nélküli szűrők kezeléséhez
- [SPARK-42096] [SC-121012][CONNECT] A modul néhány kódkarbantartása
connect - [SPARK-42099] [SC-121114][SPARK-41845][CONNECT][PYTHON] Javítás
count(*)éscount(col(*)) - [SPARK-42045] [SC-120958][SC-120450][SQL] ANSI SQL mód: A Kerek/Bround függvénynek hibát kell visszaadnia az egész szám túlcsordulásakor
- [SPARK-42043] [SC-120968][CONNECT] Scala-ügyfél eredménye E2E-tesztekkel
- [SPARK-41884] [SC-121022][CONNECT] Naiv tuple támogatása beágyazott sorként
- [SPARK-42112] [SC-121011][SQL][SS] Null értékű ellenőrzés hozzáadása a függvény bezárása előtt
ContinuousWriteRDD#computedataWriter - [SPARK-42077] [SC-120553][CONNECT][PYTHON] A literálnak a TypeErrort kell dobnia a nem támogatott DataType esetén
- [SPARK-42108] [SC-120898][SQL] Az Analyzer átalakítása
Count(*)Count(1) - [SPARK-41666] [SC-120928][SC-119009][PYTHON] Paraméteres SQL támogatása a következő szerint:
sql() - [SPARK-40599] [SC-120930][SQL] A multiTransform-szabály típusának lazítása annak érdekében, hogy az alternatívák bármilyen seq típusúak legyenek
- [SPARK-41574] [SC-120771][SQL] Frissítés
_LEGACY_ERROR_TEMP_2009a következőképpenINTERNAL_ERROR: . - [SPARK-41579] [SC-120770][SQL] Név hozzárendelése _LEGACY_ERROR_TEMP_1249
- [SPARK-41974] [SC-120766][SQL] Bekapcsolás
INCORRECT_END_OFFSETINTERNAL_ERROR - [SPARK-41530] [SC-120916][SC-118513][CORE] A MedianHeap átnevezése PercentileMap-ra, és támogatja a percentilist
- [SPARK-41757] [SC-120608][SPARK-41901][CONNECT] Oszloposztály sztringreprezentációjának javítása
- [SPARK-42084] [SC-120775][SQL] A csak minősített hozzáférésű korlátozás kiszivárgásának elkerülése
- [SPARK-41973] [SC-120765][SQL] Név hozzárendelése _LEGACY_ERROR_TEMP_1311
- [SPARK-42039] [SC-120655][SQL] SPJ: Remove Option in KeyGroupedPartitioning#partitionValuesOpt
- [SPARK-42079] [SC-120712][CONNECT][PYTHON] Proto-üzenetek átnevezése
toDFéswithColumnsRenamed - [SPARK-42089] [SC-120605][CONNECT][PYTHON] Változónévvel kapcsolatos problémák megoldása beágyazott lambdafüggvényekben
- [SPARK-41982] [SC-120604][SQL] A típussztring partícióit nem szabad numerikus típusokként kezelni
- [SPARK-40599] [SC-120620][SQL] MultiTransform metódusok hozzáadása a TreeNode-hoz alternatív megoldások létrehozásához
- [SPARK-42085] [SC-120556][CONNECT][PYTHON] Beágyazott
from_arrow_schematípusok támogatása - [SPARK-42057] [SC-120507][SQL][PROTOBUF] Javítsa ki a kivétel kezelésének módját a hibajelentésben.
- [SPARK-41586] [12.x][MINDEN TESZT][SC-120544][PYTHON] Bevezetés
pyspark.errorsés hibaosztályok a PySparkhoz. - [SPARK-41903] [SC-120543][CONNECT][PYTHON]
Literaltámogatnia kell az 1-dim ndarray-t - [SPARK-42021] [SC-120584][CONNECT][PYTHON] Támogatás létrehozása
createDataFramearray.array - [SPARK-41896] [SC-120506][SQL] A sorindex szerinti szűrés üres eredményeket ad vissza
- [SPARK-41162] [SC-119742][SQL] Anti- és semi-join javítása az összesítésekkel való önbeillesztéshez
- [SPARK-41961] [SC-120501][SQL] Táblaértékű függvények támogatása AZ LATERAL használatával
- [SPARK-41752] [SC-120550][SQL][Felhasználói felület] Beágyazott végrehajtások csoportosítása a gyökérvégrehajtás alatt
- [SPARK-42047] [SC-120586][SPARK-41900][CONNECT][PYTHON][12.X] A literálnak támogatnia kell a Numpy-adattípusokat
- [SPARK-42028] [SC-120344][CONNECT][PYTHON] Nanoszekundumos időbélyegek csonkolása
- [SPARK-42011] [SC-120534][CONNECT][PYTHON] DataFrameReader.csv implementálása
- [SPARK-41990] [SC-120532][SQL] V1-ről
FieldReference.columnV2-re való szűrőkonvertálás helyettapply - [SPARK-39217] [SC-120446][SQL] Támogatja a DPP-t a metszési oldalon az Union
- [SPARK-42076] [SC-120551][CONNECT][PYTHON] Faktoradatok konvertálása
arrow -> rowsconversion.py - [SPARK-42074] [SC-120540][SQL]
TPCDSQueryBenchmarkAz SQL-osztályregisztráció kikényszerítésének engedélyezéseKryoSerializer - [SPARK-42012] [SC-120517][CONNECT][PYTHON] DataFrameReader.orc implementálása
- [SPARK-41832] [SC-120513][CONNECT][PYTHON] Javítás
DataFrame.unionByName, allow_missing_columns hozzáadása - [SPARK-38651] [SC-120514] [SQL] Hozzáad
spark.sql.legacy.allowEmptySchemaWrite - [SPARK-41991] [SC-120406][SQL]
CheckOverflowInTableInsertgyermekként el kell fogadnia az ExpressionProxyt - [SPARK-41232] [SC-120073][SQL][PYTHON] Array_append függvény hozzáadása
- [SPARK-42041] [SC-120512][SPARK-42013][CONNECT][PYTHON] A DataFrameReadernek támogatnia kell az elérési utak listáját
- [SPARK-42071] [SC-120533][CORE] Regisztráció
scala.math.Ordering$Reversea KyroSerializerhez - [SPARK-41986] [SC-120429][SQL] Shuffle bevezetése a SinglePartition-on
- [SPARK-42016] [SC-120428][CONNECT][PYTHON] A beágyazott oszlophoz kapcsolódó tesztek engedélyezése
- [SPARK-42042] [SC-120427][CONNECT][PYTHON]
DataFrameReadertámogatnia kell a StructType sémát - [SPARK-42031] [SC-120389][CORE][SQL] Felülbírálást nem igénylő metódusok eltávolítása
remove - [SPARK-41746] [SC-120463][SPARK-41838][SPARK-41837][SPARK-41835][SPARK-41836][SPARK-41847][CONNECT][PYTHON] Beágyazott
createDataFrame(rows/lists/tuples/dicts)típusok támogatása - [SPARK-41437] [SC-117601][SQL][MINDEN TESZT] Ne optimalizálja kétszer a bemeneti lekérdezést az 1- es v1-es írási tartalékhoz
- [SPARK-41840] [SC-119719][CONNECT][PYTHON] A hiányzó alias hozzáadása
groupby - [SPARK-41846] [SC-119717][CONNECT][PYTHON] Dokumentumtesztek engedélyezése ablakfüggvényekhez
- [SPARK-41914] [SC-120094][SQL] A FileFormatWriter az outputOrdering elérése előtt materializálja az AQE-tervet
- [SPARK-41805] [SC-119992][SQL] Kifejezések újrafelhasználása a WindowSpecDefinition alkalmazásban
- [SPARK-41977] [SC-120269][SPARK-41978][CONNECT] A SparkSession.range argumentumként való lebegtetéséhez
- [SPARK-42029] [SC-120336][CONNECT] Guava árnyékolási szabályok hozzáadása az indítási hiba elkerülése érdekében
connect-common - [SPARK-41989] [SC-120334][PYTHON] Kerülje a pyspark.pandas naplózási konfigurációjának feltörését
- [SPARK-42003] [SC-120331][SQL] Duplikált kód csökkentése a ResolveGroupByAll alkalmazásban
- [SPARK-41635] [SC-120313][SQL] Csoport javítása az összes hibajelentés alapján
- [SPARK-41047] [SC-120291][SQL] A kerek dokumentumok fejlesztése
- [SPARK-41822] [SC-120122][CONNECT] GRPC-kapcsolat beállítása Scala/JVM-ügyfélhez
- [SPARK-41879] [SC-120264][CONNECT][PYTHON] Beágyazott
DataFrame.collecttípusok támogatása - [SPARK-41887] [SC-120268][CONNECT][PYTHON] Lista
DataFrame.hinttípusú paraméter elfogadása - [SPARK-41964] [SC-120210][CONNECT][PYTHON] A nem támogatott IO-függvények listájának hozzáadása
- [SPARK-41595] [SC-120097][SQL] Támogatásgenerátor függvény felrobban/explode_outer a FROM záradékban
- [SPARK-41957] [SC-120121][CONNECT][PYTHON] A dokumentumteszt engedélyezése a következőhöz:
DataFrame.hint - [SPARK-41886] [SC-120141][CONNECT][PYTHON]
DataFrame.intersecta doctest kimenetének eltérő sorrendje van - [SPARK-41442] [SC-117795][SQL][MINDEN TESZT] Csak akkor frissítse az SQLMetric-értéket, ha érvényes metrikával egyesül
- [SPARK-41944] [SC-120046][CONNECT] Konfigurációk átadása helyi távoli mód bekapcsolásakor
- [SPARK-41708] [SC-119838][SQL] V1write-adatok lekérése a következőre:
WriteFiles - [SPARK-41780] [SC-120000][SQL] Dobjon INVALID_PARAMETER_VALUE. MINTA, ha a paraméterek érvénytelenek
regexp - [SPARK-41889] [SC-119975][SQL] Alapvető ok csatolása érvénytelenPatternError &újrabontási hibaosztályokhoz INVALID_PARAMETER_VALUE
- [SPARK-41860] [SC-120028][SQL] AvroScanBuilder és JsonScanBuilder esetosztályok létrehozása
- [SPARK-41945] [SC-120010][CONNECT][PYTHON] Python: az elveszett oszlopadatok csatlakoztatása a pyarrow-hoz. Table.to_pylist
- [SPARK-41690] [SC-119102][SC-119087][SQL][CONNECT] Agnostic Encoders
- [SPARK-41354] [SC-119995][CONNECT][PYTHON] RepartitionByExpression implementálása
- [SPARK-41581] [SC-119997][SQL] Frissítés
_LEGACY_ERROR_TEMP_1230máskéntINTERNAL_ERROR - [SPARK-41928] [SC-119972][CONNECT][PYTHON] A nem támogatott lista hozzáadása a következőhöz:
functions - [SPARK-41933] [SC-119980][CONNECT] Helyi mód megadása, amely automatikusan elindítja a kiszolgálót
- [SPARK-41899] [SC-119971][CONNECT][PYTHON] createDataFrame' tiszteletben kell tartania a felhasználó által megadott DDL-sémát
- [SPARK-41936] [SC-119978][CONNECT][PYTHON] A
withMetadataproto újbóli használatawithColumns - [SPARK-41898] [SC-119931][CONNECT][PYTHON] Window.rowsBetween, Window.rangeBetween parameters typechecking parity with pyspark
- [SPARK-41939] [SC-119977][CONNECT][PYTHON] A függvények nem támogatott listájának
cataloghozzáadása - [SPARK-41924] [SC-119946][CONNECT][PYTHON] StructType-támogatás metaadatainak létrehozása és implementálása
DataFrame.withMetadata - [SPARK-41934] [SC-119967][CONNECT][PYTHON] A nem támogatott függvénylista hozzáadása a következőhöz:
session - [SPARK-41875] [SC-119969][CONNECT][PYTHON] Tesztesetek hozzáadása a következőhöz:
Dataset.to() - [SPARK-41824] [SC-119970][CONNECT][PYTHON] A csatlakozás magyarázatát ismertető dokumentum bemutatása
- [SPARK-41880] [SC-119959][CONNECT][PYTHON] Függvény
from_jsonelfogadása nem konstans sémával - [SPARK-41927] [SC-119952][CONNECT][PYTHON] A nem támogatott lista hozzáadása a következőhöz:
GroupedData - [SPARK-41929] [SC-119949][CONNECT][PYTHON] Függvény hozzáadása
array_compact - [SPARK-41827] [SC-119841][CONNECT][PYTHON] Oszloplista
GroupByelfogadása - [SPARK-41925] [SC-119905][SQL] Engedélyezés
spark.sql.orc.enableNestedColumnVectorizedReaderalapértelmezés szerint - [SPARK-41831] [SC-119853][CONNECT][PYTHON] Oszloplista
DataFrame.selectelfogadása - [SPARK-41455] [SC-119858][CONNECT][PYTHON] Az
DataFrame.collectidőzónák adatainak elvetése - [SPARK-41923] [SC-119861][CONNECT][PYTHON] Hozzáadás
DataFrame.writeToa nem támogatott listához - [SPARK-41912] [SC-119837][SQL] A subquery nem érvényesítheti a CTE-t
- [SPARK-41828] [SC-119832][CONNECT][PYTHON][12.X] Támogatás üres adatkeretének létrehozása
createDataFrame - [SPARK-41905] [SC-119848][CONNECT] Támogatás neve sztringként a szeletben
- [SPARK-41869] [SC-119845][CONNECT] Egyetlen sztring elvetése a dropDuplicatesben
- [SPARK-41830] [SC-119840][CONNECT][PYTHON] Fogadja
DataFrame.sampleel ugyanazokat a paramétereket, mint a PySpark - [SPARK-41849] [SC-119835][CONNECT] DataFrameReader.text implementálása
- [SPARK-41861] [SC-119834][SQL] A v2 ScanBuilders build() visszatérési típusának vizsgálata
- [SPARK-41825] [SC-119710][CONNECT][PYTHON] A dokumentumokkal kapcsolatos dokumentumok engedélyezése
DataFrame.show - [SPARK-41855] [SC-119804][SC-119410][SPARK-41814][SPARK-41851][SPARK-41852][CONNECT][PYTHON][12.X] A nincs/naN megfelelő kezelése
createDataFrame - [SPARK-41833] [SC-119685][SPARK-41881][SPARK-41815][CONNECT][PYTHON] Nincs/NaN/Tömb/Bináris porperly fogópont létrehozása
DataFrame.collect - [SPARK-39318] [SC-119713][SQL] A tpch-plan-stability WithStats aranyfájljainak eltávolítása
- [SPARK-41791] [SC-119745] Új fájlforrás metaadat-oszloptípusának hozzáadása
- [SPARK-41790] [SC-119729][SQL] A TRANSFORM olvasó és író formátumának helyes beállítása
- [SPARK-41829] [SC-119725][CONNECT][PYTHON] Adja hozzá a hiányzó rendezési paramétert a
SortsortWithinPartitions - [SPARK-41576] [SC-119718][SQL] Név hozzárendelése _LEGACY_ERROR_TEMP_2051
- [SPARK-41821] [SC-119716][CONNECT][PYTHON] A DataFrame.describe dokumentumtesztje javítása
- [SPARK-41871] [SC-119714][CONNECT] A DataFrame hint paramétere lehet str, float vagy int
- [SPARK-41720] [SC-119076][SQL] UnresolvedFunc átnevezése unresolvedFunctionName névre
- [SPARK-41573] [SC-119567][SQL] Név hozzárendelése _LEGACY_ERROR_TEMP_2136
- [SPARK-41862] [SC-119492][SQL] Az Orc-olvasó ALAPÉRTELMEZETT értékeivel kapcsolatos hiba javítása
- [SPARK-41582] [SC-119482][SC-118701][CORE][SQL] Újrafelhasználás
INVALID_TYPED_LITERALahelyett, hogy_LEGACY_ERROR_TEMP_0022
Karbantartási frissítések
Lásd a Databricks Runtime 12.2 karbantartási frissítéseit.
Rendszerkörnyezet
- Operációs rendszer: Ubuntu 20.04.5 LTS
- Java: Zulu 8.68.0.21-CA-linux64
- Scala: 2.12.15
- Python: 3.9.19
- R: 4.2.2
- Delta Lake: 2.2.0
Telepített Python-kódtárak
| Könyvtár | Verzió | Könyvtár | Verzió | Könyvtár | Verzió |
|---|---|---|---|---|---|
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | asttokens | 2.0.5 |
| attrs | 21.4.0 | backcall | 0.2.0 | backports.entry-points-selectable | 1.2.0 |
| beautifulsoup4 | 4.11.1 | fekete | 22.3.0 | fehérítő | 4.1.0 |
| boto3 | 1.21.32 | botocore | 1.24.32 | minősítés | 2021.10.8 |
| cffi | 1.15.0 | karakterkészlet | 4.0.0 | charset-normalizer | 2.0.4 |
| kattintás | 8.0.4 | kriptográfia | 3.4.8 | biciklista | 0.11.0 |
| Cython | 0.29.28 | dbus-python | 1.2.16 | hibakeresés | 1.5.1 |
| lakberendező | 5.1.1 | defusedxml | 0.7.1 | distlib | 0.3.6 |
| docstring-to-markdown | 0,11 | belépési pontok | 0,4 | Végrehajtó | 0.8.3 |
| aspektusok áttekintése | 1.0.0 | fastjsonschema | 2.16.2 | filelock | 3.9.0 |
| betűtípusok | 4.25.0 | idna | 3.3 | ipykernel | 6.15.3 |
| ipython | 8.5.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| jedi | 0.18.1 | Jinja2 | 2.11.3 | jmespath | 0.10.0 |
| joblib | 1.1.1 | jsonschema | 4.4.0 | jupyter-client | 6.1.12 |
| jupyter_core | 4.11.2 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgetek | 1.0.0 |
| kiwisolver | 1.3.2 | MarkupSafe | 2.0.1 | matplotlib | 3.5.1 |
| matplotlib-inline | 0.1.2 | Mccabe | 0.7.0 | mistune | 0.8.4 |
| mypy-extensions | 0.4.3 | nbclient | 0.5.13 | nbconvert | 6.4.4 |
| nbformat | 5.3.0 | nest-asyncio | 1.5.5 | nodeenv | 1.7.0 |
| jegyzetfüzet | 6.4.8 | numpy | 1.21.5 | csomagolás | 21,3 |
| pandas | 1.4.2 | pandocfilters | 1.5.0 | parso | 0.8.3 |
| pathspec | 0.9.0 | Patsy | 0.5.2 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | Párna | 9.0.1 | mag | 21.2.4 |
| platformdirs | 2.6.2 | ábrázolás | 5.6.0 | pluggy | 1.0.0 |
| prometheus-client | 0.13.1 | prompt-toolkit | 3.0.20 | protobuf | 3.19.4 |
| psutil | 5.8.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | pyarrow | 7.0.0 | pycparser | 2.21 |
| pyflakes | 2.5.0 | Pygments | 2.11.2 | PyGObject | 3.36.0 |
| pyodbc | 4.0.32 | pyparsing | 3.0.4 | pyright | 1.1.283 |
| pyrsistent | 0.18.0 | python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.0.0 |
| python-lsp-server | 1.6.0 | pytz | 2021.3 | pyzmq | 22.3.0 |
| kérelmek | 2.27.1 | requests-unixsocket | 0.2.0 | kötél | 0.22.0 |
| s3transfer | 0.5.0 | scikit-learn | 1.0.2 | scipy | 1.7.3 |
| tengeri | 0.11.2 | Send2Trash | 1.8.0 | setuptools | 61.2.0 |
| Hat | 1.16.0 | levessieve | 2.3.1 | ssh-import-id | 5.10 |
| veremadatok | 0.2.0 | statsmodels | 0.13.2 | Kitartás | 8.0.1 |
| terminado | 0.13.1 | testpath | 0.5.0 | threadpoolctl | 2.2.0 |
| tokenize-rt | 4.2.1 | tomli | 1.2.2 | tornádó | 6.1 |
| árulók | 5.1.1 | typing_extensions | 4.1.1 | ujson | 5.1.0 |
| felügyelet nélküli frissítések | 0,1 | urllib3 | 1.26.9 | virtualenv | 20.8.0 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | whatthepatch | 1.0.4 |
| kerék | 0.37.0 | widgetsnbextension | 3.6.1 | yapf | 0.31.0 |
Telepített R-kódtárak
Az R-kódtárak a 2022-11-11-i Microsoft CRAN-pillanatképből vannak telepítve.
| Könyvtár | Verzió | Könyvtár | Verzió | Könyvtár | Verzió |
|---|---|---|---|---|---|
| nyíl | 10.0.0 | askpass | 1,1 | assertthat | 0.2.1 |
| backports | 1.4.1 | alap | 4.2.2 | base64enc | 0.1-3 |
| bit | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.3 |
| indítás | 1.3-28 | főz | 1.0-8 | Brio | 1.1.3 |
| seprű | 1.0.1 | bslib | 0.4.1 | gyorsítótár | 1.0.6 |
| hívó | 3.7.3 | kalap | 6.0-93 | cellranger | 1.1.0 |
| chron | 2.3-58 | osztály | 7.3-21 | Cli | 3.4.1 |
| clipr | 0.8.0 | óra | 0.6.1 | fürt | 2.1.4 |
| kódtoolok | 0.2-19 | színtér | 2.0-3 | commonmark | 1.8.1 |
| fordítóprogram | 4.2.2 | config | 0.3.1 | cpp11 | 0.4.3 |
| zsírkréta | 1.5.2 | hitelesítő adatok | 1.3.2 | csavarodik | 4.3.3 |
| data.table | 1.14.4 | adatkészletek | 4.2.2 | DBI | 1.1.3 |
| dbplyr | 2.2.1 | Desc | 1.4.2 | devtools | 2.4.5 |
| diffobj | 0.3.5 | emészt | 0.6.30 | levilágított | 0.4.2 |
| dplyr | 1.0.10 | dtplyr | 1.2.2 | e1071 | 1.7-12 |
| három pont | 0.3.2 | evaluate | 0,18 | fani | 1.0.3 |
| farver | 2.1.1 | gyorstérkép | 1.1.0 | fontawesome | 0.4.0 |
| forcats | 0.5.2 | foreach | 1.5.2 | külföldi | 0.8-82 |
| kovácsol | 0.2.0 | Fs | 1.5.2 | jövő | 1.29.0 |
| future.apply | 1.10.0 | gargarizál | 1.2.1 | Generikus | 0.1.3 |
| Gert | 1.9.1 | ggplot2 | 3.4.0 | Gh | 1.3.1 |
| gitcreds | 0.1.2 | glmnet | 4.1-4 | globális | 0.16.1 |
| ragasztó | 1.6.2 | googledrive | 2.0.0 | googlesheets4 | 1.0.1 |
| Gower | 1.0.0 | grafika | 4.2.2 | grDevices | 4.2.2 |
| rács | 4.2.2 | gridExtra | 2.3 | gsubfn | 0,7 |
| gtable | 0.3.1 | hardhat | 1.2.0 | kikötő | 2.5.1 |
| highr | 0,9 | Hms | 1.1.2 | htmltoolok | 0.5.3 |
| htmlwidgets | 1.5.4 | httpuv | 1.6.6 | httr | 1.4.4 |
| Azonosítók | 1.0.1 | ini | 0.3.1 | ipred | 0.9-13 |
| izoband | 0.2.6 | iterátorok | 1.0.14 | jquerylib | 0.1.4 |
| jsonlite | 1.8.3 | KernSmooth | 2.23-20 | knitr | 1,40 |
| címkézés | 0.4.2 | később | 1.3.0 | rács | 0.20-45 |
| láva | 1.7.0 | életciklus | 1.0.3 | figyelő | 0.8.0 |
| lubridate | 1.9.0 | magrittr | 2.0.3 | markdown | 1.3 |
| TÖMEG | 7.3-58.2 | Mátrix | 1.5-1 | memoise | 2.0.1 |
| metódusok | 4.2.2 | mgcv | 1.8-41 | MIME | 0,12 |
| miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modellező | 0.1.9 |
| munsell | 0.5.0 | nlme | 3.1-162 | nnet | 7.3-18 |
| numDeriv | 2016.8-1.1 | openssl | 2.0.4 | parallel | 4.2.2 |
| párhuzamosan | 1.32.1 | pillér | 1.8.1 | pkgbuild | 1.3.1 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.6 | pkgload | 1.3.1 |
| plogr | 0.2.0 | rétegelt | 1.8.7 | dicséret | 1.0.0 |
| prettyunits | 1.1.1 | Proc | 1.18.0 | processx | 3.8.0 |
| prodlim | 2019.11.13 | profvis | 0.3.7 | haladás | 1.2.2 |
| progressr | 0.11.0 | Ígér | 1.2.0.1 | Proto | 1.0.0 |
| helyettes | 0.4-27 | Ps | 1.7.2 | purrr | 0.3.5 |
| r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.4 |
| randomForest | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-3 | Rcpp | 1.0.9 | RcppEigen | 0.3.3.9.3 |
| olvasó | 2.1.3 | readxl | 1.4.1 | receptek | 1.0.3 |
| Visszavágót | 1.0.1 | visszavágó2 | 2.1.2 | Távirányító | 2.4.2 |
| reprex | 2.0.2 | újraformázás2 | 1.4.4 | rlang | 1.0.6 |
| rmarkdown | 2.18 | RODBC | 1.3-19 | roxygen2 | 7.2.1 |
| rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-12 |
| RSQLite | 2.2.18 | rstudioapi | 0,14 | rversions | 2.1.2 |
| rvest | 1.0.3 | Sass | 0.4.2 | mérleg | 1.2.1 |
| választó | 0.4-2 | sessioninfo | 1.2.2 | alak | 1.4.6 |
| Fényes | 1.7.3 | sourcetools | 0.1.7 | sparklyr | 1.7.8 |
| SparkR | 3.3.2 | térbeli | 7.3-11 | splines | 4.2.2 |
| sqldf | 0.4-11 | NÉGYZET | 2021.1 | statisztika | 4.2.2 |
| statisztikák4 | 4.2.2 | stringi | 1.7.8 | sztring | 1.4.1 |
| túlélés | 3.4-0 | sys | 3.4.1 | systemfonts | 1.0.4 |
| tcltk | 4.2.2 | testthat | 3.1.5 | szövegformázás | 0.3.6 |
| tibble | 3.1.8 | tidyr | 1.2.1 | tidyselect | 1.2.0 |
| tidyverse | 1.3.2 | timechange | 0.1.1 | timeDate | 4021.106 |
| tinytex | 0.42 | eszközök | 4.2.2 | tzdb | 0.3.0 |
| urlchecker | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.2 |
| eszközök | 4.2.2 | uuid | 1.1-0 | vctrs | 0.5.0 |
| viridisLite | 0.4.1 | vroom | 1.6.0 | Waldo | 0.4.0 |
| bajusz | 0,4 | withr | 2.5.0 | xfun | 0.34 |
| xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.6 | fütyülés | 2.2.2 |
Telepített Java- és Scala-kódtárak (Scala 2.12-fürtverzió)
| Csoportazonosító | Összetevő azonosítója | Verzió |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.189 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.189 |
| com.amazonaws | aws-java-sdk-config | 1.12.189 |
| com.amazonaws | aws-java-sdk-core | 1.12.189 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.189 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.189 |
| com.amazonaws | aws-java-sdk-directory | 1.12.189 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.189 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.189 |
| com.amazonaws | aws-java-sdk-efs | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.189 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.189 |
| com.amazonaws | aws-java-sdk-emr | 1.12.189 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.189 |
| com.amazonaws | aws-java-sdk-glue | 1.12.189 |
| com.amazonaws | aws-java-sdk-iam | 1.12.189 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.189 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.189 |
| com.amazonaws | aws-java-sdk-kms | 1.12.189 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.189 |
| com.amazonaws | aws-java-sdk-logs | 1.12.189 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.189 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.189 |
| com.amazonaws | aws-java-sdk-rds | 1.12.189 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.189 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.189 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ses | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.189 |
| com.amazonaws | aws-java-sdk-sns | 1.12.189 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.189 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.189 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.189 |
| com.amazonaws | aws-java-sdk-sts | 1.12.189 |
| com.amazonaws | aws-java-sdk-support | 1.12.189 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.189 |
| com.amazonaws | jmespath-java | 1.12.189 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | patak | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | osztálytárs | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.13.4 |
| com.fasterxml.jackson.core | jackson-core | 2.13.4 |
| com.fasterxml.jackson.core | jackson-databind | 2.13.4.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.13.4 |
| com.github.ben-manes.koffein | koffein | 2.3.4 |
| com.github.fommil | jniloader | 1,1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1,1 |
| com.github.fommil.netlib | native_ref-java-natívok | 1,1 |
| com.github.fommil.netlib | native_system-java | 1,1 |
| com.github.fommil.netlib | native_system-java-natívok | 1,1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1,1 |
| com.github.luben | zstd-jni | 1.5.2-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.6 |
| com.google.crypto.tink | Csellengő | 1.6.1 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | gujávafa | 15,0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 2.0.204 |
| com.helger | Profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.ning | compress-lzf | 1,1 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.0 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1,15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.11.0 |
| commons-lang | commons-lang | 2.6 |
| commons-naplózás | commons-naplózás | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 2.2.1 |
| dev.ludovic.netlib | Blas | 2.2.1 |
| dev.ludovic.netlib | lapack | 2.2.1 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.21 |
| io.delta | delta-sharing-spark_2.12 | 0.6.3 |
| io.dropwizard.metrics | metrikamag | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.74.Final |
| io.netty | netty-buffer | 4.1.74.Final |
| io.netty | netty-codec | 4.1.74.Final |
| io.netty | netty-common | 4.1.74.Final |
| io.netty | netty-handler | 4.1.74.Final |
| io.netty | netty-resolver | 4.1.74.Final |
| io.netty | netty-tcnative-classes | 2.0.48.Final |
| io.netty | netty-transport | 4.1.74.Final |
| io.netty | netty-transport-classes-epoll | 4.1.74.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-unix-common | 4.1.74.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | gyűjtő | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | aktiválás | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1,1 |
| javax.transaction | transaction-api | 1,1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.13 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pác | 1,2 |
| net.sf.jpam | jpam | 1,1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.22 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | nyílformátum | 7.0.0 |
| org.apache.arrow | nyíl-memóriamag | 7.0.0 |
| org.apache.arrow | nyíl-memória-netty | 7.0.0 |
| org.apache.arrow | nyíl-vektor | 7.0.0 |
| org.apache.avro | avro | 1.11.0 |
| org.apache.avro | avro-ipc | 1.11.0 |
| org.apache.avro | avro-mapred | 1.11.0 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | kurátor-ügyfél | 2.13.0 |
| org.apache.curator | kurátor-keretrendszer | 2.13.0 |
| org.apache.curator | kurátor-receptek | 2.13.0 |
| org.apache.derby | keménykalap | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-api | 3.3.4-databricks |
| org.apache.hadoop | hadoop-client-runtime | 3.3.4 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.13 |
| org.apache.httpcomponents | httpcore | 4.4.14 |
| org.apache.ivy | borostyán | 2.5.0 |
| org.apache.logging.log4j | log4j-1.2-api | 2.18.0 |
| org.apache.logging.log4j | log4j-api | 2.18.0 |
| org.apache.logging.log4j | log4j-core | 2.18.0 |
| org.apache.logging.log4j | log4j-slf4j-impl | 2.18.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.7.6 |
| org.apache.orc | orc-mapreduce | 1.7.6 |
| org.apache.orc | orc-shims | 1.7.6 |
| org.apache.parquet | parquet-column | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-common | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-kódolás | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-format-structures | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-hadoop | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-jackson | 1.12.3-databricks-0002 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.20 |
| org.apache.yetus | célközönség-széljegyzetek | 0.13.0 |
| org.apache.zookeeper | zookeeper | 3.6.2 |
| org.apache.zookeeper | zookeeper-juta | 3.6.2 |
| org.checkerframework | checker-qual | 3.5.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.46.v20220331 |
| org.eclipse.jetty | móló-folytatás | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-http | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-io | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-jndi | 9.4.46.v20220331 |
| org.eclipse.jetty | móló plusz | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-proxy | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-security | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-server | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlet | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlets | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-webapp | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-xml | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.46.v20220331 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-lokátor | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.36 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.36 |
| org.glassfish.jersey.core | jersey-client | 2.36 |
| org.glassfish.jersey.core | jersey-common | 2.36 |
| org.glassfish.jersey.core | jersey-server | 2.36 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.36 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Végleges |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | Széljegyzetek | 17.0.0 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
| org.mlflow | mlflow-spark | 2.1.1 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.3.3 |
| org.roaringbitmap | RoaringBitmap | 0.9.25 |
| org.roaringbitmap | Alátéteket | 0.9.25 |
| org.rocksdb | rocksdbjni | 6.28.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.14 |
| org.scala-lang | scala-library_2.12 | 2.12.14 |
| org.scala-lang | scala-reflect_2.12 | 2.12.14 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | teszt-interfész | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1,2 |
| org.scalanlp | breeze_2.12 | 1,2 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.36 |
| org.slf4j | jul-to-slf4j | 1.7.36 |
| org.slf4j | slf4j-api | 1.7.36 |
| org.spark-project.spark | Használatlan | 1.0.0 |
| org.threeten | három-extra | 1.5.0 |
| org.tukaani | xz | 1,9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | makró-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1,5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |