Databricks Runtime 11.2 (EoS)
Feljegyzés
A Databricks Runtime-verzió támogatása véget ért. A támogatás megszűnésének dátumáról lásd a támogatási előzményeket. Az összes támogatott Databricks Runtime-verziót lásd : Databricks Runtime release notes versions and compatibility.
Az alábbi kibocsátási megjegyzések az Apache Spark 3.3.0 által működtetett Databricks Runtime 11.2-ről nyújtanak információkat. A Databricks 2022 szeptemberében adta ki ezt a verziót.
Új funkciók és fejlesztések
- Váltás ALTER TABLE-engedélyekre a táblahozzáférési vezérlőkben (tábla ACL-ek)
- Dinamikus metszés a MERGE INTO-hoz
- Továbbfejlesztett ütközésészlelés a Delta-ban dinamikus fájlmetszettel
- Új nyílt forráskódú integrációs kártya a DSE/SQL-kezdőlapokon
- A DELTA-partícióészlelés fejlesztései
- A táblázatsémák mostantól támogatják az oszlopok alapértelmezett értékeit
- Új H3 térinformatikai függvények
- Új Databricks Runtime-függőség
- Saját kulcs használata: Git-hitelesítő adatok titkosítása
- SQL: Új összesítő függvény any_value
- Több fürttípuson engedélyezett Databricks Utilities fájlrendszerparancsok
- A CREATE jogosultságok mostantól a Unity-katalógus metaadattáraihoz is adhatóak
- Optimalizált írások nem particionált táblákhoz a Photon-kompatibilis fürtökben
- Photon-támogatás további adatforrásokhoz
- SQL: Az ALTER SHARE mostantól támogatja a START VERZIÓt
Váltás ALTER TABLE-engedélyekre a táblahozzáférési vezérlőkben (tábla ACL-ek)
A felhasználóknak most csak a táblázat sémájának vagy tulajdonságainak módosításához van szükségük MODIFY
engedélyekre ALTER TABLE
. A tulajdonjog továbbra is szükséges a táblák engedélyeinek megadásához, tulajdonosának és helyének módosításához vagy átnevezéséhez. Ez a módosítás konzisztenssé teszi a tábla ACL-einek engedélyezési modelljét a Unity Katalógussal. Lásd: ALTER TABLE.
Dinamikus metszés a MERGE INTO-hoz
A Photon-kompatibilis számítás használatakor most dinamikus fájl- és partíciómetszetet használ, MERGE INTO
ha szükséges, a teljesítmény javítása érdekében, például ha egy kis forrástáblát egyesít egy nagyobb céltáblával.
Továbbfejlesztett ütközésészlelés a Delta-ban dinamikus fájlmetszettel
A véglegesítések során lehetséges ütközések ellenőrzésekor az ütközésészlelés mostantól a dinamikus fájlmetszet által metszett fájlokat veszi figyelembe, de statikus szűrők nem metszették volna. Ez a sikertelen tranzakciók számának csökkenését eredményezi.
Új nyílt forráskódú integrációs kártya a DSE/SQL-kezdőlapokon
Az új nyílt forráskódú integrációs kártya bemutatása a DSE/SQL kezdőlapokon, amelyek nyílt forráskód integrációs lehetőségeket, például a Delta Live Tableset és a DBT Core-t jelenítik meg.
A DELTA-partícióészlelés fejlesztései
CONVERT TO DELTA
automatikusan a Hive metaadattárban vagy a Unity Katalógusban regisztrált Parquet-táblák partíciós sémáját kövesse ki, így nincs szükség a PARTITIONED BY
záradék megadására.
CONVERT TO DELTA
a metaadattár partícióadatait használja a Parquet-tábla fájljainak felderítéséhez ahelyett, hogy a teljes alapelérési útvonalat listáznák, biztosítva, hogy az elvetett partíciók ne legyenek hozzáadva a Delta-táblához.
Lásd: Konvertálás Delta Lake-vé.
A táblázatsémák mostantól támogatják az oszlopok alapértelmezett értékeit
A táblázatsémák mostantól támogatják az oszlopok alapértelmezett értékeinek beállítását. INSERT
, UPDATE
és DELETE
ezekhez az oszlopokhoz tartozó parancsok a kulcsszóval hivatkozhatnak ezekre az értékekre DEFAULT
. Például, CREATE TABLE t (id INT, data INT DEFAULT 42) USING PARQUET
majd INSERT INTO t VALUES (1, DEFAULT)
hozzáfűzi a sort (1, 42)
. Ez a viselkedés CSV, JSON, Orc és Parquet adatforrásokhoz támogatott.
Új H3 térinformatikai függvények
Mostantól 28 új, beépített H3-kifejezés használható térinformatikai feldolgozáshoz a Foton-kompatibilis fürtökben, amelyek sql, Scala és Python nyelven érhetők el. Lásd: H3 térinformatikai függvények.
Új Databricks Runtime-függőség
A Databricks Runtime mostantól a H3 Java-kódtár 3.7.0-s verziójától függ.
Saját kulcs használata: Git-hitelesítő adatok titkosítása
Az Azure Key Vault használatával titkosíthat egy Git személyes hozzáférési jogkivonatot (PAT) vagy más Git-hitelesítő adatokat.
Lásd: Databricks Git-mappák (adattárak) beállítása.
SQL: Új összesítő függvény any_value
Az új any_value
aggregátumfüggvény egy sorcsoport véletlenszerű értékét expr
adja vissza. Tekintse meg a any_value összesítő függvényt.
Több fürttípuson engedélyezett Databricks Utilities fájlrendszerparancsok
dbutils.fs
A parancsok (a csatlakoztatással kapcsolatos parancsok kivételével) mostantól engedélyezve vannak a Unity Katalógussal rendelkező felhasználóelkülönítési fürtökön, valamint az örökölt tábla ACL-fürtökön, ha a felhasználó rendelkezik ANY FILE
engedélyekkel.
A CREATE jogosultságok mostantól a Unity-katalógus metaadattáraihoz is adhatóak
A CREATE CATALOG, a CREATE EXTERNAL LOCATION, a CREATE SHARE, a CREATE RECIPIENT és a CREATE PROVIDER jogosultság mostantól a Unity Catalog metaadattárakban is biztosítható.
Optimalizált írások nem particionált táblákhoz a Photon-kompatibilis fürtökben
A Unity Catalog által felügyelt táblák mostantól automatikusan megőrzik a jól hangolt méretű fájlokat a nem particionált táblákból a lekérdezési sebesség javítása és a teljesítmény optimalizálása érdekében.
Photon-támogatás további adatforrásokhoz
A Photon mostantól több adatforrást támogat, például a CSV-t és az Avro-t, és kompatibilis a gyorsítótárazott adatkeretekkel is. Korábban ezeknek az adatforrásoknak a vizsgálata azt jelentette, hogy a teljes lekérdezés nem fotonizálható, függetlenül a lekérdezés operátoraitól vagy kifejezéseitől. Most az adatforrásokat beolvasó lekérdezések fotonizálhatók, így jelentős késést és TCO-fejlesztéseket oldhatnak meg.
Ezt a funkciót a konfiguráció alapértelmezés szerint spark.databricks.photon.photonRowToColumnar.enabled
engedélyezi.
Korlátozások:
- A beágyazott típusok sémái ebben a kiadásban nem támogatottak (például tömbök, térképek és szerkezetek).
- Az ORC, RDD, Kinesis, Kafka és EventHub-források ebben a kiadásban nem támogatottak.
SQL: Az ALTER SHARE mostantól támogatja a START VERZIÓt
A ALTER SHARE
parancs mostantól támogatja START VERSION
, amely lehetővé teszi a szolgáltatók számára az adatok megosztását egy adott táblaverziótól kezdve. Lásd: ALTER SHARE.
Könyvtárfrissítések
- Frissített Python-kódtárak:
- 0.3.4 és 0.3.5 közötti eloszlás
- filelock 3.7.1-től 3.8.0-ra
- ábrázolás 5.8.2-től 5.9.0-ra
- protobuf 4.21.2 és 4.21.5 között
- Frissített R-kódtárak:
- seprű 0.8.0 és 1.0.0 között
- bslib 0.3.1-től 0.4.0-ra
- hívó 3.7.0 és 3.7.1 között
- 6,0-92-től 6,0-93-ra
- dbplyr 2.2.0 és 2.2.1 között
- devtools 2.4.3-tól 2.4.4-hez
- kiértékelés 0,15-ről 0,16-ra
- farver 2.1.0 és 2.1.1 között
- fontawesome 0.2.2-től 0.3.0-ra
- 1.26.1-től 1.27.0-ra
- általános 0.1.2-től 0.1.3-ra
- gert 1.6.0-tól 1.7.0-ra
- globális 0.15.1-től 0.16.0-ra
- googlesheets4 1.0.0 és 1.0.1 között
- hardhat 1.1.0-tól 1.2.0-ra
- htmltoolok a 0.5.2 és 0.5.3 között
- párhuzamosan az 1.32.0 és 1.32.1 között
- oszlop 1.7.0 és 1.8.0 között
- pkgload 1.2.4-től 1.3.0-ra
- processx 3.6.1 és 3.7.0 között
- Rcpp 1.0.8.3 és 1.0.9 között
- receptek 0.2.0-tól 1.0.1-től
- rlang 1.0.2-től 1.0.4-ig
- roxygen2 7.2.0-tól 7.2.1-ig
- RSQLite 2.2.14 és 2.2.15 között
- sass 0.4.1-től 0.4.2-esig
- fényes 1.7.1 és 1.7.2 között
- stringi 1.7.6-tól 1.7.8-ra
- 3.1.7-től 3.1.8-ra
- 1.3.1 és 1.3.2 közötti rend
- timeDate 3043.102 és 4021.104 között
- xfun 0,31 és 0,32 között
- Frissített Java-kódtárak:
- org.apache.orc.orc-core 1.7.4-től 1.7.5-ösig
- org.apache.orc.orc-mapreduce 1.7.4 és 1.7.5 között
- org.apache.orc.orc-shims 1.7.4 és 1.7.5 között
Apache Spark
A Databricks Runtime 11.2 tartalmazza az Apache Spark 3.3.0-t. Ez a kiadás tartalmazza a Databricks Runtime 11.1 -ben (EoS) található összes Spark-javítást és -fejlesztést, valamint a Spark következő további hibajavításait és fejlesztéseit:
- [SPARK-40151] [WARMFIX] [SC-109002] [SC-108809] [SQL] Szélesebb ANSI-intervallumtípusokat ad vissza a percentilisfüggvényekből
- [SPARK-40054] [SQL] A try_cast() hibakezelési szintaxisának visszaállítása
- [SPARK-39489] [CORE] Az eseménynaplózás JsonProtocol teljesítményének javítása A Json4s helyett Jackson használatával
- [SPARK-39319] [CORE] [SQL] Lekérdezési környezetek létrehozása a
SparkThrowable
- [SPARK-40085] [SQL] Az IllegalStateException helyett használjon INTERNAL_ERROR hibaosztályt a hibák jelzéséhez
- [SPARK-40001] [SQL] NULL írás létrehozása a JSON ALAPÉRTELMEZETT oszlopaiba a "null" írással a tárolóba
- [SPARK-39635] [SQL] Illesztőprogram-metrikák támogatása a DS v2 egyéni metrika API-ban
- [SPARK-39184] [SQL] Az alulméretezett eredménytömb kezelése dátum- és időbélyeg-sorozatokban
- [SPARK-40019] [SQL] A ArrayType elemének újrabontása: A CollectionOperator kifejezésében szereplő félreértési logikák újrabontása és újrabontása
containsNull
- [SPARK-39989] [SQL] Oszlopstatisztikák becslésének támogatása összecsukható kifejezés esetén
- [SPARK-39926] [SQL] Nem vektoros parquet-vizsgálatok alapértelmezett oszlopbeli támogatásának hibajavítása
- [SPARK-40052] [SQL] Közvetlen bájtpufferek kezelése a VectorizedDeltaBinaryPackedReaderben
- [SPARK-40044] [SQL] A célintervallumtípus javítása a túlcsordulási hibák esetén
- [SPARK-39835] [SQL] A EliminateSorts eltávolítása globális rendezés eltávolítása a helyi rendezés alatt
- [SPARK-40002] [SQL] Ne nyomja le a korlátot az ablakon ntile használatával
- [SPARK-39976] [SQL] A ArrayIntersectnek helyesen kell kezelnie a null értéket a bal oldali kifejezésben
- [SPARK-39985] [SQL] Implicit DEFAULT oszlopértékek engedélyezése a DataFrame-ből származó beszúrásokban
- [SPARK-39776] [SQL] A JOIN részletes sztringnek illesztéstípust kell hozzáadnia
- [SPARK-38901] [SQL] A DS V2 támogatja a leküldéses vegyes függvényeket
- [SPARK-40028] [SQL] [Nyomon követés] Sztringfüggvények példáinak javítása
- [SPARK-39983] [CORE] [SQL] Ne gyorsítótárazza a nemializált szórási kapcsolatokat az illesztőprogramon
- [SPARK-39812] [SQL] Egyszerűsítse a kódot
AggregateExpression
, amely atoAggregateExpression
- [SPARK-40028] [SQL] Bináris példák hozzáadása sztringkifejezésekhez
- [SPARK-39981] [SQL] A QueryExecutionErrors.castingCauseOverflowErrorInTableInsert kivétel elvetése a Castben
- [SPARK-40007] [PYTHON] [SQL] "mód" hozzáadása a függvényekhez
- [SPARK-40008] [SQL] Az integrálok ANSI-intervallumokra történő kiosztásának támogatása
- [SPARK-40003] [PYTHON] [SQL] "medián" hozzáadása függvényekhez
- [SPARK-39952] [SQL] A SaveIntoDataSourceCommandnak vissza kell szakadnia az eredményrel
- [SPARK-39951] [SQL] Beágyazott mezők parquet V2 oszlopos ellenőrzésének frissítése
- [SPARK-33236] [shuffle] Backport to DBR 11.x: Push-alapú shuffle szolgáltatás engedélyezése az állapot NM szintű adatbázisban való tárolásához a munka újraindításának megőrzése érdekében
- [SPARK-39836] [SQL] Egyszerűsítse le a V2ExpressionBuildert a gyakori módszer kinyerésével.
- [SPARK-39873] [SQL] Eltávolítás
OptimizeLimitZero
és egyesítésEliminateLimits
- [SPARK-39961] [SQL] DS V2 push-down translate Cast, ha a leadás biztonságos
- [SPARK-39872] [SQL] Váltás a Tömb bemeneti API használatára
BytePackerForLong#unpack8Values
a következőben:VectorizedDeltaBinaryPackedReader
- [SPARK-39858] [SQL] Szükségtelen
AliasHelper
vagyPredicateHelper
néhány szabály eltávolítása - [SPARK-39900] [SQL] Részleges vagy nem kondicionált állapot kezelése bináris formátumban a predikátum leküldéses leküldésében
- [SPARK-39904] [SQL] Nevezze át az inferDate nevet, hogy előnyben részesítse a CSV-adatforrásban lévő beállítás szemantikáját, és tisztázza a szemantikát
- [SPARK-39958] [SQL] Figyelmeztető napló hozzáadása, ha nem lehet betölteni az egyéni metrikaobjektumot
- [SPARK-39932] [SQL] A WindowExecnek törölnie kell a végső partíciópuffert
- [SPARK-37194] [SQL] Kerülje a felesleges rendezést az 1. v. írásban, ha az nem dinamikus partíció
- [SPARK-39902] [SQL] Vizsgálat részleteinek hozzáadása a Spark-terv vizsgálati csomópontjához a SparkUI-ban
- [SPARK-39865] [SQL] Megfelelő hibaüzenetek megjelenítése a táblázat beszúrásának túlcsordulási hibáin
- [SPARK-39940] [SS] Katalógustábla frissítése streamelési lekérdezésen DSv1-fogadóval
- [SPARK-39827] [SQL] A hibaosztály
ARITHMETIC_OVERFLOW
használata int overflow inadd_months()
- [SPARK-39914] [SQL] DS V2-szűrő hozzáadása a V1-szűrőkonvertáláshoz
- [SPARK-39857] [SQL] Manuális DBR 11.x backport; A V2ExpressionBuilder helytelen LiteralValue adattípust használ az In predikátum #43454 predikátumhoz
- [SPARK-39840] [SQL] [PYTHON] A PythonArrowInput kihatása a PythonArrowOutput szimmetriaként
- [SPARK-39651] [SQL] A metszés szűrőfeltétele, ha összehasonlítjuk a randtal, determinisztikus
- [SPARK-39877] [PYTHON] Unpivot hozzáadása a PySpark DataFrame API-hoz
- [SPARK-39909] [SQL] A JDBCV2Suite leküldéses adatainak ellenőrzése rendszerezése
- [SPARK-39834] [SQL] [SS] Adja meg a LogicalRDD forrásstatisztikáit és korlátait, ha a DataFrame-ből származik
- [SPARK-39849] [SQL] Dataset.as(StructType) üres értékkel tölti ki a hiányzó új oszlopokat
- [SPARK-39860] [SQL] További kifejezéseknek ki kell terjesztenie a Predikátumot
- [SPARK-39823] [SQL] [PYTHON] Nevezze át Dataset.as Dataset.to, és adjon hozzá DataFrame.to a PySparkban
- [SPARK-39918] [SQL] [AL] Cserélje le a "nem összehasonlítható" szöveget "összehasonlíthatatlan" szövegre a hibaüzenetben
- [SPARK-39857] [SQL] [3.3] A V2ExpressionBuilder helytelen LiteralValue adattípust használ az In predikátumhoz
- [SPARK-39862] [SQL] Manuális backport for PR 43654 targeting DBR 11.x: Frissítés SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS engedélyezéséhez/megtagadásához ALTER TABLE ... A COLUMN parancsok hozzáadása külön-külön.
- [SPARK-39844] [SQL] Manuális háttérport a PR 43652-hez, amely a DBR 11.x-et célozza
- [SPARK-39899] [SQL] Az üzenetparaméterek továbbításának javítása
InvalidUDFClassException
- [SPARK-39890] [SQL] TakeOrderedAndProjectExec öröklése AliasAwareOutputOrdering
- [SPARK-39809] [PYTHON] CharType támogatása a PySparkban
- [SPARK-38864] [SQL] Unpivot/melt hozzáadása az adatkészlethez
- [SPARK-39864] [SQL] Lazily register ExecutionListenerBus
- [SPARK-39808] [SQL] Aggregátumfüggvény mód támogatása
- [SPARK-39875] [SQL] A végső osztály metódusának módosítása
protected
a következőre:private
package-visible
- [SPARK-39731] [SQL] Kijavítottuk a CSV- és JSON-adatforrásokban a dátumok "yyyyyMMdd" formátumban történő elemzésekor a JAVÍTOTT időelemző házirenddel kapcsolatos problémát
- [SPARK-39805] [SS] Trigger.Once és Promote Trigger.AvailableNow törlése
- [SPARK-39784] [SQL] Literális értékek elhelyezése az adatforrásszűrő jobb oldalán a Katalizátorkifejezés adatforrásszűrőre történő fordítása után
- [SPARK-39672] [SQL] [3.1] A projekt eltávolításának javítása a korrelált subquery szűrése előtt
- [SPARK-39552] [SQL] 1. és 2. verzió egységesítése
DESCRIBE TABLE
- [SPARK-39810] [SQL] A Catalog.tableExistsnek kezelnie kell a beágyazott névteret
- [SPARK-37287] [SQL] Dinamikus partíció és gyűjtőrendezés lekérése a FileFormatWriterből
- [SPARK-39469] [SQL] CSV-séma következtetésének dátumtípusa
- [SPARK-39148] [SQL] A DS V2 aggregátum leküldése az ELTOLÁS vagy a KORLÁT használatával is használható
- [SPARK-39818] [SQL] Hiba kijavítása a ARRAY, a STRUCT és a MAP típusok alapértelmezett értékekkel és NULL mező(ek) használatával
- [SPARK-39792] [SQL] DecimálisdivideWithOverflowCheck hozzáadása decimális átlaghoz
- [SPARK-39798] [SQL] Replcace
toSeq.toArray
a.toArray[Any]
konstruktor aGenericArrayData
- [SPARK-39759] [SQL] ListIndexes implementálása a JDBC-ben (H2 dialektus)
- [SPARK-39385] [SQL] Támogatja a leküldést és a leküldést
REGR_AVGX
REGR_AVGY
- [SPARK-39787] [SQL] Hibaosztály használata a to_timestamp függvény elemzési hibájában
- [SPARK-39760] [PYTHON] A Varchar támogatása a PySparkban
- [SPARK-39557] [SQL] Manuális backport to DBR 11.x: Support ARRAY, STRUCT, MAP types as DEFAULT values
- [SPARK-39758] [SQL] [3.3] A regexp függvények NPE-jének javítása érvénytelen mintákon
- [SPARK-39749] [SQL] ANSI SQL mód: Egyszerű sztring-ábrázolás használata decimális sztringgé alakításkor
- [SPARK-39704] [SQL] CreateIndex &dropIndex &indexExists implementálása a JDBC-ben (H2 dialektus)
- [SPARK-39803] [SQL] Használat
LevenshteinDistance
helyettStringUtils.getLevenshteinDistance
- [SPARK-39339] [SQL] A JDBC-adatforrás időbélyegNTZ-típusának támogatása
- [SPARK-39781] [SS] Támogatás hozzáadása max_open_files biztosításához a rocksdb state store szolgáltatóhoz
- [SPARK-39719] [R] DatabaseExists/getDatabase implementálása a SparkR-ben támogatja a 3L névteret
- [SPARK-39751] [SQL] Kivonatösszegző kulcs mintavételi metrikáinak átnevezése
- [SPARK-39772] Az [SQL] névtérnek null értékűnek kell lennie, ha az adatbázis null értékű a régi konstruktorokban
- [SPARK-39625] [SPARK-38904] [SQL] Dataset.as(StructType) hozzáadása
- [SPARK-39384] [SQL] Beépített lineáris regressziós aggregátumfüggvények fordítása JDBC-dialektushoz
- [SPARK-39720] [R] TableExists/getTable implementálása a SparkR 3L-névtérben
- [SPARK-39744] [SQL] A
REGEXP_INSTR
függvény hozzáadása - [SPARK-39716] [R] Az aktuálisDatabase/setCurrentDatabase/listCatalogs létrehozása a SparkR-ben támogatja a 3L névteret
- [SPARK-39788] [SQL] Átnevezés
catalogName
erre:dialectName
JdbcUtils
- [SPARK-39647] [CORE] A végrehajtó regisztrálása az ESS-ben a BlockManager regisztrálása előtt
- [SPARK-39754] [CORE] [SQL] Használaton kívüli
import
vagy szükségtelen eltávolítása{}
- [SPARK-39706] [SQL] Hiányzó oszlop beállítása alapértelmezett Érték értékével állandóként a következőben:
ParquetColumnVector
- [SPARK-39699] [SQL] A CollapseProject intelligensebbé tétele a gyűjteménylétrehozási kifejezésekről
- [SPARK-39737] [SQL]
PERCENTILE_CONT
ésPERCENTILE_DISC
támogatnia kell az összesítő szűrőt - [SPARK-39579] [SQL] [PYTHON] [R] ListFunctions/getFunction/functionExists kompatibilissé tétele 3 rétegbeli névtérrel
- [SPARK-39627] [SQL] A JDBC V2 leküldésének egyesítenie kell a fordítási API-t
- [SPARK-39748] [SQL] [SS] Adja meg a LogicalRDD forrás logikai tervét, ha a DataFrame-ből származik
- [SPARK-39385] [SQL] Lineáris regressziós aggregátumfüggvények fordítása leküldéshez
- [SPARK-39695] [SQL] A
REGEXP_SUBSTR
függvény hozzáadása - [SPARK-39667] [SQL] Adjon hozzá egy másik áthidaló megoldást, ha nincs elegendő memória a tábla létrehozásához és közvetítéséhez
- [SPARK-39666] [ES-337834] [SQL] A UnsafeProjection.create használata a ExpressionEncoderben való tisztelethez
spark.sql.codegen.factoryMode
- [SPARK-39643] [SQL] Subquery-kifejezések tiltása ALAPÉRTELMEZETT értékekben
- [SPARK-38647] [SQL] A SupportsReportOrdering mix hozzáadása a Scan felületéhez (DataSourceV2)
- [SPARK-39497] [SQL] A hiányzó térképkulcs-oszlop elemzési kivételének javítása
- [SPARK-39661] [SQL] Kerülje a szükségtelen SLF4J-naplózó létrehozását
- [SPARK-39713] [SQL] ANSI mód: javaslat hozzáadása try_element_at INVALID_ARRAY_INDEX hiba esetén való használatára
- [SPARK-38899] [SQL] A DS V2 támogatja a leküldéses datetime függvényeket
- [SPARK-39638] [SQL] Váltás a
ConstantColumnVector
partícióoszlopok tárolására a következő helyen:OrcColumnarBatchReader
- [SPARK-39653] [SQL]
ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int)
Törlés innen:ColumnVectorUtils
- [SPARK-39231] [SQL] Partícióoszlopok
ConstantColumnVector
tárolása helyettOn/OffHeapColumnVector
VectorizedParquetRecordReader
- [SPARK-39547] [SQL] A V2SessionCatalog nem dobja a NoSuchDatabaseException függvényt a loadNamspaceMetadata fájlban
- [SPARK-39447] [SQL] Az AssertionError elkerülése az AdaptiveSparkPlanExec.doExecuteBroadcast alkalmazásban
- [SPARK-39492] [SQL] Átdolgozás MISSING_COLUMN
- [SPARK-39679] [SQL] A TakeOrderedAndProjectExecnek tiszteletben kell tartania a gyermekkimenetek sorrendjét
- [SPARK-39606] [SQL] Gyermekstatisztikák használata a rendelési operátor becsléséhez
- [SPARK-39611] [PYTHON] [PS] Helytelen aliasok javítása a array_ufunc
- [SPARK-39656] [SQL] [3.3] Helytelen névtér kijavítása a DescribeNamespaceExecben
- [SPARK-39675] [SQL] A "spark.sql.codegen.factoryMode" konfigurációjának váltása tesztelési célról belső célra
- [SPARK-39139] [SQL] A DS V2 támogatja a DS V2 UDF leküldését
- [SPARK-39434] [SQL] Futtatókörnyezeti hiba lekérdezési környezetének megadása, ha a tömbindex nem határolt
- [SPARK-39479] [SQL] A DS V2 támogatja a matematikai függvények leküldését (nem ANSI)
- [SPARK-39618] [SQL] A
REGEXP_COUNT
függvény hozzáadása - [SPARK-39553] [CORE] A többszálas törlési shuffle nem dobhatja az NPE-t a Scala 2.13 használatakor
- [SPARK-38755] [PYTHON] [3.3] Fájl hozzáadása a hiányzó pandas általános funkcióinak kezeléséhez
- [SPARK-39444] [SQL] OptimizeSubqueries hozzáadása a nemExcludableRules listához
- [SPARK-39316] [SQL] PromotePrecision és CheckOverflow egyesítése decimális bináris aritmetikai értékké
- [SPARK-39505] [Felhasználói felület] Felhasználói felületen megjelenített menekülési naplótartalom
- [SPARK-39448] [SQL] Hozzáadás
ReplaceCTERefWithRepartition
a listáhoznonExcludableRules
- [SPARK-37961] [SQL] A maxRows/maxRowsPerPartition felülbírálása néhány logikai operátor esetében
- [SPARK-35223] A IssueNavigationLink hozzáadása visszaállítása
- [SPARK-39633] [SQL] A TimeTravel időbélyegének támogatása másodpercben a Dataframe-beállítások használatával
- [SPARK-38796] [SQL] Számformátum-sztringek dokumentációjának frissítése a(z) {try_}to_number függvényekkel
- [SPARK-39650] [SS] Helytelen értékséma javítása a streamelési deduplikációban a visszamenőleges kompatibilitással
- [SPARK-39636] [CORE] [Felhasználói felület] Kijavítottunk több hibát a JsonProtocolban, ami hatással van a StorageLevels és a Task/Executor ResourceRequests halomra
- [SPARK-39432] [SQL] ELEMENT_AT_BY_INDEX_ZERO visszaadott element_at(*, 0)
- [SPARK-39349] Központosított CheckError metódus hozzáadása a hibaelérési út QA-hoz
- [SPARK-39453] [SQL] A DS V2 támogatja a nem összesítő függvények leküldését (nem ANSI)
- [SPARK-38978] [SQL] A DS V2 támogatja az OFFSET operátor leküldését
- [SPARK-39567] [SQL] ANSI-intervallumok támogatása a percentilisfüggvényekben
- [SPARK-39383] [SQL] Az ALTER TABLE ALTER COLUMNS és v2 adatforrások alapértelmezett oszlopainak támogatása
- [SPARK-39396] [SQL] A "49- hibakód – érvénytelen hitelesítő adatok" LDAP-bejelentkezési kivétel kijavítása
- [SPARK-39548] [SQL] A CreateView parancs ablak-záradék lekérdezéssel hibás ablakdefiníciót talált, és nem található probléma
- [SPARK-39575] [AVRO] add ByteBuffer#rewind after ByteBuffer#get in Avr...
- [SPARK-39543] A DataFrameWriterV2 lehetőséget át kell adni a tárolási tulajdonságoknak, ha az 1.
- [SPARK-39564] [SS] Katalógustábla információinak felfedése a logikai terv számára a streamelési lekérdezésben
- [SPARK-39582] [SQL] Javítsa ki a "Since" jelölőt a következőhöz:
array_agg
- [SPARK-39388] [SQL] Újrafelhasználás
orcSchema
az Orc-predikátumok leküldésekor - [SPARK-39511] [SQL] 1. helyi korlát javítása a bal oldali fél-/anticsatlakozás jobb oldalán, ha az illesztési feltétel üres
- [SPARK-38614] [SQL] Ne nyomja le a korlátot az percent_rank
- [SPARK-39551] [SQL] Érvénytelen AQE-csomag hozzáadása
- [SPARK-39383] [SQL] Alapértelmezett oszlopok támogatása az ALTER TABLE ADD COLUMNS to V2 adatforrásokban
- [SPARK-39538] [SQL] Kerülje a szükségtelen SLF4J-naplózó létrehozását
- [SPARK-39383] [SQL] Manuális backport to DBR 11.x: Refactor DEFAULT column support to skip passing the primary Analyzer around
- [SPARK-39397] [SQL] Relax AliasAwareOutputExpression az alias kifejezéssel való támogatásához
- [SPARK-39496] [SQL] Null struct kezelése
Inline.eval
- [SPARK-39545] [SQL] Felülbírálási
concat
módszer aExpressionSet
Scala 2.13-ban a teljesítmény javítása érdekében - [SPARK-39340] [SQL] A DS v2 agg leküldéses leküldésének engedélyeznie kell a legfelső szintű oszlopok nevében lévő pontokat
- [SPARK-39488] [SQL] A TempResolvedColumn hibakezelésének egyszerűsítése
- [SPARK-38846] [SQL] Explicit adatleképezés hozzáadása a Teradata numerikus típus és a Spark DecimalType között
- [SPARK-39520] [SQL] Felülbírálási
--
módszer aExpressionSet
Scala 2.13-ban - [SPARK-39470] [SQL] AZ ANSI-intervallumok támogatása tizedes törtekre
- [SPARK-39477] [SQL] Távolítsa el a "Lekérdezések száma" adatokat az SQLQueryTestSuite arany fájljaiból
- [SPARK-39419] [SQL] A ArraySort javítása kivétel kivetéséhez, ha az összehasonlító null értéket ad vissza
- [SPARK-39061] [SQL] Null érték helyes
Inline
beállítása kimeneti attribútumokhoz - [SPARK-39320] [SQL] Aggregátumfüggvény támogatása
MEDIAN
- [SPARK-39261] [CORE] Új vonal formázásának javítása hibaüzenetekhez
- [SPARK-39355] [SQL] Az egyetlen oszlop idézve hozza létre az UnresolvedAttribute függvényt
- [SPARK-39351] [SQL] SHOW CREATE TABLE should redact properties
- [SPARK-37623] [SQL] ANSI-összesítő függvény támogatása: regr_intercept
- [SPARK-39374] [SQL] A felhasználó által megadott oszloplista hibaüzenetének javítása
- [SPARK-39255] [SQL] [3.3] A hibaüzenetek javítása
- [SPARK-39321] [SQL] A TryCast újrabontása a RuntimeReplaceable használatára
- [SPARK-39406] [PYTHON] NumPy-tömb elfogadása a createDataFrame-ben
- [SPARK-39267] [SQL] Felesleges dsl szimbólum eltávolítása
- [SPARK-39171] [SQL] A Cast kifejezés egyesítése
- [SPARK-28330] [SQL] ANSI SQL támogatása: eredményeltolási záradék a lekérdezési kifejezésben
- [SPARK-39203] [SQL] A tábla helyének átírása abszolút URI-ra az adatbázis URI-ja alapján
- [SPARK-39313] [SQL]
toCatalystOrdering
sikertelennek kell lennie, ha a V2Expression nem fordítható le - [SPARK-39301] [SQL] [PYTHON] A LocalRelation használata és a nyíl kötegméretének tiszteletben tartása a createDataFrame-ben nyíloptimalizációval
- [SPARK-39400] [SQL] a spark-sql-nek minden esetben el kell távolítania a hive resource dir-t
Karbantartási frissítések
Lásd a Databricks Runtime 11.2 karbantartási frissítéseit.
Rendszerkörnyezet
- Operációs rendszer: Ubuntu 20.04.4 LTS
- Java: Zulu 8.56.0.21-CA-linux64
- Scala: 2.12.14
- Python: 3.9.5
- R: 4.1.3
- Delta Lake: 2.1.0
Telepített Python-kódtárak
Könyvtár | Verzió | Könyvtár | Verzió | Könyvtár | Verzió |
---|---|---|---|---|---|
Antergos Linux | 2015.10 (ISO-rolling) | argon2-cffi | 20.1.0 | aszinkron generátor | 1.10 |
attrs | 21.2.0 | backcall | 0.2.0 | backports.entry-points-selectable | 1.1.1 |
fekete | 22.3.0 | fehérítő | 4.0.0 | boto3 | 1.21.18 |
botocore | 1.24.18 | minősítés | 2021.10.8 | cffi | 1.14.6 |
karakterkészlet | 4.0.0 | charset-normalizer | 2.0.4 | kattintás | 8.0.3 |
kriptográfia | 3.4.8 | biciklista | 0.10.0 | Cython | 0.29.24 |
dbus-python | 1.2.16 | hibakeresés | 1.4.1 | lakberendező | 5.1.0 |
defusedxml | 0.7.1 | distlib | 0.3.5 | distro-info | 0,23ubuntu1 |
belépési pontok | 0.3 | aspektusok áttekintése | 1.0.0 | filelock | 3.8.0 |
idna | 3.2 | ipykernel | 6.12.1 | ipython | 7.32.0 |
ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 | jedi | 0.18.0 |
Jinja2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.0.1 |
jsonschema | 3.2.0 | jupyter-client | 6.1.12 | jupyter-core | 4.8.1 |
jupyterlab-pygments | 0.1.2 | jupyterlab-widgetek | 1.0.0 | kiwisolver | 1.3.1 |
MarkupSafe | 2.0.1 | matplotlib | 3.4.3 | matplotlib-inline | 0.1.2 |
mistune | 0.8.4 | mypy-extensions | 0.4.3 | nbclient | 0.5.3 |
nbconvert | 6.1.0 | nbformat | 5.1.3 | nest-asyncio | 1.5.1 |
jegyzetfüzet | 6.4.5 | numpy | 1.20.3 | csomagolás | 21,0 |
pandas | 1.3.4 | pandocfilters | 1.4.3 | parso | 0.8.2 |
pathspec | 0.9.0 | Patsy | 0.5.2 | pexpect | 4.8.0 |
pickleshare | 0.7.5 | Párna | 8.4.0 | mag | 21.2.4 |
platformdirs | 2.5.2 | ábrázolás | 5.9.0 | prometheus-client | 0.11.0 |
prompt-toolkit | 3.0.20 | protobuf | 4.21.5 | psutil | 5.8.0 |
psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pyarrow | 7.0.0 |
pycparser | 2,20 | Pygments | 2.10.0 | PyGObject | 3.36.0 |
pyodbc | 4.0.31 | pyparsing | 3.0.4 | pyrsistent | 0.18.0 |
python-apt | 2.0.0+ubuntu0.20.4.7 | python-dateutil | 2.8.2 | pytz | 2021.3 |
pyzmq | 22.2.1 | kérelmek | 2.26.0 | requests-unixsocket | 0.2.0 |
s3transfer | 0.5.2 | scikit-learn | 0.24.2 | scipy | 1.7.1 |
tengeri | 0.11.2 | Send2Trash | 1.8.0 | setuptools | 58.0.4 |
Hat | 1.16.0 | ssh-import-id | 5.10 | statsmodels | 0.12.2 |
Kitartás | 8.0.1 | terminado | 0.9.4 | testpath | 0.5.0 |
threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
tornádó | 6.1 | árulók | 5.1.0 | gépelés-bővítmények | 3.10.0.2 |
felügyelet nélküli frissítések | 0,1 | urllib3 | 1.26.7 | virtualenv | 20.8.0 |
wcwidth | 0.2.5 | webencodings | 0.5.1 | kerék | 0.37.0 |
widgetsnbextension | 3.6.0 |
Telepített R-kódtárak
Az R-kódtárak a Microsoft CRAN-pillanatképből vannak telepítve 2022-08-15-én.
Könyvtár | Verzió | Könyvtár | Verzió | Könyvtár | Verzió |
---|---|---|---|---|---|
askpass | 1,1 | assertthat | 0.2.1 | backports | 1.4.1 |
alap | 4.1.3 | base64enc | 0.1-3 | bit | 4.0.4 |
bit64 | 4.0.5 | blob | 1.2.3 | indítás | 1.3-28 |
főz | 1.0-7 | Brio | 1.1.3 | seprű | 1.0.0 |
bslib | 0.4.0 | gyorsítótár | 1.0.6 | hívó | 3.7.1 |
kalap | 6.0-93 | cellranger | 1.1.0 | chron | 2.3-57 |
osztály | 7.3-20 | Cli | 3.3.0 | clipr | 0.8.0 |
fürt | 2.1.3 | kódtoolok | 0.2-18 | színtér | 2.0-3 |
commonmark | 1.8.0 | fordítóprogram | 4.1.3 | config | 0.3.1 |
cpp11 | 0.4.2 | zsírkréta | 1.5.1 | hitelesítő adatok | 1.3.2 |
csavarodik | 4.3.2 | data.table | 1.14.2 | adatkészletek | 4.1.3 |
DBI | 1.1.3 | dbplyr | 2.2.1 | Desc | 1.4.1 |
devtools | 2.4.4 | diffobj | 0.3.5 | emészt | 0.6.29 |
levilágított | 0.4.2 | dplyr | 1.0.9 | dtplyr | 1.2.1 |
e1071 | 1.7-11 | három pont | 0.3.2 | evaluate | 0,16 |
fani | 1.0.3 | farver | 2.1.1 | gyorstérkép | 1.1.0 |
fontawesome | 0.3.0 | forcats | 0.5.1 | foreach | 1.5.2 |
külföldi | 0.8-82 | kovácsol | 0.2.0 | Fs | 1.5.2 |
jövő | 1.27.0 | future.apply | 1.9.0 | gargarizál | 1.2.0 |
Generikus | 0.1.3 | Gert | 1.7.0 | ggplot2 | 3.3.6 |
Gh | 1.3.0 | gitcreds | 0.1.1 | glmnet | 4.1-4 |
globális | 0.16.0 | ragasztó | 1.6.2 | googledrive | 2.0.0 |
googlesheets4 | 1.0.1 | Gower | 1.0.0 | grafika | 4.1.3 |
grDevices | 4.1.3 | rács | 4.1.3 | gridExtra | 2.3 |
gsubfn | 0,7 | gtable | 0.3.0 | hardhat | 1.2.0 |
kikötő | 2.5.0 | highr | 0,9 | Hms | 1.1.1 |
htmltoolok | 0.5.3 | htmlwidgets | 1.5.4 | httpuv | 1.6.5 |
httr | 1.4.3 | Azonosítók | 1.0.1 | ini | 0.3.1 |
ipred | 0.9-13 | izoband | 0.2.5 | iterátorok | 1.0.14 |
jquerylib | 0.1.4 | jsonlite | 1.8.0 | KernSmooth | 2.23-20 |
knitr | 1.39 | címkézés | 0.4.2 | később | 1.3.0 |
rács | 0.20-45 | láva | 1.6.10 | életciklus | 1.0.1 |
figyelő | 0.8.0 | lubridate | 1.8.0 | magrittr | 2.0.3 |
markdown | 1,1 | TÖMEG | 7.3-56 | Mátrix | 1.4-1 |
memoise | 2.0.1 | metódusok | 4.1.3 | mgcv | 1.8-40 |
MIME | 0,12 | miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 |
modellező | 0.1.8 | munsell | 0.5.0 | nlme | 3.1-157 |
nnet | 7.3-17 | numDeriv | 2016.8-1.1 | openssl | 2.0.2 |
parallel | 4.1.3 | párhuzamosan | 1.32.1 | pillér | 1.8.0 |
pkgbuild | 1.3.1 | pkgconfig | 2.0.3 | pkgdown | 2.0.6 |
pkgload | 1.3.0 | plogr | 0.2.0 | rétegelt | 1.8.7 |
dicséret | 1.0.0 | prettyunits | 1.1.1 | Proc | 1.18.0 |
processx | 3.7.0 | prodlim | 2019.11.13 | profvis | 0.3.7 |
haladás | 1.2.2 | progressr | 0.10.1 | Ígér | 1.2.0.1 |
Proto | 1.0.0 | helyettes | 0.4-27 | Ps | 1.7.1 |
purrr | 0.3.4 | r2d3 | 0.2.6 | R6 | 2.5.1 |
ragg | 1.2.2 | randomForest | 4.7-1.1 | rappdirs | 0.3.3 |
rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 | Rcpp | 1.0.9 |
RcppEigen | 0.3.3.9.2 | olvasó | 2.1.2 | readxl | 1.4.0 |
receptek | 1.0.1 | Visszavágót | 1.0.1 | visszavágó2 | 2.1.2 |
Távirányító | 2.4.2 | reprex | 2.0.1 | újraformázás2 | 1.4.4 |
rlang | 1.0.4 | rmarkdown | 2.14 | RODBC | 1.3-19 |
roxygen2 | 7.2.1 | rpart | 4.1.16 | rprojroot | 2.0.3 |
Rserve | 1.8-11 | RSQLite | 2.2.15 | rstudioapi | 0,13 |
rversions | 2.1.1 | rvest | 1.0.2 | Sass | 0.4.2 |
mérleg | 1.2.0 | választó | 0.4-2 | sessioninfo | 1.2.2 |
alak | 1.4.6 | Fényes | 1.7.2 | sourcetools | 0.1.7 |
sparklyr | 1.7.7 | SparkR | 3.3.0 | térbeli | 7.3-11 |
splines | 4.1.3 | sqldf | 0.4-11 | NÉGYZET | 2021.1 |
statisztika | 4.1.3 | statisztikák4 | 4.1.3 | stringi | 1.7.8 |
sztring | 1.4.0 | túlélés | 3.2-13 | sys | 3.4 |
systemfonts | 1.0.4 | tcltk | 4.1.3 | testthat | 3.1.4 |
szövegformázás | 0.3.6 | tibble | 3.1.8 | tidyr | 1.2.0 |
tidyselect | 1.1.2 | tidyverse | 1.3.2 | timeDate | 4021.104 |
tinytex | 0.40 | eszközök | 4.1.3 | tzdb | 0.3.0 |
urlchecker | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.2 |
eszközök | 4.1.3 | uuid | 1.1-0 | vctrs | 0.4.1 |
viridisLite | 0.4.0 | vroom | 1.5.7 | Waldo | 0.4.0 |
bajusz | 0,4 | withr | 2.5.0 | xfun | 0.32 |
xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
yaml | 2.3.5 | fütyülés | 2.2.0 |
Telepített Java- és Scala-kódtárak (Scala 2.12-fürtverzió)
Csoportazonosító | Összetevő azonosítója | Verzió |
---|---|---|
antlr | antlr | 2.7.7 |
com.amazonaws | amazon-kinesis-client | 1.12.0 |
com.amazonaws | aws-java-sdk-autoscaling | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudformation | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudfront | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudhsm | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudsearch | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudtrail | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudwatch | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.189 |
com.amazonaws | aws-java-sdk-codedeploy | 1.12.189 |
com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.189 |
com.amazonaws | aws-java-sdk-cognitosync | 1.12.189 |
com.amazonaws | aws-java-sdk-config | 1.12.189 |
com.amazonaws | aws-java-sdk-core | 1.12.189 |
com.amazonaws | aws-java-sdk-datapipeline | 1.12.189 |
com.amazonaws | aws-java-sdk-directconnect | 1.12.189 |
com.amazonaws | aws-java-sdk-directory | 1.12.189 |
com.amazonaws | aws-java-sdk-dynamodb | 1.12.189 |
com.amazonaws | aws-java-sdk-ec2 | 1.12.189 |
com.amazonaws | aws-java-sdk-ecs | 1.12.189 |
com.amazonaws | aws-java-sdk-efs | 1.12.189 |
com.amazonaws | aws-java-sdk-elasticache | 1.12.189 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.189 |
com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.189 |
com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.189 |
com.amazonaws | aws-java-sdk-emr | 1.12.189 |
com.amazonaws | aws-java-sdk-glacier | 1.12.189 |
com.amazonaws | aws-java-sdk-glue | 1.12.189 |
com.amazonaws | aws-java-sdk-iam | 1.12.189 |
com.amazonaws | aws-java-sdk-importexport | 1.12.189 |
com.amazonaws | aws-java-sdk-kinesis | 1.12.189 |
com.amazonaws | aws-java-sdk-kms | 1.12.189 |
com.amazonaws | aws-java-sdk-lambda | 1.12.189 |
com.amazonaws | aws-java-sdk-logs | 1.12.189 |
com.amazonaws | aws-java-sdk-machinelearning | 1.12.189 |
com.amazonaws | aws-java-sdk-opsworks | 1.12.189 |
com.amazonaws | aws-java-sdk-rds | 1.12.189 |
com.amazonaws | aws-java-sdk-redshift | 1.12.189 |
com.amazonaws | aws-java-sdk-route53 | 1.12.189 |
com.amazonaws | aws-java-sdk-s3 | 1.12.189 |
com.amazonaws | aws-java-sdk-ses | 1.12.189 |
com.amazonaws | aws-java-sdk-simpledb | 1.12.189 |
com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.189 |
com.amazonaws | aws-java-sdk-sns | 1.12.189 |
com.amazonaws | aws-java-sdk-sqs | 1.12.189 |
com.amazonaws | aws-java-sdk-ssm | 1.12.189 |
com.amazonaws | aws-java-sdk-storagegateway | 1.12.189 |
com.amazonaws | aws-java-sdk-sts | 1.12.189 |
com.amazonaws | aws-java-sdk-support | 1.12.189 |
com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
com.amazonaws | aws-java-sdk-workspaces | 1.12.189 |
com.amazonaws | jmespath-java | 1.12.189 |
com.chuusai | shapeless_2.12 | 2.3.3 |
com.clearspring.analytics | patak | 2.9.6 |
com.databricks | Rserve | 1.8-3 |
com.databricks | jets3t | 0.7.1-0 |
com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
com.esotericsoftware | kryo-shaded | 4.0.2 |
com.esotericsoftware | minlog | 1.3.0 |
com.fasterxml | osztálytárs | 1.3.4 |
com.fasterxml.jackson.core | jackson-annotations | 2.13.3 |
com.fasterxml.jackson.core | jackson-core | 2.13.3 |
com.fasterxml.jackson.core | jackson-databind | 2.13.3 |
com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.13.3 |
com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.13.3 |
com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.3 |
com.fasterxml.jackson.module | jackson-module-paranamer | 2.13.3 |
com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.13.3 |
com.github.ben-manes.koffein | koffein | 2.3.4 |
com.github.fommil | jniloader | 1,1 |
com.github.fommil.netlib | core | 1.1.2 |
com.github.fommil.netlib | native_ref-java | 1,1 |
com.github.fommil.netlib | native_ref-java-natívok | 1,1 |
com.github.fommil.netlib | native_system-java | 1,1 |
com.github.fommil.netlib | native_system-java-natívok | 1,1 |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1,1 |
com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1,1 |
com.github.luben | zstd-jni | 1.5.2-1 |
com.github.wendykierp | JTransforms | 3.1 |
com.google.code.findbugs | jsr305 | 3.0.0 |
com.google.code.gson | gson | 2.8.6 |
com.google.crypto.tink | Csellengő | 1.6.1 |
com.google.flatbuffers | flatbuffers-java | 1.12.0 |
com.google.guava | gujávafa | 15,0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.h2database | h2 | 2.0.204 |
com.helger | Profiler | 1.1.1 |
com.jcraft | jsch | 0.1.50 |
com.jolbox | bonecp | 0.8.0.RELEASE |
com.lihaoyi | sourcecode_2.12 | 0.1.9 |
com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
com.ning | compress-lzf | 1,1 |
com.sun.mail | javax.mail | 1.5.2 |
com.tdunning | json | 1.8 |
com.thoughtworks.paranamer | paranamer | 2.8 |
com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
com.twitter | chill-java | 0.10.0 |
com.twitter | chill_2.12 | 0.10.0 |
com.twitter | util-app_2.12 | 7.1.0 |
com.twitter | util-core_2.12 | 7.1.0 |
com.twitter | util-function_2.12 | 7.1.0 |
com.twitter | util-jvm_2.12 | 7.1.0 |
com.twitter | util-lint_2.12 | 7.1.0 |
com.twitter | util-registry_2.12 | 7.1.0 |
com.twitter | util-stats_2.12 | 7.1.0 |
com.typesafe | config | 1.2.1 |
com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
com.uber | h3 | 3.7.0 |
com.univocity | univocity-parsers | 2.9.1 |
com.zaxxer | HikariCP | 4.0.3 |
commons-cli | commons-cli | 1.5.0 |
commons-codec | commons-codec | 1,15 |
commons-collections | commons-collections | 3.2.2 |
commons-dbcp | commons-dbcp | 1.4 |
commons-fileupload | commons-fileupload | 1.3.3 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2.11.0 |
commons-lang | commons-lang | 2.6 |
commons-naplózás | commons-naplózás | 1.1.3 |
commons-pool | commons-pool | 1.5.4 |
dev.ludovic.netlib | arpack | 2.2.1 |
dev.ludovic.netlib | Blas | 2.2.1 |
dev.ludovic.netlib | lapack | 2.2.1 |
hadoop3 | jets3t-0.7 | liball_deps_2.12 |
info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
io.airlift | aircompressor | 0.21 |
io.delta | delta-sharing-spark_2.12 | 0.5.0 |
io.dropwizard.metrics | metrikamag | 4.1.1 |
io.dropwizard.metrics | metrics-graphite | 4.1.1 |
io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
io.dropwizard.metrics | metrics-jmx | 4.1.1 |
io.dropwizard.metrics | metrics-json | 4.1.1 |
io.dropwizard.metrics | metrics-jvm | 4.1.1 |
io.dropwizard.metrics | metrics-servlets | 4.1.1 |
io.netty | netty-all | 4.1.74.Final |
io.netty | netty-buffer | 4.1.74.Final |
io.netty | netty-codec | 4.1.74.Final |
io.netty | netty-common | 4.1.74.Final |
io.netty | netty-handler | 4.1.74.Final |
io.netty | netty-resolver | 4.1.74.Final |
io.netty | netty-tcnative-classes | 2.0.48.Final |
io.netty | netty-transport | 4.1.74.Final |
io.netty | netty-transport-classes-epoll | 4.1.74.Final |
io.netty | netty-transport-classes-kqueue | 4.1.74.Final |
io.netty | netty-transport-native-epoll-linux-aarch_64 | 4.1.74.Final |
io.netty | netty-transport-native-epoll-linux-x86_64 | 4.1.74.Final |
io.netty | netty-transport-native-kqueue-osx-aarch_64 | 4.1.74.Final |
io.netty | netty-transport-native-kqueue-osx-x86_64 | 4.1.74.Final |
io.netty | netty-transport-native-unix-common | 4.1.74.Final |
io.prometheus | simpleclient | 0.7.0 |
io.prometheus | simpleclient_common | 0.7.0 |
io.prometheus | simpleclient_dropwizard | 0.7.0 |
io.prometheus | simpleclient_pushgateway | 0.7.0 |
io.prometheus | simpleclient_servlet | 0.7.0 |
io.prometheus.jmx | gyűjtő | 0.12.0 |
jakarta.annotation | jakarta.annotation-api | 1.3.5 |
jakarta.servlet | jakarta.servlet-api | 4.0.3 |
jakarta.validation | jakarta.validation-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.activation | aktiválás | 1.1.1 |
javax.annotation | javax.annotation-api | 1.3.2 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.transaction | jta | 1,1 |
javax.transaction | transaction-api | 1,1 |
javax.xml.bind | jaxb-api | 2.2.11 |
javolution | javolution | 5.5.1 |
jline | jline | 2.14.6 |
joda-time | joda-time | 2.10.13 |
mvn | hadoop3 | liball_deps_2.12 |
net.java.dev.jna | jna | 5.8.0 |
net.razorvine | pác | 1,2 |
net.sf.jpam | jpam | 1,1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | super-csv | 2.2.0 |
net.snowflake | snowflake-ingest-sdk | 0.9.6 |
net.snowflake | snowflake-jdbc | 3.13.14 |
net.snowflake | spark-snowflake_2.12 | 2.10.0-spark_3.2 |
net.sourceforge.f2j | arpack_combined_all | 0,1 |
org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
org.antlr | ST4 | 4.0.4 |
org.antlr | antlr-runtime | 3.5.2 |
org.antlr | antlr4-runtime | 4.8 |
org.antlr | stringtemplate | 3.2.1 |
org.apache.ant | ant | 1.9.2 |
org.apache.ant | ant-jsch | 1.9.2 |
org.apache.ant | ant-launcher | 1.9.2 |
org.apache.arrow | nyílformátum | 7.0.0 |
org.apache.arrow | nyíl-memóriamag | 7.0.0 |
org.apache.arrow | nyíl-memória-netty | 7.0.0 |
org.apache.arrow | nyíl-vektor | 7.0.0 |
org.apache.avro | avro | 1.11.0 |
org.apache.avro | avro-ipc | 1.11.0 |
org.apache.avro | avro-mapred | 1.11.0 |
org.apache.commons | commons-collections4 | 4.4 |
org.apache.commons | commons-compress | 1.21 |
org.apache.commons | commons-crypto | 1.1.0 |
org.apache.commons | commons-lang3 | 3.12.0 |
org.apache.commons | commons-math3 | 3.6.1 |
org.apache.commons | commons-text | 1,9 |
org.apache.curator | kurátor-ügyfél | 2.13.0 |
org.apache.curator | kurátor-keretrendszer | 2.13.0 |
org.apache.curator | kurátor-receptek | 2.13.0 |
org.apache.derby | keménykalap | 10.14.2.0 |
org.apache.hadoop | hadoop-client-api | 3.3.2-databricks |
org.apache.hadoop | hadoop-client-runtime | 3.3.2 |
org.apache.hive | hive-beeline | 2.3.9 |
org.apache.hive | hive-cli | 2.3.9 |
org.apache.hive | hive-jdbc | 2.3.9 |
org.apache.hive | hive-llap-client | 2.3.9 |
org.apache.hive | hive-llap-common | 2.3.9 |
org.apache.hive | hive-serde | 2.3.9 |
org.apache.hive | hive-shims | 2.3.9 |
org.apache.hive | hive-storage-api | 2.7.2 |
org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
org.apache.hive.shims | hive-shims-common | 2.3.9 |
org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
org.apache.httpcomponents | httpclient | 4.5.13 |
org.apache.httpcomponents | httpcore | 4.4.14 |
org.apache.ivy | borostyán | 2.5.0 |
org.apache.logging.log4j | log4j-1.2-api | 2.17.2 |
org.apache.logging.log4j | log4j-api | 2.17.2 |
org.apache.logging.log4j | log4j-core | 2.17.2 |
org.apache.logging.log4j | log4j-slf4j-impl | 2.17.2 |
org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
org.apache.orc | orc-core | 1.7.5 |
org.apache.orc | orc-mapreduce | 1.7.5 |
org.apache.orc | orc-shims | 1.7.5 |
org.apache.parquet | parquet-column | 1.12.0-databricks-0004 |
org.apache.parquet | parquet-common | 1.12.0-databricks-0004 |
org.apache.parquet | parquet-kódolás | 1.12.0-databricks-0004 |
org.apache.parquet | parquet-format-structures | 1.12.0-databricks-0004 |
org.apache.parquet | parquet-hadoop | 1.12.0-databricks-0004 |
org.apache.parquet | parquet-jackson | 1.12.0-databricks-0004 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.12.0 |
org.apache.xbean | xbean-asm9-shaded | 4.20 |
org.apache.yetus | célközönség-széljegyzetek | 0.5.0 |
org.apache.zookeeper | zookeeper | 3.6.2 |
org.apache.zookeeper | zookeeper-juta | 3.6.2 |
org.checkerframework | checker-qual | 3.5.0 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
org.codehaus.janino | commons-compiler | 3.0.16 |
org.codehaus.janino | janino | 3.0.16 |
org.datanucleus | datanucleus-api-jdo | 4.2.4 |
org.datanucleus | datanucleus-core | 4.1.17 |
org.datanucleus | datanucleus-rdbms | 4.1.19 |
org.datanucleus | javax.jdo | 3.2.0-m3 |
org.eclipse.jetty | jetty-client | 9.4.46.v20220331 |
org.eclipse.jetty | móló-folytatás | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-http | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-io | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-jndi | 9.4.46.v20220331 |
org.eclipse.jetty | móló plusz | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-proxy | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-security | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-server | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-servlet | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-servlets | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-util | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-util-ajax | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-webapp | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-xml | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | websocket-api | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | websocket-client | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | websocket-common | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | websocket-server | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | websocket-servlet | 9.4.46.v20220331 |
org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
org.glassfish.hk2 | hk2-api | 2.6.1 |
org.glassfish.hk2 | hk2-lokátor | 2.6.1 |
org.glassfish.hk2 | hk2-utils | 2.6.1 |
org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
org.glassfish.jersey.containers | jersey-container-servlet | 2,34 |
org.glassfish.jersey.containers | jersey-container-servlet-core | 2,34 |
org.glassfish.jersey.core | jersey-client | 2,34 |
org.glassfish.jersey.core | jersey-common | 2,34 |
org.glassfish.jersey.core | jersey-server | 2,34 |
org.glassfish.jersey.inject | jersey-hk2 | 2,34 |
org.hibernate.validator | hibernate-validator | 6.1.0.Final |
org.javassist | javassist | 3.25.0-GA |
org.jboss.logging | jboss-logging | 3.3.2.Végleges |
org.jdbi | jdbi | 2.63.1 |
org.jetbrains | Széljegyzetek | 17.0.0 |
org.joda | joda-convert | 1,7 |
org.jodd | jodd-core | 3.5.2 |
org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
org.json4s | json4s-core_2.12 | 3.7.0-M11 |
org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
org.lz4 | lz4-java | 1.8.0 |
org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
org.mlflow | mlflow-spark | 1.27.0 |
org.objenesis | objenesis | 2.5.1 |
org.postgresql | postgresql | 42.3.3 |
org.roaringbitmap | RoaringBitmap | 0.9.25 |
org.roaringbitmap | Alátéteket | 0.9.25 |
org.rocksdb | rocksdbjni | 6.24.2 |
org.rosuda.REngine | REngine | 2.1.0 |
org.scala-lang | scala-compiler_2.12 | 2.12.14 |
org.scala-lang | scala-library_2.12 | 2.12.14 |
org.scala-lang | scala-reflect_2.12 | 2.12.14 |
org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
org.scala-sbt | teszt-interfész | 1.0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.0.8 |
org.scalanlp | breeze-macros_2.12 | 1,2 |
org.scalanlp | breeze_2.12 | 1,2 |
org.scalatest | scalatest_2.12 | 3.0.8 |
org.slf4j | jcl-over-slf4j | 1.7.36 |
org.slf4j | jul-to-slf4j | 1.7.36 |
org.slf4j | slf4j-api | 1.7.36 |
org.spark-project.spark | Használatlan | 1.0.0 |
org.threeten | három-extra | 1.5.0 |
org.tukaani | xz | 1.8 |
org.typelevel | algebra_2.12 | 2.0.1 |
org.typelevel | cats-kernel_2.12 | 2.1.1 |
org.typelevel | makró-compat_2.12 | 1.1.1 |
org.typelevel | spire-macros_2.12 | 0.17.0 |
org.typelevel | spire-platform_2.12 | 0.17.0 |
org.typelevel | spire-util_2.12 | 0.17.0 |
org.typelevel | spire_2.12 | 0.17.0 |
org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
org.xerial | sqlite-jdbc | 3.8.11.2 |
org.xerial.snappy | snappy-java | 1.1.8.4 |
org.yaml | snakeyaml | 1.24 |
oro | oro | 2.0.8 |
pl.edu.icm | JLargeArrays | 1,5 |
software.amazon.ion | ion-java | 1.0.2 |
stax | stax-api | 1.0.1 |