Megosztás a következőn keresztül:

Databricks Runtime 11.3 LTS

  • Cikk

Az alábbi kibocsátási megjegyzések az Apache Spark 3.3.0 által működtetett Databricks Runtime 11.3 LTS-ről nyújtanak információkat. A Databricks 2022 októberében adta ki ezt a verziót.

Feljegyzés

Az LTS azt jelenti, hogy ez a verzió hosszú távú támogatás alatt áll. Lásd: Databricks Runtime LTS-verzió életciklusa.

Tipp.

A támogatás megszűnését (EoS) elérő Databricks Runtime-verziók kibocsátási megjegyzéseit a databricks runtime kiadási megjegyzéseiben találhatja meg. Az EoS Databricks Runtime-verziók ki lettek állítva, és előfordulhat, hogy nem frissülnek.

Működésbeli változások

[Kompatibilitástörő változás] Az új Python-verzióhoz a Databricks Connect V1 Python-ügyfelek frissítése szükséges

A szükséges biztonsági javítások alkalmazásához a Databricks Runtime 11.3 LTS Python-verziója 3.9.5-ről 3.9.19-re frissül. Mivel ezek a módosítások hibákhoz vezethetnek az adott PySpark-függvényeket használó ügyfeleknél, a Databricks Connect V1 for Pythont a Databricks Runtime 11.3 LTS-sel használó ügyfeleket Python 3.9.7-s vagy újabb verzióra kell frissíteni.

Új funkciók és fejlesztések

A strukturált streamelési eseményindító egyszer elavult

A Trigger.Once beállítás elavult. A Databricks a használatát Trigger.AvailableNowjavasolja. Lásd: Strukturált streamelési eseményindítók időközeinek konfigurálása.

Az automatikus betöltő forrásútvonalának módosítása

Mostantól anélkül módosíthatja az automatikus betöltő könyvtárbemeneti elérési útját, hogy új ellenőrzőpont-könyvtárat kellene választania. Lásd: Az automatikus betöltő forrásútvonalának módosítása.

A Databricks Kinesis-összekötő mostantól támogatja a Kinesis-adatfolyamok olvasását EFO módban

Mostantól a Databricks Kinesis strukturált streamforrást használhatja a Databricks Runtime 11.3 LTS-ben a Kinesis-adatfolyamokból beolvasott lekérdezések továbbfejlesztett kisugárzó módban való futtatásához. Ez lehetővé teszi a dedikált átviteli sebességet szegmensenként, fogyasztónként és a leküldéses módban történő rekordkézbesítést.

Új H3 térinformatikai függvények és foton-támogatás az összes H3 függvényhez

4 új H3 függvény, h3_maxchild, h3_minchildés h3_pointash3h3_pointash3string. Ezek a függvények az SQL, a Scala és a Python alkalmazásban érhetők el. A Photon mostantól minden H3-kifejezést támogat. Lásd: H3 térinformatikai függvények.

A prediktív I/O új funkciói

A Photon a keretek futtatásához támogatja a tartomány módot a RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW. Photon is támogatja a tartomány mód növekvő keretek használatával RANGE BETWEEN UNBOUNDED PRECEDING AND offset_stop { PRECEDING | FOLLOWING }.

A kezdeti partíciók növelése szelektív lekérdezések kereséséhez

A vizsgálandó kezdeti partíciók értéke 10-re nőtt a szelektív lekérdezések take/tail/limit esetében a Photon-kompatibilis fürtökben és LIMIT a Databricks SQL-ben. 10 partícióval elkerülheti a több kisebb feladat elindításának és a lassú felskálázásnak a többletterhelését. Ezt konfigurálhatja a használatával spark.sql.limit.selectiveInitialNumPartitionsis.

Új AQE-csomagverziók vizualizációja

Az AQE-csomagverziók bemutatása, amelyek lehetővé teszik a futtatókörnyezeti terv frissítésének megjelenítését az adaptív lekérdezések végrehajtásából (AQE).

Új aszinkron folyamatkövetési és naplótisztítási módok

A strukturált streamelési módokat aszinkron folyamatkövetésnek és aszinkron naplótisztításnak nevezzük. Az aszinkron naplótisztítási mód csökkenti a streamelési lekérdezések késését azáltal, hogy eltávolítja a háttérben a folyamatkövetéshez használt naplókat.

A Unity Catalog strukturált streamelése mostantól támogatja display()

Mostantól használhatja display() a Strukturált streamelést a Unity Katalógusban regisztrált táblák használatához.

A folyamatesemények most JSON formátumban vannak naplózva

Az Azure Databricks most JSON formátumban írja a folyamateseményeket az illesztőnaplóba. Bár minden esemény JSON-elemezhető lesz, előfordulhat, hogy a nagy események nem tartalmazzák az összes mezőt, vagy a mezők csonkolódhatnak. A rendszer minden eseményt egyetlen sorban naplóz az előtaggal Event received: . Az alábbiakban egy példaesemény látható.

Event received: {"id":"some-event-id","origin":{"pipeline_id":"some-pipeline-id","cluster_id":"some-cluster id"},"message":"simple [truncated] message","level":"WARN"}

Tetszőleges állapotalapú feldolgozás strukturált streamelésben Pythonnal

Bemutatja azt a applyInPandasWithState függvényt, amely tetszőleges állapotalapú feldolgozáshoz használható a PySparkban. Ez egyenértékű a flatMapGroupsWithState Java API függvényével.

Dátumkövetkeztetés CSV-fájlokban

Továbbfejlesztett következtetést vezet be a CSV-fájlok dátumtípus-oszlopaiból. Ha a dátumformátum egy oszlop rekordjaiban konzisztens, ezek az oszlopok a következőként DateTypekövetkeztethetők: . A dátumformátumok különböző oszlopokban is használhatók. Az Azure Databricks automatikusan ki tudja következtetni az egyes oszlopok dátumformátumát. A Databricks Runtime 11.3 LTS előtti CSV-fájlok dátumoszlopai megmaradnak.StringType

Apache Parquet- és Apache Iceberg-táblák klónozási támogatása (nyilvános előzetes verzió)

A klón mostantól használható apache parquet- és Apache Iceberg-táblákat tükröző Delta-táblák létrehozására és növekményes frissítésére. Frissítheti a forrás Parquet-táblát, és növekményesen alkalmazhatja a módosításokat a klónozott Delta-táblára a klónozási paranccsal. Lásd: Parquet- és Iceberg-táblák növekményes klónozása a Delta Lake-be.

Az SQL használatával séma- és katalógusszintű tárolási helyeket adhat meg a Unity Catalog által felügyelt táblákhoz

Mostantól az MANAGED LOCATION SQL-paranccsal megadhatja a felügyelt táblák felhőbeli tárolási helyét a katalógus- és sémaszinteken. Lásd: CREATE CATALOG and CREATE SCHEMA.

Viselkedésbeli változások

Databricks Connect 11.3.2

A Databricks Connect 11.3.2-s ügyfélfrissítése mostantól támogatott. Lásd a Databricks Connect és a Databricks Connect kibocsátási megjegyzéseit.

Frissített Azure Databricks Snowflake-összekötő

Az Azure Databricks Snowflake-összekötő az Apache Sparkhoz készült Snowflake-adatforrás nyílt forráskódú adattárból származó kód legújabb verziójára lett frissítve. Most már teljes mértékben kompatibilis a Databricks Runtime 11.3 LTS-vel, beleértve a predikátum leküldését és a belső lekérdezésterv leküldését, miközben fenntartja a nyílt forráskódú verzió összes funkcióját.

Az S3A Hadoop-gyorsítótára mostantól le van tiltva

Az S3A-hoz készült Hadoop-gyorsítótár (FileSystem Apache Hadoop Main 3.3.4 API) le van tiltva. Ez a más felhőalapú tároló-összekötőkkel való összhangban van. A fájlrendszer gyorsítótárazására támaszkodó számítási feladatok esetében győződjön meg arról, hogy az újonnan létrehozott fájlrendszerek a megfelelő Hadoop-konfigurációkkal vannak ellátva, beleértve a hitelesítőadat-szolgáltatókat is.

A Delta Lake stats-gyűjteményséma most már megfelel a táblaséma definíciójában szereplő oszlopsorrendnek

Ez a módosítás a Delta Lake protokoll azon hibáját oldja meg, amely miatt a DataFrame és a táblaoszlopok sorrendje nem egyezik az oszlopok statisztikáival. Bizonyos esetekben előfordulhat, hogy a korábban nem nyomon követett mezők statisztikáinak gyűjtése miatt romlik az írási teljesítmény. Lásd: A Delta Lake adatkihagyása.

az applyInPandasWithState hibát jelez, ha a lekérdezés az operátor után shuffle

Az operátor applyInPandasWithState hibát jelez, ha a lekérdezés az operátor után található shuffle . Ez akkor fordul elő, ha a felhasználó a művelet után hozzáad shuffle , vagy az optimalizáló vagy a fogadó implicit módon adja hozzá shuffle .

Könyvtárfrissítések

  • Frissített Python-kódtárak:
    • eloszlás 0,3,5-ről 0,3,6-ra
  • Frissített R-kódtárak:
    • seprű 1.0.0 és 1.0.1 között
    • hívó 3.7.1 és 3.7.2 között
    • dplyr 1.0.9 és 1.0.10 között
    • dtplyr 1.2.1-től 1.2.2-esig
    • forcats 0.5.1 és 0.5.2 között
    • 1.27.0-tól 1.28.0-ra
    • future.apply from 1.9.0 to 1.9.1
    • gert 1.7.0-tól 1.8.0-ra
    • 0.16.0 és 0.16.1 közötti globális
    • 0.3.0-tól 0.3.1-ig
    • 2.5.0 és 2.5.1 között
    • 1.1.1 és 1.1.2 közötti hms
    • httr 1.4.3–1.4.4
    • knitr 1,39-től 1,40-ig
    • modellező 0.1.8 és 0.1.9 között
    • oszlop 1.8.0 és 1.8.1 között
    • progressr 0.10.1-től 0.11.0-ra
    • readxl 1.4.0 és 1.4.1 között
    • reprex 2.0.1 és 2.0.2 között
    • rlang 1.0.4-től 1.0.5-ig
    • rmarkdown 2.14-től 2.16-ig
    • RSQLite 2.2.15-től 2.2.16-osig
    • rstudioapi 0,13 és 0,14 között
    • 2.1.1 és 2.1.2 közötti átirányítások
    • rvest 1.0.2-től 1.0.3-ra
    • skálázás 1.2.0-ról 1.2.1-re
    • sparklyr 1.7.7-től 1.7.8-ra
    • sztring 1.4.0 és 1.4.1 között
    • túlélés 3,2-13-ról 3,4-0-ra
    • tinytex 0,40 és 0,41 között
    • viridisLite 0.4.0 és 0.4.1 között
  • Frissített Java-kódtárak:
    • com.fasterxml.jackson.core.jackson-annotations from 2.13.3 to 2.13.4
    • com.fasterxml.jackson.core.jackson-core 2.13.3 és 2.13.4 között
    • com.fasterxml.jackson.core.jackson-databind 2.13.3 és 2.13.4 között
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor from 2.13.3 to 2.13.4
    • com.fasterxml.jackson.datatype.jackson-datatype-joda 2.13.3 és 2.13.4 között
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 2.13.3 és 2.13.4 között
    • com.fasterxml.jackson.module.jackson-module-paranamer 2.13.3-2.13.4
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 2.13.3 és 2.13.4 között
    • org.apache.hadoop.hadoop-client-api a 3.3.2-databrickstől a 3.3.4-databricksig
    • org.apache.hadoop.hadoop-client-runtime 3.3.2 és 3.3.4 között
    • org.apache.orc.orc-core 1.7.5-től 1.7.6-osig
    • org.apache.orc.orc-mapreduce 1.7.5-től 1.7.6-osig
    • org.apache.orc.orc-shims 1.7.5-től 1.7.6-osig
    • org.apache.parquet.parquet-column from 1.12.0-databricks-0004 to 1.12.0-databricks-0007
    • org.apache.parquet.parquet-common from 1.12.0-databricks-0004 to 1.12.0-databricks-0007
    • org.apache.parquet.parquet-encoding from 1.12.0-databricks-0004 to 1.12.0-databricks-0007
    • org.apache.parquet.parquet-format-structures from 1.12.0-databricks-0004 to 1.12.0-databricks-0007
    • org.apache.parquet.parquet-hadoop from 1.12.0-databricks-0004 to 1.12.0-databricks-0007
    • org.apache.parquet.parquet-jackson from 1.12.0-databricks-0004 to 1.12.0-databricks-0007
    • org.glassfish.jersey.containers.jersey-container-servlet 2,34-2,36
    • org.glassfish.jersey.containers.jersey-container-servlet-core 2,34-2,36
    • org.glassfish.jersey.core.jersey-client 2,34-2,36
    • org.glassfish.jersey.core.jersey-common 2,34-2,36
    • org.glassfish.jersey.core.jersey-server 2.34-2.36
    • org.glassfish.jersey.inject.jersey-hk2 2,34-2,36

Apache Spark

A Databricks Runtime 11.3 LTS tartalmazza az Apache Spark 3.3.0-t. Ez a kiadás tartalmazza a Databricks Runtime 11.2 -ben (EoS) található összes Spark-javítást és fejlesztést, valamint a Spark következő további hibajavításait és fejlesztéseit:

  • [SPARK-39957] [WARMFIX][SC-111425][CORE] Késés az illesztőprogram engedélyezéséhez a Rendszerkonnektoron a ExecutorExitCode fogadásához
  • [SPARK-39955] [WARMFIX][SC-111424][CORE] A LaunchTask-folyamat fejlesztése a LaunchTask-üzenetek sikertelen küldése által okozott szakaszhibák elkerülése érdekében
  • [SPARK-40474] [SC-106248][Cseresznye-Pick] A CSV-séma következtetési viselkedésének javítása a datetime oszlopok esetében, és automatikus észlelés bevezetése a Dátum mezőkhöz
  • [SPARK-40535] [SC-111243][SQL] Kijavítottuk az AggregatingAccumulator pufferét, ha a bemeneti sorok üresek
  • [SPARK-40434] [SC-111125][SC-111144][SC-111138][SPARK-40435][11.3][SS][PYTHON] Az applyInPandasWithState implementálása a PySparkban
  • [SPARK-40460] [SC-110832][SS] Streamelési metrikák javítása a kiválasztáskor _metadata
  • [SPARK-40324] [SC-109943][SQL] Adjon meg egy lekérdezési környezetet a ParseException
  • [SPARK-40466] [SC-110899][SS] Javítsa a hibaüzenetet, ha a DSv2 le van tiltva, miközben a DSv1 nem érhető el
  • [SPARK-40456] [SC-110848][SQL] PartitionIterator.hasNext kell olcsó hívás ismétlődően
  • [SPARK-40169] [SC-110772][SQL] Ne nyomja le a Parquet-szűrőket, és ne hivatkozzon az adatsémára
  • [SPARK-40467] [SC-110759][SS] FlatMapGroupsWithState felosztása több tesztcsomagra
  • [SPARK-40468] [SC-110813][SQL] Oszlopmetszés javítása CSV-ben _corrupt_record kijelölésekor
  • [SPARK-40291] [SC-110085][SQL] A nem csoportosított oszlop üzenetének javítása záradékok szerint hiba szerint
  • [SPARK-40398] [SC-110762][CORE][SQL] Loop használata a Arrays.stream api helyett
  • [SPARK-40433] [SC-110684][SS][PYTHON] Add toJVMRow in PythonSQLUtils to convertled PySpark Row to JVM Row
  • [SPARK-40414] [SC-110568][SQL][PYTHON] Általánosabb típus a PythonArrowInput és a PythonArrowOutput esetében
  • [SPARK-40352] [SC-109945][SQL] Függvény aliasainak hozzáadása: len, datepart, dateadd, date_diff és curdate
  • [SPARK-40470] [SC-110761][SQL] GetArrayStructFields és GetMapValue kezelése a "arrays_zip" függvényben
  • [SPARK-40387] [SC-110685][SQL] A Spark Decimális implementációjának javítása
  • [SPARK-40429] [SC-110675][SQL] Csak akkor állítsa be a KeyGroupedPartitioning értéket, ha a hivatkozott oszlop a kimenetben van
  • [SPARK-40432] [SC-110716][SS][PYTHON] A GroupStateImpl és a GroupStateTimeout bemutatása a PySparkban
  • [SPARK-39915] [SC-110496][SQL] Győződjön meg arról, hogy a kimeneti particionálás felhasználó által meg van adva az AQE-ben
  • [SPARK-29260] [SQL] Támogatás ALTER DATABASE SET LOCATION , ha a HMS támogatja
  • [SPARK-40185] [SC-110056][SQL] Oszlopjavaslat eltávolítása, ha a jelöltlista üres
  • [SPARK-40362] [SC-110401][SQL] BinaryComparison-canonicalization javítása
  • [SPARK-40411] [SC-110381][SS] FlatMapGroupsWithStateExec újrabontása szülőtulajdonsághoz
  • [SPARK-40293] [SC-110084][SQL] A V2-tábla hibaüzenetének tartalmasabbá tétele
  • [SPARK-38734] [SC-110383][SQL] A hibaosztály eltávolítása INDEX_OUT_OF_BOUNDS
  • [SPARK-40292] [SC-110300][SQL] Oszlopnevek javítása a "arrays_zip" függvényben, ha a tömbök beágyazott szerkezetekből vannak hivatkozva
  • [SPARK-40276] [SC-109674][CORE] Az RDD.takeOrdered eredményméretének csökkentése
  • [SPARK-40197] [SC-109176][SQL] A lekérdezési terv cseréje a MULTI_VALUE_SUBQUERY_ERROR környezetére
  • [SPARK-40300] [SC-109942][SQL] Migrálás a DATATYPE_MISMATCH hibaosztályba
  • [SPARK-40149] [SC-110055][SQL] Metaadatoszlopok propagálása a Projecten keresztül
  • [SPARK-40280] [SC-110146][SQL] Parquet push down támogatása jegyzetekkel ellátott int és long esetén
  • [SPARK-40220] [SC-110143][SC-109175][SQL] Ne adja ki a hibaüzenet paramétereinek üres térképét
  • [SPARK-40295] [SC-110070][SQL] V2 függvények engedélyezése literális argokkal írási elosztásban/rendezésben
  • [SPARK-40156] [SC-109264][SQL] url_decode() ha a visszaadott hibaosztály
  • [SPARK-39195] [SQL] A Spark OutputCommitCoordinatornak megszakítja a fázist, ha a véglegesített fájl nem összhangban van a tevékenység állapotával
  • [SPARK-40260] [SC-109424][SQL] Hibaosztályok használata a GROUP BY pozíció fordítási hibáiban
  • [SPARK-40205] [SC-110144][SC-109082][SQL] ELEMENT_AT_BY_INDEX_ZERO lekérdezési környezetének megadása
  • [SPARK-40112] [SC-109676][SQL] A TO_BINARY() függvény fejlesztése
  • [SPARK-40209] [SC-109081][SQL] Hiba esetén ne módosítsa a tizedesvessző changePrecision() intervallumértékét
  • [SPARK-40319] [SC-109873][SQL] Ismétlődő lekérdezésvégrehajtási hibametódus eltávolítása PARSE_DATETIME_BY_NEW_PARSER
  • [SPARK-40222] [SC-109209][SQL] A numerikus try_add/try_divide/try_subtract/try_multiply hibát kell jelezniük gyermekeiktől
  • [SPARK-40183] [SC-108907][SQL] Hibaosztály NUMERIC_VALUE_OUT_OF_RANGE használata a decimális átalakítás túlcsordulása esetén
  • [SPARK-40180] [SC-109069][SQL] Hibaüzenetek formázása a következő szerint: spark-sql
  • [SPARK-40153] [SC-109165][SQL] A függvények és a táblaértékelt függvények egységesítése
  • [SPARK-40308] [SC-109880][SQL] Nem összecsukható elválasztó argumentumok str_to_map működésének engedélyezése
  • [SPARK-40219] [SC-110052][SC-109663][SQL] A feloldott nézet logikai tervének a sémát kell tárolnia a redundáns keresés elkerülése érdekében
  • [SPARK-40098] [SC-109939][SC-108693][SQL] Hibaüzenetek formázása a Thrift-kiszolgálón
  • [SPARK-39917] [SC-109038][SQL] Különböző hibaosztályok használata numerikus/intervallum-aritmetikai túlcsorduláshoz
  • [SPARK-40033] [SC-109875][SQL] Beágyazott sémametszet támogatása element_at
  • [SPARK-40194] [SC-109660][SQL] Az üres regex split függvényének csonkítania kell a záró üres sztringet.
  • [SPARK-40228] [SC-109835][SQL] Ne egyszerűsítse le a multiLiket, ha a gyermek nem olcsó kifejezés
  • [SPARK-40039] [SC-109896][SC-109260][SS] A Hadoop Abortable felületén alapuló streamelési ellenőrzőpontfájl-kezelő bemutatása
  • [SPARK-40285] [SC-109679][SQL] Egyszerűsítse a roundTo[Numeric] Sparkot Decimal
  • [SPARK-39896] [SC-109658][SQL] A UnwrapCastInBinaryComparisonnak működnie kell, ha az In/InSet downcast literálja meghiúsult
  • [SPARK-40040] [SC-109662][SQL] Helyi korlát leküldése mindkét oldalra, ha az illesztés feltétele üres
  • [SPARK-40055] [SC-109075][SQL] listCatalogs is vissza spark_catalog akkor is, ha spark_catalog implementáció alapértelmezettSessionCatalog
  • [SPARK-39915] [SC-109391][SQL] Előfordulhat, hogy a Dataset.repartition(N) nem hoz létre N partíciókat nem AQE-részként
  • [SPARK-40207] [SC-109401][SQL] Adja meg az oszlop nevét, ha az adatforrás nem támogatja az adattípust
  • [SPARK-40245] [SC-109295][SQL] A FileScan egyenlőség-ellenőrzésének javítása, ha a partíció- vagy adatszűrőoszlopok nem olvashatók
  • [SPARK-40113] [SC-109405][SQL] Reactor ParquetScanBuilder DataSourceV2 interfész implementációk
  • [SPARK-40211] [SC-109226][CORE][SQL] Kezdeti partíciószám testreszabásának engedélyezése a take() viselkedésben
  • [SPARK-40252] [SC-109379][SQL] Csere Stream.collect(Collectors.joining) api-ra StringJoiner
  • [SPARK-40247] [SC-109272][SQL] BitSet egyenlőségének javítása
  • [SPARK-40067] [SQL] A Tábla#név() használata a Scan#name() helyett a tábla nevének feltöltéséhez a SparkUI BatchScan csomópontjában
  • [SPARK-39966] [SQL] V2-szűrő használata a SupportsDelete-ben
  • [SPARK-39607] [SC-109268][SQL][DSV2] Elosztási és rendezési támogatás V2 függvény írása
  • [SPARK-40224] [SC-109271][SQL] Az ObjectHashAggregateExec memória felszabadítása türelmetlenül, amikor a rendezésalapúra kerül
  • [SPARK-40013] [SQL] A DS V2-kifejezéseknek alapértelmezettnek kell lennie toString
  • [SPARK-40214] [SC-109079][PYTHON][SQL] "get" hozzáadása a függvényekhez
  • [SPARK-40192] [SC-109089][SQL][ML] Redundáns csoport eltávolítása
  • [SPARK-40146] [SC-108694][SQL] Egyszerűen a leképezési érték lekérésének kódneve
  • [SPARK-40109] [SQL] Új SQL-függvény: get()
  • [SPARK-39929] [SQL] A DS V2 támogatja a sztringfüggvények leküldését (nem ANSI)
  • [SPARK-39819] [SQL] A DS V2 aggregátum leküldése használható a Top N vagy a Paging használatával (kifejezésekkel való rendezés)
  • [SPARK-40213] [SC-109077][SQL] AsCII-értékek konvertálásának támogatása latin-1 karakter esetén
  • [SPARK-39887] [SQL] A RemoveRedundantAliases-nek meg kell őriznie azokat az aliasokat, amelyek egyedivé teszik a vetítési csomópontok kimenetét
  • [SPARK-39764] [SQL] A PhysicalOperation ugyanaz, mint a ScanOperation
  • [SPARK-39964] [SQL] A DS V2 leküldéses leküldésének egyesítenie kell a fordítási útvonalat
  • [SPARK-39528] [SQL] V2-szűrő használata a SupportsRuntimeFilteringben
  • [SPARK-40066] [SQL] ANSI mód: mindig null értéket ad vissza a térképoszlophoz való érvénytelen hozzáféréskor
  • [SPARK-39912] [SPARK-39828][SQL] CatalogImpl finomítása
  • [SPARK-39833] [SC-108736][SQL] Parquet-oszlopindex letiltása a DSv1-ben az átfedésben lévő partíciók és adatoszlopok helyességi problémájának megoldásához
  • [SPARK-39880] [SQL] A V2 SHOW FUNCTIONS parancsnak ki kell nyomtatnia a minősített függvény nevét, például v1
  • [SPARK-39767] [SQL] Távolítsa el a UnresolvedDBObjectName nevet, és adja hozzá a UnresolvedIdentifiert
  • [SPARK-40163] [SC-108740][SQL] feat: SparkSession.config(Térkép)
  • [SPARK-40136] [SQL] Az SQL-lekérdezési környezetek töredékének javítása
  • [SPARK-40107] [SC-108689][SQL] Az empty2null konvertálásának lekérése a FileFormatWriterből
  • [SPARK-40121] [PYTHON][SQL] Python UDF-hez használt kivetítés inicializálása
  • [SPARK-40128] [SQL] A VectorizedColumnReader felismerése DELTA_LENGTH_BYTE_ARRAY önálló oszlopkódolásként
  • [SPARK-40132] [ML] Restore rawPredictionCol to MultilayerPerceptronClassifier.setParams
  • [SPARK-40050] [SC-108696][SQL] Javítás EliminateSorts a rendezés eltávolításának támogatásához a LocalLimit
  • [SPARK-39629] [SQL] Támogatás v2 SHOW FUNCTIONS
  • [SPARK-39925] [SC-108734][SQL] Array_sort(oszlop, összehasonlító) túlterhelés hozzáadása DataFrame-műveletekhez
  • [SPARK-40117] [PYTHON][SQL] Feltétel konvertálása Java-ra a DataFrameWriterV2.overwrite-ban
  • [SPARK-40105] [SQL] Az újraparticionálás javítása a ReplaceCTERefWithRepartition alkalmazásban
  • [SPARK-39503] [SQL] Munkamenet-katalógus nevének hozzáadása az 1. verziójú adatbázistáblához és -függvényhez
  • [SPARK-39889] [SQL] Különböző hibaosztályok használata numerikus/intervallum 0-tal osztva
  • [SPARK-39741] [SQL] Az URL-kódolás/dekódolás támogatása beépített függvényként, valamint az URL-hez kapcsolódó függvények rendezettsége
  • [SPARK-40102] [SQL] SparkException használata IllegalStateException helyett a SparkPlanban
  • [SPARK-40014] [SQL] Decimális osztás támogatása ANSI-intervallumokra
  • [SPARK-39776] [SQL][KÖVETÉS] A PlanStabilitySuite UT frissítése ANSI módban
  • [SPARK-39963] [SQL] Egyszerűsít SimplifyCasts.isWiderCast

Karbantartási frissítések

Lásd a Databricks Runtime 11.3 karbantartási frissítéseit.

Rendszerkörnyezet

  • Operációs rendszer: Ubuntu 20.04.5 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.19
  • R: 4.1.3
  • Delta Lake: 2.1.0

Telepített Python-kódtárak

Könyvtár Verzió Könyvtár Verzió Könyvtár Verzió
argon2-cffi 20.1.0 aszinkron generátor 1.10 attrs 21.2.0
backcall 0.2.0 backports.entry-points-selectable 1.1.1 fekete 22.3.0
fehérítő 4.0.0 boto3 1.21.18 botocore 1.24.18
minősítés 2021.10.8 cffi 1.14.6 karakterkészlet 4.0.0
charset-normalizer 2.0.4 kattintás 8.0.3 kriptográfia 3.4.8
biciklista 0.10.0 Cython 0.29.24 dbus-python 1.2.16
hibakeresés 1.4.1 lakberendező 5.1.0 defusedxml 0.7.1
distlib 0.3.6 belépési pontok 0.3 aspektusok áttekintése 1.0.0
filelock 3.8.0 idna 3.2 ipykernel 6.12.1
ipython 7.32.0 ipython-genutils 0.2.0 ipywidgets 7.7.0
jedi 0.18.0 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.0.1 jsonschema 3.2.0 jupyter-client 6.1.12
jupyter-core 4.8.1 jupyterlab-pygments 0.1.2 jupyterlab-widgetek 1.0.0
kiwisolver 1.3.1 MarkupSafe 2.0.1 matplotlib 3.4.3
matplotlib-inline 0.1.2 mistune 0.8.4 mypy-extensions 0.4.3
nbclient 0.5.3 nbconvert 6.1.0 nbformat 5.1.3
nest-asyncio 1.5.1 jegyzetfüzet 6.4.5 numpy 1.20.3
csomagolás 21,0 pandas 1.3.4 pandocfilters 1.4.3
parso 0.8.2 pathspec 0.9.0 Patsy 0.5.2
pexpect 4.8.0 pickleshare 0.7.5 Párna 8.4.0
mag 21.2.4 platformdirs 2.5.2 ábrázolás 5.9.0
prometheus-client 0.11.0 prompt-toolkit 3.0.20 protobuf 4.21.5
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pyarrow 7.0.0 pycparser 2,20 Pygments 2.10.0
PyGObject 3.36.0 pyodbc 4.0.31 pyparsing 3.0.4
pyrsistent 0.18.0 python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.2.1 kérelmek 2.26.0 requests-unixsocket 0.2.0
s3transfer 0.5.2 scikit-learn 0.24.2 scipy 1.7.1
tengeri 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
Hat 1.16.0 ssh-import-id 5.10 statsmodels 0.12.2
Kitartás 8.0.1 terminado 0.9.4 testpath 0.5.0
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornádó 6.1 árulók 5.1.0 gépelés-bővítmények 3.10.0.2
felügyelet nélküli frissítések 0,1 urllib3 1.26.7 virtualenv 20.8.0
wcwidth 0.2.5 webencodings 0.5.1 kerék 0.37.0
widgetsnbextension 3.6.0

Telepített R-kódtárak

Az R-kódtárak a Microsoft CRAN-pillanatképből vannak telepítve 2022-09-08-án.

Könyvtár Verzió Könyvtár Verzió Könyvtár Verzió
askpass 1,1 assertthat 0.2.1 backports 1.4.1
alap 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.3 indítás 1.3-28
főz 1.0-7 Brio 1.1.3 seprű 1.0.1
bslib 0.4.0 gyorsítótár 1.0.6 hívó 3.7.2
kalap 6.0-93 cellranger 1.1.0 chron 2.3-57
osztály 7.3-20 Cli 3.3.0 clipr 0.8.0
fürt 2.1.3 kódtoolok 0.2-18 színtér 2.0-3
commonmark 1.8.0 fordítóprogram 4.1.3 config 0.3.1
cpp11 0.4.2 zsírkréta 1.5.1 hitelesítő adatok 1.3.2
csavarodik 4.3.2 data.table 1.14.2 adatkészletek 4.1.3
DBI 1.1.3 dbplyr 2.2.1 Desc 1.4.1
devtools 2.4.4 diffobj 0.3.5 emészt 0.6.29
levilágított 0.4.2 dplyr 1.0.10 dtplyr 1.2.2
e1071 1.7-11 három pont 0.3.2 evaluate 0,16
fani 1.0.3 farver 2.1.1 gyorstérkép 1.1.0
fontawesome 0.3.0 forcats 0.5.2 foreach 1.5.2
külföldi 0.8-82 kovácsol 0.2.0 Fs 1.5.2
jövő 1.28.0 future.apply 1.9.1 gargarizál 1.2.0
Generikus 0.1.3 Gert 1.8.0 ggplot2 3.3.6
Gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-4
globális 0.16.1 ragasztó 1.6.2 googledrive 2.0.0
googlesheets4 1.0.1 Gower 1.0.0 grafika 4.1.3
grDevices 4.1.3 rács 4.1.3 gridExtra 2.3
gsubfn 0,7 gtable 0.3.1 hardhat 1.2.0
kikötő 2.5.1 highr 0,9 Hms 1.1.2
htmltoolok 0.5.3 htmlwidgets 1.5.4 httpuv 1.6.5
httr 1.4.4 Azonosítók 1.0.1 ini 0.3.1
ipred 0.9-13 izoband 0.2.5 iterátorok 1.0.14
jquerylib 0.1.4 jsonlite 1.8.0 KernSmooth 2.23-20
knitr 1,40 címkézés 0.4.2 később 1.3.0
rács 0.20-45 láva 1.6.10 életciklus 1.0.1
figyelő 0.8.0 lubridate 1.8.0 magrittr 2.0.3
markdown 1,1 TÖMEG 7.3-56 Mátrix 1.4-1
memoise 2.0.1 metódusok 4.1.3 mgcv 1.8-40
MIME 0,12 miniUI 0.1.1.1 ModelMetrics 1.2.2.2
modellező 0.1.9 munsell 0.5.0 nlme 3.1-157
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 2.0.2
parallel 4.1.3 párhuzamosan 1.32.1 pillér 1.8.1
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgdown 2.0.6
pkgload 1.3.0 plogr 0.2.0 rétegelt 1.8.7
dicséret 1.0.0 prettyunits 1.1.1 Proc 1.18.0
processx 3.7.0 prodlim 2019.11.13 profvis 0.3.7
haladás 1.2.2 progressr 0.11.0 Ígér 1.2.0.1
Proto 1.0.0 helyettes 0.4-27 Ps 1.7.1
purrr 0.3.4 r2d3 0.2.6 R6 2.5.1
ragg 1.2.2 randomForest 4.7-1.1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.0.9
RcppEigen 0.3.3.9.2 olvasó 2.1.2 readxl 1.4.1
receptek 1.0.1 Visszavágót 1.0.1 visszavágó2 2.1.2
Távirányító 2.4.2 reprex 2.0.2 újraformázás2 1.4.4
rlang 1.0.5 rmarkdown 2.16 RODBC 1.3-19
roxygen2 7.2.1 rpart 4.1.16 rprojroot 2.0.3
Rserve 1.8-11 RSQLite 2.2.16 rstudioapi 0,14
rversions 2.1.2 rvest 1.0.3 Sass 0.4.2
mérleg 1.2.1 választó 0.4-2 sessioninfo 1.2.2
alak 1.4.6 Fényes 1.7.2 sourcetools 0.1.7
sparklyr 1.7.8 SparkR 3.3.0 térbeli 7.3-11
splines 4.1.3 sqldf 0.4-11 NÉGYZET 2021.1
statisztika 4.1.3 statisztikák4 4.1.3 stringi 1.7.8
sztring 1.4.1 túlélés 3.4-0 sys 3.4
systemfonts 1.0.4 tcltk 4.1.3 testthat 3.1.4
szövegformázás 0.3.6 tibble 3.1.8 tidyr 1.2.0
tidyselect 1.1.2 tidyverse 1.3.2 timeDate 4021.104
tinytex 0.41 eszközök 4.1.3 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
eszközök 4.1.3 uuid 1.1-0 vctrs 0.4.1
viridisLite 0.4.1 vroom 1.5.7 Waldo 0.4.0
bajusz 0,4 withr 2.5.0 xfun 0.32
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.5 fütyülés 2.2.0

Telepített Java- és Scala-kódtárak (Scala 2.12-fürtverzió)

Csoportazonosító Összetevő azonosítója Verzió
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics patak 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml osztálytárs 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.koffein koffein 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natívok 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natívok 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Csellengő 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava gujávafa 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1,1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1,15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-naplózás commons-naplózás 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib Blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.5.1
io.dropwizard.metrics metrikamag 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx gyűjtő 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktiválás 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine pác 1,2
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.14
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow nyílformátum 7.0.0
org.apache.arrow nyíl-memóriamag 7.0.0
org.apache.arrow nyíl-memória-netty 7.0.0
org.apache.arrow nyíl-vektor 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1,9
org.apache.curator kurátor-ügyfél 2.13.0
org.apache.curator kurátor-keretrendszer 2.13.0
org.apache.curator kurátor-receptek 2.13.0
org.apache.derby keménykalap 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-databricks
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy borostyán 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shims 1.7.6
org.apache.parquet parquet-column 1.12.0-databricks-0007
org.apache.parquet parquet-common 1.12.0-databricks-0007
org.apache.parquet parquet-kódolás 1.12.0-databricks-0007
org.apache.parquet parquet-format-structures 1.12.0-databricks-0007
org.apache.parquet parquet-hadoop 1.12.0-databricks-0007
org.apache.parquet parquet-jackson 1.12.0-databricks-0007
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus célközönség-széljegyzetek 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-juta 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty móló-folytatás 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty móló plusz 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-lokátor 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Végleges
org.jdbi jdbi 2.63.1
org.jetbrains Széljegyzetek 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap Alátéteket 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt teszt-interfész 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1,2
org.scalanlp breeze_2.12 1,2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark Használatlan 1.0.0
org.threeten három-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel makró-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1