Megosztás a következőn keresztül:

Databricks Runtime 11.1 (EoS)

  • Cikk

Feljegyzés

A Databricks Runtime-verzió támogatása véget ért. A támogatás megszűnésének dátumáról lásd a támogatási előzményeket. Az összes támogatott Databricks Runtime-verziót lásd : Databricks Runtime release notes versions and compatibility.

Az alábbi kibocsátási megjegyzések az Apache Spark 3.3.0 által működtetett Databricks Runtime 11.1-ről nyújtanak információkat. A Databricks 2022 júliusában adta ki ezt a verziót.

Új funkciók és fejlesztések

A Photon ga

A Photon mostantól általánosan elérhető, a Databricks Runtime 11.1-től kezdve. A Photon az Azure Databricks natív vektorizált lekérdezési motorja, amely közvetlenül kompatibilis az Apache Spark API-kkal, így működik a meglévő kóddal. A Photon a C++-ban lett kifejlesztve, hogy kihasználja a modern hardver előnyeit, és a vektoros lekérdezésfeldolgozás legújabb technikáival kihasználja az adatok és utasítások szintű párhuzamosság előnyeit a processzorokban, növelve a valós adatok és alkalmazások teljesítményét – mindezt natív módon a data lake-en.

A Photon egy nagy teljesítményű futtatókörnyezet része, amely gyorsabban futtatja a meglévő SQL- és DataFrame API-hívásokat, és csökkenti az egy számítási feladatra eső teljes költségeket. A Photon alapértelmezés szerint a Databricks SQL-adattárakban használatos.

Az új funkciók és fejlesztések a következők:

  • Új vektorizált rendezési operátor
  • Új vektorizált ablakfüggvények
  • Új példánytípusok és -méretek az összes felhőben

Korlátozások:

  • A Scala/Python UDF-eket a Photon nem támogatja
  • A Photon nem támogatja az RDD-t
  • A Strukturált streamelést a Photon nem támogatja

További információkért tekintse meg az alábbi Photon-közleményeket.

Foton: Új vektoros rendezési operátor

A Photon mostantól támogatja a vektoros rendezést, ha egy lekérdezés tartalmaz SORT_BY, CLUSTER_BYvagy egy ablakfüggvényt egy ORDER BY.

Korlátozások: A Photon nem támogatja a globális ORDER BY záradékot. Az ablak kiértékelésére szolgáló rendezések fotonizálva lesznek, de a globális rendezés továbbra is a Sparkban fog futni.

Foton: Új vektorizált ablakfüggvények

A Photon mostantól számos kerettípushoz és függvényhez támogatja a vektorizált ablakfüggvények kiértékelését. Az új ablakfüggvények a következők: row_number, rank, dense_rank, lag, lead, percent_rankntileés nth_value. Támogatott ablakkerettípusok: futtatás (UNBOUNDED PRECEDING AND CURRENT ROW), kötetlen (UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING), növekvő (UNBOUNDED PRECEDING AND <OFFSET> FOLLOWING) és zsugorodó (<OFFSET> PRECEDING AND UNBOUNDED FOLLOWING).

Korlátozások:

  • A Photon csak ROWS az összes kerettípus verzióit támogatja.
  • A Photon még nem támogatja a tolókeret típusát (<OFFSET> PRECEDING AND <OFFSET> FOLLOWING).

Photon: Támogatott példánytípusok

  • dds_v5
  • ds_v5
  • eas_v4
  • eds_v4
  • eds_v5
  • es_v5
  • las_v3
  • ls_v3

Az adatcsatorna módosítása mostantól automatikusan képes kezelni a tartományon kívüli időbélyegeket

Az adatcsatorna módosítása (CDF) mostantól új módot kínál a legutóbbi véglegesítés verzióján túli időbélyegek vagy verziók megadására hibák nélkül. Ez a mód alapértelmezés szerint le van tiltva. Ezt úgy engedélyezheti, hogy a konfigurációt a következőre trueállítjaspark.databricks.delta.changeDataFeed.timestampOutOfRange.enabled: .

Az SQL-függvények leírása és megjelenítése mostantól megjeleníti a Unity Catalog-neveket a kimenetükben (nyilvános előzetes verzió)

A parancsok DESC TABLE, DESC DATABASE, DESC SCHEMA, DESC NAMESPACE, DESC FUNCTION, , EXPLAINés SHOW CREATE TABLE most már mindig megjeleníti a katalógus nevét a kimenetükben.

Sémakövetkeztetés és -fejlesztés parquet-fájlokhoz az Automatikus betöltőben (nyilvános előzetes verzió)

Az Automatikus betöltő mostantól támogatja a parquet-fájlok sémakövetkezményét és fejlődését. A JSON-, CSV- és Avro-formátumokhoz hasonlóan a mentett adatoszlopot is használhatja a Parquet-fájlokban esetleg megjelenő váratlan adatok mentéséhez. Ide tartoznak azok az adatok, amelyek nem elemezhetők a várt adattípusban, az eltérő burkolattal rendelkező oszlopok vagy a várt séma részét nem képező további oszlopok. Az Automatikus betöltő úgy konfigurálható, hogy a séma automatikusan fejlődjön, amikor új oszlopokat ad hozzá a bejövő adatokhoz. Lásd: Sémakövetkeztetés és -fejlesztés konfigurálása az Automatikus betöltőben.

Az Automatikus betöltő mostantól támogatja az Avro (GA) sémafejlődését

Lásd: Sémakövetkeztetés és -fejlesztés konfigurálása az Automatikus betöltőben.

Delta Lake-támogatás a dinamikus partíció felülírásához

A Delta Lake mostantól lehetővé teszi a dinamikus partíció felülírási módját az összes meglévő adat felülírásához minden olyan logikai partíción, amelyhez az írás új adatokat véglegesít. Lásd: Adatok szelektív felülírása a Delta Lake használatával.

A Unity-katalógusban létrehozott objektumok információs sémájának támogatása

Az információs séma egy SQL-alapú, önleíró API-t biztosít a különböző adatbázis-objektumok metaadataihoz, beleértve a táblákat és nézeteket, a korlátozásokat és a rutinokat. Az információs sémában egy nézetkészlet található, amely leírja a séma katalógusában ismert objektumokat, amelyeket ön kiemelten lát. A katalógus információs sémája a SYSTEM metaadattárban lévő összes katalógus objektumairól ad vissza információkat. Lásd: Információs séma.

Tájékoztatási korlátozások Delta Lake-táblákon a Unity Katalógussal (nyilvános előzetes verzió)

A Unity Catalog segítségével mostantól definiálhat információs elsődleges kulcsot és idegenkulcs-korlátozásokat a Delta Lake-táblákon. A rendszer nem kényszeríti ki az információs korlátozásokat. Lásd: CONSTRAINT záradék.

A Unity Catalog ga

A Unity Catalog mostantól általánosan elérhető a Databricks Runtime 11.1-től kezdve. Lásd a Mi az a Unity katalógus? témakört.

A Delta-megosztás ga

A Delta Sharing mostantól általánosan elérhető a Databricks Runtime 11.1-től kezdve.

A Databricks és a Databricks deltamegosztás teljes körűen felügyelve van a tokenek cseréje nélkül. Létrehozhat és kezelhet szolgáltatókat, címzetteket és megosztásokat a felhasználói felületen, illetve SQL- és REST API-kkal.

Egyes funkciók közé tartozik a címzettek hozzáférésének korlátozása, az IP-hozzáférési listákkal és a régiókorlátozásokkal rendelkező adatok lekérdezése, valamint a deltamegosztás-kezelés nem rendszergazdákra való delegálása. Lekérdezheti az adatok módosításait, vagy megoszthatja a növekményes verziókat az Adatcsatornák módosítása szolgáltatással. Lásd : Mi az a deltamegosztás?.

Viselkedésbeli változások

Bizalmas tulajdonságok újraművelése a DESCRIBE TABLE és a SHOW TABLE PROPERTIES (TÁBLATULAJDONSÁGOK MEGJELENÍTÉSE) kifejezéshez

A DESCRIBE TABLE parancsok most SHOW TABLE PROPERTIES már újra kiosztják a bizalmas tulajdonságokat.

A feladatfürtök alapértelmezés szerint egyfelhasználós hozzáférési módba kerülnek a Databricks Runtime 11.1 és újabb verziójával

A Unity Catalog képessége érdekében a Databricks Runtime 11.1-es vagy újabb verzióját használó feladatfürtök, amelyek a feladatok felhasználói felületén vagy a feladatok API-jával jönnek létre, alapértelmezés szerint egyfelhasználós hozzáférési módba kerülnek. Az egyfelhasználós hozzáférési mód a legtöbb programozási nyelvet, fürtfunkciót és adatszabályozási funkciót támogatja. A megosztott hozzáférési módot továbbra is konfigurálhatja a felhasználói felületen vagy az API-val, de a nyelvek vagy szolgáltatások korlátozottak lehetnek.

Könyvtárfrissítések

  • Frissített Python-kódtárak:
    • filelock 3.6.0 és 3.7.1 között
    • ábrázolás 5.6.0 és 5.8.2 között
    • protobuf 3.20.1-től 4.21.2-től
  • Frissített R-kódtárak:
    • chron 2.3-56-tól 2.3-57-hez
    • DBI 1.1.2-től 1.1.3-ra
    • dbplyr 2.1.1 és 2.2.0 között
    • e1071 1,7-9-1,7-11
    • 1.25.0 és 1.26.1 között
    • globals from 0.14.0 to 0.15.1
    • hardhat 0.2.0-tól 1.1.0-ra
    • ipred 0,9-12-0,9-13
    • 2.0.0-ról 2.0.2-re nyit
    • párhuzamosan az 1.31.1-től az 1.32.0-sig
    • processx 3.5.3–3.6.1
    • progressrátor 0.10.0-tól 0.10.1-től
    • proxy 0.4-26-tól 0.4-27-hez
    • ps 1.7.0 és 1.7.1 között
    • randomForest 4,7-1-4,7-1,1
    • roxygen2 7.1.2-től 7.2.0-ig
    • Rserve 1,8-10-től 1,8-11-ig
    • RSQLite 2.2.13-tól 2.2.14-esig
    • sparklyr 1.7.5 és 1.7.7 között
    • tinytex 0,38 és 0,40 között
    • usethis 2.1.5-től 2.1.6-ig
    • xfun 0,30 és 0,31 között
  • Frissített Java-kódtárak:
    • io.delta.delta-sharing-spark_2.12 0.4.0 és 0.5.0 között

Apache Spark

A Databricks Runtime 11.2 tartalmazza az Apache Spark 3.3.0-t. Ez a kiadás tartalmazza a Databricks Runtime 11.1 -ben (EoS) található összes Spark-javítást és -fejlesztést, valamint a Spark következő további hibajavításait és fejlesztéseit:

  • [SPARK-40054] [SQL] A try_cast() hibakezelési szintaxisának visszaállítása
  • [SPARK-39489] [CORE] Az eseménynaplózás JsonProtocol teljesítményének javítása A Json4s helyett Jackson használatával
  • [SPARK-39319] [CORE] [SQL] Lekérdezési környezetek létrehozása a SparkThrowable
  • [SPARK-40085] [SQL] Az IllegalStateException helyett használjon INTERNAL_ERROR hibaosztályt a hibák jelzéséhez
  • [SPARK-40001] [SQL] NULL írás létrehozása a JSON ALAPÉRTELMEZETT oszlopaiba a "null" írással a tárolóba
  • [SPARK-39635] [SQL] Illesztőprogram-metrikák támogatása a DS v2 egyéni metrika API-ban
  • [SPARK-39184] [SQL] Az alulméretezett eredménytömb kezelése dátum- és időbélyeg-sorozatokban
  • [SPARK-40019] [SQL] A ArrayType elemének újrabontása: A CollectionOperator kifejezésében szereplő félreértési logikák újrabontása és újrabontása containsNull
  • [SPARK-39989] [SQL] Oszlopstatisztikák becslésének támogatása összecsukható kifejezés esetén
  • [SPARK-39926] [SQL] Nem vektoros parquet-vizsgálatok alapértelmezett oszlopbeli támogatásának hibajavítása
  • [SPARK-40052] [SQL] Közvetlen bájtpufferek kezelése a VectorizedDeltaBinaryPackedReaderben
  • [SPARK-40044] [SQL] A célintervallumtípus javítása a túlcsordulási hibák esetén
  • [SPARK-39835] [SQL] A EliminateSorts eltávolítása globális rendezés eltávolítása a helyi rendezés alatt
  • [SPARK-40002] [SQL] Ne nyomja le a korlátot az ablakon ntile használatával
  • [SPARK-39976] [SQL] A ArrayIntersectnek helyesen kell kezelnie a null értéket a bal oldali kifejezésben
  • [SPARK-39985] [SQL] Implicit DEFAULT oszlopértékek engedélyezése a DataFrame-ből származó beszúrásokban
  • [SPARK-39776] [SQL] A JOIN részletes sztringnek illesztéstípust kell hozzáadnia
  • [SPARK-38901] [SQL] A DS V2 támogatja a leküldéses vegyes függvényeket
  • [SPARK-40028] [SQL] [Nyomon követés] Sztringfüggvények példáinak javítása
  • [SPARK-39983] [CORE] [SQL] Ne gyorsítótárazza a nemializált szórási kapcsolatokat az illesztőprogramon
  • [SPARK-39812] [SQL] Egyszerűsítse a kódot AggregateExpression , amely a toAggregateExpression
  • [SPARK-40028] [SQL] Bináris példák hozzáadása sztringkifejezésekhez
  • [SPARK-39981] [SQL] A QueryExecutionErrors.castingCauseOverflowErrorInTableInsert kivétel elvetése a Castben
  • [SPARK-40007] [PYTHON] [SQL] "mód" hozzáadása a függvényekhez
  • [SPARK-40008] [SQL] Az integrálok ANSI-intervallumokra történő kiosztásának támogatása
  • [SPARK-40003] [PYTHON] [SQL] "medián" hozzáadása függvényekhez
  • [SPARK-39952] [SQL] A SaveIntoDataSourceCommandnak vissza kell szakadnia az eredményrel
  • [SPARK-39951] [SQL] Beágyazott mezők parquet V2 oszlopos ellenőrzésének frissítése
  • [SPARK-39775] [CORE] [AVRO] Alapértelmezett értékek érvényesítésének letiltása az Avro-sémák elemzésekor
  • [SPARK-33236] [shuffle] Backport to DBR 11.x: Push-alapú shuffle szolgáltatás engedélyezése az állapot NM szintű adatbázisban való tárolásához a munka újraindításának megőrzése érdekében
  • [SPARK-39836] [SQL] Egyszerűsítse le a V2ExpressionBuildert a gyakori módszer kinyerésével.
  • [SPARK-39867] [SQL] A globális korlát nem örökölheti az OrderPreservingUnaryNode-t
  • [SPARK-39873] [SQL] Eltávolítás OptimizeLimitZero és egyesítés EliminateLimits
  • [SPARK-39961] [SQL] DS V2 push-down translate Cast, ha a leadás biztonságos
  • [SPARK-39872] [SQL] Váltás a Tömb bemeneti API használatára BytePackerForLong#unpack8Values a következőben: VectorizedDeltaBinaryPackedReader
  • [SPARK-39858] [SQL] Szükségtelen AliasHelper vagy PredicateHelper néhány szabály eltávolítása
  • [SPARK-39962] [WARMFIX] [ES-393486] [PYTHON] [SQL] Vetítés alkalmazása üres csoportattribútumok esetén
  • [SPARK-39900] [SQL] Részleges vagy nem kondicionált állapot kezelése bináris formátumban a predikátum leküldéses leküldésében
  • [SPARK-39904] [SQL] Nevezze át az inferDate nevet, hogy előnyben részesítse a CSV-adatforrásban lévő beállítás szemantikáját, és tisztázza a szemantikát
  • [SPARK-39958] [SQL] Figyelmeztető napló hozzáadása, ha nem lehet betölteni az egyéni metrikaobjektumot
  • [SPARK-39936] [SQL] Séma tárolása a Spark-nézetek tulajdonságaiban
  • [SPARK-39932] [SQL] A WindowExecnek törölnie kell a végső partíciópuffert
  • [SPARK-37194] [SQL] Kerülje a felesleges rendezést az 1. v. írásban, ha az nem dinamikus partíció
  • [SPARK-39902] [SQL] Vizsgálat részleteinek hozzáadása a Spark-terv vizsgálati csomópontjához a SparkUI-ban
  • [SPARK-39865] [SQL] Megfelelő hibaüzenetek megjelenítése a táblázat beszúrásának túlcsordulási hibáin
  • [SPARK-39940] [SS] Katalógustábla frissítése streamelési lekérdezésen DSv1-fogadóval
  • [SPARK-39827] [SQL] A hibaosztály ARITHMETIC_OVERFLOW használata int overflow in add_months()
  • [SPARK-39914] [SQL] DS V2-szűrő hozzáadása a V1-szűrőkonvertáláshoz
  • [SPARK-39857] [SQL] Manuális DBR 11.x backport; A V2ExpressionBuilder helytelen LiteralValue adattípust használ az In predikátum #43454 predikátumhoz
  • [SPARK-39840] [SQL] [PYTHON] A PythonArrowInput kihatása a PythonArrowOutput szimmetriaként
  • [SPARK-39651] [SQL] A metszés szűrőfeltétele, ha összehasonlítjuk a randtal, determinisztikus
  • [SPARK-39877] [PYTHON] Unpivot hozzáadása a PySpark DataFrame API-hoz
  • [SPARK-39847] [WARMFIX] [SS] A RocksDBLoader.loadLibrary() versenyállapotának javítása, ha a hívószál megszakad
  • [SPARK-39909] [SQL] A JDBCV2Suite leküldéses adatainak ellenőrzése rendszerezése
  • [SPARK-39834] [SQL] [SS] Adja meg a LogicalRDD forrásstatisztikáit és korlátait, ha a DataFrame-ből származik
  • [SPARK-39849] [SQL] Dataset.as(StructType) üres értékkel tölti ki a hiányzó új oszlopokat
  • [SPARK-39860] [SQL] További kifejezéseknek ki kell terjesztenie a Predikátumot
  • [SPARK-39823] [SQL] [PYTHON] Nevezze át Dataset.as Dataset.to, és adjon hozzá DataFrame.to a PySparkban
  • [SPARK-39918] [SQL] [AL] Cserélje le a "nem összehasonlítható" szöveget "összehasonlíthatatlan" szövegre a hibaüzenetben
  • [SPARK-39857] [SQL] [3.3] A V2ExpressionBuilder helytelen LiteralValue adattípust használ az In predikátumhoz
  • [SPARK-39862] [SQL] Manuális backport for PR 43654 targeting DBR 11.x: Frissítés SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS engedélyezéséhez/megtagadásához ALTER TABLE ... A COLUMN parancsok hozzáadása külön-külön.
  • [SPARK-39844] [SQL] Manuális háttérport a PR 43652-hez, amely a DBR 11.x-et célozza
  • [SPARK-39899] [SQL] Az üzenetparaméterek továbbításának javítása InvalidUDFClassException
  • [SPARK-39890] [SQL] TakeOrderedAndProjectExec öröklése AliasAwareOutputOrdering
  • [SPARK-39809] [PYTHON] CharType támogatása a PySparkban
  • [SPARK-38864] [SQL] Unpivot/melt hozzáadása az adatkészlethez
  • [SPARK-39864] [SQL] Lazily register ExecutionListenerBus
  • [SPARK-39808] [SQL] Aggregátumfüggvény mód támogatása
  • [SPARK-39839] [SQL] Null változó hosszúságú decimális speciális esetének kezelése nem nulla eltolássalAndSize az UnsafeRow szerkezeti integritási ellenőrzése során
  • [SPARK-39875] [SQL] A végső osztály metódusának módosítása protected a következőre:privatepackage-visible
  • [SPARK-39731] [SQL] Kijavítottuk a CSV- és JSON-adatforrásokban a dátumok "yyyyyMMdd" formátumban történő elemzésekor a JAVÍTOTT időelemző házirenddel kapcsolatos problémát
  • [SPARK-39805] [SS] Trigger.Once és Promote Trigger.AvailableNow törlése
  • [SPARK-39784] [SQL] Literális értékek elhelyezése az adatforrásszűrő jobb oldalán a Katalizátorkifejezés adatforrásszűrőre történő fordítása után
  • [SPARK-39672] [SQL] [3.1] A projekt eltávolításának javítása a korrelált subquery szűrése előtt
  • [SPARK-39552] [SQL] 1. és 2. verzió egységesítése DESCRIBE TABLE
  • [SPARK-39806] [SQL] A particionált táblán való _metadata hozzáférés összeomlhat egy lekérdezésben
  • [SPARK-39810] [SQL] A Catalog.tableExistsnek kezelnie kell a beágyazott névteret
  • [SPARK-37287] [SQL] Dinamikus partíció és gyűjtőrendezés lekérése a FileFormatWriterből
  • [SPARK-39469] [SQL] CSV-séma következtetésének dátumtípusa
  • [SPARK-39148] [SQL] A DS V2 aggregátum leküldése az ELTOLÁS vagy a KORLÁT használatával is használható
  • [SPARK-39818] [SQL] Hiba kijavítása a ARRAY, a STRUCT és a MAP típusok alapértelmezett értékekkel és NULL mező(ek) használatával
  • [SPARK-39792] [SQL] DecimálisdivideWithOverflowCheck hozzáadása decimális átlaghoz
  • [SPARK-39798] [SQL] Replcace toSeq.toArray a .toArray[Any] konstruktor a GenericArrayData
  • [SPARK-39759] [SQL] ListIndexes implementálása a JDBC-ben (H2 dialektus)
  • [SPARK-39385] [SQL] Támogatja a leküldést és a leküldést REGR_AVGXREGR_AVGY
  • [SPARK-39787] [SQL] Hibaosztály használata a to_timestamp függvény elemzési hibájában
  • [SPARK-39760] [PYTHON] A Varchar támogatása a PySparkban
  • [SPARK-39557] [SQL] Manuális backport to DBR 11.x: Support ARRAY, STRUCT, MAP types as DEFAULT values
  • [SPARK-39758] [SQL] [3.3] A regexp függvények NPE-jének javítása érvénytelen mintákon
  • [SPARK-39749] [SQL] ANSI SQL mód: Egyszerű sztring-ábrázolás használata decimális sztringgé alakításkor
  • [SPARK-39704] [SQL] CreateIndex &dropIndex &indexExists implementálása a JDBC-ben (H2 dialektus)
  • [SPARK-39803] [SQL] Használat LevenshteinDistance helyett StringUtils.getLevenshteinDistance
  • [SPARK-39339] [SQL] A JDBC-adatforrás időbélyegNTZ-típusának támogatása
  • [SPARK-39781] [SS] Támogatás hozzáadása max_open_files biztosításához a rocksdb state store szolgáltatóhoz
  • [SPARK-39719] [R] DatabaseExists/getDatabase implementálása a SparkR-ben támogatja a 3L névteret
  • [SPARK-39751] [SQL] Kivonatösszegző kulcs mintavételi metrikáinak átnevezése
  • [SPARK-39772] Az [SQL] névtérnek null értékűnek kell lennie, ha az adatbázis null értékű a régi konstruktorokban
  • [SPARK-39625] [SPARK-38904] [SQL] Dataset.as(StructType) hozzáadása
  • [SPARK-39384] [SQL] Beépített lineáris regressziós aggregátumfüggvények fordítása JDBC-dialektushoz
  • [SPARK-39720] [R] TableExists/getTable implementálása a SparkR 3L-névtérben
  • [SPARK-39744] [SQL] A REGEXP_INSTR függvény hozzáadása
  • [SPARK-39716] [R] Az aktuálisDatabase/setCurrentDatabase/listCatalogs létrehozása a SparkR-ben támogatja a 3L névteret
  • [SPARK-39788] [SQL] Átnevezés catalogName erre:dialectNameJdbcUtils
  • [SPARK-39647] [CORE] A végrehajtó regisztrálása az ESS-ben a BlockManager regisztrálása előtt
  • [SPARK-39754] [CORE] [SQL] Használaton kívüli import vagy szükségtelen eltávolítása {}
  • [SPARK-39706] [SQL] Hiányzó oszlop beállítása alapértelmezett Érték értékével állandóként a következőben: ParquetColumnVector
  • [SPARK-39699] [SQL] A CollapseProject intelligensebbé tétele a gyűjteménylétrehozási kifejezésekről
  • [SPARK-39737] [SQL] PERCENTILE_CONT és PERCENTILE_DISC támogatnia kell az összesítő szűrőt
  • [SPARK-39579] [SQL] [PYTHON] [R] ListFunctions/getFunction/functionExists kompatibilissé tétele 3 rétegbeli névtérrel
  • [SPARK-39627] [SQL] A JDBC V2 leküldésének egyesítenie kell a fordítási API-t
  • [SPARK-39748] [SQL] [SS] Adja meg a LogicalRDD forrás logikai tervét, ha a DataFrame-ből származik
  • [SPARK-39385] [SQL] Lineáris regressziós aggregátumfüggvények fordítása leküldéshez
  • [SPARK-39695] [SQL] A REGEXP_SUBSTR függvény hozzáadása
  • [SPARK-39667] [SQL] Adjon hozzá egy másik áthidaló megoldást, ha nincs elegendő memória a tábla létrehozásához és közvetítéséhez
  • [SPARK-39666] [ES-337834] [SQL] A UnsafeProjection.create használata a ExpressionEncoderben való tisztelethez spark.sql.codegen.factoryMode
  • [SPARK-39643] [SQL] Subquery-kifejezések tiltása ALAPÉRTELMEZETT értékekben
  • [SPARK-38647] [SQL] A SupportsReportOrdering mix hozzáadása a Scan felületéhez (DataSourceV2)
  • [SPARK-39497] [SQL] A hiányzó térképkulcs-oszlop elemzési kivételének javítása
  • [SPARK-39661] [SQL] Kerülje a szükségtelen SLF4J-naplózó létrehozását
  • [SPARK-39713] [SQL] ANSI mód: javaslat hozzáadása try_element_at INVALID_ARRAY_INDEX hiba esetén való használatára
  • [SPARK-38899] [SQL] A DS V2 támogatja a leküldéses datetime függvényeket
  • [SPARK-39638] [SQL] Váltás a ConstantColumnVector partícióoszlopok tárolására a következő helyen: OrcColumnarBatchReader
  • [SPARK-39653] [SQL] ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) Törlés innen: ColumnVectorUtils
  • [SPARK-39231] [SQL] Partícióoszlopok ConstantColumnVector tárolása helyett On/OffHeapColumnVectorVectorizedParquetRecordReader
  • [SPARK-39547] [SQL] A V2SessionCatalog nem dobja a NoSuchDatabaseException függvényt a loadNamspaceMetadata fájlban
  • [SPARK-39447] [SQL] Az AssertionError elkerülése az AdaptiveSparkPlanExec.doExecuteBroadcast alkalmazásban
  • [SPARK-39492] [SQL] Átdolgozás MISSING_COLUMN
  • [SPARK-39679] [SQL] A TakeOrderedAndProjectExecnek tiszteletben kell tartania a gyermekkimenetek sorrendjét
  • [SPARK-39606] [SQL] Gyermekstatisztikák használata a rendelési operátor becsléséhez
  • [SPARK-39611] [PYTHON] [PS] Helytelen aliasok javítása a array_ufunc
  • [SPARK-39656] [SQL] [3.3] Helytelen névtér kijavítása a DescribeNamespaceExecben
  • [SPARK-39675] [SQL] A "spark.sql.codegen.factoryMode" konfigurációjának váltása tesztelési célról belső célra
  • [SPARK-39139] [SQL] A DS V2 támogatja a DS V2 UDF leküldését
  • [SPARK-39434] [SQL] Futtatókörnyezeti hiba lekérdezési környezetének megadása, ha a tömbindex nem határolt
  • [SPARK-39479] [SQL] A DS V2 támogatja a matematikai függvények leküldését (nem ANSI)
  • [SPARK-39618] [SQL] A REGEXP_COUNT függvény hozzáadása
  • [SPARK-39553] [CORE] A többszálas törlési shuffle nem dobhatja az NPE-t a Scala 2.13 használatakor
  • [SPARK-38755] [PYTHON] [3.3] Fájl hozzáadása a hiányzó pandas általános funkcióinak kezeléséhez
  • [SPARK-39444] [SQL] OptimizeSubqueries hozzáadása a nemExcludableRules listához
  • [SPARK-39316] [SQL] PromotePrecision és CheckOverflow egyesítése decimális bináris aritmetikai értékké
  • [SPARK-39505] [Felhasználói felület] Felhasználói felületen megjelenített menekülési naplótartalom
  • [SPARK-39448] [SQL] Hozzáadás ReplaceCTERefWithRepartition a listához nonExcludableRules
  • [SPARK-37961] [SQL] A maxRows/maxRowsPerPartition felülbírálása néhány logikai operátor esetében
  • [SPARK-35223] A IssueNavigationLink hozzáadása visszaállítása
  • [SPARK-39633] [SQL] A TimeTravel időbélyegének támogatása másodpercben a Dataframe-beállítások használatával
  • [SPARK-38796] [SQL] Számformátum-sztringek dokumentációjának frissítése a(z) {try_}to_number függvényekkel
  • [SPARK-39650] [SS] Helytelen értékséma javítása a streamelési deduplikációban a visszamenőleges kompatibilitással
  • [SPARK-39636] [CORE] [Felhasználói felület] Kijavítottunk több hibát a JsonProtocolban, ami hatással van a StorageLevels és a Task/Executor ResourceRequests halomra
  • [SPARK-39432] [SQL] ELEMENT_AT_BY_INDEX_ZERO visszaadott element_at(*, 0)
  • [SPARK-39349] Központosított CheckError metódus hozzáadása a hibaelérési út QA-hoz
  • [SPARK-39453] [SQL] A DS V2 támogatja a nem összesítő függvények leküldését (nem ANSI)
  • [SPARK-38978] [SQL] A DS V2 támogatja az OFFSET operátor leküldését
  • [SPARK-39567] [SQL] ANSI-intervallumok támogatása a percentilisfüggvényekben
  • [SPARK-39383] [SQL] Az ALTER TABLE ALTER COLUMNS és v2 adatforrások alapértelmezett oszlopainak támogatása
  • [SPARK-39396] [SQL] A "49- hibakód – érvénytelen hitelesítő adatok" LDAP-bejelentkezési kivétel kijavítása
  • [SPARK-39548] [SQL] A CreateView parancs ablak-záradék lekérdezéssel hibás ablakdefiníciót talált, és nem található probléma
  • [SPARK-39575] [AVRO] add ByteBuffer#rewind after ByteBuffer#get in Avr...
  • [SPARK-39543] A DataFrameWriterV2 lehetőséget át kell adni a tárolási tulajdonságoknak, ha az 1.
  • [SPARK-39564] [SS] Katalógustábla információinak felfedése a logikai terv számára a streamelési lekérdezésben
  • [SPARK-39582] [SQL] Javítsa ki a "Since" jelölőt a következőhöz: array_agg
  • [SPARK-39388] [SQL] Újrafelhasználás orcSchema az Orc-predikátumok leküldésekor
  • [SPARK-39511] [SQL] 1. helyi korlát javítása a bal oldali fél-/anticsatlakozás jobb oldalán, ha az illesztési feltétel üres
  • [SPARK-38614] [SQL] Ne nyomja le a korlátot az percent_rank
  • [SPARK-39551] [SQL] Érvénytelen AQE-csomag hozzáadása
  • [SPARK-39383] [SQL] Alapértelmezett oszlopok támogatása az ALTER TABLE ADD COLUMNS to V2 adatforrásokban
  • [SPARK-39538] [SQL] Kerülje a szükségtelen SLF4J-naplózó létrehozását
  • [SPARK-39383] [SQL] Manuális backport to DBR 11.x: Refactor DEFAULT column support to skip passing the primary Analyzer around
  • [SPARK-39397] [SQL] Relax AliasAwareOutputExpression az alias kifejezéssel való támogatásához
  • [SPARK-39496] [SQL] Null struct kezelése Inline.eval
  • [SPARK-39545] [SQL] Felülbírálási concat módszer a ExpressionSet Scala 2.13-ban a teljesítmény javítása érdekében
  • [SPARK-39340] [SQL] A DS v2 agg leküldéses leküldésének engedélyeznie kell a legfelső szintű oszlopok nevében lévő pontokat
  • [SPARK-39488] [SQL] A TempResolvedColumn hibakezelésének egyszerűsítése
  • [SPARK-38846] [SQL] Explicit adatleképezés hozzáadása a Teradata numerikus típus és a Spark DecimalType között
  • [SPARK-39520] [SQL] Felülbírálási -- módszer a ExpressionSet Scala 2.13-ban
  • [SPARK-39470] [SQL] AZ ANSI-intervallumok támogatása tizedes törtekre
  • [SPARK-39477] [SQL] Távolítsa el a "Lekérdezések száma" adatokat az SQLQueryTestSuite arany fájljaiból
  • [SPARK-39419] [SQL] A ArraySort javítása kivétel kivetéséhez, ha az összehasonlító null értéket ad vissza
  • [SPARK-39061] [SQL] Null érték helyes Inline beállítása kimeneti attribútumokhoz
  • [SPARK-39320] [SQL] Aggregátumfüggvény támogatása MEDIAN
  • [SPARK-39261] [CORE] Új vonal formázásának javítása hibaüzenetekhez
  • [SPARK-39355] [SQL] Az egyetlen oszlop idézve hozza létre az UnresolvedAttribute függvényt
  • [SPARK-39351] [SQL] SHOW CREATE TABLE should redact properties
  • [SPARK-37623] [SQL] ANSI-összesítő függvény támogatása: regr_intercept
  • [SPARK-39374] [SQL] A felhasználó által megadott oszloplista hibaüzenetének javítása
  • [SPARK-39255] [SQL] [3.3] A hibaüzenetek javítása
  • [SPARK-39321] [SQL] A TryCast újrabontása a RuntimeReplaceable használatára
  • [SPARK-39406] [PYTHON] NumPy-tömb elfogadása a createDataFrame-ben
  • [SPARK-39267] [SQL] Felesleges dsl szimbólum eltávolítása
  • [SPARK-39171] [SQL] A Cast kifejezés egyesítése
  • [SPARK-28330] [SQL] ANSI SQL támogatása: eredményeltolási záradék a lekérdezési kifejezésben
  • [SPARK-39203] [SQL] A tábla helyének átírása abszolút URI-ra az adatbázis URI-ja alapján
  • [SPARK-39313] [SQL] toCatalystOrdering sikertelennek kell lennie, ha a V2Expression nem fordítható le
  • [SPARK-39301] [SQL] [PYTHON] A LocalRelation használata és a nyíl kötegméretének tiszteletben tartása a createDataFrame-ben nyíloptimalizációval
  • [SPARK-39400] [SQL] a spark-sql-nek minden esetben el kell távolítania a hive resource dir-t

Karbantartási frissítések

Lásd a Databricks Runtime 11.1 karbantartási frissítéseit.

Rendszerkörnyezet

  • Operációs rendszer: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.1.3
  • Delta Lake: 1.2.1

Telepített Python-kódtárak

Könyvtár Verzió Könyvtár Verzió Könyvtár Verzió
Antergos Linux 2015.10 (ISO-rolling) argon2-cffi 20.1.0 aszinkron generátor 1.10
attrs 21.2.0 backcall 0.2.0 backports.entry-points-selectable 1.1.1
fekete 22.3.0 fehérítő 4.0.0 boto3 1.21.18
botocore 1.24.18 minősítés 2021.10.8 cffi 1.14.6
karakterkészlet 4.0.0 charset-normalizer 2.0.4 kattintás 8.0.3
kriptográfia 3.4.8 biciklista 0.10.0 Cython 0.29.24
dbus-python 1.2.16 hibakeresés 1.4.1 lakberendező 5.1.0
defusedxml 0.7.1 distlib 0.3.5 distro-info 0,23ubuntu1
belépési pontok 0.3 aspektusok áttekintése 1.0.0 filelock 3.8.0
idna 3.2 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
jsonschema 3.2.0 jupyter-client 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-widgetek 1.0.0 kiwisolver 1.3.1
MarkupSafe 2.0.1 matplotlib 3.4.3 matplotlib-inline 0.1.2
mistune 0.8.4 mypy-extensions 0.4.3 nbclient 0.5.3
nbconvert 6.1.0 nbformat 5.1.3 nest-asyncio 1.5.1
jegyzetfüzet 6.4.5 numpy 1.20.3 csomagolás 21,0
pandas 1.3.4 pandocfilters 1.4.3 parso 0.8.2
pathspec 0.9.0 Patsy 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Párna 8.4.0 mag 21.2.4
platformdirs 2.5.2 ábrázolás 5.9.0 prometheus-client 0.11.0
prompt-toolkit 3.0.20 protobuf 4.21.5 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pyarrow 7.0.0
pycparser 2,20 Pygments 2.10.0 PyGObject 3.36.0
pyodbc 4.0.31 pyparsing 3.0.4 pyrsistent 0.18.0
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.2.1 kérelmek 2.26.0 requests-unixsocket 0.2.0
s3transfer 0.5.2 scikit-learn 0.24.2 scipy 1.7.1
tengeri 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
Hat 1.16.0 ssh-import-id 5.10 statsmodels 0.12.2
Kitartás 8.0.1 terminado 0.9.4 testpath 0.5.0
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornádó 6.1 árulók 5.1.0 gépelés-bővítmények 3.10.0.2
felügyelet nélküli frissítések 0,1 urllib3 1.26.7 virtualenv 20.8.0
wcwidth 0.2.5 webencodings 0.5.1 kerék 0.37.0
widgetsnbextension 3.6.0

Telepített R-kódtárak

Az R-kódtárak a Microsoft CRAN-pillanatképből vannak telepítve 2022-08-15-én.

Könyvtár Verzió Könyvtár Verzió Könyvtár Verzió
askpass 1,1 assertthat 0.2.1 backports 1.4.1
alap 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.3 indítás 1.3-28
főz 1.0-7 Brio 1.1.3 seprű 1.0.0
bslib 0.4.0 gyorsítótár 1.0.6 hívó 3.7.1
kalap 6.0-93 cellranger 1.1.0 chron 2.3-57
osztály 7.3-20 Cli 3.3.0 clipr 0.8.0
fürt 2.1.3 kódtoolok 0.2-18 színtér 2.0-3
commonmark 1.8.0 fordítóprogram 4.1.3 config 0.3.1
cpp11 0.4.2 zsírkréta 1.5.1 hitelesítő adatok 1.3.2
csavarodik 4.3.2 data.table 1.14.2 adatkészletek 4.1.3
DBI 1.1.3 dbplyr 2.2.1 Desc 1.4.1
devtools 2.4.4 diffobj 0.3.5 emészt 0.6.29
levilágított 0.4.2 dplyr 1.0.9 dtplyr 1.2.1
e1071 1.7-11 három pont 0.3.2 evaluate 0,16
fani 1.0.3 farver 2.1.1 gyorstérkép 1.1.0
fontawesome 0.3.0 forcats 0.5.1 foreach 1.5.2
külföldi 0.8-82 kovácsol 0.2.0 Fs 1.5.2
jövő 1.27.0 future.apply 1.9.0 gargarizál 1.2.0
Generikus 0.1.3 Gert 1.7.0 ggplot2 3.3.6
Gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-4
globális 0.16.0 ragasztó 1.6.2 googledrive 2.0.0
googlesheets4 1.0.1 Gower 1.0.0 grafika 4.1.3
grDevices 4.1.3 rács 4.1.3 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 hardhat 1.2.0
kikötő 2.5.0 highr 0,9 Hms 1.1.1
htmltoolok 0.5.3 htmlwidgets 1.5.4 httpuv 1.6.5
httr 1.4.3 Azonosítók 1.0.1 ini 0.3.1
ipred 0.9-13 izoband 0.2.5 iterátorok 1.0.14
jquerylib 0.1.4 jsonlite 1.8.0 KernSmooth 2.23-20
knitr 1.39 címkézés 0.4.2 később 1.3.0
rács 0.20-45 láva 1.6.10 életciklus 1.0.1
figyelő 0.8.0 lubridate 1.8.0 magrittr 2.0.3
markdown 1,1 TÖMEG 7.3-56 Mátrix 1.4-1
memoise 2.0.1 metódusok 4.1.3 mgcv 1.8-40
MIME 0,12 miniUI 0.1.1.1 ModelMetrics 1.2.2.2
modellező 0.1.8 munsell 0.5.0 nlme 3.1-157
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 2.0.2
parallel 4.1.3 párhuzamosan 1.32.1 pillér 1.8.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgdown 2.0.6
pkgload 1.3.0 plogr 0.2.0 rétegelt 1.8.7
dicséret 1.0.0 prettyunits 1.1.1 Proc 1.18.0
processx 3.7.0 prodlim 2019.11.13 profvis 0.3.7
haladás 1.2.2 progressr 0.10.1 Ígér 1.2.0.1
Proto 1.0.0 helyettes 0.4-27 Ps 1.7.1
purrr 0.3.4 r2d3 0.2.6 R6 2.5.1
ragg 1.2.2 randomForest 4.7-1.1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.0.9
RcppEigen 0.3.3.9.2 olvasó 2.1.2 readxl 1.4.0
receptek 1.0.1 Visszavágót 1.0.1 visszavágó2 2.1.2
Távirányító 2.4.2 reprex 2.0.1 újraformázás2 1.4.4
rlang 1.0.4 rmarkdown 2.14 RODBC 1.3-19
roxygen2 7.2.1 rpart 4.1.16 rprojroot 2.0.3
Rserve 1.8-11 RSQLite 2.2.15 rstudioapi 0,13
rversions 2.1.1 rvest 1.0.2 Sass 0.4.2
mérleg 1.2.0 választó 0.4-2 sessioninfo 1.2.2
alak 1.4.6 Fényes 1.7.2 sourcetools 0.1.7
sparklyr 1.7.7 SparkR 3.3.0 térbeli 7.3-11
splines 4.1.3 sqldf 0.4-11 NÉGYZET 2021.1
statisztika 4.1.3 statisztikák4 4.1.3 stringi 1.7.8
sztring 1.4.0 túlélés 3.2-13 sys 3.4
systemfonts 1.0.4 tcltk 4.1.3 testthat 3.1.4
szövegformázás 0.3.6 tibble 3.1.8 tidyr 1.2.0
tidyselect 1.1.2 tidyverse 1.3.2 timeDate 4021.104
tinytex 0.40 eszközök 4.1.3 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
eszközök 4.1.3 uuid 1.1-0 vctrs 0.4.1
viridisLite 0.4.0 vroom 1.5.7 Waldo 0.4.0
bajusz 0,4 withr 2.5.0 xfun 0.32
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.5 fütyülés 2.2.0

Telepített Java- és Scala-kódtárak (Scala 2.12-fürtverzió)

Csoportazonosító Összetevő azonosítója Verzió
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics patak 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml osztálytárs 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.3
com.fasterxml.jackson.core jackson-core 2.13.3
com.fasterxml.jackson.core jackson-databind 2.13.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.3
com.fasterxml.jackson.module jackson-module-paranamer 2.13.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.3
com.github.ben-manes.koffein koffein 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natívok 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natívok 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Csellengő 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava gujávafa 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1,1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1,15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-naplózás commons-naplózás 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib Blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hadoop3 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.5.0
io.dropwizard.metrics metrikamag 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx gyűjtő 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktiválás 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
mvn hadoop3 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pác 1,2
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.14
net.snowflake spark-snowflake_2.12 2.10.0-spark_3.2
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow nyílformátum 7.0.0
org.apache.arrow nyíl-memóriamag 7.0.0
org.apache.arrow nyíl-memória-netty 7.0.0
org.apache.arrow nyíl-vektor 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1,9
org.apache.curator kurátor-ügyfél 2.13.0
org.apache.curator kurátor-keretrendszer 2.13.0
org.apache.curator kurátor-receptek 2.13.0
org.apache.derby keménykalap 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.2-databricks
org.apache.hadoop hadoop-client-runtime 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy borostyán 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.17.2
org.apache.logging.log4j log4j-api 2.17.2
org.apache.logging.log4j log4j-core 2.17.2
org.apache.logging.log4j log4j-slf4j-impl 2.17.2
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.5
org.apache.orc orc-mapreduce 1.7.5
org.apache.orc orc-shims 1.7.5
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet parquet-kódolás 1.12.0-databricks-0004
org.apache.parquet parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus célközönség-széljegyzetek 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-juta 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty móló-folytatás 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty móló plusz 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-lokátor 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,34
org.glassfish.jersey.containers jersey-container-servlet-core 2,34
org.glassfish.jersey.core jersey-client 2,34
org.glassfish.jersey.core jersey-common 2,34
org.glassfish.jersey.core jersey-server 2,34
org.glassfish.jersey.inject jersey-hk2 2,34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Végleges
org.jdbi jdbi 2.63.1
org.jetbrains Széljegyzetek 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap Alátéteket 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt teszt-interfész 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1,2
org.scalanlp breeze_2.12 1,2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark Használatlan 1.0.0
org.threeten három-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel makró-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1