Megosztás a következőn keresztül:

Databricks Runtime 15.2

  • Cikk

Az alábbi kibocsátási megjegyzések az Apache Spark 3.5.0-s verziójával működő Databricks Runtime 15.2-ről nyújtanak információkat.

A Databricks 2024 májusában adta ki ezeket a képeket.

Működésbeli változások

A vákuum törli a COPY INTO metaadatfájlokat

A VACUUM futtatása egy olyan táblán, amely COPY INTO most már meg van írva, megtisztítja a betöltött fájlok nyomon követéséhez kapcsolódó nem hivatkozott metaadatokat. Nincs hatással a működési szemantikára COPY INTO.

A Lakehouse Federation általánosan elérhető (GA)

A Databricks Runtime 15.2-s és újabb verzióiban a Lakehouse Federation-összekötők az alábbi adatbázistípusok között általánosan elérhetők (GA):

  • MySQL
  • PostgreSQL
  • Amazon Redshift
  • Snowflake
  • Microsoft SQL Server
  • Azure Synapse (SQL Data Warehouse)
  • Databricks

Ez a kiadás a következő fejlesztéseket is bevezeti:

  • Az egyszeri bejelentkezés (SSO) hitelesítésének támogatása a Snowflake és a Microsoft SQL Server-összekötőkben.

  • Azure Private Link-támogatás az SQL Server-összekötőhöz kiszolgáló nélküli számítási környezetekből. Lásd : 3. lépés: Privát végpontszabályok létrehozása.

  • További leküldéses leküldések (sztring, matematikai és egyéb függvények) támogatása.

  • Továbbfejlesztett leküldéses sikerességi arány a különböző lekérdezési alakzatok között.

  • További leküldéses hibakeresési képességek:

    • A EXPLAIN FORMATTED kimenet megjeleníti a leküldéses lekérdezés szövegét.
    • A lekérdezésprofil felhasználói felülete megjeleníti a leküldéses lekérdezés szövegét, az összevont csomópontazonosítókat és a JDBC-lekérdezés végrehajtási idejét (részletes módban). Lásd: Rendszer által létrehozott összevont lekérdezések megtekintése.

BY POSITION oszlopleképezéshez COPY INTO fejléc nélküli CSV-fájlokkal

A Databricks Runtime 15.2-s és újabb verzióiban a BY POSITION fejléc nélküli CSV-fájlok kulcsszavaival (vagy alternatív szintaxisával( col_name [ , <col_name> ... ] )COPY INTO) egyszerűbbé teheti a forrásoszlopot a táblázatoszlopok leképezésének megcélzásához. Lásd a paramétereket.

Memóriahasználat csökkentése, ha a Spark-feladatok hiba miatt meghiúsulnak Resubmitted

A Databricks Runtime 15.2-s és újabb verzióiban a Spark TaskInfo.accumulables() metódus visszatérési értéke üres, ha a tevékenységek hiba miatt meghiúsulnak Resubmitted . Korábban a metódus egy korábbi sikeres tevékenységkísérlet értékeit adja vissza. Ez a viselkedésváltozás a következő felhasználókat érinti:

  • Az osztályt használó Spark-feladatok EventLoggingListener .
  • Egyéni Spark-figyelők.

Az előző viselkedés visszaállításához állítsa be a következőt spark.scheduler.dropTaskInfoAccumulablesOnTaskCompletion.enabled false: .

Az adaptív lekérdezés-végrehajtási tervverziók megtekintése le van tiltva

A memóriahasználat csökkentése érdekében az adaptív lekérdezés-végrehajtási (AQE) csomagverziók alapértelmezés szerint le vannak tiltva a Spark felhasználói felületén. Ha engedélyezni szeretné az AQE-csomagverziók megtekintését a Spark felhasználói felületén, állítsa a spark.databricks.sql.aqe.showPlanChangesInUI.enabled következőre true: .

A megőrzött lekérdezésekre vonatkozó korlát csökken a Spark felhasználói felület memóriahasználatának csökkentése érdekében

A Databricks Runtime 15.2-es és újabb verzióiban a Spark felhasználói felülete által az Azure Databricks-számításban felhasznált memória csökkentése érdekében a felhasználói felületen látható lekérdezések számának korlátja 1000-ről 100-ra csökken. A korlát módosításához állítson be egy új értéket a spark.sql.ui.retainedExecutions Spark-konfigurációval.

DESCRIBE HISTORY mostantól a folyékony fürtözést használó táblák fürtözési oszlopait jeleníti meg

Lekérdezés futtatásakor DESCRIBE HISTORY az operationParameters oszlop alapértelmezés szerint egy clusterBy mezőt jelenít meg a műveletekhez és OPTIMIZE a műveletekhezCREATE OR REPLACE. Folyékony fürtözést használó Delta-tábla esetén a clusterBy mező a tábla fürtözési oszlopaival van feltöltve. Ha a tábla nem használ folyékony fürtözést, a mező üres.

Új funkciók és fejlesztések

Az elsődleges és idegen kulcsok támogatása a GA

A Databricks Runtime elsődleges és idegen kulcsainak támogatása általánosan elérhető. A GA-kiadás a következő módosításokat tartalmazza az elsődleges és idegen kulcsok használatához szükséges jogosultságokon:

  • Egy idegen kulcs meghatározásához rendelkeznie kell a SELECT táblában az elsődleges kulccsal, amelyre az idegen kulcs hivatkozik. A táblának nem kell az elsődleges kulccsal rendelkeznie, amelyre korábban szükség volt.
  • Az elsődleges kulcs záradékkal CASCADE történő elvetése nem igényel jogosultságokat az elsődleges kulcsra hivatkozó idegen kulcsokat meghatározó táblákon. Korábban a hivatkozó táblákat kellett birtokolnia.
  • A korlátozásokat tartalmazó táblák elvetéséhez ugyanazok a jogosultságok szükségesek, mint a kényszereket nem tartalmazó táblák elvetése.

Ha szeretné megtudni, hogyan használhatja az elsődleges és idegen kulcsokat táblákkal vagy nézetekkel, tekintse meg a CONSTRAINT záradékot, az ADD CONSTRAINT záradékot és a DROP CONSTRAINT záradékot.

A folyékony fürtözés ga

A folyékony fürtözés támogatása mostantól általánosan elérhető a Databricks Runtime 15.2 és újabb verziók használatával. Lásd: Folyékony fürtözés használata Delta-táblákhoz.

A típusszűkítés nyilvános előzetes verzióban érhető el

Mostantól engedélyezheti a típusszűkítést a Delta Lake által támogatott táblákon. A típusszűkítést engedélyező táblák lehetővé teszik az oszlopok típusának szélesebb adattípusra való módosítását a mögöttes adatfájlok újraírása nélkül. Lásd: Típusszűkítés.

Sémafejlődési záradék hozzáadva az SQL-egyesítés szintaxisához

Most már hozzáadhatja a WITH SCHEMA EVOLUTION záradékot egy SQL-egyesítési utasításhoz, hogy lehetővé tegye a sémafejlődést a művelethez. Az egyesítéshez lásd a sémafejlődés szintaxisát.

A PySpark egyéni adatforrásai nyilvános előzetes verzióban érhetők el

A PySpark DataSource a Python (PySpark) DataSource API használatával hozható létre, amely lehetővé teszi az egyéni adatforrásokból való olvasást és az Apache Spark egyéni adatgyűjtőkbe való írását a Python használatával. Egyéni PySpark-adatforrások megtekintése

applyInPandas és mapInPandas mostantól elérhető a Unity Catalog számítási szolgáltatásban megosztott hozzáférési móddal

A Databricks Runtime 14.3 LTS-karbantartási kiadás részeként és applyInPandas mapInPandas az UDF-típusok mostantól támogatottak a Databricks Runtime 14.3-as vagy újabb verzióját futtató megosztott hozzáférési módú számítási gépeken.

A dbutils.widgets.getAll() használatával lekérheti a jegyzetfüzet összes widgetét

A jegyzetfüzet összes widgetértékének lekéréséhez használhatódbutils.widgets.getAll(). Ez különösen akkor hasznos, ha több widgetértéket ad át egy Spark SQL-lekérdezésnek.

Vákuumleltár támogatása

Most már megadhatja azokat a fájlleltárat, amelyeket figyelembe kell venni a VACUUM parancs Delta-táblán való futtatásakor. Tekintse meg az OSS Delta-dokumentációt.

A Zstandard tömörítési függvények támogatása

Mostantól a zst_compress, zstd_decompress és try_zstd_decompress függvényekkel tömörítheti és tömörítheti BINARY az adatokat.

Hibajavítások

Az SQL felhasználói felületén lévő lekérdezéstervek most már helyesen jelennek meg PhotonWriteStage

Amikor megjelenik az SQL felhasználói felületén, write a lekérdezéstervek parancsai helytelenül jelennek meg PhotonWriteStage operátorként. Ezzel a kiadással a felhasználói felület frissül, hogy szakaszként jelenjen meg PhotonWriteStage . Ez csak a felhasználói felület módosítása, és nincs hatással a lekérdezések futtatására.

A Ray frissül a Ray-fürtök indításával kapcsolatos problémák megoldásához

Ez a kiadás tartalmazza a Ray egy javított verzióját, amely kijavít egy kompatibilitástörő változást, amely megakadályozza, hogy a Ray-fürtök a Databricks Runtime for Machine Learning-hez kezdjenek. Ez a módosítás biztosítja, hogy a Ray-funkciók megegyeznek a Databricks Runtime 15.2-et megelőző verzióival.

A GraphFrames frissítése a spark 3.5-ös hibás eredmények kijavítása érdekében történik

Ez a kiadás tartalmazza a GraphFrames-csomag frissítését, amely a GraphFrames és a Spark 3.5 egyes algoritmusainak helytelen eredményeit eredményező problémákat orvosolja.

Javított hibaosztály és DataFrame.sortWithinPartitions() függvények DataFrame.sort()

Ez a kiadás tartalmazza a PySpark DataFrame.sort() és DataFrame.sortWithinPartitions() a függvények frissítését annak érdekében, hogy a ZERO_INDEX hibaosztályt 0 az index argumentumaként adja át a rendszer. Korábban a hibaosztály INDEX_NOT_POSITIVE ki lett dobva.

Az ipywidgets 8.0.4-ről 7.7.2-re csökken

Az ipywidgets 8.0.4-re való frissítésével a Databricks Runtime 15.0-s verziójában az ipywidgets 7.7.2-re csökken a Databricks Runtime 15.2-ben. Ez ugyanaz a verzió, amelyet a Databricks Runtime korábbi verziói is tartalmaznak.

Könyvtárfrissítések

  • Frissített Python-kódtárak:
    • GitPython 3.1.42-től 3.1.43-ig
    • google-api-core 2.17.1-től 2.18.0-ra
    • google-hitelesítés 2.28.1-től 2.29.0-ig
    • google-cloud-storage 2.15.0-tól 2.16.0-ra
    • googleapis-common-protos 1.62.0 és 1.63.0 között
    • ipywidgets 8.0.4 és 7.7.2 között
    • mlflow-skinny 2.11.1-től 2.11.3-ra
    • s3transfer 0.10.0 és 0.10.1 között
    • sqlparse 0.4.4 és 0.5.0 között
    • typing_extensions 4.7.1-től 4.10.0-ra
  • Frissített R-kódtárak:
  • Frissített Java-kódtárak:
    • com.amazonaws.aws-java-sdk-autoscaling from 1.12.390 to 1.12.610
    • com.amazonaws.aws-java-sdk-cloudformation 1.12.390-1.12.610
    • com.amazonaws.aws-java-sdk-cloudfront 1.12.390 és 1.12.610 között
    • com.amazonaws.aws-java-sdk-cloudhsm 1.12.390 és 1.12.610 között
    • com.amazonaws.aws-java-sdk-cloudsearch 1.12.390 és 1.12.610 között
    • com.amazonaws.aws-java-sdk-cloudtrail 1.12.390 és 1.12.610 között
    • com.amazonaws.aws-java-sdk-cloudwatch 1.12.390 és 1.12.610 között
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics 1.12.390 és 1.12.610 között
    • com.amazonaws.aws-java-sdk-codedeploy 1.12.390 és 1.12.610 között
    • com.amazonaws.aws-java-sdk-cognitoidentity 1.12.390-1.12.610
    • com.amazonaws.aws-java-sdk-cognitosync 1.12.390 és 1.12.610 között
    • com.amazonaws.aws-java-sdk-config 1.12.390-1.12.610
    • com.amazonaws.aws-java-sdk-core 1.12.390 és 1.12.610 között
    • com.amazonaws.aws-java-sdk-datapipeline 1.12.390 és 1.12.610 között
    • com.amazonaws.aws-java-sdk-directconnect 1.12.390 és 1.12.610 között
    • com.amazonaws.aws-java-sdk-directory 1.12.390 és 1.12.610 között
    • com.amazonaws.aws-java-sdk-dynamodb 1.12.390-1.12.610
    • com.amazonaws.aws-java-sdk-ec2 1.12.390 és 1.12.610 között
    • com.amazonaws.aws-java-sdk-ecs 1.12.390–1.12.610
    • com.amazonaws.aws-java-sdk-efs 1.12.390-1.12.610
    • com.amazonaws.aws-java-sdk-elasticache 1.12.390 és 1.12.610 között
    • com.amazonaws.aws-java-sdk-elasticbeanstalk 1.12.390-1.12.610
    • com.amazonaws.aws-java-sdk-elasticloadbalancing 1.12.390-1.12.610
    • com.amazonaws.aws-java-sdk-elastictranscoder 1.12.390 és 1.12.610 között
    • com.amazonaws.aws-java-sdk-emr 1.12.390-1.12.610
    • com.amazonaws.aws-java-sdk-glacier 1.12.390-1.12.610
    • com.amazonaws.aws-java-sdk-glue 1.12.390-1.12.610
    • com.amazonaws.aws-java-sdk-iam 1.12.390-től 1.12.610-ig
    • com.amazonaws.aws-java-sdk-importexport 1.12.390-1.12.610
    • com.amazonaws.aws-java-sdk-kinesis 1.12.390 és 1.12.610 között
    • com.amazonaws.aws-java-sdk-kms 1.12.390-1.12.610
    • com.amazonaws.aws-java-sdk-lambda 1.12.390 és 1.12.610 között
    • com.amazonaws.aws-java-sdk-logs 1.12.390-1.12.610
    • com.amazonaws.aws-java-sdk-machinelearning 1.12.390 és 1.12.610 között
    • com.amazonaws.aws-java-sdk-opsworks 1.12.390 és 1.12.610 között
    • com.amazonaws.aws-java-sdk-rds 1.12.390 és 1.12.610 között
    • com.amazonaws.aws-java-sdk-redshift 1.12.390 és 1.12.610 között
    • com.amazonaws.aws-java-sdk-route53 1.12.390 és 1.12.610 között
    • com.amazonaws.aws-java-sdk-s3 1.12.390 és 1.12.610 között
    • com.amazonaws.aws-java-sdk-ses 1.12.390 és 1.12.610 között
    • com.amazonaws.aws-java-sdk-simpledb 1.12.390-1.12.610
    • com.amazonaws.aws-java-sdk-simpleworkflow 1.12.390 és 1.12.610 között
    • com.amazonaws.aws-java-sdk-sns 1.12.390 és 1.12.610 között
    • com.amazonaws.aws-java-sdk-sqs 1.12.390-1.12.610
    • com.amazonaws.aws-java-sdk-ssm 1.12.390-1.12.610
    • com.amazonaws.aws-java-sdk-storagegateway 1.12.390-1.12.610
    • com.amazonaws.aws-java-sdk-sts 1.12.390-1.12.610
    • com.amazonaws.aws-java-sdk-support 1.12.390-1.12.610
    • com.amazonaws.aws-java-sdk-workspaces 1.12.390–1.12.610
    • com.amazonaws.jmespath-java 1.12.390 és 1.12.610 között

Apache Spark

A Databricks Runtime 15.2 tartalmazza az Apache Spark 3.5.0-t. Ez a kiadás tartalmazza a Databricks Runtime 15.1-ben található összes Spark-javítást és -fejlesztést, valamint a Spark következő további hibajavításait és fejlesztéseit:

  • [SPARK-47941] [SC-163568] [SS] [Csatlakozás] ForeachBatch-feldolgozó inicializálási hibáinak propagálása a PySpark felhasználóinak
  • [SPARK-47412] [SC-163455] [SQL] Rendezési támogatás hozzáadása LPad-hez/RPadhez.
  • [SPARK-47907] [SC-163408] [SQL] A bang beállítása konfiguráció alá
  • [SPARK-46820] [SC-157093] [PYTHON] A hibaüzenet regressziója kijavítása visszaállítással new_msg
  • [SPARK-47602] [SPARK-47577] [SPARK-47598] [SPARK-47577] Core/MLLib/Erőforrás-kezelők: strukturált naplózási migrálás
  • [SPARK-47890] [SC-163324] [CONNECT] [PYTHON] Adjon hozzá variánsfüggvényeket a Scalához és a Pythonhoz.
  • [SPARK-47894] [SC-163086] [CORE] [WEBUI] Oldal hozzáadása Environment a master felhasználói felülethez
  • [SPARK-47805] [SC-163459] [SS] TTL implementálása a MapState-hez
  • [SPARK-47900] [SC-163326] Implicit (UTF8_BINARY) rendezés ellenőrzésének javítása
  • [SPARK-47902] [SC-163316] [SQL] Számítási aktuális idő* kifejezések összecsukhatóvá tétele
  • [SPARK-47845] [SC-163315] [SQL] [PYTHON] [CONNECT] Oszloptípus támogatása a Scala és a Python split függvényében
  • [SPARK-47754] [SC-162144] [SQL] Postgres: Többdimenziós tömbök olvasásának támogatása
  • [SPARK-47416] [SC-163001] [SQL] Új függvények hozzáadása a CollationBenchmark #90339 függvényhez
  • [SPARK-47839] [SC-163075] [SQL] Összesített hiba javítása a RewriteWithExpression alkalmazásban
  • [SPARK-47821] [SC-162967] [SQL] Is_variant_null kifejezés implementálása
  • [SPARK-47883] [SC-163184] [SQL] Lustaság a CollectTailExec.doExecute RowQueue használatával
  • [SPARK-47390] [SC-163306] [SQL] A PostgresDialect megkülönbözteti a TIMESTAMP-et TIMESTAMP_TZ
  • [SPARK-47924] [SC-163282] [CORE] HIBAKERESÉSi napló hozzáadása a DiskStore.moveFileToBlock
  • [SPARK-47897] [SC-163183] [SQL] [3.5] A ExpressionSet teljesítményregressziója javítása a Scala 2.12-ben
  • [SPARK-47565] [SC-161786] [PYTHON] PySpark-feldolgozókészlet összeomlási rugalmassága
  • [SPARK-47885] [SC-162989] [PYTHON] [CONNECT] A pyspark.resource kompatibilitásának létrehozása a pyspark-connect használatával
  • [SPARK-47887] [SC-163122] [CONNECT] A nem használt importálás spark/connect/common.proto eltávolítása spark/connect/relations.proto
  • [SPARK-47751] [SC-161991] [PYTHON] [CONNECT] A pyspark.worker_utils kompatibilissé tétele a pyspark-connect használatával
  • [SPARK-47691] [SC-161760] [SQL] Postgres: Többdimenziós tömb támogatása az írási oldalon
  • [SPARK-47617] [SC-162513] [SQL] TPC-DS-tesztinfrastruktúra hozzáadása rendezéshez
  • [SPARK-47356] [SC-162858] [SQL] A ConcatWs &Elt (minden rendezés) támogatásának hozzáadása
  • [SPARK-47543] [SC-161234] [CONNECT] [PYTHON] Következtetés a dict MapType Pandas DataFrame-ből a DataFrame létrehozásának engedélyezéséhez
  • [SPARK-47863] [SC-162974] [SQL] Fix startsWith &endsWith collation aware implement for ICU
  • [SPARK-47867] [SC-162966] [SQL] Támogatási változat a JSON-vizsgálatban.
  • [SPARK-47366] [SC-162475] [SQL] [PYTHON] VariantVal hozzáadása a PySparkhoz
  • [SPARK-47803] [SC-162726] [SQL] Támogatás a variánshoz való osztáshoz.
  • [SPARK-47769] [SC-162841] [SQL] Adjon hozzá schema_of_variant_agg kifejezést.
  • [SPARK-47420] [SC-162842] [SQL] Tesztkimenet javítása
  • [SPARK-47430] [SC-161178] [SQL] A GROUP BY támogatása a MapType-hoz
  • [SPARK-47357] [SC-162751] [SQL] Felső, Alsó, InitCap (minden rendezés) támogatásának hozzáadása
  • [SPARK-47788] [SC-162729] [SS] Azonos kivonatparticionálás biztosítása az állapotalapú streamelési műveletekhez
  • [SPARK-47776] [SC-162291] [SS] A bináris egyenlőtlenség-rendezés letiltása az állapotalapú operátor fő sémájában használható
  • [SPARK-47673] [SC-162824] [SS] TTL implementálása a ListState-hez
  • [SPARK-47818] [SC-162845] [CONNECT] Tervgyorsítótár bevezetése a SparkConnectPlannerben az elemzési kérések teljesítményének javítása érdekében
  • [SPARK-47694] [SC-162783] [CONNECT] Az üzenet maximális méretének konfigurálása az ügyféloldalon
  • [SPARK-47274] Visszaállítás :[SC-162479][PYTHON][SQL] További használati adatok...
  • [SPARK-47616] [SC-161193] [SQL] Felhasználói dokumentum hozzáadása a Spark SQL-adattípusok mySQL-ből való leképezéséhez
  • [SPARK-47862] [SC-162837] [PYTHON] [CONNECT] Proto-fájlok létrehozásának javítása
  • [SPARK-47849] [SC-162724] [PYTHON] [CONNECT] Kiadási szkript módosítása a pyspark-connect kiadásához
  • [SPARK-47410] [SC-162518] [SQL] UTF8String és CollationFactory újrabontása
  • [SPARK-47807] [SC-162505] [PYTHON] [ML] A pyspark-connect pyspark.ml kompatibilissé tétele
  • [SPARK-47707] [SC-161768] [SQL] A JSON-típus speciális kezelése a MySQL-összekötőhöz/J 5.x
  • [SPARK-47765] "[SC-162636][SQL] A SET COLLATION hozzáadása az elemzésekhez...
  • [SPARK-47081] [SC-162151] [CONNECT] [KÖVETÉS] A folyamatkezelő használhatóságának javítása
  • [SPARK-47289] [SC-161877] [SQL] Kiterjesztett információk naplózásának engedélyezése a bővítményeknek a magyarázó tervben
  • [SPARK-47274] [SC-162479] [PYTHON] [SQL] Hasznosabb környezet biztosítása a PySpark DataFrame API-hibákhoz
  • [SPARK-47765] [SC-162636] [SQL] SET COLLATION hozzáadása elemzési szabályokhoz
  • [SPARK-47828] [SC-162722] [CONNECT] [PYTHON] DataFrameWriterV2.overwrite érvénytelen csomaggal meghiúsul
  • [SPARK-47812] [SC-162696] [CONNECT] A SparkSession forEachBatch-feldolgozó támogatásának támogatása
  • [SPARK-47253] [SC-162698] [CORE] A LiveEventBus leállásának engedélyezése az eseménysor teljes kiürítése nélkül
  • [SPARK-47827] [SC-162625] [PYTHON] Hiányzó figyelmeztetések elavult funkciókhoz
  • [SPARK-47733] [SC-162628] [SS] Egyéni metrikák hozzáadása a transformWithState operátorhoz a lekérdezési folyamat részeként
  • [SPARK-47784] [SC-162623] [SS] A TTLMode és a TimeoutMode egyesítése egyetlen TimeMode-ba.
  • [SPARK-47775] [SC-162319] [SQL] A többi skaláris típus támogatása a variáns specifikációban.
  • [SPARK-47736] [SC-162503] [SQL] Az AbstractArrayType támogatásának hozzáadása
  • [SPARK-47081] [SC-161758] [CONNECT] A lekérdezés végrehajtásának előrehaladásának támogatása
  • [SPARK-47682] [SC-162138] [SQL] Támogatás a variánsból.
  • [SPARK-47802] [SC-162478] [SQL] Vissza () a jelentés struct() vissza a jelentés *
  • [SPARK-47680] [SC-162318] [SQL] Adjon hozzá variant_explode kifejezést.
  • [SPARK-47809] [SC-162511] [SQL] checkExceptionInExpression minden egyes kódrészlet-mód esetében ellenőriznie kell a hibát
  • [SPARK-41811] [SC-162470] [PYTHON] [CONNECT] Implementálás SQLStringFormatter a WithRelations
  • [SPARK-47693] [SC-162326] [SQL] Optimalizálás hozzáadása a UTF8_BINARY_LCASE rendezésben használt UTF8String kisbetűs összehasonlításához
  • [SPARK-47541] [SC-162006] [SQL] Összetett, fordított, array_join, összefűzési, leképezési műveleteket támogató összetett sztringek
  • [SPARK-46812] [SC-161535] [CONNECT] [PYTHON] MapInPandas / mapInArrow támogatása ResourceProfile
  • [SPARK-47727] [SC-161982] [PYTHON] A SparkConf gyökérszintre alakítása a SparkSession és a SparkContext esetében is
  • [SPARK-47406] [SC-159376] [SQL] TIMESTAMP és DATETIME kezelése a MYSQLDialectben
  • [SPARK-47081] "[SC-161758][CONNECT] A lekérdezés-végrehajtó támogatása...
  • [SPARK-47681] [SC-162043] [SQL] Adjon hozzá schema_of_variant kifejezést.
  • [SPARK-47783] [SC-162222] Adjon hozzá néhány hiányzó SQLSTATE-t, és törölje az YY000-et a használathoz...
  • [SPARK-47634] [SC-161558] [SQL] Régi támogatás hozzáadása a térképkulcs normalizálásának letiltására
  • [SPARK-47746] [SC-162022] Ordinal-alapú tartománykódolás implementálása a RocksDBStateEncoderben
  • [SPARK-47285] [SC-158340] [SQL] Az AdaptiveSparkPlanExecnek mindig a context.session értéket kell használnia
  • [SPARK-47643] [SC-161534] [SS] [PYTHON] Pyspark-teszt hozzáadása Python-streamforráshoz
  • [SPARK-47582] [SC-161943] [SQL] A Catalyst logInfo migrálása változókkal a strukturált naplózási keretrendszerbe
  • [SPARK-47558] [SC-162007] [SS] State TTL-támogatás a ValueState-hez
  • [SPARK-47358] [SC-160912] [SQL] [RENDEZÉS] Az ismétlési kifejezés támogatásának javítása a helyes adattípus visszaadásához
  • [SPARK-47504] [SC-162044] [SQL] AbstractDataType simpleStrings feloldása StringTypeCollated esetén
  • [SPARK-47719] "[SC-161909][SQL] Spark.sql.legacy.t módosítása...
  • [SPARK-47657] [SC-162010] [SQL] A rendezési szűrő fájlforrásonkénti leküldéses támogatása
  • [SPARK-47081] [SC-161758] [CONNECT] A lekérdezés végrehajtásának előrehaladásának támogatása
  • [SPARK-47744] [SC-161999] Negatív értékű bájtok támogatása a tartománykódolóban
  • [SPARK-47713] [SC-162009] [SQL] [CONNECT] Öncsatlakozásos hiba kijavítása
  • [SPARK-47310] [SC-161930] [SS] Mikro-benchmark hozzáadása több érték egyesítési műveleteihez az állapottároló értékrészében
  • [SPARK-47700] [SC-161774] [SQL] Hibaüzenetek formázásának javítása a treeNode használatával
  • [SPARK-47752] [SC-161993] [PS] [CONNECT] A pyspark.pandas kompatibilitásának létrehozása a pyspark-connect használatával
  • [SPARK-47575] [SC-161402] [SPARK-47576] [SPARK-47654] LogWarning/logInfo API implementálása strukturált naplózási keretrendszerben
  • [SPARK-47107] [SC-161201] [SS] [PYTHON] Partícióolvasó implementálása Python streamelési adatforráshoz
  • [SPARK-47553] [SC-161772] [SS] Java-támogatás hozzáadása a transformWithState operátor API-khoz
  • [SPARK-47719] [SC-161909] [SQL] A spark.sql.legacy.timeParserPolicy alapértelmezett értékének módosítása JAVÍTVA értékre
  • [SPARK-47655] [SC-161761] [SS] Időzítő integrálása a 2. állapot kezdeti állapotkezelésével
  • [SPARK-47665] [SC-161550] [SQL] ShortType írása a MYSQL-be a SMALLINT használatával
  • [SPARK-47210] [SC-161777] [SQL] Implicit öntvény hozzáadása határozatlan támogatás nélkül
  • [SPARK-47653] [SC-161767] [SS] Negatív numerikus típusok és tartományvizsgálati kulcskódoló támogatásának hozzáadása
  • [SPARK-46743] [SC-160777] [SQL] Számlálási hiba az állandó összecsukás után
  • [SPARK-47525] [SC-154568] [SQL] Segédkérelmek korrelációinak támogatása térképattribútumokon
  • [SPARK-46366] [SC-151277] [SQL] A WITH kifejezés használata a BETWEEN-ban az ismétlődő kifejezések elkerülése érdekében
  • [SPARK-47563] [SC-161183] [SQL] Térkép normalizálásának hozzáadása létrehozáskor
  • [SPARK-42040] [SC-161171] [SQL] SPJ: Új API bevezetése v2 bemeneti partícióhoz a partícióstatisztikák jelentéséhez
  • [SPARK-47679] [SC-161549] [SQL] Nevek közvetlen használata HiveConf.getConfVars vagy Hive-konföderációk
  • [SPARK-47685] [SC-161566] [SQL] A típus támogatásának Stream visszaállítása a következőben: Dataset#groupBy
  • [SPARK-47646] [SC-161352] [SQL] Hibás bemenet try_to_number visszatérési NULL értékének megadása
  • [SPARK-47366] [SC-161324] [PYTHON] Pyspark- és adatkeret-parse_json aliasok hozzáadása
  • [SPARK-47491] [SC-161176] [CORE] Jar hozzáadása slf4j-api az osztály elérési úthoz először a címtár többi tagja jars előtt
  • [SPARK-47270] [SC-158741] [SQL] Dataset.isEmpty projects CommandResults helyileg
  • [SPARK-47364] [SC-158927] [CORE] Figyelmeztetés PluginEndpoint , amikor a beépülő modulok válaszolnak egyirányú üzenetre
  • [SPARK-47280] [SC-158350] [SQL] Az ORACLE TIMETAMP WITH TIMEZONE időzónával kapcsolatos időzónára vonatkozó korlátozásának eltávolítása
  • [SPARK-47551] [SC-161542] [SQL] Adjon hozzá variant_get kifejezést.
  • [SPARK-47559] [SC-161255] [SQL] Codegen-támogatás a varianthoz parse_json
  • [SPARK-47572] [SC-161351] [SQL] Az AblakpartícióKpec kényszerítése rendezhető.
  • [SPARK-47546] [SC-161241] [SQL] Az ellenőrzés javítása a Variant parquetből való olvasásakor
  • [SPARK-47543] [SC-161234] [CONNECT] [PYTHON] Következtetés a dict MapType Pandas DataFrame-ből a DataFrame létrehozásának engedélyezéséhez
  • [SPARK-47485] [SC-161194] [SQL] [PYTHON] [CONNECT] Oszlop létrehozása rendezésekkel a DataFrame API-ban
  • [SPARK-47641] [SC-161376] [SQL] A teljesítmény javítása és UnaryMinusAbs
  • [SPARK-47631] [SC-161325] [SQL] A nem használt SQLConf.parquetOutputCommitterClass metódus eltávolítása
  • [SPARK-47674] [SC-161504] [CORE] Engedélyezés spark.metrics.appStatusSource.enabled alapértelmezés szerint
  • [SPARK-47273] [SC-161162] [SS] A [PYTHON] implementálja a Python-adatfolyam-író felületét.
  • [SPARK-47637] [SC-161408] [SQL] ErrorCapturingIdentifier használata több helyen
  • [SPARK-47497] "Revert "[SC-160724][SQL] Állítsa vissza a to_csv támogatja a tömb/struct/map/binary kimenetét szép sztringként""
  • [SPARK-47492] [SC-161316] [SQL] A lexer whitespace-szabályainak bővítése
  • [SPARK-47664] [SC-161475] [PYTHON] [CONNECT] Az oszlop nevének ellenőrzése gyorsítótárazott sémával
  • [SPARK-47638] [SC-161339] [PS] [CONNECT] Oszlopnév-ellenőrzés kihagyása a PS-ben
  • [SPARK-47363] [SC-161247] [SS] A State API 2-es verzióhoz készült állapotolvasó nélküli kezdeti állapot.
  • [SPARK-47447] [SC-160448] [SQL] Parquet TimestampLTZ olvasásának engedélyezése timestampNTZ-ként
  • [SPARK-47497] "[SC-160724][SQL] Állítsa vissza a "[SC-160724][SQL] Támogatja to_csv a szép sztringek kimenetét array/struct/map/binary "
  • [SPARK-47434] [SC-160122] [WEBUI] Hivatkozás javítása statistics a következőben: StreamingQueryPage
  • [SPARK-46761] [SC-159045] [SQL] A JSON-elérési utak idézett sztringjeinek támogatniuk kell? karakter
  • [SPARK-46915] [SC-155729] [SQL] Hibaosztály egyszerűsítése UnaryMinus Abs és igazítása
  • [SPARK-47431] [SC-160919] [SQL] Munkamenetszintű alapértelmezett rendezés hozzáadása
  • [SPARK-47620] [SC-161242] [PYTHON] [CONNECT] Segédfüggvény hozzáadása oszlopok rendezéséhez
  • [SPARK-47570] [SC-161165] [SS] Tartományvizsgálat kódolójának módosításainak integrálása az időzítő implementálásával
  • [SPARK-47497] [SC-160724] [SQL] A to_csv szép sztringek kimenetének array/struct/map/binary támogatása
  • [SPARK-47562] [SC-161166] [CONNECT] Faktorkonstans kezelése plan.py
  • [SPARK-47509] [SC-160902] [SQL] Részlekérdezés-kifejezések blokkolása a lambda és a magasabbrendű függvényekben
  • [SPARK-47539] [SC-160750] [SQL] A metódus castToString visszatérési értékének beállítása Any => UTF8String
  • [SPARK-47372] [SC-160905] [SS] Tartományvizsgálaton alapuló kulcsállapot-kódoló támogatásának hozzáadása az állapottároló-szolgáltatóhoz való használatra
  • [SPARK-47517] [SC-160642] [CORE] [SQL] Az Utils.bytesToString előnyben részesítése a méret megjelenítéséhez
  • [SPARK-47243] [SC-158059] [SS] A csomag nevének javítása StateMetadataSource.scala
  • [SPARK-47367] [SC-160913] [PYTHON] [CONNECT] Python-adatforrások támogatása a Spark Connect használatával
  • [SPARK-47521] [SC-160666] [CORE] Használat Utils.tryWithResource az adatok külső tárolóból való olvasása során
  • [SPARK-47474] [SC-160522] [CORE] A SPARK-47461 visszaállítása és néhány megjegyzés hozzáadása
  • [SPARK-47560] [SC-160914] [PYTHON] [CONNECT] Kerülje az RPC-t az oszlopnév gyorsítótárazott sémával való érvényesítéséhez
  • [SPARK-47451] [SC-160749] [SQL] Támogatás to_json(variáns).
  • [SPARK-47528] [SC-160727] [SQL] UserDefinedType-támogatás hozzáadása a DataTypeUtils.canWrite-hoz
  • [SPARK-44708] "[SC-160734][PYTHON] Migrálás test_reset_index assert_eq az assertDataFrameEqual használatához"
  • [SPARK-47506] [SC-160740] [SQL] Támogatás hozzáadása az összes fájlforrás-formátumhoz az csoportosított adattípusokhoz
  • [SPARK-47256] [SC-160784] [SQL] Nevek hozzárendelése hibaosztályokhoz _LEGACY_ERROR_TEMP_102[4-7]
  • [SPARK-47495] [SC-160720] [CORE] A spark.jarshoz kétszer hozzáadott elsődleges erőforrás-jar javítása k8s-fürt módban
  • [SPARK-47398] [SC-160572] [SQL] Az InMemoryTableScanExec tulajdonságának kinyerése a funkciók kibővítéséhez
  • [SPARK-47479] [SC-160623] [SQL] Az optimalizálás nem tud adatokat írni több elérési úttal rendelkező kapcsolatra hibanaplóba
  • [SPARK-47483] [SC-160629] [SQL] Összeválogatott sztringek tömbjeinek összesítési és illesztési műveleteinek támogatása
  • [SPARK-47458] [SC-160237] [CORE] A korlátszakasz maximális egyidejű feladatainak kiszámításával kapcsolatos probléma megoldása
  • [SPARK-47534] [SC-160737] [SQL] Ugrás o.a.s.variant ide: o.a.s.types.variant
  • [SPARK-47396] [SC-159312] [SQL] IdőZÓNA NÉLKÜLI IDŐ általános leképezésének hozzáadása a TimestampNTZType-hoz
  • [SPARK-44708] [SC-160734] [PYTHON] Test_reset_index assert_eq migrálása az assertDataFrameEqual használatára
  • [SPARK-47309] [SC-157733] [SC-160398] [SQL] XML: Sémakövető tesztek hozzáadása értékcímkékhez
  • [SPARK-47007] [SC-160630] [SQL] A MapSort kifejezés hozzáadása
  • [SPARK-47523] [SC-160645] [SQL] Elavult lecserélése JsonParser#getCurrentNameJsonParser#currentName
  • [SPARK-47440] [SC-160635] [SQL] A nem támogatott szintaxis MsSqlServerbe való leküldésének javítása
  • [SPARK-47512] [SC-160617] [SS] A RocksDB state store-példány zárolásának beszerzéséhez/kiadáshoz használt címkeművelet típusa
  • [SPARK-47346] [SC-159425] [PYTHON] Démon mód konfigurálása Python planner-feldolgozók létrehozásakor
  • [SPARK-47446] [SC-160163] [CORE] Figyelmeztetés a BlockManager figyelmeztetés előtt removeBlockInternal
  • [SPARK-46526] [SC-156099] [SQL] Támogatási KORLÁT korrelált alkonyatokhoz, ahol a predikátumok csak a külső táblázatra hivatkoznak
  • [SPARK-47461] [SC-160297] [CORE] Privát függvény totalRunningTasksPerResourceProfile eltávolítása ExecutorAllocationManager
  • [SPARK-47422] [SC-160219] [SQL] A tömbműveletek csoportosított sztringjeinek támogatása
  • [SPARK-47500] [SC-160627] [PYTHON] [CONNECT] Factor column name handling out of plan.py
  • [SPARK-47383] [SC-160144] [CORE] Támogatási spark.shutdown.timeout konfiguráció
  • [SPARK-47342] [SC-159049] "[SQL] A DB2 TIMESTAMPNTZ támogatása időZÓNÁVAL"
  • [SPARK-47486] [SC-160491] [CONNECT] A nem használt privát ArrowDeserializers.getString metódus eltávolítása
  • [SPARK-47233] [SC-154486] [CONNECT] [SS] [2/2] Ügyfél- és kiszolgálólogika ügyféloldali streamelési lekérdezésfigyelőhöz
  • [SPARK-47487] [SC-160534] [SQL] Kód egyszerűsítése az AnsiTypeCoercionben
  • [SPARK-47443] [SC-160459] [SQL] A rendezések ablakösszesítési támogatása
  • [SPARK-47296] [SC-160457] [SQL] [RENDEZÉS] Nem bináris rendezés esetén nem támogatott függvények meghiúsulása
  • [SPARK-47380] [SC-160164] [CONNECT] Győződjön meg arról, hogy a kiszolgáló oldalán a SparkSession ugyanaz
  • [SPARK-47327] [SC-160069] [SQL] Rendezési kulcsok egyidejűségi tesztje a CollationFactorySuite-ba
  • [SPARK-47494] [SC-160495] [Dokumentum] Migrálási dokumentum hozzáadása a Parquet időbélyeg-következtetés viselkedésváltozásához a Spark 3.3 óta
  • [SPARK-47449] [SC-160372] [SS] Lista/időzítőegység-tesztek újrabontása és felosztása
  • [SPARK-46473] [SC-155663] [SQL] Újrahasználati getPartitionedFile módszer
  • [SPARK-47423] [SC-160068] [SQL] Rendezések – A rendezésekkel rendelkező sztringek művelettámogatásának beállítása
  • [SPARK-47439] [SC-160115] [PYTHON] A Python Adatforrás API dokumentuma az API referenciaoldalán
  • [SPARK-47457] [SC-160234] [SQL] Javítás IsolatedClientLoader.supportsHadoopShadedClient a Hadoop 3.4+ kezeléséhez
  • [SPARK-47366] [SC-159348] [SQL] Implementálja a parse_json.
  • [SPARK-46331] [SC-152982] [SQL] A CodegenFallback eltávolítása a DateTime-kifejezések és a version() kifejezés részhalmazából
  • [SPARK-47395] [SC-159404] Rendezés és rendezés hozzáadása más API-khoz
  • [SPARK-47437] [SC-160117] [PYTHON] [CONNECT] Javítsa ki a hibaosztályt a következőhöz: DataFrame.sort*
  • [SPARK-47174] [SC-154483] [CONNECT] [SS] [1/2] Kiszolgálóoldali SparkConnectListenerBusListener ügyféloldali streamelési lekérdezésfigyelőhöz
  • [SPARK-47324] [SC-158720] [SQL] Hiányzó időbélyeg-átalakítás hozzáadása beágyazott JDBC-típusokhoz
  • [SPARK-46962] [SC-158834] [SS] [PYTHON] Interfész hozzáadása a Python streamelési adatforrás API-hoz, és python-feldolgozó implementálása a Python streamelési adatforrás futtatásához
  • [SPARK-45827] [SC-158498] [SQL] Adattípus-ellenőrzések áthelyezése a CreatableRelationProviderbe
  • [SPARK-47342] [SC-158874] [SQL] IdőbélyegNTZ támogatása a DB2 IDŐBÉLYEGHEZ IDŐZÓNÁVAL
  • [SPARK-47399] [SC-159378] [SQL] A létrehozott oszlopok letiltása rendezésű kifejezéseken
  • [SPARK-47146] [SC-158247] [CORE] Lehetséges szálszivárgás a rendezési egyesítési illesztés során
  • [SPARK-46913] [SC-159149] [SS] Támogatás hozzáadása feldolgozási/eseményidő-alapú időzítőkhöz a transformWithState operátorral
  • [SPARK-47375] [SC-159063] [SQL] Útmutatók hozzáadása az időbélyeg-leképezéshez a következő helyen: JdbcDialect#getCatalystType
  • [SPARK-47394] [SC-159282] [SQL] A H2Dialect IDŐZÓNA-jának támogatása
  • [SPARK-45827] "[SC-158498][SQL] Adattípus-ellenőrzések áthelyezése ...
  • [SPARK-47208] [SC-159279] [CORE] Alapszintű többletmemória felülírásának engedélyezése
  • [SPARK-42627] [SC-158021] [SPARK-26494] [SQL] Az Oracle IDŐBÉLYEGének támogatása HELYI IDŐZÓNÁVAL
  • [SPARK-47055] [SC-156916] [PYTHON] A MyPy 1.8.0 frissítése
  • [SPARK-46906] [SC-157205] [SS] Állapotalapú operátor változásának ellenőrzése a streameléshez
  • [SPARK-47391] [SC-159283] [SQL] A JDK 8 teszteset áthidaló megoldásának eltávolítása
  • [SPARK-47272] [SC-158960] [SS] MapState-implementáció hozzáadása a State API 2-es verzióhoz.
  • [SPARK-47375] [SC-159278] [Dokumentum] [Nyomon követés] Hiba kijavítása a JDBC preferTimestampNTZ beállítási dokumentumában
  • [SPARK-42328] [SC-157363] [SQL] _LEGACY_ERROR_TEMP_1175 eltávolítása a hibaosztályokból
  • [SPARK-47375] [SC-159261] [Dokumentum] [Nyomon követés] Javítsa ki a preferTimestampNTZ beállítás leírását a JDBC-dokumentumban
  • [SPARK-47344] [SC-159146] Bővítse ki INVALID_IDENTIFIER hibát a "-" elfogásán túl egy nem kvótált azonosítóban, és javítsa ki az "IS! NULL" és mtsai.
  • [SPARK-47340] [SC-159039] [SQL] A StringType típusnév "rendezés" értékének módosítása kisbetűsre
  • [SPARK-47087] [SC-157077] [SQL] A Spark kivételének emelése hibaosztályral a konfiguráció értékének ellenőrzésében
  • [SPARK-47327] [SC-158824] [SQL] A szálbiztonsággal kapcsolatos probléma megoldása az ICU Collatorban
  • [SPARK-47082] [SC-157058] [SQL] Határon kívüli hibafeltétel kijavítása
  • [SPARK-47331] [SC-158719] [SS] Szerializálás esetosztályok/primitívek/POJO használatával az Tetszőleges állapot API 2-es verzióhoz készült SQL-kódolón alapuló.
  • [SPARK-47250] [SC-158840] [SS] További érvényesítések és NERF-módosítások hozzáadása a RocksDB-állapotszolgáltatóhoz és az oszlopcsaládok használatához
  • [SPARK-47328] [SC-158745] [SQL] Nevezze át UCS_BASIC rendezést UTF8_BINARY
  • [SPARK-47207] [SC-157845] [CORE] Támogatás spark.driver.timeout és DriverTimeoutPlugin
  • [SPARK-47370] [SC-158956] [Dokumentum] Migrálási dokumentum hozzáadása: TimestampNTZ típusú következtetés Parquet-fájlokon
  • [SPARK-47309] [SC-158827] [SQL] [XML] Sémakövető egységtesztek hozzáadása
  • [SPARK-47295] [SC-158850] [SQL] ICU StringSearch hozzáadva a startsWith függvényekhez endsWith
  • [SPARK-47343] [SC-158851] [SQL] Az NPE javítása, ha sqlString a változó értéke null sztring, és az azonnali végrehajtás folyamatban van
  • [SPARK-46293] [SC-150117] [CONNECT] [PYTHON] Tranzitív függőség használata protobuf
  • [SPARK-46795] [SC-154143] [SQL] Csere a következővelUnsupportedOperationException:SparkUnsupportedOperationExceptionsql/core
  • [SPARK-46087] [SC-149023] [PYTHON] PySpark-függőségek szinkronizálása dokumentumokban és fejlesztői követelményekben
  • [SPARK-47169] [SC-158848] [SQL] Gyűjtőzés letiltása csoportosított oszlopokon
  • [SPARK-42332] [SC-153996] [SQL] A szükség módosítása SparkExceptionre a ComplexTypeMergingExpressionban
  • [SPARK-45827] [SC-158498] [SQL] Adattípus-ellenőrzések áthelyezése a CreatableRelationProviderbe
  • [SPARK-47341] [SC-158825] [Csatlakozás] Parancsok cseréje kapcsolatokra néhány tesztben a SparkConnectClientSuite-ban
  • [SPARK-43255] [SC-158026] [SQL] Cserélje le a _LEGACY_ERROR_TEMP_2020 hibaosztályt belső hibára
  • [SPARK-47248] [SC-158494] [SQL] [RENDEZÉS] Továbbfejlesztett sztringfüggvény-támogatás: tartalmazza
  • [SPARK-47334] [SC-158716] [SQL] A withColumnRenamed következő végrehajtásának újbóli felhasználása: withColumnsRenamed
  • [SPARK-46442] [SC-153168] [SQL] A DS V2 támogatja a leküldéses PERCENTILE_CONT és PERCENTILE_DISC
  • [SPARK-47313] [SC-158747] [SQL] Hozzáadva a scala. MatchError kezelés a QueryExecution.toInternalError fájlban
  • [SPARK-45827] [SC-158732] [SQL] Variant singleton típus hozzáadása Java-hoz
  • [SPARK-47337] [SC-158743] [SQL] [DOCKER] A DB2 Docker-rendszerkép verziójának frissítése a 11.5.8.0-s verzióra
  • [SPARK-47302] [SC-158609] [SQL] Kulcsszó rendezése azonosítóként
  • [SPARK-46817] [SC-154196] [CORE] A használat javítása spark-daemon.sh parancs hozzáadásával decommission
  • [SPARK-46739] [SC-153553] [SQL] A hibaosztály hozzáadása UNSUPPORTED_CALL
  • [SPARK-47102] [SC-158253] [SQL] A COLLATION_ENABLED konfigurációjelző hozzáadása
  • [SPARK-46774] [SC-153925] [SQL] [AVRO] A mapreduce.output.fileoutputformat.compress használata elavult mapred.output.compress helyett az Avro írási feladatokban
  • [SPARK-45245] [SC-146961] [PYTHON] [CONNECT] PythonWorkerFactory: Időtúllépés, ha a feldolgozó nem csatlakozik vissza.
  • [SPARK-46835] [SC-158355] [SQL] [Rendezés] Csatlakozás a nem bináris rendezések támogatásához
  • [SPARK-47131] [SC-158154] [SQL] [RENDEZÉS] Sztringfüggvény támogatása: tartalmazza, elindítja, befejezi
  • [SPARK-46077] [SC-157839] [SQL] Fontolja meg a TimestampNTZConverter által a JdbcDialect.compileValue fájlban létrehozott típust.
  • [SPARK-47311] [SC-158465] [SQL] [PYTHON] Python-kivételek letiltása, ha a PySpark nem szerepel a Python elérési útján
  • [SPARK-47319] [SC-158599] [SQL] A missingInput számítás javítása
  • [SPARK-47316] [SC-158606] [SQL] IdőbélyegNTZ javítása a Postgres Arrayben
  • [SPARK-47268] [SC-158158] [SQL] [Rendezés] A rendezésekkel való újraparticionálás támogatása
  • [SPARK-47191] [SC-157831] [SQL] A tábla/nézet gyorsítótárazásának törlésekor kerülje a szükségtelen kapcsolatkeresést
  • [SPARK-47168] [SC-158257] [SQL] Parquet filter pushdown letiltása nem alapértelmezett rendezési sztringek használatakor
  • [SPARK-47236] [SC-158015] [CORE] Javítás deleteRecursivelyUsingJavaIO a nem létező fájlbemenet kihagyásához
  • [SPARK-47238] [SC-158466] [SQL] A végrehajtó memóriahasználatának csökkentése a WSCG-ben létrehozott kód szórási változóvá tételével
  • [SPARK-47249] [SC-158133] [CONNECT] Kijavítottuk a hibát, amely miatt a rendszer az összes kapcsolódási végrehajtást megszakítottnak tekinti a tényleges állapotuktól függetlenül
  • [SPARK-47202] [SC-157828] [PYTHON] A tzinfo elírási dátumidejeinek javítása
  • [SPARK-46834] [SC-158139] [SQL] [Rendezés] Összesítések támogatása
  • [SPARK-47277] [SC-158351] [3.5] A PySpark util függvény assertDataFrameEqual nem támogatja a streamelési DF-t
  • [SPARK-47155] [SC-158473] [PYTHON] Hibaosztály-probléma kijavítása
  • [SPARK-47245] [SC-158163] [SQL] A INVALID_PARTITION_COLUMN_DATA_TYPE hibakódjának javítása
  • [SPARK-39771] [SC-158425] [CORE] Adjon hozzá egy figyelmeztető msg-et Dependency , ha túl sok shuffle blokkot szeretne létrehozni.
  • [SPARK-47277] [SC-158329] A PySpark util függvény assertDataFrameEqual nem támogatja a streamelési DF-t
  • [SPARK-47293] [SC-158356] [CORE] BatchSchema létrehozása sparkSchema-val ahelyett, hogy egyenként hozzáfűznek
  • [SPARK-46732] [SC-153517] [CONNECT] A Subquery/Broadcast szál működésének létrehozása a Connect összetevő-kezelésével
  • [SPARK-44746] [SC-158332] [PYTHON] További Python UDTF-dokumentáció hozzáadása bemeneti táblákat elfogadó függvényekhez
  • [SPARK-47120] [SC-157517] [SQL] Null összehasonlító leküldéses adatszűrő a parquet szűrő NPE-ben történő leküldéséből
  • [SPARK-47251] [SC-158291] [PYTHON] Érvénytelen típusok letiltása a args parancs argumentumából sql
  • [SPARK-47251] "[SC-158121][PYTHON] Érvénytelen típusok letiltása a args parancs argumentumából sql "
  • [SPARK-47015] [SC-157900] [SQL] Particionálás letiltása csoportosított oszlopokon
  • [SPARK-46846] [SC-154308] [CORE] Explicit WorkerResourceInfo kiterjesztés Serializable
  • [SPARK-46641] [SC-156314] [SS] MaxBytesPerTrigger küszöbérték hozzáadása
  • [SPARK-47244] [SC-158122] [CONNECT] SparkConnectPlanner belső függvények privátsá tétele
  • [SPARK-47266] [SC-158146] [CONNECT] Adja ProtoUtils.abbreviate vissza ugyanazt a típust, mint a bemenet
  • [SPARK-46961] [SC-158183] [SS] A ProcessorContext használata a leíró tárolására és lekérésére
  • [SPARK-46862] [SC-154548] [SQL] CSV-oszlopok metszésének letiltása többsoros módban
  • [SPARK-46950] [SC-155803] [CORE] [SQL] Hibaosztály igazítása not available codec
  • [SPARK-46368] [SC-153236] [CORE] Támogatás readyz a REST Submission API-ban
  • [SPARK-46806] [SC-154108] [PYTHON] Hiba esetén a spark.table hibaüzenetének javítása, ha az argumentumtípus hibás
  • [SPARK-47211] [SC-158008] [CONNECT] [PYTHON] Kihagyott PySpark Connect-sztringek rendezése
  • [SPARK-46552] [SC-151366] [SQL] Csere a következővelUnsupportedOperationException:SparkUnsupportedOperationExceptioncatalyst
  • [SPARK-47147] [SC-157842] [PYTHON] [SQL] PySpark-rendezésű sztringkonvertálási hiba javítása
  • [SPARK-47144] [SC-157826] [CONNECT] [SQL] [PYTHON] A Spark Connect rendezési hibájának javítása collateId protobuf mező hozzáadásával
  • [SPARK-46575] [SC-153200] [SQL] [HIVE] A HiveThriftServer2.startWithContext DevelopApi újrapróbálhatóvá tétele és a ThriftServerWithSparkContextInHttpSuite pelyhességének javítása
  • [SPARK-46696] [SC-153832] [CORE] A ResourceProfileManagerben a függvényhívásoknak változódeklarációk után kell történnie
  • [SPARK-47214] [SC-157862] [Python] UDTF API létrehozása az "elemzés" metódushoz az állandó NULL argumentumok és más típusú argumentumok megkülönböztetéséhez
  • [SPARK-46766] [SC-153909] [SQL] [AVRO] ZSTD pufferkészlet támogatása az AVRO-adatforráshoz
  • [SPARK-47192] [SC-157819] Néhány _LEGACY_ERROR_TEMP_0035 hiba konvertálása
  • [SPARK-46928] [SC-157341] [SS] A ListState támogatásának hozzáadása tetszőleges állapotú API 2-es verzióban.
  • [SPARK-46881] [SC-154612] [CORE] Támogat spark.deploy.workerSelectionPolicy
  • [SPARK-46800] [SC-154107] [CORE] Támogat spark.deploy.spreadOutDrivers
  • [SPARK-45484] [SC-146014] [SQL] A helytelen parquet tömörítési kodek lz4raw-t használó hiba kijavítása
  • [SPARK-46791] [SC-154018] [SQL] Java-készlet támogatása a JavaTypeInference-ben
  • [SPARK-46332] [SC-150224] [SQL] Migrálás CatalogNotFoundException a hibaosztályba CATALOG_NOT_FOUND
  • [SPARK-47164] [SC-157616] [SQL] A v2 szélesebb típusú keskeny literáljának alapértelmezett értékének beállítása a v1-hez hasonlóan viselkedik
  • [SPARK-46664] [SC-153181] [CORE] Gyors Master helyreállítás zéró feldolgozók és alkalmazások esetén
  • [SPARK-46759] [SC-153839] [SQL] [AVRO] A Codec xz és a zstandard támogatja az avro-fájlok tömörítési szintjét

Databricks ODBC/JDBC illesztőprogram támogatása

A Databricks támogatja az elmúlt 2 évben kiadott ODBC/JDBC-illesztőprogramokat. Töltse le a nemrég kiadott illesztőprogramokat és frissítsen (töltse le az ODBC-t, töltse le a JDBC-t).

Rendszerkörnyezet

  • Operációs rendszer: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.2.0

Telepített Python-kódtárak

Könyvtár Verzió Könyvtár Verzió Könyvtár Verzió
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
fekete 23.3.0 villogó 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 minősítés 2023.7.22
cffi 1.15.1 karakterkészlet 4.0.0 charset-normalizer 2.0.4
kattintás 8.0.4 cloudpickle 2.2.1 Comm 0.1.2
contourpy 1.0.5 kriptográfia 41.0.3 biciklista 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
hibakeresés 1.6.7 lakberendező 5.1.1 distlib 0.3.8
belépési pontok 0,4 Végrehajtó 0.8.3 aspektusok áttekintése 1.1.1
filelock 3.13.1 betűtípusok 4.25.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 google-hitelesítés 2.29.0
google-cloud-core 2.4.1 google-cloud-storage 2.16.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jedi 0.18.1 Jeepney 0.7.1
jmespath 0.10.0 joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 kulcstartó 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.3
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 csomagolás 23.2
pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
Patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Párna 9.4.0 mag 23.2.1 platformdirs 3.10.0
ábrázolás 5.9.0 prompt-toolkit 3.0.36 proto-plus 1.23.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 14.0.1
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.52
pycparser 2.21 pydantic 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.38
pyparsing 3.0.9 python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1
pytz 2022.7 PyYAML 6,0 pyzmq 23.2.0
kérelmek 2.31.0 Rsa 4.9 s3transfer 0.10.1
scikit-learn 1.3.0 scipy 1.11.1 tengeri 0.12.2
SecretStorage 3.3.1 setuptools 68.0.0 Hat 1.16.0
smmap 5.0.1 sqlparse 0.5.0 ssh-import-id 5,11
veremadatok 0.2.0 statsmodels 0.14.0 Kitartás 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tornádó 6.3.2
árulók 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 felügyelet nélküli frissítések 0,1 urllib3 1.26.16
virtualenv 20.24.2 wadllib 1.3.6 wcwidth 0.2.5
kerék 0.38.4 zipp 3.11.0

Telepített R-kódtárak

Az R-kódtárak a Posit Csomagkezelő CRAN-pillanatképből vannak telepítve.

Könyvtár Verzió Könyvtár Verzió Könyvtár Verzió
nyíl 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backports 1.4.1 alap 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 indítás 1.3-28
főz 1.0-10 Brio 1.1.4 seprű 1.0.5
bslib 0.6.1 gyorsítótár 1.0.8 hívó 3.7.3
kalap 6.0-94 cellranger 1.1.0 chron 2.3-61
osztály 7.3-22 Cli 3.6.2 clipr 0.8.0
óra 0.7.0 fürt 2.1.4 kódtoolok 0.2-19
színtér 2.1-0 commonmark 1.9.1 fordítóprogram 4.3.2
config 0.3.2 Ütközött 1.2.0 cpp11 0.4.7
zsírkréta 1.5.2 hitelesítő adatok 2.0.1 csavarodik 5.2.0
data.table 1.15.0 adatkészletek 4.3.2 DBI 1.2.1
dbplyr 2.4.0 Desc 1.4.3 devtools 2.4.5
diagram 1.6.5 diffobj 0.3.5 emészt 0.6.34
levilágított 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 három pont 0.3.2 evaluate 0.23
fani 1.0.6 farver 2.1.1 gyorstérkép 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
külföldi 0.8-85 kovácsol 0.2.0 Fs 1.6.3
jövő 1.33.1 future.apply 1.11.1 gargarizál 1.5.2
Generikus 0.1.3 Gert 2.0.1 ggplot2 3.4.4
Gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globális 0.16.2 ragasztó 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
grafika 4.3.2 grDevices 4.3.2 rács 4.3.2
gridExtra 2.3 gsubfn 0,7 Gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 kikötő 2.5.4
highr 0.10 Hms 1.1.3 htmltoolok 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 Azonosítók 1.0.1 ini 0.3.1
ipred 0.9-14 izoband 0.2.7 iterátorok 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1.45 címkézés 0.4.3
később 1.3.2 rács 0.21-8 láva 1.7.3
életciklus 1.0.4 figyelő 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 TÖMEG 7.3-60
Mátrix 1.5-4.1 memoise 2.0.1 metódusok 4.3.2
mgcv 1.8-42 MIME 0,12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modellező 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
párhuzamosan 1.36.0 pillér 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 rétegelt 1.8.9 dicséret 1.0.0
prettyunits 1.2.0 Proc 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 haladás 1.2.3
progressr 0.14.0 Ígér 1.2.1 Proto 1.0.0
helyettes 0.4-27 Ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reaktív 0.4.4
reactR 0.5.0 olvasó 2.1.5 readxl 1.4.3
receptek 1.0.9 Visszavágót 2.0.0 visszavágó2 2.1.2
Távirányító 2.4.2.1 reprex 2.1.0 újraformázás2 1.4.4
rlang 1.1.3 rmarkdown 2.25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 Sass 0.4.8
mérleg 1.3.0 választó 0.4-2 sessioninfo 1.2.2
alak 1.4.6 Fényes 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 térbeli 7.3-15 splines 4.3.2
sqldf 0.4-11 NÉGYZET 2021.1 statisztika 4.3.2
statisztikák4 4.3.2 stringi 1.8.3 sztring 1.5.1
túlélés 3.5-5 swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
szövegformázás 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 timechange 0.3.0
timeDate 4032.109 tinytex 0,49 eszközök 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 eszközök 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 Waldo 0.5.2 bajusz 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 fütyülés 2.3.1

Telepített Java- és Scala-kódtárak (Scala 2.12-fürtverzió)

Csoportazonosító Összetevő azonosítója Verzió
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.610
com.amazonaws aws-java-sdk-cloudformation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws aws-java-sdk-config 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-dynamodb 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws aws-java-sdk-ecs 1.12.610
com.amazonaws aws-java-sdk-efs 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier 1.12.610
com.amazonaws aws-java-sdk-glue 1.12.610
com.amazonaws aws-java-sdk-iam 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-kinesis 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-logs 1.12.610
com.amazonaws aws-java-sdk-machinelearning 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws aws-java-sdk-redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway 1.12.610
com.amazonaws aws-java-sdk-sts 1.12.610
com.amazonaws aws-java-sdk-support 1.12.610
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics patak 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml osztálytárs 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.koffein koffein 2.9.3
com.github.fommil jniloader 1,1
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java 1.1-natívok
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java 1.1-natívok
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natívok
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natívok
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Csellengő 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava gujávafa 15,0
com.google.protobuf protobuf-java 2.6.1
com.helger Profiler 1.1.1
com.ibm.icu icu4j 72.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1,5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-naplózás commons-naplózás 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,25
io.delta delta-sharing-client_2.12 1.0.5
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrikamag 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-zokni 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx gyűjtő 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktiválás 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pác 1.3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow nyílformátum 15.0.0
org.apache.arrow nyíl-memóriamag 15.0.0
org.apache.arrow nyíl-memória-netty 15.0.0
org.apache.arrow nyíl-vektor 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator kurátor-ügyfél 2.13.0
org.apache.curator kurátor-keretrendszer 2.13.0
org.apache.curator kurátor-receptek 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby keménykalap 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy borostyán 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus célközönség-széljegyzetek 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-juta 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty móló-folytatás 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty móló plusz 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-lokátor 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Végleges
org.jdbi jdbi 2.63.1
org.jetbrains Széljegyzetek 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap Alátéteket 0.9.45-databricks
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt teszt-interfész 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-kompatibilis 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten három-extra 1.7.1
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2,0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1