Megosztás:

Databricks Runtime 16.0 (EoS)

Az alábbi kibocsátási megjegyzések az Apache Spark 3.5.0 által működtetett Databricks Runtime 16.0-ról nyújtanak információkat.

A Databricks 2024 novemberében adta ki ezt a verziót.

Megjegyzés:

A Databricks Runtime-verzió támogatása véget ért. A támogatás megszűnésének dátumáról lásd a támogatási előzményeket. A támogatott Databricks Runtime-verziók teljes listáját lásd a Databricks Runtime kiadási megjegyzések: változatok és kompatibilitás oldalon.

Viselkedési változások

Kompatibilitástörő változás: A JDK 17 mostantól az alapértelmezett

A Databricks Runtime 16.0-s és újabb verzióiban a JDK alapértelmezett verziója JDK 8-ról JDK 17-re vált. Ez a változás a JDK 8 tervezett elavulása és a támogatás megszűnése miatt történik. Ez a következőkre van hatással:

  • Az Azure Databricks compute-en futó Java-kódnak kompatibilisnek kell lennie a Java 17-zel.
  • A jegyzetfüzetekben vagy az Azure Databricks compute-ben futó Scala-kódnak kompatibilisnek kell lennie a Java 17-zel.
  • A számításra telepített Java- és Scala-kódtáraknak kompatibilisnek kell lenniük a Java 17-zel.
  • Az Apache Hive metaadattár-ügyfél 2.x alatti verziói. Ha a Spark-konfigurációt spark.sql.hive.metastore.version 2.x-nél kisebb verzióra állítja, kompatibilitási problémákat okoz a Java 17-zel, és a Hive metaadattárhoz való kapcsolódási hibákat okoz. A Databricks azt javasolja, hogy frissítse a Hive-t a 2.0.0-snál újabb verzióra.

Ha vissza kell térnie a Java 8-ra, adja hozzá a következőket a Spark környezeti változóihoz az Azure Databricks-számítás konfigurálásakor:

JNAME=zulu8-ca-amd64

ARM-példányok használata esetén használja a következőket:

JNAME=zulu8-ca-arm64

A JDK-verziók Azure Databricks-számítással való megadásáról további információt a fürt létrehozása adott JDK-verzióval című témakörben talál.

A kód Java 8-ból való migrálásával kapcsolatos segítségért tekintse meg az alábbi útmutatókat:

Breaking change: A hosztolt RStudio a használati idő végéhez ért

Ezzel a kiadással a Databricks által üzemeltetett RStudio-kiszolgáló élettartama lejárt, és nem érhető el a Databricks Runtime 16.0-s vagy újabb verzióját futtató Azure Databricks-munkaterületeken. További információ és az RStudio alternatíváinak listája: Csatlakozás a Databricks által üzemeltetett RStudio-kiszolgálóhoz.

Kompatibilitástörő változás: A byte, short, int és long típusok szélesebb típusokra történő módosításának támogatásának eltávolítása

A Databricks Runtime 15.4.3 és újabb verziókban a következő adattípus-módosítások már nem alkalmazhatók a típustágító funkcióval rendelkező táblákra:

  • byte, short, int és longdecimal.
  • byte, short, és int a double-hoz.

Ez a módosítás a Delta és az Apache Iceberg táblák konzisztens viselkedésének biztosítása érdekében történik. A típusszűkítésről további információt a Típusszűkítés című témakörben talál.

Regex-minták helyes elemzése negációval és beágyazott karaktercsoportosítással

Ez a kiadás tartalmaz egy módosítást, amely támogatja a regex minták megfelelő elemzését a beágyazott karaktercsoportozásban való negációval. A rendszer például [^[abc]] "bármely olyan karakterként lesz elemezve, amely NEM az "abc" egyike.

Emellett a Photon viselkedése inkonzisztens volt a Sparkkal a beágyazott karakterosztályok esetében. A beágyazott karakterosztályokat tartalmazó Regex-minták már nem használják a Photont, hanem a Sparkot. A beágyazott karakterosztály minden olyan minta, amely szögletes zárójeleket tartalmaz más szögletes zárójeleken belül, például [[a-c][1-3]].

Duplikált egyezésészlelés javítása a Delta Lake-ben MERGE

A Databricks Runtime 15.4 LTS-ben és alatta a műveletek meghiúsulnak, MERGE ha a forrástábla több sora megegyezik a céltábla ugyanazon sorával a MERGEON záradékban megadott feltétel alapján. A Databricks Runtime 16.0-s és újabb verziókban a MERGE záradékban megadott feltételeket is figyelembe veszi WHEN MATCHED. Tekintse meg, hogyan használhatja az "upsert" műveletet egy Delta Lake táblázatban az egyesítési (merge) eljárással.

A klaszterkönyvtár telepítési módszere már nem bírálható felül

A Spark-konfigurációk spark.databricks.libraries.enableSparkPyPI, spark.databricks.libraries.enableMavenResolution és spark.databricks.libraries.enableCRANResolutionnow mostantól alapértelmezettek true, és nem lehet őket felülbírálni.

Két óra alapértelmezett időtúllépése fürt hatókörű kódtár telepítésekor

A Databricks Runtime 16.0-s és újabb verzióiban a fürt hatókörű kódtárának telepítése két óra alapértelmezett időtúllépéssel rendelkezik. Az ennél az időtúllépésnél hosszabb ideig igénybe vett kódtár-telepítések sikertelenek lesznek, és a telepítés leáll. Fürt konfigurálásakor a Spark-konfigurációval spark.databricks.driver.clusterLibraryInstallationTimeoutSecmódosíthatja az időtúllépési időszakot.

A kódtárak telepítése a DBFS-ből és a spark conf spark.databricks.driver.dbfsLibraryInstallationAllowed beállítása le van tiltva

A Databricks Runtime 16.0-s és újabb verziókban a kódtárak dbFS-ből való telepítése teljesen le van tiltva. Ez a módosítás a Databricks-munkaterületen lévő kódtárak biztonságának javítása érdekében történik. Emellett a Databricks Runtime 16.0-s és újabb verziókban már nem használhatja a Spark-konfigurációt spark.databricks.driver.dbfsLibraryInstallationAllowed.

A addArtifact() funkció mostantól konzisztens a számítási típusok között

Ezzel a kiadással az archívum automatikusan ki lesz csomagolva, amikor függőséget ad addArtifact(archive = True) hozzá a megosztott vagy kiszolgáló nélküli Azure Databricks-számításhoz. Ez a módosítás konzisztenssé teszi az addArtifact(archive = True) viselkedését ezeken a számítási típusokon a dedikált (korábban egyfelhasználós) számítással, amely már támogatja az automatikus kicsomagolást.

A speciális karaktereket tartalmazó egyszerű azonosítók esetében megfelelően kikényszerített backticks szabály

Ebben a kiadásban GRANTa speciális karaktereket tartalmazó DENY és REVOKE utasítások mostantól hibát jeleznek, ha nincsenek mellékelve a háttérrendszerbe.

Új funkciók és fejlesztések

A módosított Python modulok megbízhatóbb újratöltése az autoreload fejlesztéseinek köszönhetően.

A Databricks Runtime 16.0-s és újabb verzióiban a autoreload bővítmény frissítései növelik a munkaterületfájlokból importált módosított Python-modulok újratöltésének biztonságát és megbízhatóságát. Ezekkel a módosításokkal autoreloadlehetőség szerint csak a modul azon részét tölti be újra, amely a teljes modul helyett módosult. Emellett az Azure Databricks mostantól automatikusan javasolja a autoreload bővítmény használatát, ha a modul a legutóbbi importálás óta megváltozott. Lásd: Python-modulok automatikus betöltése.

Rekurzív séma Avro-támogatása

Most már használhatja a recursiveFieldMaxDepth lehetőséget a from_avro funkcióval és a avro adatforrással. Ez a beállítás a séma-rekurzió maximális mélységét állítja be az Avro-adatforráson. Tekintse meg a streaming Avro-adatok olvasása és írása című részt.

to_avro és from_avro függvények

A to_avro és from_avro függvények lehetővé teszik az SQL-típusok Avro bináris adatokké és visszaalakítását.

Az Avro számára kiterjesztett támogatás a Confluent Schema Registry-hez.

Az Azure Databricks mostantól támogatja az Avro-sémahivatkozást a Confluent sémaregisztrációs adatbázisával. Lásd: Hitelesítés külső Confluent-sémaregisztrációs adatbázisba.

Kényszerítsen újrafürtözést azoknál a tábláknál, amelyek folyékony fürtözéssel rendelkeznek

A Databricks Runtime 16.0-s és újabb verzióiban a OPTIMIZE FULL szintaxissal kényszerítheti a tábla összes rekordjának újracsoportosítását, ha engedélyezve van a folyékony klaszterezés. Lásd Az összes rekord kényszerű újracsoportosítását.

A Pythonhoz és a Scalához készült Delta API-k mostantól támogatják az identitásoszlopokat

Mostantól a Pythonhoz és a Scalához készült Delta API-k segítségével identitásoszlopokat tartalmazó táblákat hozhat létre. Lásd: Identitásoszlopok használata a Delta Lake-ben.

A dedikált (korábban egyfelhasználós) számításon alapuló részletes hozzáférés-vezérlés általánosan elérhető

A Databricks Runtime 16.0-s és újabb verziókban a dedikált számítási feladatok részletes hozzáférés-vezérlése általánosan elérhető. A kiszolgáló nélküli számításhoz engedélyezett munkaterületeken, ha egy lekérdezés támogatott számításon, például dedikált számításon fut, és a lekérdezés a következő objektumok bármelyikéhez hozzáfér, a számítási erőforrás átadja a lekérdezést a kiszolgáló nélküli számításnak az adatszűrés futtatásához:

  • Olyan táblákhoz definiált nézetek, amelyeken a felhasználó nem rendelkezik SELECT jogosultsággal.
  • Dinamikus nézetek.
  • Sorszűrőket vagy oszlopmaszkokat tartalmazó táblák.
  • Materializált nézetek és Streaming táblák

Folyékony fürtözött táblák létrehozása streamelési írások során

Mostantól használhatja a clusterBy-t, hogy engedélyezze a folyékony klaszterezést, amikor új táblákat hoz létre strukturált adatfolyam írásával. Lásd Folyékony klaszterezés engedélyezése.

A OPTIMIZE FULL záradék támogatása

A Databricks Runtime 16.0 támogatja a OPTIMIZE FULL záradékot. Ez a feltétel optimalizálja a folyékony klaszterezést használó táblában lévő összes rekordot, beleértve a korábban klaszterezett adatokat is.

WITH-beállítások specifikációjának támogatása a INSERT-ban és a táblahivatkozásban

A Databricks Runtime 16.0 támogatja az opciók specifikációját, amely táblázat hivatkozásokra és táblázatnevekre vonatkozik egy INSERT utasításban, és amely az adatforrások viselkedésének szabályozására használható.

Új SQL-függvények

A Databricks Runtime 16.0-ban hozzáadott SQL-függvények a következők:

  • próbáld_meg_url_decode

    Ez a függvény a url_decode hibatűrő verziója. Ez a függvény akkor ad NULL vissza, ha a bemenet nem érvényes URL-kódolású sztring.

  • zeroifnull

    Ha a függvény bemeneti kifejezése zeroifnull() az NULL, akkor a függvény 0 értéket ad vissza. Ellenkező esetben a bemeneti kifejezés értéke lesz visszaadva.

  • nullifzero

    Akkor adja NULL vissza, ha a bemenet 0, vagy ha nem 0. Ha a függvény bemeneti kifejezése nullifzero() 0, akkor a függvény ad vissza NULL. Ha a bemeneti kifejezés nem 0, a bemeneti kifejezés értéke lesz visszaadva

Automatikus sémafejlődés engedélyezése adatok Delta-táblába való egyesítésekor

Ez a kiadás támogatja az withSchemaEvolution() osztály tagját DeltaMergeBuilder . Az withSchemaEvolution() automatikus sémafejlődés engedélyezésére használható a MERGE műveletek során. Például: mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}.

Egyéb módosítások

A SparkR megszűntetés alatt áll

A Databricks Runtime 16.0 és újabb verzióiban a SparkR a Databricksben megszüntetés előtt áll, felkészülve a Spark 4 közelgő kiadásában várható megszüntetésére. Tekintse meg az Apache Spark SparkR elavulásával foglalkozó szálat.

A Databricks inkább a Sparklyr használatát javasolja.

A Databricks Runtime 16.0 nem támogatott PVC-vel

A Databricks Runtime 16.0-t a Databricks Private Virtual Cloud (PVC) nem támogatja. A Databricks Runtime 15.4-es vagy alacsonyabb verzióját kell használni az összes PVC-kiadással együtt.

Hibajavítások

Az Auto Loader mostantól üres sémák esetén kezeli az Avro-rekordtípusokat

Ha egy Avro-fájlt az Automatikus betöltő használatával tölt be egy Delta-táblába, record a rendszer hozzáadja az üres sémával rendelkező fájltípusokat a mentett adatoszlophoz. Mivel nem tölthet be üres összetett adattípusokat egy Delta-táblába, ez megold néhány Avro-fájl betöltésével kapcsolatos problémát. A mentett adatokról további információt a Mi a mentett adatoszlop? című témakörben talál.

Kijavítottuk a második eltolást tartalmazó időzónákat tartalmazó időbélyegek írásának hibáit.

Ez a kiadás kijavít egy hibát, amely bizonyos időbélyegeket érint olyan időzónák esetében, amelyek másodlagos eltolást tartalmaznak. Ez a hiba miatt a másodpercek nem lesznek megadva, amikor JSON-, XML- vagy CSV-fájlba írnak, ami helytelen időbélyeg-értékeket eredményez.

Az előző viselkedéshez való visszatéréshez használja a következő lehetőséget, amikor az egyik érintett formátumba ír: .option("yyyy-MM-dd'T'HH:mm:ss[.SSS][XXX]").

Könyvtárfrissítések

  • Frissített Python-kódtárak:
    • azure-core 1.30.2-től 1.31.0-sig
    • azure-storage-blob 12.19.1-től 12.23.0-ra
    • azure-storage-file-datalake 12.14.0-tól 12.17.0-ra
    • fekete 23.3.0 és 24.4.2 között
    • villogó 1,4 és 1,7,0 között
    • boto3 1.34.39 és 1.34.69 között
    • botocore 1.34.39 és 1.34.69 között
    • tanúsítvány 2023.7.22-től 2024.6.2-ig
    • cffi 1.15.1 és 1.16.0 között
    • kattintson a 8.0.4-től a 8.1.7-hez
    • comm 0.1.2-tól 0.2.1-ig
    • contourpy 1.0.5-től 1.2.0-ra
    • titkosítás a 41.0.3-tól a 42.0.5-ösig
    • Cython 0.29.32-től 3.0.11-ig
    • databricks-sdk 0.20.0 és 0.30.0 között
    • dbus-python 1.2.18 és 1.3.2 között
    • filelock frissítése 3.13.4-ről 3.15.4-re
    • fonttools 4.25.0-tól 4.51.0-ra
    • GitPython 3.1.43-tól 3.1.37-ig
    • google-api-core 2.18.0-tól 2.20.0-ra
    • google-hitelesítés 2.31.0-tól 2.35.0-ig
    • google-cloud-storage 2.17.0 és 2.18.2 között
    • google-crc32c 1.5.0 és 1.6.0 között
    • google-resumable-media 2.7.1-től 2.7.2-ig
    • googleapis-common-protos 1.63.2-től 1.65.0-ra
    • httplib2 0.20.2 és 0.20.4 között
    • idna 3,4 és 3,7 között
    • ipykernel 6.25.1 és 6.28.0 között
    • ipython 8.15.0-tól 8.25.0-ig
    • jedi 0.18.1-től 0.19.1-től
    • jmespath 0.10.0 és 1.0.1 között
    • joblib 1.2.0 és 1.4.2 között
    • jupyter_client 7.4.9-től 8.6.0-ra
    • jupyter_core 5.3.0-ról 5.7.2-re
    • launchpadlib 1.10.16-ról 1.11.0-ra
    • lazr.restfulclient 0.14.4-től 0.14.6-osig
    • matplotlib 3.7.2 és 3.8.4 között
    • mlflow-skinny 2.11.4-től 2.15.1-esig
    • more-itertools 8.10.0-tól 10.3.0-ra
    • mypy-extensions 0.4.3-ról 1.0.0-ra
    • nest-asyncio 1.5.6 és 1.6.0 között
    • numpy 1.23.5 és 1.26.4 között
    • oauthlib 3.2.0-tól 3.2.2-ig
    • csomagolás 23,2 és 24,1 közötti méretű
    • patsy 0.5.3-tól 0.5.6-ig
    • pip 23.2.1-ről 24.2-re
    • plotly 5.9.0-ról 5.22.0-ra
    • prompt-toolkit 3.0.36-ról 3.0.43-ra
    • pyarrow 14.0.1 és 15.0.2 között
    • pydantic verzió 1.10.6-ról 2.8.2-re
    • PyGObject 3.42.1 és 3.48.2 között
    • PyJWT 2.3.0 és 2.7.0 között
    • pyodbc 4.0.38-tól 5.0.1-ig
    • python-dateutil 2.8.2 és 2.9.0.post0 között
    • python-lsp-jsonrpc 1.1.1-ről 1.1.2-re
    • pytz 2022.7-től 2024.1-ig
    • PyYAML 6.0 és 6.0.1 között
    • pyzmq 23.2.0 és 25.1.2 között
    • 2.31.0 és 2.32.2 közötti kérelmek
    • scikit-learn 1.3.0-1.4.2
    • scipy 1.11.1-ról 1.13.1-re verziószámok között változik
    • seaborn 0.12.2-től 0.13.2-ig
    • setuptools 68.0.0-tól 74.0.0-ra
    • smmap 5.0.1-től 5.0.0-ra
    • sqlparse 0.5.0 és 0.5.1 között
    • statsmodels 0.14.0-tól 0.14.2-ig
    • tornádó 6.3.2 és 6.4.1 között
    • traitlets 5.7.1-től 5.14.3-ig
    • typing_extensions 4.10.0-tól 4.11.0-ra
    • ujson 5.4.0-tól 5.10.0-ra
    • virtualenv 20.24.2 és 20.26.2 között
    • a "wheel" frissítése 0.38.4-ről 0.43.0-ra
    • zipp 3.11.0-ról 3.17.0-ra
  • Frissített R-kódtárak:
    • nyíl a 14.0.0.2-től a 16.1.0-sig
    • Visszaportok 1.4.1-ről 1.5.0-ra
    • alap 4.3.2-től 4.4.0-ig
    • bitops 1.0-7-ből 1.0-8-ra
    • verzióváltás 1.3-28-ról 1.3-30-ra
    • brio 1.1.4 verzióról 1.1.5 verzióra
    • seprű 1.0.5-től 1.0.6-osig
    • bslib 0.6.1-től 0.8.0-ra
    • cachem 1.0.8-tól 1.1.0-sig
    • callr 3.7.3-ról 3.7.6-ra
    • cli 3.6.2 és 3.6.3 között
    • frissítés 0.7.0-ról 0.7.1-re
    • klaszter 2.1.4-től 2.1.6-ig
    • 0,2-19 és 0,2-20 közötti kódtoolok
    • színtér 2.1-0 és 2.1-1 között
    • fordító a 4.3.2-től a 4.4.0-sig
    • crayon 1.5.2-től 1.5.3-ra
    • curl 5.2.0 verzióról 5.2.1 verzióra
    • data.table 1.15.0-ról 1.15.4-re való frissítés
    • adatkészletek a 4.3.2-től a 4.4.0-sig
    • DBI 1.2.1-től 1.2.3-ra
    • dbplyr 2.4.0 és 2.5.0 között
    • kivonatolás a 0.6.34-től a 0.6.36-osig
    • Lefokozva a 0.4.3-ról a 0.4.4-ra
    • kiértékelés 0,23-tól 0,24.0-ig
    • farver 2.1.1-től 2.1.2-ig
    • gyorstérkép 1.1.1-től 1.2.0-sig
    • külső 0,8-85-ről 0,8-86-ra
    • fs 1.6.3–1.6.4
    • 1.33.1-től 1.34.0-ra
    • future.apply 1.11.1 és 1.11.2 verzió között
    • gert 2.0.1-től 2.1.0-ra
    • ggplot2 3.4.4 és 3.5.1 között
    • gh 1.4.0 és 1.4.1 között
    • Globálisok 0.16.2-ről 0.16.3-ra
    • 4.3.2 és 4.4.0 közötti grafikus elemek
    • grDevices 4.3.2-től 4.4.0-ra
    • verziófrissítés 4.3.2-ről 4.4.0-ra
    • gt 0.10.1-től 0.11.0-ra
    • gtable 0.3.4-től 0.3.5-ösig
    • hardhat 1.3.1-től 1.4.0-ra
    • highr 0,10 és 0,11 között
    • htmltoolok 0.5.7-től 0.5.8.1-ig
    • httpuv 1.6.14-től 1.6.15-ösig
    • httr2 1.0.0 és 1.0.2 között
    • ipred 0,9-14-0,9-15
    • KernSmooth 2.23-21-ről 2.23-22-re
    • knitr 1,45-től 1,48-ig
    • rács 0,21-8-tól 0,22-5-re
    • láva 1.7.3-tól 1.8.0-ra
    • markdown verziójának frissítése 1.12-ről 1.13-ra
    • TÖMEG 7.3-60-ről 7.3-60.0.1-re
    • Mátrix 1,5-4,1-1,6-5 között
    • metódusok a 4.3.2-től a 4.4.0-sig
    • mgcv 1,8-42-1,9-1
    • mlflow 2.10.0 és 2.14.1 között
    • munsell 0.5.0 és 0.5.1 között
    • nlme a 3.1-163-as verzióról a 3.1-165-ös verzióra
    • Az openssl frissítése 2.1.1-ről 2.2.0-ra.
    • párhuzamosan a 4.3.2-ről a 4.4.0-ra
    • párhuzamosan az 1.36.0-tól az 1.38.0-sig
    • pkgbuild 1.4.3-tól 1.4.4-re
    • pkgdown 2.0.7-től 2.1.0-ra
    • pkgload 1.3.4-től 1.4.0-ra
    • processx frissítése 3.8.3-ról 3.8.4-re
    • prodlim 2023.08.28-tól 2024.06.25-ig
    • ígéretek 1.2.1-től 1.3.0-ig
    • ps 1.7.6 és 1.7.7 között
    • ragg 1.2.7 és 1.3.2 között
    • Rcpp 1.0.12-től 1.0.13-ra
    • RcppEigen 0.3.3.9.4 és 0.3.4.0.0 között
    • reactR 0.5.0 és 0.6.0 között
    • receptek 1.0.9-től 1.1.0-ra
    • 2.4.2.1-es verziótól 2.5.0-ás verzióra
    • reprex 2.1.0-ról 2.1.1-re
    • rlang 1.1.3-tól 1.1.4-ig
    • rmarkdown 2.25-től 2.27-ig
    • roxygen2 7.3.1-től 7.3.2-ig
    • rpart 4.1.21-től 4.1.23-ig
    • RSQLite 2.3.5 és 2.3.7 között
    • rstudioapi 0.15.0-tól 0.16.0-ra
    • rvest 1.0.3 és 1.0.4 között
    • sass 0.4.8 verzióról 0.4.9 verzióra
    • alakzat 1.4.6-tól 1.4.6.1-ig
    • fényes 1.8.0 és 1.9.1 között
    • sparklyr 1.8.4-től 1.8.6-osig
    • térbeli 7,3-15-tól 7,3-17-ig
    • spline-ek 4.3.2-ről 4.4.0-ra
    • 4.3.2 és 4.4.0 közötti statisztikák
    • statisztikái4 a 4.3.2-től a 4.4.0-sig
    • stringi frissítése 1.8.3-ról 1.8.4-re
    • túlélés 3,5-5 és 3,6-4 között
    • swagger 3.33.1-től 5.17.14.1-ig
    • A systemfonts 1.0.5-ről 1.1.0-re frissítve
    • tcltk 4.3.2-től 4.4.0-ra
    • testthat 3.2.1 és 3.2.1.1 között
    • szövegformázás 0.3.7-től 0.4.0-ra
    • tidyselect 1.2.0-ról 1.2.1-re
    • tinytex 0,49 és 0,52 között
    • 4.3.2 és 4.4.0 közötti eszközök
    • usethis 2.2.2-től 3.0.0-ig
    • segédprogramok 4.3.2-ről 4.4.0-ra
    • uuid 1.2-0-ról 1.2-1-re
    • V8 4.4.1 és 4.4.2 között
    • 3.0.0 és 3.0.1 közötti elválasztó
    • xfun 0,41-től 0,46-ig
    • xopen 1.0.0 és 1.0.1 között
    • yaml 2.3.8–2.3.10
  • Frissített Java-kódtárak:
    • Az "com.amazonaws.aws-java-sdk-autoscaling" frissítése verzióról 1.12.610 verzióra 1.12.638.
    • com.amazonaws.aws-java-sdk-cloudformation 1.12.610-től 1.12.638-ig
    • com.amazonaws.aws-java-sdk-cloudfront 1.12.610-től 1.12.638-ra
    • com.amazonaws.aws-java-sdk-cloudhsm 1.12.610-től 1.12.638-ra
    • com.amazonaws.aws-java-sdk-cloudsearch 1.12.610-től 1.12.638-ra
    • com.amazonaws.aws-java-sdk-cloudtrail 1.12.610 és 1.12.638 között
    • com.amazonaws.aws-java-sdk-cloudwatch 1.12.610 és 1.12.638 között
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics 1.12.610 és 1.12.638 között
    • com.amazonaws.aws-java-sdk-codedeploy frissítése 1.12.610-ről 1.12.638-ra
    • com.amazonaws.aws-java-sdk-cognitoidentity 1.12.610-tól 1.12.638-ig
    • com.amazonaws.aws-java-sdk-cognitosync 1.12.610-től 1.12.638-ra
    • com.amazonaws.aws-java-sdk-config 1.12.610 verzióról 1.12.638 verzióra
    • com.amazonaws.aws-java-sdk-core 1.12.610-től 1.12.638-ra
    • com.amazonaws.aws-java-sdk-datapipeline 1.12.610 és 1.12.638 között
    • com.amazonaws.aws-java-sdk-directconnect 1.12.610 és 1.12.638 között
    • com.amazonaws.aws-java-sdk-directory 1.12.610 és 1.12.638 között
    • com.amazonaws.aws-java-sdk-dynamodb 1.12.610-től 1.12.638-ra
    • com.amazonaws.aws-java-sdk-ec2 1.12.610 és 1.12.638 között
    • com.amazonaws.aws-java-sdk-ecs 1.12.610 és 1.12.638 között
    • com.amazonaws.aws-java-sdk-efs 1.12.610 és 1.12.638 között
    • com.amazonaws.aws-java-sdk-elasticache 1.12.610 és 1.12.638 között
    • com.amazonaws.aws-java-sdk-elasticbeanstalk 1.12.610-től 1.12.638-ra
    • com.amazonaws.aws-java-sdk-elasticloadbalancing verzióinak frissítése 1.12.610-ről 1.12.638-ra
    • com.amazonaws.aws-java-sdk-elastictranscoder 1.12.610 és 1.12.638 között
    • com.amazonaws.aws-java-sdk-emr 1.12.610-től 1.12.638-ra
    • com.amazonaws.aws-java-sdk-glacier 1.12.610-től 1.12.638-ra
    • com.amazonaws.aws-java-sdk-glue 1.12.610-ről 1.12.638-ra
    • com.amazonaws.aws-java-sdk-iam 1.12.610-től 1.12.638-ig
    • com.amazonaws.aws-java-sdk-importexport 1.12.610-től 1.12.638-ra
    • com.amazonaws.aws-java-sdk-kinesis 1.12.610-ről 1.12.638-ra
    • com.amazonaws.aws-java-sdk-kms 1.12.610-tól 1.12.638-ig
    • com.amazonaws.aws-java-sdk-lambda 1.12.610-től 1.12.638-ra
    • com.amazonaws.aws-java-sdk-logs 1.12.610 és 1.12.638 között
    • com.amazonaws.aws-java-sdk-machinelearning 1.12.610-ről 1.12.638-ra
    • com.amazonaws.aws-java-sdk-opsworks 1.12.610-ról 1.12.638-ra
    • com.amazonaws.aws-java-sdk-rds 1.12.610-től 1.12.638-ra
    • com.amazonaws.aws-java-sdk-redshift 1.12.610-ről 1.12.638-ra
    • com.amazonaws.aws-java-sdk-route53 1.12.610 és 1.12.638 között
    • com.amazonaws.aws-java-sdk-s3 1.12.610 és 1.12.638 között
    • com.amazonaws.aws-java-sdk-ses 1.12.610 és 1.12.638 között
    • com.amazonaws.aws-java-sdk-simpledb 1.12.610-től 1.12.638-ra
    • com.amazonaws.aws-java-sdk-simpleworkflow 1.12.610-től 1.12.638-ra
    • com.amazonaws.aws-java-sdk-sns 1.12.610-ről 1.12.638-ra
    • com.amazonaws.aws-java-sdk-sqs 1.12.610 és 1.12.638 között
    • com.amazonaws.aws-java-sdk-ssm 1.12.610-től 1.12.638-ra
    • com.amazonaws.aws-java-sdk-storagegateway 1.12.610-tól 1.12.638-ig
    • com.amazonaws.aws-java-sdk-sts 1.12.610-től 1.12.638-ra
    • com.amazonaws.aws-java-sdk-support 1.12.610-ről 1.12.638-ra
    • com.amazonaws.aws-java-sdk-workspaces verziója 1.12.610-ről 1.12.638-ra
    • com.amazonaws.jmespath-java 1.12.610-től 1.12.638-ra
    • com.google.protobuf.protobuf-java 2.6.1 és 3.25.1 között
    • io.airlift.aircompressor frissítés 0,25-ről 0,27-re
    • io.delta.delta-sharing-client_2.12 1.1.3 és 1.2.0 között
    • io.netty.netty-all 4.1.96.Final-ról 4.1.108.Final-re
    • io.netty.netty-buffer 4.1.96.Final-ról 4.1.108.Final-ra
    • io.netty.netty-codec a 4.1.96.Final verzióról a 4.1.108.Final verzióra
    • io.netty.netty-codec-http-tól 4.1.96.Final-ig 4.1.108.Final-ig
    • io.netty.netty-codec-http2 4.1.96.Finalról 4.1.108.Finalra
    • io.netty.netty-codec-socks 4.1.96.Final-ról 4.1.108.Final-re
    • io.netty.netty-common 4.1.96.Final-ről 4.1.108.Final-re
    • io.netty.netty-handler frissítve a 4.1.96.Final-ról a 4.1.108.Final-re
    • io.netty.netty-handler-proxy a 4.1.96.Final változatról 4.1.108.Final verzióra
    • io.netty.netty-resolver 4.1.96.Final verzióról 4.1.108.Final verzióra
    • io.netty.netty-transport 4.1.96.Final-ról 4.1.108.Final-re
    • io.netty.netty-transport-classes-epoll 4.1.96.Final verzióról a 4.1.108.Final verzióra
    • io.netty.netty-transport-classes-kqueue 4.1.96.Final verzióról 4.1.108.Final verzióra
    • io.netty.netty-transport-native-epoll 4.1.96.Final-linux-x86_64-ról 4.1.108.Final-linux-x86_64-ra
    • io.netty.netty-transport-native-kqueue 4.1.96.Final-osx-x86_64-tól 4.1.108.Final-osx-x86_64-ig
    • io.netty.netty-transport-native-unix-common 4.1.96.Final–4.1.108.Final
    • org.apache.ivy.ivy 2.5.1 és 2.5.2 között
    • org.apache.zookeeper.zookeeper 3.6.3-tól 3.9.2-ig
    • org.apache.zookeeper.zookeeper-jute 3.6.3-tól 3.9.2-re
    • org.rocksdb.rocksdbjni 8.11.4-től 9.2.1-től
    • org.scalactic.scalactic_2.12 3.2.15-től 3.2.16-osig
    • org.scalatest.scalatest-compatible 3.2.15-ről 3.2.16-ra
    • org.scalatest.scalatest-core_2.12 3.2.15-ről 3.2.16-ra
    • org.scalatest.scalatest-diagrams_2.12 3.2.15 verzióról 3.2.16 verzióra
    • org.scalatest.scalatest-featurespec_2.12 3.2.15-től 3.2.16-ig
    • org.scalatest.scalatest-flatspec_2.12 3.2.15-től 3.2.16-ig
    • org.scalatest.scalatest-freespec_2.12 3.2.15-től 3.2.16-osig
    • org.scalatest.scalatest-funspec_2.12 3.2.15-től 3.2.16-osig
    • org.scalatest.scalatest-funsuite_2.12 3.2.15-től 3.2.16-osig
    • org.scalatest.scalatest-matchers-core_2.12 3.2.15-ről 3.2.16-ra
    • org.scalatest.scalatest-mustmatchers_2.12 3.2.15-ről 3.2.16-ra
    • org.scalatest.scalatest-propspec_2.12 3.2.15-től 3.2.16-osig
    • org.scalatest.scalatest-refspec_2.12 3.2.15-től 3.2.16-osig
    • org.scalatest.scalatest-shouldmatchers_2.12 3.2.15-től 3.2.16-osig
    • org.scalatest.scalatest-wordspec_2.12 3.2.15-től 3.2.16-ig
    • org.scalatest.scalatest_2.12 3.2.15-ről 3.2.16-ra

Apache Spark

A Databricks Runtime 16.0 tartalmazza az Apache Spark 3.5.0-t. Ez a kiadás tartalmazza a Databricks Runtime 15.4 LTS-ben található összes Spark-javítást és -fejlesztést, valamint a Spark következő további hibajavításait és fejlesztéseit:

  • [SPARK-49093] [DBRRM-1371] Revert “[SC-172958][sql] GROUP BY MapType nes használatával...
  • [SPARK-49898] [DBRRM-1282][sc-178410] Az eseménynapló-tevékenység metrikáinak felhalmozási naplózására szolgáló jelző zászló dokumentációjának és alapértelmezésének javítása a SPARK-42204 alapján
  • [SPARK-49743] [ES-1260022][viselkedés-157][SC-177475][sql] Az OptimizeCsvJsonExpr nem módosíthatja a sémamezőket a GetArrayStructFields metszésekor
  • [SPARK-49816] [SC-177896][sql] Csak a hivatkozott külső CTE-re vonatkozó reláció kimenő hivatkozás-számát kell frissíteni
  • [SPARK-48939] [SC-177022][sc-172766][AVRO] Az Avro olvasásának támogatása rekurzív sémahivatkozással
  • [SPARK-49688] [SC-177468][es-1242349][CONNECT] Adatversenyhelyzet javítása a megszakítás és a terv végrehajtása között
  • [SPARK-49771] [SC-177466][python] A Pandas skaláris iter UDF-hiba javítása, ha a kimeneti sorok túllépik a bemeneti sorokat
  • [SPARK-48866] [SC-170772][sql] Kijavítottuk az INVALID_PARAMETER_VALUE.CHARSET hibaüzenetben szereplő érvényes karakterkészletre vonatkozó tippeket.
  • [SPARK-48195] [FIXFORWARD][sc-177267][CORE] A SparkPlan által létrehozott RDD/Broadcast mentése és újrafelhasználása
  • [SPARK-49585] [CONNECT] A végrehajtások térképének cseréje a SessionHolderben műveletazonosító halmazra
  • [SPARK-49211] [SC-174257][sql] V2 Katalógus beépített adatforrásokat is támogat
  • [SPARK-49684] A munkamenet-visszaállítási zárolás élettartamának minimalizálása
  • [SPARK-48059] [SPARK-48145][spark-48134][SPARK-48182][spark-48209][SPARK-48291] Strukturált napló keretrendszer a Java oldalán
  • [SPARK-48857] [SC-170661][sql] A CSVOptionsban lévő karakterkészletek korlátozása
  • [SPARK-49152] [SC-173690][sql] V2SessionCatalog v2Command-t kell használnia
  • [SPARK-42846] [SC-176588][sql] Hibaállapot eltávolítása _LEGACY_ERROR_TEMP_2011
  • [SPARK-48195] [SC-177267][core] A SparkPlan által létrehozott RDD/Broadcast mentése és újrafelhasználása
  • [SPARK-49630] [SC-177379][ss] Lapítási opció hozzáadása a gyűjteménytípusok feldolgozásához állapotadat-forrással rendelkező olvasóval
  • [SPARK-49699] [SC-177154][ss] PruneFilters letiltása a streamelési munkafolyamatokhoz
  • [SPARK-48781] [SC-175282][sql] Katalógus API-k hozzáadása tárolt eljárások betöltéséhez
  • [SPARK-49667] [SC-177068][sql] Tiltsa le CS_AI stringSearch-t használó kifejezésekkel rendelkező collatorokat
  • [SPARK-49737] [SC-177207][sql] A gyűjtőzés letiltása összetett típusok csoportosított oszlopaiban
  • [SPARK-48712] [SC-169794][sql] Perf Fejlesztés üres értékekkel vagy UTF-8 karakterkészlettel történő kódoláshoz
  • [SPARK-49038] [SC-173933][sql] Az SQLMetricnak jelentenie kell a nyers értéket az akkumulátor frissítési eseményében
  • [SPARK-48541] [SC-169066][core] Új kilépési kód hozzáadása a TaskReaper által megölt végrehajtókhoz
  • [SPARK-48774] [SC-170138][sql] SparkSession használata az SQLImplicitsben
  • [SPARK-49719] [SC-177139][sql] Készítsük el, hogy a UUID és SHUFFLE elfogadjon egész szám seed
  • [SPARK-49713] [SC-177135][python][CONNECT] Függvény létrehozása count_min_sketch számargumentumok elfogadása
  • [SPARK-47601] [SC-162499][graphx] Graphx: Naplók áttelepítése változókkal strukturált naplózási keretrendszerbe
  • [SPARK-49738] [SC-177219][sql] Hibajavítással végződik
  • [SPARK-48623] [SC-170822][core] Strukturált naplózási migrálások [3. rész]
  • [SPARK-49677] [SC-177148][ss] Győződjön meg arról, hogy a változásnapló-fájlok a commitnél íródnak meg, és a forceSnapshot zászló is alaphelyzetbe állítódik.
  • [SPARK-49684] [SC-177040][connect] A munkamenet- és végrehajtási kezelők globális zárolásainak eltávolítása
  • [SPARK-48302] [SC-168814][python] Null értékek megőrzése a PyArrow-táblák térképoszlopaiban
  • [SPARK-48601] [SC-169025][sql] Adjon felhasználóbarátabb hibaüzenetet a JDBC-beállítás null értékének beállításakor
  • [SPARK-48635] [SC-169263][sql] Osztályok hozzárendelése illesztéstípushibákhoz és as-of illesztéshiba
  • [SPARK-49673] [SC-177032][connect] Növelje a CONNECT_GRPC_ARROW_MAX_BATCH_SIZE 0,7 * CONNECT_GRPC_MAX_MESSAGE_SIZE
  • [SPARK-49693] [SC-177071][python][CONNECT] A timedelta szöveges ábrázolásának finomítása
  • [SPARK-49687] [SC-176901][sql] Késleltetett rendezés a validateAndMaybeEvolveStateSchema
  • [SPARK-49718] [SC-177112][ps] Scatter mintaadatokra váltása
  • [SPARK-48472] [SC-169044][sql] A tükrözött kifejezések engedélyezése csoportosított sztringekkel
  • [SPARK-48484] [SC-167484][sql] Javítás: A V2Write ugyanazt a TaskAttemptId azonosítót használja a különböző tevékenységkísérletekhez
  • [SPARK-48341] [SC-166560][connect] Lehetővé teszi a beépülő modulok számára a QueryTest használatát a tesztjeikben
  • [SPARK-42252] [SC-168723][core] spark.shuffle.localDisk.file.output.buffer hozzáadása és spark.shuffle.unsafe.file.output.buffer elavulttá nyilvánítása
  • [SPARK-48314] [SC-166565][ss] Ne gyorsítótárazza duplán a FileStreamSource fájljait a Trigger.AvailableNow használatával
  • [SPARK-49567] [SC-176241][python] A PySpark-kódbázisból származó classic helyett vanilla használata
  • [SPARK-48374] [SC-167596][python] További PyArrow-táblaoszloptípusok támogatása
  • [SPARK-48300] [SC-166481][sql] Kódegenerálási támogatás from_xml számára
  • [SPARK-49412] [SC-177059][ps] Az összes meződiagram metrikáinak kiszámítása egyetlen feladatban
  • [SPARK-49692] [SC-177031][python][CONNECT] A konstans dátum és dátum idő sztringjének pontosítása
  • [SPARK-49392] [ES-1130351][sc-176705][SQL] Hibaüzenetek a külső adatforrásba való írás sikertelensége esetén
  • [SPARK-48306] [SC-166241][sql] Az UDT javítása hibaüzenetben
  • [SPARK-44924] [SC-166379][ss] Konfiguráció hozzáadása a FileStreamSource gyorsítótárazott fájljaihoz
  • [SPARK-48176] [SC-165644][sql] FIELD_ALREADY_EXISTS hibafeltétel nevének módosítása
  • [SPARK-49691] [SC-176988][python][CONNECT] Függvénynek substring oszlopneveket kell elfogadnia
  • [SPARK-49502] [SC-176077][core] Az NPE elkerülése a SparkEnv.get.shuffleManager.unregisterShuffle-ben
  • [SPARK-49244] [SC-176703][sql] További kivételfejlesztések az elemző/értelmező számára
  • [SPARK-48355] [SC-176684][sql] CASE utasítás támogatása
  • [SPARK-49355] [SC-175121][sql] levenshtein ellenőriznie kell, hogy az összes paramétertípus collation értékei megegyeznek-e
  • [SPARK-49640] [SC-176953][ps] Tározómintavétel alkalmazása SampledPlotBase
  • [SPARK-49678] [SC-176857][core] Támogatás spark.test.master a SparkSubmitArguments-ben
  • [SPARK-49680] [SC-176856][python] A Sphinx buildelt párhuzamosság alapértelmezés szerint 4-re van korlátozva
  • [SPARK-49396] Visszavonás: "[SC-176030][sql] Nullability check for CaseWhen expression"
  • [SPARK-48419] [SC-167443][sql] Cserélje le az összevonható oszlopot az összevonható propagálás során...
  • [SPARK-49556] [SC-176757][sql] Sql-cső szintaxisának hozzáadása az SELECT operátorhoz
  • [SPARK-49438] [SC-175237][sql] A FromAvro & ToAvro kifejezés szép nevének javítása
  • [SPARK-49659] [SC-1229924][sql] Szolgáltasson egy felhasználóbarát hibát a skaláris al-lekérdezésekhez a VALUES záradékon belül
  • [SPARK-49646] [SC-176778][sql] javítsa az allekérdezések dekorrelációját az unió/halmazműveletek esetén, amikor a parentOuterReferences olyan hivatkozásokat tartalmaz, amelyekre a collectedChildOuterReferences nem terjed ki
  • [SPARK-49354] [SC-175034][sql] split_part ellenőriznie kell, hogy az összes paramétertípus collation értékei megegyeznek-e
  • [SPARK-49478] [SC-175914][connect] Null metrikák kezelése a ConnectProgressExecutionListenerben
  • [SPARK-48358] [SC-176374][sql] REPEAT utasítás támogatása
  • [SPARK-49183] [SC-173680][sql] A V2SessionCatalog.createTable-nek figyelembe kell vennie a PROP_IS_MANAGED_LOCATION-t.
  • [SPARK-49611] [SC-176791][sql] A TVF bevezetése collations() & távolítsa el a SHOW COLLATIONS parancsot
  • [SPARK-49261] [SC-176589][sql] Az összesítő kifejezésekben lévő literálokat ne cserélje le csoportosítási kifejezésekre
  • [SPARK-49099] [SC-173229][sql] CatalogManager.setCurrentNamespace tiszteletben kell tartania az egyéni munkamenet-katalógust
  • [SPARK-49594] [SC-176569][ss] Annak ellenőrzése, hogy a StateSchemaV3 fájl írásához hozzáadták vagy eltávolították-e az oszlopfamiliákat
  • [SPARK-49578] [SC-176385][sql] Távolítsa el az ANSI konfigurációs javaslatát a CAST_OVERFLOW és CAST_INVALID_INPUT esetében.
  • [SPARK-48882] [SC-174256][ss] Nevek hozzárendelése streamelési kimeneti móddal kapcsolatos hibaosztályokhoz
  • [SPARK-49155] [SC-176506][sql][SS] A GenericArrayData létrehozásához használjon megfelelőbb paramétertípust
  • [SPARK-49519] [SC-176388][sql] A tábla és a reláció opcióinak egyesítése a FileScanBuilder létrehozásakor
  • [SPARK-49591] [SC-176587][sql] Logikai típus oszlop hozzáadása a változatolvasáshoz
  • [SPARK-49596] [SC-176423][sql] A FormatString teljesítményének javítása
  • [SPARK-49525] [SC-176044][ss][CONNECT] Kisebb naplófejlesztés a kiszolgálóoldali streamelési lekérdezésfigyelőbus-figyelőhöz
  • [SPARK-49583] [SC-176272][sql] Adja meg a hiba alfeltételét SECONDS_FRACTION érvénytelen másodperces törtminta esetén
  • [SPARK-49536] [SC-176242] A Python streamelési adatforrásrekord-előkezelésével kapcsolatos hiba kezelése
  • [SPARK-49443] [SC-176273][sql][PYTHON] Implementálja a to_variant_object kifejezéseket, és a schema_of_variant kifejezések OBJECT-t nyomtatnak ki a Variant objektumok számára.
  • [SPARK-49544] [SASP-3990][sc-176557][CONNECT] A SparkConnectExecutionManager durva zárolását cseréljük ki ConcurrentMap-ra
  • [SPARK-49548] [SASP-3990][sc-176556][CONNECT] Cserélje le a durva zárolást a SparkConnectSessionManagerben egyidejű leképezéssel
  • [SPARK-49551] [SC-176218][ss] A RocksDB-napló javítása a visszajátszáshozChangelog
  • [SPARK-49595] [SC-176396][connect][SQL] DataFrame.unpivot/melt javítása a Spark Connect Scala-ügyfélprogramban
  • [SPARK-49006] [SC-176162] Purging implementálása OperatorStateMetadataV2 és StateSchemaV3 fájlokhoz
  • [SPARK-49600] [SC-176426][python] Távolítsa el a Python 3.6 and older-hez kapcsolódó logikát try_simplify_traceback-ból.
  • [SPARK-49303] [SC-176013][ss] TTL implementálása ValueState-hez az transformWithStateInPandas API-ban
  • [SPARK-49191] [SC-176243][ss] Támogatás hozzáadása a transformWithState leképezési állapotban lévő változók állapotadat-olvasóval történő olvasásához
  • [SPARK-49593] [SC-176371][ss] Dobja a hívónak a RocksDB-kivételt a lezárás során, ha hiba lép fel
  • [SPARK-49334] [SC-174803][sql] str_to_map ellenőriznie kell, hogy az összes paramétertípus collation értékei megegyeznek-e
  • [SPARK-42204] [SC-176126][core] Lehetőség hozzáadása a TaskMetrics belső akkumulátorainak redundáns naplózásának letiltásához az eseménynaplókban
  • [SPARK-49575] [SC-176256][ss] Csak akkor adja hozzá a zárolási kiadás naplózását, ha a megkapottThreadInfo nem null értékű
  • [SPARK-49539] [SC-176250][ss] A belső oszlopcsaládok kezdőazonosítójának frissítése egy másikra
  • [SPARK-49205] [SC-173853][sql] A KeyGroupedPartitioningnek örökölnie kell a HashPartitioningLiket
  • [SPARK-49396] [SC-176030][sql] Módosítsa a nullálhatósági ellenőrzést a CaseWhen kifejezéshez
  • [SPARK-49476] [SC-175700][sql] A base64 függvény null értékűségének javítása
  • [SPARK-47262] [SC-174829][sql] Nevek hozzárendelése a parquet-konverziók hibafeltételeihez
  • [SPARK-47247] [SC-158349][sql] Használjon kisebb célméretet, ha a partíciókat robbanásszerű illesztésekkel egyesíti
  • [SPARK-49501] [SC-176166][sql] A tábla helyének dupla escapelésének javítása
  • [SPARK-49083] [SC-173214][connect] Engedélyezi a from_xml és from_json natív használatát json-sémákkal
  • [SPARK-49043] [SC-174673][sql] Kijavítottuk az értelmezett codepath csoportot a rendezett sztringeket tartalmazó térképen
  • [SPARK-48986] [SC-172265][connect][SQL] Oszlopcsomópont köztes ábrázolásának hozzáadása
  • [SPARK-49326] [SC-176016][ss] A Foreach sink felhasználói függvény hibáinak hibaosztályba sorolása
  • [SPARK-48348] [SC-175950][spark-48376][SQL] LEAVE és ITERATE utasítások bemutatása
  • [SPARK-49523] [SC-175949][connect] A kapcsolódási kiszolgáló maximális várakozási idejének növelése a teszteléshez
  • [SPARK-49000] [BEHAVE-105][es-1194747][SQL] Kijavítottuk a "select count(distinct 1) from t" kifejezést, ahol a t üres tábla a RewriteDistinctAggregates bővítésével – Databricks Runtime verzió 16.x
  • [SPARK-49311] [SC-175038][sql] Lehetővé teszi, hogy a nagy 'másodperces intervallum' értékek tizedes törtté alakíthatók legyenek.
  • [SPARK-49200] [SC-173699][sql] Null típusú, nem codegen alapú rendezési kivétel javítása
  • [SPARK-49467] [SC-176051][ss] Támogatás hozzáadása az állapotadat-olvasóhoz és a listaállapothoz
  • [SPARK-47307] [SC-170891][sql] Egy konfiguráció hozzáadása, amely lehetővé teszi a base64-sztringek opcionális feldarabolását
  • [SPARK-49391] [SC-176032][ps] A dobozdiagram kiugró értékeket választ ki a kerítésektől való távolság alapján
  • [SPARK-49445] [SC-175845][ui] A tooltip megjelenítésének támogatása a felhasználói felület folyamatjelző sávjában
  • [SPARK-49451] [SC-175702] Duplikált kulcsok engedélyezése parse_json.
  • [SPARK-49275] [SC-175701][sql] Az xpath kifejezés visszatérési típusának nullértékének javítása
  • [SPARK-49021] [SC-175578][ss] Az transformWithState értékállapot-változók állapotadat-olvasóval való olvasásának támogatása
  • [SPARK-49474] [BEHAVE-143][sc-169253][SC-175933][ss] A FlatMapGroupsWithState felhasználói függvény hibaosztályának besorolása
  • [SPARK-49408] [SC-175932][sql] Az IndexedSeq használata a ProjectingInternalRow-ban
  • [SPARK-49509] [SC-175853][core] Platform.allocateDirectBuffer használata ByteBuffer.allocateDirect helyett
  • [SPARK-49382] [SC-175013][ps] A keretdobozok rajzának megfelelően renderelje a szórólapokat/kiugró értékeket
  • [SPARK-49002] [SC-172846][sql] Az érvénytelen helyek következetes kezelése a WAREHOUSE/SCHEMA/TABLE/PARTITION/ DIRECTORY esetében
  • hu-HU: [SPARK-49480] [SC-175699][core] NullPointerException hiba javítása SparkThrowableHelper.isInternalError
  • [SPARK-49477] [SC-175828][python] A pandas udf érvénytelen visszatérési típusával kapcsolatos hibaüzenet javítása
  • [SPARK-48693] [SC-169492][sql] Az Invoke és a StaticInvoke toString metódusainak egyszerűsítése és egységesítése
  • [SPARK-49441] [SC-175716][ml] StringIndexer tömbök rendezése végrehajtókban
  • [SPARK-49347] [SC-175004][r] SparkR elavulás alá kerül
  • [SPARK-49357] [SC-175227][connect][PYTHON] Függőlegesen csonkítsa a mélyen beágyazott protobuf üzenetet
  • [SPARK-41982] [SC-120604][sql] A sztring típusú partíciókat nem szabad numerikus típusként kezelni
  • [SPARK-48776] [SC-170452][behave-72] Kijavítottuk a json, xml és csv időbélyeg-formázását
  • [SPARK-49223] [SC-174800][ml] A StringIndexer.countByValue egyszerűsítése beépített függvényekkel
  • [SPARK-49016] "[SC-174663][sql] Állítsa vissza a nyers CSV-fájlokból származó lekérdezések viselkedését, amikor azok tiltottak, ha csak a sérült rekordoszlopot tartalmaznak, és nevet ad a _LEGACY_ERROR_TEMP_1285-nek"
  • [SPARK-49041] [SC-172392][python][CONNECT] Adjon megfelelő hibát, ha rossz dropDuplicates van megadva subset-hez
  • [SPARK-49050] [SC-175235] DeleteIfExists operátor engedélyezése virtuális oszlopcsaládokkal rendelkező TWS-ben
  • [SPARK-49216] [SC-173919][core]Javítás, hogy ne naplózza az üzenetkörnyezetet kifejezetten létrehozott LogEntry esetén, amikor a strukturált naplózási konfiguráció ki van kapcsolva
  • [SPARK-49252] [SC-175596][core] Tegye függetlenséTaskSetExcludeList és HeathTracker
  • [SPARK-49352] [SC-174971][sql] Kerülje az azonos kifejezés redundáns tömbátalakítását
  • [SPARK-42307] [SC-173863][sql] A hiba nevének hozzárendelése _LEGACY_ERROR_TEMP_2232
  • [SPARK-49197] [SC-173732][core] Cenzúrázza Spark Command kimenet launcher modulban
  • [SPARK-48913] [SC-173934][sql] Az IndentingXMLStreamWriter implementálása
  • [SPARK-49306] [SC-175363][python][SQL] SQL-függvény-aliasok létrehozása a "zeroifnull" és a "nullifzero" függvényhez
  • [SPARK-48344] [SQL] SQL-szkriptek végrehajtása (beleértve a Spark Connectet)
  • [SPARK-49402] [SC-175122][python] Binder-integráció javítása a PySpark dokumentációjában
  • [SPARK-49017] [SC-174664][sql] A beszúrási utasítás több paraméter használatakor meghiúsul
  • [SPARK-49318] [SC-174733][sql] Alacsony prioritású hiba megelőzése az LCA-n az ellenőrzési elemzés befejezéséig a hibaélmény javítása érdekében
  • [SPARK-49016] [SC-174663][sql] Állítsa vissza azt a viselkedést, amely szerint a nyers CSV-fájlok lekérdezései nem engedélyezettek, ha csak sérült rekordoszlopot tartalmaz, és nevet rendel hozzá _LEGACY_ERROR_TEMP_1285
  • [SPARK-49387] [SC-175124][python] A accuracy és percentile_approxapprox_percentile típustippének javítása
  • [SPARK-49131] [SC-174666][ss] Az TransformWithState-nek az implicit csoportosítási kulcsokat még lusta iterátorokkal is megfelelően kell beállítania
  • [SPARK-49301] [SC-174795][ss] Az Apache Arrow adattömb átadása a Python munkásfolyamatnak
  • [SPARK-49039] [SC-174651][ui] A jelölőnégyzet alaphelyzetbe állítása, amikor a végrehajtói metrikák betöltődnek a Szakaszok lapon
  • [SPARK-48428] [SC-169806][sql]: IllegalStateException javítása a NestedColumnAliasingben
  • [SPARK-49353] [SC-174830][sql] UTF-32 kódolással/dekódolással kapcsolatos frissítési dokumentumok
  • [SPARK-48613] [SC-170966][sql] SPJ: Az egyik oldal automatikus átrendezésének támogatása + kevesebb illesztőkulcs, mint a partíciókulcsok
  • [SPARK-47473] [SC-160450][viselkedés-127][SQL] Kijavítottuk az INFINITY időbélyegek konvertálásának helyességi problémáját.
  • [SPARK-49142] [SC-173658][connect][PYTHON] Következő lépés: visszaállás a protoból sztringre a teljesítményköltség csökkentése érdekében
  • [SPARK-49300] [SC-175008][core] Kijavítottuk a Hadoop-delegálási jogkivonat kiszivárgását, ha a tokenRenewalInterval nincs beállítva.
  • [SPARK-49367] [SC-175012][ps] Több oszlop KDE-számításának párhuzamosítása (ábrázolási háttérrendszer)
  • [SPARK-49365] [SC-175011][ps] Egyszerűsítse a hisztogram ábra gyűjtő aggregációját
  • [SPARK-49372] [SC-175003][ss] Győződjön meg arról, hogy a latestSnapshot értéke üresre van állítva bezáráskor, a későbbi használat elkerülése érdekében
  • [SPARK-49341] [SC-174785] Távolítsa el connector/docker a következő javára: Apache Spark Operator
  • [SPARK-49344] [SC-174894][ps] A Pandas API támogatásának json_normalize támogatása a Sparkon
  • [SPARK-49306] [SC-174794][sql] Új "zeroifnull" és "nullifzero" SQL-függvények létrehozása
  • [SPARK-48796] [SC-174668][ss] Oszlopcsalád-azonosító betöltése a RocksDBCheckpointMetadata fájlból a VCF-hez újraindításkor
  • [SPARK-49342] [SC-174899][sql] A jsonFormatSchema SQL-függvény argumentumának TO_AVRO megadása nem kötelező
  • [SPARK-48628] [SC-174695][core] Tevékenységcsúcs hozzáadása halommemória-metrikákhoz
  • [SPARK-47407] [SC-159379][viselkedés-126][SQL] Támogatni a java.sql.Types.NULL leképezését NullType-ra
  • [SPARK-48628] [SC-173407][core] Feladat csúcsértékeinek hozzáadása be-/kihalmozott memória metrikákhoz
  • [SPARK-49166] [SC-173987][sql] Támogatja a OFFSET a korrelált részlekérdezésben
  • [SPARK-49269] [SC-174676][sql] Az AstBuilder VALUES() listájának lelkes kiértékelése
  • [SPARK-49281] [SC-174782][sql] A parquet bináris getBytes optimalizálása a getBytesUnsafe használatával a másolási költség elkerülése érdekében
  • [SPARK-49113] [SC-174734] Ne érvényesítse a fordítási hibákat – csendben nyelje el a kivételt
  • [SPARK-49098] [SC-173253][sql] Írási beállítások hozzáadása INSERT
  • [SPARK-48638] [SC-174694][follow][CONNECT] A ExecutionInfo dokumentációjának javítása
  • [SPARK-49250] [ES-1222826][sql] A beágyazott "UnresolvedWindowExpression" kifejezés hibaüzenetének javítása a CheckAnalysis során.
  • [SPARK-48755] [SC-174258][ss][PYTHON] transformWithState pyspark alapimplementáció és ValueState támogatás
  • [SPARK-48966] [SC-174329][sql] Javítsuk az UDTF-hívásban megjelenő hibaüzenetet az érvénytelen, megoldatlan oszlophivatkozás esetén.
  • [SPARK-46590] [SC-154115][sql] A coalesce hibás működésének javítása a nem várt partíció indexek miatt
  • [SPARK-49235] [SC-174159][sql] Refactor ResolveInlineTables szabály, hogy ne lépje át az egész fát
  • [SPARK-49060] [SC-173107][connect] Mima-szabályok törlése SQL-Connect bináris kompatibilitási ellenőrzésekhez
  • [SPARK-48762] [SC-172525][sql] A ClusterBy DataFrameWriter API bevezetése Pythonhoz
  • [SPARK-49207] [SC-173852][sql] Az egy-a-többhöz esetleképezés javítása a SplitPart és a StringSplitSQL-ben
  • [SPARK-49204] [SC-173850][sql] A helyettesítő párok kezelésének javítása a StringInstr és a StringLocate alkalmazásban
  • [SPARK-36680] [SC-170640][sql] Támogatja a Spark SQL dinamikus táblázatbeállításainak használatát
  • [SPARK-49204] [SC-173849][sql] A helyettesítő párok kezelésének javítása a SubstringIndexben
  • [SPARK-49204] [SC-173848][sql] Helyettesítő párok kezelése a StringTrimben
  • [SPARK-48967] [SC-173993]A SparkConfigOwnershipSuite előretekintő tesztjének javítása az OPTIMIZE_INSERT_INTO_VALUES_PARSER számára.
  • [SPARK-49204] [SC-173851][sql] Helyettesítő párok kezelésének javítása a StringReplace-ben
  • [SPARK-48967] [SC-173993][sql][16.x] Javítsa a teljesítményt és a memória lábnyomát a „INSERT INTO ... VALUES" Nyilatkozatok
  • [SPARK-49099] Visszavon “[SC-173229][sql] CatalogManager.setCurrent…
  • [SPARK-48347] [SC-173812][sql] AZ WHILE utasítás támogatása
  • [SPARK-49128] [SC-173344][core] Egyéni előzménykiszolgáló felhasználói felület címének támogatása
  • [SPARK-49146] [SC-173825][ss] A hozzáfűző módú streamelési lekérdezésekben hiányzó vízjelekkel kapcsolatos helyességi hibák áthelyezése hibakeretbe
  • [SPARK-45787] [SC-172197][sql] Támogatás a Catalog.listColumns funkcióhoz a klaszterezett oszlopokhoz
  • [SPARK-49099] [SC-173229][sql] CatalogManager.setCurrentNamespace tiszteletben kell tartania az egyéni munkamenet-katalógust
  • [SPARK-49138] [SC-173483][sql] Több kifejezés CollationTypeCasts-jának javítása
  • [SPARK-49163] [SC-173666][sql] Hibás parquet partícióadatok alapján történő táblakészítési kísérlet esetén felhasználói szinten megjelenő hibajelzést kell adnia.
  • [SPARK-49201] [SC-173793][ps][PYTHON][connect] hist-diagram újraillesztése a Spark SQL-vel
  • [SPARK-49188] [SC-173682][sql] Belső hiba, amikor a concat_ws függvény sztringtömbök tömbjén van meghívva.
  • [SPARK-49137] [SC-173677][sql] Ha az if statement logikai feltétele érvénytelen, kivételt kell alkalmazni
  • [SPARK-49193] [SC-173672][sql] A RowSetUtils.toColumnBasedSet teljesítményének javítása
  • [SPARK-49078] [SC-173078][sql] Az oszlopok megjelenítő szintaxisának támogatása a v2-táblában
  • [SPARK-49141] [SC-173388][sql] A variáns megjelölése hive inkompatibilis adattípusként
  • [SPARK-49059] [Cherry-Pick][15.x][SC-172528][connect] SessionHolder.forTesting(...) áthelyezése a tesztcsomagba
  • [SPARK-49111] [SC-173661][sql] Áthelyezés aProjectAndFilterrel a DataSourceV2Strategy társobjektumára
  • [SPARK-49185] [SC-173688][ps][PYTHON][connect] Reimplementálja a kde ábrát a Spark SQL használatával
  • [SPARK-49178] [SC-173673][sql] Optimalizálja a Row#getSeq teljesítményét a Spark 3.5 Scala 2.12-vel való használatakor
  • [SPARK-49093] [SC-172958][sql] GROUP BY MapType komplex típusba van ágyazva
  • [SPARK-49142] [SC-173469][connect][PYTHON] Alacsonyabb Spark Connect ügyfélnapló-szint hibakereséshez
  • [SPARK-48761] [SC-172048][sql] A ClusterBy DataFrameWriter API bemutatása Scalához
  • [SPARK-48346] [SC-173083][sql] IF ELSE utasítások támogatása SQL-szkriptekben
  • [SPARK-48338] [SC-173112][sql] Az elemző/értelmező által kidobott kivételek javítása
  • [SPARK-48658] [SC-169474][sql] A kódolási/dekódolási függvények a nem leképezhető karakterek esetén a kódolási hibákat jelentik a mojibake helyett
  • [SPARK-49071] [SC-172954][sql] ArraySortLike tulajdonság eltávolítása
  • [SPARK-49107] "Revert "[SC-173103][sql] ROUTINE_ALREADY_EXISTS támogatja a Rutintípust""
  • [SPARK-49070] [SC-172907][ss][SQL] A TransformWithStateExec.initialState helytelenül van átírva érvénytelen lekérdezési terv létrehozásához
  • [SPARK-49114] [SC-173217] Az alkategorizálás nem tudja betölteni az állapottároló hibáit
  • [SPARK-49107] Fordítsd vissza “[SC-173103][sql] ROUTINE_ALREADY_EXISTS támogatja a RoutineType-ot”
  • [SPARK-49048] [SC-173223][ss] Támogatás hozzáadása a megfelelő operátor metaadatainak olvasásához adott kötegazonosítónál
  • [SPARK-49094] [SC-173049][sql] Kijavítottuk az ignoreCorruptFiles nem működőképes állapotát a Hive ORC megvalósításában a mergeSchema kikapcsolásával.
  • [SPARK-49108] [SC-173102][példa] submit_pi.sh REST API-példa hozzáadása
  • [SPARK-49107] [SC-173103][sql] ROUTINE_ALREADY_EXISTS támogatja a Rutintípust
  • [SPARK-48997] [SC-172484][ss] Egyéni kirakódások implementálása a karbantartási szálkészletben bekövetkező szálhibák esetén
  • [SPARK-49063] [SC-173094][sql] Javítás a 'Between' függvény ScalarSubqueries használatával történő alkalmazásában.
  • [SPARK-45891] [SC-172305][sql][PYTHON][variant] Az intervallumtípusok támogatása a Variant Specben
  • [SPARK-49074] [BEHAVE-110][sc-172815][SQL] A változat javítása df.cache()
  • [SPARK-49003] [SC-172613][sql] Kijavítottuk az értelmezett kód útvonalazásának kivonatolását, hogy figyelembe vegye a rendezést
  • [SPARK-48740] [SC-172430][sql] A hiányzó ablak specifikációs hibájának korai észlelése
  • [SPARK-48999] [SC-172245][ss] Divide PythonStreamingDataSourceSimpleSuite
  • [SPARK-49031] [SC-172602] Az érvényesítés implementálása a TransformWithStateExec operátorhoz az OperatorStateMetadataV2 használatával
  • [SPARK-49053] [SC-172494][python][ML] A modell mentési/betöltési segédfüggvényei fogadják el a Spark-munkamenetet
  • [SPARK-49032] [Backport][15.x][SS] Sémaútvonal hozzáadása metaadattábla-bejegyzésben, a várt verzió ellenőrzése és operátori metaadatokkal kapcsolatos teszt hozzáadása a v2 operátori metaadat-formátumhoz
  • [SPARK-49034] [SC-172306][core] Támogatja a kiszolgálóoldali sparkProperties cseréjét a REST Submission API-ban
  • [SPARK-48931] [SC-171895][ss] A cloud store list API költségeinek csökkentése az állapottár karbantartási feladatához
  • [SPARK-48849] [SC-172068][ss]Hozzon létre OperatorStateMetadataV2-t a TransformWithStateExec operátorhoz
  • [SPARK-49013] [SC-172322] Kulcsának módosítása az összerendelési táblázatban a Térkép- és tömbtípusok összetérképezéséhez scalában.
  • [SPARK-48414] [SC-171884][python] Python kódjában található kritikus hiba javítása fromJson
  • [SPARK-48910] [SC-171001][sql] HashSet/HashMap használatával elkerülheti a lineáris keresést a PreprocessTableCreation alkalmazásban
  • [SPARK-49007] [SC-172204][core] A MasterPage javítása egyéni cím támogatásához
  • [SPARK-49009] [SC-172263][sql][PYTHON] Az oszlop API-k és függvények Enum típusokat fogadjanak el.
  • [SPARK-49033] [SC-172303][core] A kiszolgálóoldali environmentVariables cseréje a REST Submission API-ban
  • [SPARK-48363] [SC-166470][sql] Néhány redundáns kód törlése from_xml
  • [SPARK-46743] [SC-170867][sql][BEHAVE-84] Számolóhiba, miután a ScalarSubquery összevonásra kerül, ha üres relációt tartalmaz
  • [SPARK-49040] [SC-172351][sql] A dokumentum sql-ref-syntax-aux-exec-imm.md javítása
  • [SPARK-48998] [SC-172212][ml] Metaalgoritmusok a SparkSession használatával mentik/töltik be a modellt
  • [SPARK-48959] [SC-171708][sql] NoSuchNamespaceException bővítse ki NoSuchDatabaseException a kivételkezelés visszaállításához
  • [SPARK-48996] [SC-172130][sql][PYTHON] Engedélyezze az oszlop ,, valamint vagy literáljainak a használatát
  • [SPARK-48990] [SC-171936] #101759 nyomon követése – tesztjavítás
  • [SPARK-48338] [SC-171912][sql] Változódeklarációk ellenőrzése
  • [SPARK-48990] [SC-171936][sql] Egyesített változóhoz kapcsolódó SQL-szintaxis kulcsszavak
  • [SPARK-48988] [SC-171915][ml] Tegye a DefaultParamsReader/Writer-t alkalmassá a metaadatok kezelésére a Spark-munkamenet segítségével
  • [SPARK-48974] [SC-171978][sql][SS][ml][MLLIB] SparkSession.implicits használata SQLContext.implicits helyett
  • [SPARK-48760] [SC-170870][sql] CatalogV2Util.applyClusterByChanges javítása
  • [SPARK-48928] [SC-171956] Naplóriasztás a .unpersist() helyileg ellenőrzőponttal beállított RDD-k hívásához
  • [SPARK-48760] [SC-170139][sql] Bevezetés ALTER TABLE ... CLUSTER BY SQL-szintaxis a fürtöző oszlopok módosításához
  • [SPARK-48844] "[SC-170669][sql] INVALID_EMPTY_LOCATION használata az UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY helyett, amikor az elérési út üres"
  • [SPARK-48833] [SC-171914][sql][VARIANT] Támogatási változat a InMemoryTableScan
  • [SPARK-48975] [SC-171894][protobuf] Távolítsa el a szükségtelen ScalaReflectionLock definíciót a protobuf
  • [SPARK-48970] [SC-171800][python][ML] Kerülje a SparkSession.getActiveSession használatát a Spark ML-olvasóban/íróban
  • [SPARK-48844] [SC-170669][sql] INVALID_EMPTY_LOCATION használata UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY helyett, ha az elérési út üres
  • [SPARK-48714] [SC-170136] Sikertelen df.mergeInto-tesztek javítása a PySparkban és az UC-ban
  • [SPARK-48957] [SC-171797][ss] A hdfs és a rocksdb szolgáltató állapottároló-terhelésének alosztályozott hibaosztályát adja vissza
  • [SPARK-48891] [Backport][15x][SC-171677][ss] Átalakítás a StateSchemaCompatibilityChecker egységesítése érdekében az összes állapotsémaformátumban
  • [SPARK-48972] [SC-171795][python] A függvények konstans sztringkezelésének egyesítése
  • [SPARK-48388] [SC-171337][sql] Az SQL-szkriptek SET utasítási viselkedésének javítása
  • [SPARK-48743] [SC-170552][sql][SS] Az MergingSessionIterator-nak jobban kell kezelnie, amikor a getStruct null értéket ad vissza.
  • [SPARK-48623] [15.x][sc-171322][CORE] FileAppender-naplók áttelepítése strukturált naplózásra
  • [SPARK-36680] [DBRRM-1123] "[SC-170640][sql] Támogatja a Spark SQL dinamikus táblázatbeállításainak használatát"
  • [SPARK-48841] [SC-170868][viselkedés-83][SQL] A collationName-ben a sql()-t és a Collate-at belefoglalva
  • [SPARK-48941] [SC-171703][python][ML] Cserélje le az RDD olvasási/ írási API-hívását dataframe olvasási/írási API-ra
  • [SPARK-48938] [SC-171577][python] A Python UDTF-ek regisztrálásakor megjelenő hibaüzenetek javítása
  • [SPARK-48350] [SC-171040][sql] Az SQL-szkriptek egyéni kivételeinek bevezetése
  • [SPARK-48907] [SC-171158][sql] A explicitTypes értékének javítása a COLLATION_MISMATCH.EXPLICIT-ben
  • [SPARK-48945] [SC-171658][python] A regex függvények egyszerűsítése lit
  • [SPARK-48944] [SC-171576][connect] A JSON formátumú sémakezelés egységesítése a Connect Serverben
  • [SPARK-48836] [SC-171569] SQL-séma integrálása állapotsémával/metaadatokkal
  • [SPARK-48946] [SC-171504][sql] NPE redact metódusban null munkamenet esetén
  • [SPARK-48921] [SC-171412][sql] A ScalaUDF-kódolókat a mergeInto esetében fel kell oldani
  • [SPARK-45155] [SC-171048][connect] API Docs hozzáadása Spark Connect JVM-hez/Scala-ügyfélhez
  • [SPARK-48900] [SC-171319] Mező hozzáadása reason, cancelJobGroup és cancelJobsWithTag
  • [SPARK-48865] [SC-171154][sql] Try_url_decode függvény hozzáadása
  • [SPARK-48851] [SC-170767][sql] Módosítsa a SCHEMA_NOT_FOUND értékét namespace értékéről catalog.namespace
  • [SPARK-48510] [SC-170893][2/2] Az UDAF toColumn API támogatása a Spark Connectben
  • [SPARK-45190] [SC-171055][spark-48897][PYTHON][connect] A StructType séma támogatásának engedélyezése from_xml
  • [SPARK-48930] [SC-171304][core] Redact awsAccessKeyId a accesskey minta beillesztésével
  • [SPARK-48909] [SC-171080][ml][MLLIB] SparkSession-t használ a SparkContexten keresztül metaadatok írásakor
  • [SPARK-48883] [SC-171133][ml][R] Az RDD olvasási/írási API-hívásának cseréje Dataframe olvasási/írási API-ra
  • [SPARK-48924] [SC-171313][ps] Pandas-szerű make_interval segédfüggvény hozzáadása
  • [SPARK-48884] [SC-171051][python] A nem használt segédfüggvény eltávolítása PythonSQLUtils.makeInterval
  • [SPARK-48817] [SC-170636][sql] Több parancs gyors egymásutánban történő egyesített végrehajtása
  • [SPARK-48896] [SC-171079][ml][MLLIB] A metaadatok írásakor kerülje az újraparticionálást
  • [SPARK-48892] [SC-171127][ml] A soronkénti paraméterek olvasásának elkerülése Tokenizer
  • [SPARK-48927] [SC-171227][core] A gyorsítótárazott RDD-k számának megjelenítése StoragePage
  • [SPARK-48886] [15.x][backport][SC-171039][ss] Verzióinformációk hozzáadása a v2 változásnaplóhoz a könnyebb fejleszthetőség érdekében
  • [SPARK-48903] [SC-171136][ss] Állítsa be a RocksDB utolsó pillanatkép-verzióját megfelelően távoli terhelésen
  • [SPARK-48742] [SC-170538][ss] Virtuális Oszlopcsalád a RocksDB-hez
  • [SPARK-48726] [15.x][sc-170753][SS] Hozza létre a StateSchemaV3 fájlformátumot, és írja ki a TransformWithStateExec operátor számára
  • [SPARK-48794] [SC-170882][connect][15.x] df.mergeInto támogatás a Spark Connecthez (Scala és Python)
  • [SPARK-48714] [SC-170136][python] Implementálás DataFrame.mergeInto a PySparkban
  • [SPARK-48772] [SC-170642][ss][SQL] Állapotadat-forrás Változás-hírcsatorna Olvasó Mód
  • [SPARK-48666] [SC-170887][sql] Ne küldjön le szűrőt, ha PythonUDF-eket tartalmaz
  • [SPARK-48845] [SC-170889][sql] GenericUDF elkapja a kivételeket a gyerekektől
  • [SPARK-48880] [SC-170974][core] Kerülje a NullPointerException elvetését, ha az illesztőprogram beépülő modul nem inicializálható
  • [SPARK-48888] [Backport][15x][SC-170973][ss] Távolítsa el a pillanatkép létrehozását a változásnapló műveletek mérete alapján
  • [SPARK-48871] [SC-170876] INVALID_NON_DETERMINISTIC_EXPRESSIONS validációjának javítása a következőben:
  • [SPARK-48883] [SC-170894][ml][R] Cserélje le az RDD olvasási/ írási API-hívását dataframe olvasási/írási API-ra
  • [SPARK-36680] [SC-170640][sql] Támogatja a Spark SQL dinamikus táblázatbeállításainak használatát
  • [SPARK-48804] [SC-170558][sql] classIsLoadable hozzáadása & OutputCommitter.isAssignableFrom ellenőrzése a kimeneti rögzítő osztály konfigurációihoz
  • [SPARK-46738] [SC-170791][python] Dokumentumtesztek egy csoportjának újraküldése
  • [SPARK-48858] [SC-170756][python] Az elavult setDaemonThread metódushívás eltávolítása a log_communication.py-ból.
  • [SPARK-48639] [SC-169801][connect][PYTHON] Forrás hozzáadása a RelationCommonhoz
  • [SPARK-48863] [SC-170770][es-1133940][SQL] Javítás a ClassCastException hibára a JSON elemzésekor, amikor a „spark.sql.json.enablePartialResults” be van kapcsolva.
  • [SPARK-48343] [SC-170450][sql] Az SQL Scripting-értelmező bemutatása
  • [SPARK-48529] [SC-170755][sql] A címkék bemutatása az SQL Scriptingben
  • [SPARK-45292] "Visszavonás: [SC-151609][sql][HIVE] Guava eltávolítása a megosztott osztályokból az IsolatedClientLoaderből"
  • [SPARK-48037] [SC-165330][core][3.5] A SortShuffleWriter javítása nem tartalmaz az írással kapcsolatos metrikákat, amelyek esetleg pontatlan adatokat eredményeznek
  • [SPARK-48720] [SC-170551][sql] A parancs ALTER TABLE ... UNSET TBLPROPERTIES ... igazítása az 1. és a 2. verzióban
  • [SPARK-48485] [SC-167825][connect][SS] Támogatás az interruptTag és interruptAll használatára a streamelési lekérdezésekben.
  • [SPARK-45292] [SC-151609][sql][HIVE] Guava eltávolítása a megosztott osztályokból az IsolatedClientLoaderből
  • [SPARK-48668] [SC-169815][sql] Az ALTER NAMESPACE támogatása ... NEM BEÁLLÍTOTT TULAJDONSÁGOK v2
  • [SPARK-47914] [SC-165313][sql] Ne jelenítse meg a felosztási paramétert a tartományban
  • [SPARK-48807] [SC-170643][sql] Bináris támogatás CSV-adatforráshoz
  • [SPARK-48220] [SC-167592][python][15.X] A PyArrow-tábla átadásának engedélyezéseDataFrame() létrehozásához
  • [SPARK-48545] [SC-169543][sql] To_avro és from_avro SQL-függvények létrehozása a DataFrame-ekvivalenseknek megfelelően
  • [SPARK-47577] [SC-168875][spark-47579] A naplókulcs TASK_ID félrevezető használatának javítása

Databricks ODBC/JDBC meghajtó támogatása

A Databricks támogatja az elmúlt 2 évben kiadott ODBC/JDBC-illesztőprogramokat. Töltse le a nemrég kiadott illesztőprogramokat és frissítsen (töltse le az ODBC-t, töltse le a JDBC-t).

Rendszerkörnyezet

  • Operációs rendszer: Ubuntu 24.04.1 LTS
  • Java: Zulu17.50+19-CA
  • Scala: 2.12.15
  • Python: 3.12.3
  • R: 4.4.0
  • Delta Lake: 3.2.1

Telepített Python-kódtárak

Könyvtár verzió Könyvtár verzió Könyvtár verzió
széljegyzetes típusok 0.7.0 asttokens 2.0.5 astunparse 1.6.3
automatikus parancs 2.2.2 azure-core 1.31.0 Azure-tároló-blob 12.23.0
Azure-tároló-fájl-adattó (Azure Storage File Data Lake) 12.17.0 backports.tarfile 1.2.0 fekete 24.4.2
villogó 1.7.0 boto3 1.34.69 botocore 1.34.69
Gyorstár-eszközök 5.3.3 tanúsítvány 2024.6.2. cffi 1.16.0
Chardet 4.0.0 karakterkészlet-normalizáló (charset-normalizer) 2.0.4 kattintás 8.1.7
Cloudpickle 2.2.1 kommunikáció 0.2.1 ContourPy 1.2.0
kriptográfia 42.0.5 biciklista 0.11.0 Cython 3.0.11
databricks SDK 0.30.0 dbus-python 1.3.2 debugpy hibakereső eszköz 1.6.7
dekorátor 5.1.1 Elavult 1.2.14 distlib 0.3.8
docstring Markdown-formátummá alakítása 0.11 belépési pontok 0,4 Végrehajtó 0.8.3
aspektusok áttekintése 1.1.1 fájlzárolás 3.15.4 betűtípusok 4.51.0
gitdb 4.0.11 GitPython 3.1.37 google-api-core 2.20.0
Google-autentikáció 2.35.0 google-cloud-core (Google felhő mag) 2.4.1 Google felhőtárhely 2.18.2
google-crc32c 1.6.0 google-resumable-media (Google újraindítható média) 2.7.2 googleapis-közös-protokollok 1.65.0
grpcio 1.60.0 grpcio-status 1.60.0 httplib2 0.20.4
Idna 3.7 importlib-metadata 6.0.0 importlib_resources 6.4.0
ragoz 7.3.1 ipyflow-core 0.0.198 ipykernel 6.28.0
ipython 8.25.0 ipython-genutils 0.2.0 ipywidgets (interaktív widgetek Pythonhoz) 7.7.2
izodátum 0.6.1 jaraco.context 5.3.0 jaraco.functools 4.0.1
jaraco.text 3.12.1 jedi 0.19.1 jmespath 1.0.1
joblib 1.4.2 jupyter_kliens 8.6.0 jupyter_core 5.7.2
kiwisolver 1.4.4 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 matplotlib 3.8.4 matplotlib-inline 0.1.6
Mccabe 0.7.0 mlflow-skinny 2.15.1 more-itertools 10.3.0
mypy 1.10.0 mypy kiterjesztések 1.0.0 nest-asyncio 1.6.0
nodeenv 1.9.1 numpy 1.26.4 oauthlib 3.2.2
opentelemetry-api 1.27.0 opentelemetry-sdk 1.27.0 opentelemetry-szemantikai-konvenciók 0,48b0
csomagolás 24.1 Pandák 1.5.3 parso 0.8.3
útvonal specifikáció (pathspec) 0.10.3 bűnbak 0.5.6 pexpect 4.8.0
párna 10.3.0 pipa 24,2 Platformdirs 3.10.0
ábrázolás 5.22.0 csatlakozós 1.0.0 prompt-toolkit: parancssori eszközkészlet 3.0.43
proto-plus 1.24.0 protobuf 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 15.0.2 pyasn1 0.4.8 pyasn1-modules 0.2.8
pyccolo 0.0.52 pycparser (C és C++ fájlok feldolgozására szolgáló parser) 2.21 pydantic (egy Python könyvtár) 2.8.2
pydantic_core 2.20.1 pyflakes (egy program vagy eszköz neve) 3.2.0 Pygments 2.15.1
PyGObject 3.48.2 PyJWT 2.7.0 pyodbc (Python ODBC interfész) 5.0.1
pyparsing (egy Python könyvtár a szövegelemzéshez) 3.0.9 pyright 1.1.294 python-dateutil Szoftver verzió: 2.9.0.post0
python-lsp-jsonrpc 1.1.2 python-lsp-server 1.10.0 pytool konfiguráció 1.2.6
pytz (egy Python könyvtár az időzóna számításokhoz) 2024.1 PyYAML 6.0.1 pyzmq 25.1.2
Kérelmek 2.32.2 kötél 1.12.0 Rsa 4.9
s3transfer 0.10.2 scikit-learn (egy Python gépi tanulási könyvtár) 1.4.2 scipy (tudományos és műszaki számítási Python könyvtár) 1.13.1
tengerben született 0.13.2 setuptools 74.0.0 hat 1.16.0
smmap 5.0.0 sqlparse 0.5.1 ssh-import-id 5.11
halmaz adatok 0.2.0 statsmodels - statisztikai szoftvercsomag 0.14.2 Kitartás 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornádó 6.4.1 árulók 5.14.3 típusőrző 4.3.0
types-protobuf 3.20.3 types-psutil 5.9.0 types-pytz 2023.3.1.1
types-PyYAML 6.0.0 típusok-kérelmek 2.31.0.0 types-setuptools 68.0.0.0
Hat típus 1.16.0 types-urllib3 1.26.25.14 typing_extensions (gépelési kiterjesztések) 4.11.0
ujson (JSON-kezelő könyvtár a Pythonban) 5.10.0 felügyelet nélküli frissítések 0,1 urllib3 1.26.16
virtualenv 20.26.2 wadllib 1.3.6 wcwidth 0.2.5
Mi a javítás? 1.0.2 wheel 0.43.0 becsomagolva 1.14.1
yapf 0.33.0 cipzár 3.17.0

Telepített R-kódtárak

Az R csomagok a Posit Package Manager 2024.08.04-i CRAN-pillanatképéből lettek telepítve: https://packagemanager.posit.co/cran/2024-08-04/.

Könyvtár verzió Könyvtár verzió Könyvtár verzió
nyíl 16.1.0 jelszókérés 1.2.0 Meggyőződj arról, hogy 0.2.1
háttérportolások 1.5.0 alapkép 4.4.0 base64enc 0.1-3
bigD 0.2.0 egy kicsit 4.0.5 bit 64 4.0.5
bitops 1.0-8 blob 1.2.4 boot - rendszerindítás 1.3-30
sört főz 1.0-10 Brio 1.1.5 seprű 1.0.6
bslib 0.8.0 gyorsítótár 1.1.0 hívásindító 3.7.6
kalapjel 6.0-94 cellranger 1.1.0 kronométer 2.3-61
osztály 7.3-22 CLI 3.6.3 Clipr 0.8.0
óra 0.7.1 fürt 2.1.6 kódolási eszközök 0.2-20
színterület 2.1-1 commonmark 1.9.1 fordítóprogram 4.4.0
konfig 0.3.2 ellentmondásos 1.2.0 cpp11 0.4.7
zsírkréta 1.5.3 azonosító adatok 2.0.1 göndörít 5.2.1
adat.táblázat 1.15.4 adatkészletek 4.4.0 DBI 1.2.3
dbplyr 2.5.0 Leírás 1.4.3 devtools 2.4.5
diagram 1.6.5 diffobj 0.3.5 kivonat 0.6.36
lefelé irányított világítású 0.4.4 dplyr (adatmanipulációs csomag az R programozási nyelvhez) 1.1.4 dtplyr 1.3.1
e1071 1.7-14 három pont 0.3.2 kiértékel 0.24.0
rajongók 1.0.6 színek 2.1.2 gyorstérkép 1.2.0
fontawesome 0.5.2 elveszettek 1.0.0 foreach 1.5.2
külföldi 0.8-86 kovácsol 0.2.0 Fs 1.6.4
jövő 1.34.0 jövő.alkalmaz 1.11.2 gargarizál 1.5.2
általánosítás 0.1.3 Gert 2.1.0 ggplot2 3.5.1
Gh 1.4.1 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globálisok 0.16.3 ragasztó 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Gower-hegység 1.0.1
grafika 4.4.0 grDevices 4.4.0 rács 4.4.0
gridExtra 2.3 gsubfn 0,7 GT 0.11.0
gtable 0.3.5 védősisak 1.4.0 kikötő 2.5.4
magasabb 0.11 HMS 1.1.3 HTML-eszközök 0.5.8.1
HTML-widgetek 1.6.4 httpuv 1.6.15 httr 1.4.7
httr2 1.0.2 Azonosítók 1.0.1 ini 0.3.1
iPred 0.9-15 izoband 0.2.7 iterátorok 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-22 knitr 1.48 címkézés 0.4.3
később 1.3.2 rácsszerkezet 0.22-5 láva 1.8.0
életciklus 1.0.4 hallgatás 0.9.1 lubridate 1.9.3
magrittr 2.0.3 Markdown 1.13 Tömeg 7.3-60.0.1
Mátrix 1.6-5 memorizálás 2.0.1 módszerek 4.4.0
mgcv 1.9-1 pantomimázás 0.12 miniUI 0.1.1.1
mlflow 2.14.1 ModelMetrics 1.2.2.2 modellező 0.1.11
munsell 0.5.1 nlme 3.1-165 nnet 7.3-19
„numDeriv” 2016. augusztus - 1.1 openssl (nyílt forráskódú titkosító szoftver) 2.2.0 párhuzamos 4.4.0
párhuzamosan 1.38.0 pillér 1.9.0 pkgbuild 1.4.4
pkgconfig 2.0.3 pkgdown 2.1.0 csomag betöltése 1.4.0
plogr 0.2.0 lejátszó 1.8.9 dicséret 1.0.0
prettyunits 1.2.0 Proc 1.18.5 Processx 3.8.4
prodlim 2024.06.25 profvis 0.3.8 haladás 1.2.3
progressr 0.14.0 ígéretek 1.3.0 Próto 1.0.0
közvetít 0.4-27 P.S. 1.7.7 purrr 1.0.2
R6 2.5.1 ragg 1.3.2 véletlen erdő (randomForest) 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer (egy szoftvercsomag neve) 1.1-3
Rcpp 1.0.13 RcppEigen 0.3.4.0.0 reakcióképes 0.4.4
reactR 0.6.0 Readr 2.1.5 readxl (Excel fájlokat olvasó programcsomag) 1.4.3
Receptek 1.1.0 Visszavágó 2.0.0 visszavágó2 2.1.2
Távvezérlők 2.5.0 megismételhető példa 2.1.1 újraformázás2 1.4.4
rlang 1.1.4 rmarkdown 2.27 RODBC 1.3-23
roxygen2 7.3.2 rpart 4.1.23 rprojroot 2.0.4
Rserve 1,8-13 RSQLite 2.3.7 rstudioapi 0.16.0
változatok 2.1.2 Szüret 1.0.4 Sass 0.4.9
mérlegek 1.3.0 szelekciós eszköz 0.4-2 munkamenet-információk 1.2.2
alakzat 1.4.6.1 Fényes 1.9.1 sourcetools 0.1.7-1
sparklyr (R csomag az adatkutatáshoz és elemzéshez) 1.8.6 SparkR 3.5.0 térbeli 7.3-17
splinek 4.4.0 sqldf 0.4-1 NÉGYZET 2021.1
statisztika 4.4.0 statisztikák4 4.4.0 string 1.8.4
sztring 1.5.1 túlélés 3.6-4 magabiztosság 5.17.14.1
sys 3.4.2 systemfonts 1.1.0 Tcl/Tk programozási nyelv és eszközkészlet. 4.4.0
testthat 3.2.1.1 szövegformázás 0.4.0 tibble 3.2.1
tidyr 1.3.1 tidyselect 1.2.1 tidyverse 2.0.0
időváltás 0.3.0 idődátum 4032.109 tinytex 0,52
eszközök 4.4.0 tzdb 0.4.0 URL-ellenőrző 1.0.1
ezt használd 3.0.0 utf8 1.2.4 segédprogramok 4.4.0
univerzálisan egyedi azonosító (UUID) 1.2-1 V8 4.4.2 vctrs 0.6.5
viridisLite 0.4.2 bruum 1.6.5 Waldo 0.5.2
szőrszál 0.4.1 valamivel 3.0.1 xfun 0,46
xml2 1.3.6 xopen 1.0.1 xtable 1.8-4
YAML (adat-szerializációs formátum) 2.3.10 zeallot 0.1.0 fütyülés 2.3.1

Telepített Java- és Scala-könyvtárak (Scala 2.12-klaszterverzió)

Csoportazonosító A tárgy azonosítója verzió
ANTLR (Egy másik eszköz a nyelvi felismeréshez) ANTLR (Egy másik eszköz a nyelvi felismeréshez) 2.7.7
com.amazonaws Amazon Kinesis kliens 1.12.0
com.amazonaws AWS Java SDK - Automatikus Skálázás 1.12.638
com.amazonaws aws-java-sdk-cloudformation 1.12.638
com.amazonaws aws-java-sdk-cloudfront 1.12.638
com.amazonaws aws-java-sdk-cloudhsm 1.12.638
com.amazonaws aws-java-sdk-cloudsearch 1.12.638
com.amazonaws aws-java-sdk-cloudtrail 1.12.638
com.amazonaws aws-java-sdk-cloudwatch 1.12.638
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.638
com.amazonaws aws-java-sdk-codedeploy 1.12.638
com.amazonaws aws-java-sdk-cognitoidentity (Java SDK az Amazon Cognito Identitás kezeléséhez) 1.12.638
com.amazonaws aws-java-sdk-cognitosync 1.12.638
com.amazonaws aws-java-sdk-config (AWS Java SDK konfiguráció) 1.12.638
com.amazonaws aws-java-sdk-core 1.12.638
com.amazonaws aws-java-sdk-datapipeline 1.12.638
com.amazonaws aws-java-sdk-directconnect 1.12.638
com.amazonaws aws-java-sdk-directory 1.12.638
com.amazonaws aws-java-sdk-dynamodb 1.12.638
com.amazonaws aws-java-sdk-ec2 1.12.638
com.amazonaws aws-java-sdk-ecs 1.12.638
com.amazonaws aws-java-sdk-efs 1.12.638
com.amazonaws aws-java-sdk-elasticache 1.12.638
com.amazonaws aws-java-sdk-elasticbeanstalk (Java SDK az Elastic Beanstalk számára) 1.12.638
com.amazonaws aws-java-sdk-elasticloadbalancing (AWS Java SDK az elasztikus terheléselosztáshoz) 1.12.638
com.amazonaws aws-java-sdk-elastictranscoder 1.12.638
com.amazonaws aws-java-sdk-emr 1.12.638
com.amazonaws aws-java-sdk-glacier 1.12.638
com.amazonaws aws-java-sdk-glue 1.12.638
com.amazonaws aws-java-sdk-iam 1.12.638
com.amazonaws AWS Java SDK importexport modul 1.12.638
com.amazonaws aws-java-sdk-kinesis 1.12.638
com.amazonaws aws-java-sdk-kms (Amazon Web Services Java SDK KMS) 1.12.638
com.amazonaws aws-java-sdk-lambda 1.12.638
com.amazonaws aws-java-sdk-logs 1.12.638
com.amazonaws aws-java-sdk-gépi tanulás 1.12.638
com.amazonaws aws-java-sdk-opsworks 1.12.638
com.amazonaws aws-java-sdk-rds 1.12.638
com.amazonaws aws-java-sdk-redshift 1.12.638
com.amazonaws aws-java-sdk-route53 1.12.638
com.amazonaws aws-java-sdk-s3 1.12.638
com.amazonaws aws-java-sdk-ses (AWS Java SDK az Amazon SES-hez) 1.12.638
com.amazonaws aws-java-sdk-simpledb 1.12.638
com.amazonaws aws-java-sdk-simpleworkflow 1.12.638
com.amazonaws aws-java-sdk-sns 1.12.638
com.amazonaws aws-java-sdk-sqs 1.12.638
com.amazonaws aws-java-sdk-ssm 1.12.638
com.amazonaws aws-java-sdk-storagegateway 1.12.638
com.amazonaws aws-java-sdk-sts 1.12.638
com.amazonaws AWS Java SDK Támogatás 1.12.638
com.amazonaws aws-java-sdk-swf könyvtárak 1.11.22
com.amazonaws aws-java-sdk-munkaterületek 1.12.638
com.amazonaws jmespath-java 1.12.638
com.clearspring.analytics adatfolyam 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java (Databricks Java SDK) 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-árnyékolt 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml osztálytárs 1.3.4
com.fasterxml.jackson.core jackson-annotációk 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor (adatformátum CBOR) 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype Jackson adattípus - Joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.koffein koffein 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib Java natív hivatkozás 1.1
com.github.fommil.netlib Java natív hivatkozás 1.1-őslakosok
com.github.fommil.netlib natív rendszer-java 1.1
com.github.fommil.netlib natív rendszer-java 1.1-őslakosok
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-őslakosok
com.github.fommil.netlib netlib-natív_rendszer-linux-x86_64 1.1-őslakosok
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Csellengő 1.9.0
com.google.errorprone hibára hajlamos annotációk 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guáva 15,0
com.google.protobuf protobuf-java 3.25.1
com.helger profilkészítő 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.KIADÁS
com.lihaoyi forráskód_2.12 0.1.9
com.microsoft.azure Azure Data Lake Store SDK 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf (kompressziós algoritmus) 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl (JAXB implementáció) 2.2.11
com.tdunning JSON formátum 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lencsék_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe konfig 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-elemzők 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
„commons-codec” „commons-codec” 1.16.0
commons-collections (közös gyűjtemények könyvtár) commons-collections (közös gyűjtemények könyvtár) 3.2.2
commons-dbcp commons-dbcp 1.4
Commons-fájlfeltöltés Commons-fájlfeltöltés 1,5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
közös naplózás közös naplózás 1.1.3
közös medence közös medence 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib LAPACK 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift légkompresszor 0.27
io.delta delta-sharing-client_2.12 1.2.0
io.dropwizard.metrics metrikák annotációja 4.2.19
io.dropwizard.metrics metrikai magrész 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics mutatók-egészségügyi ellenőrzések 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics Metrics-JMX 4.2.19
io.dropwizard.metrics metrics-json (metrikák JSON formátumban) 4.2.19
io.dropwizard.metrics JVM-metrikák 4.2.19
io.dropwizard.metrics Metrikai szervletek 4.2.19
io.netty netty-all csomag 4.1.108.Final
io.netty Netty-buffer 4.1.108.Final
io.netty netty-codec 4.1.108.Final
io.netty Netty HTTP kodek 4.1.108.Final
io.netty netty-codec-http2 4.1.108.Final
io.netty netty-codec-zokni 4.1.108.Final
io.netty netty-közös 4.1.108.Final
io.netty netty-handler 4.1.108.Final
io.netty netty-handler-proxy 4.1.108.Final
io.netty netty-resolver 4.1.108.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-osztályok 2.0.61.Final
io.netty Netty-transport 4.1.108.Final
io.netty netty-transport-classes-epoll 4.1.108.Final
io.netty Netty szállítási osztályok - kqueue 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-x86_64
io.netty netty-transport-native-unix-common (Unix-alapú közös natív szállítás) 4.1.108.Final
io.prometheus simpleclient 0.7.0
io.prometheus egyszerűkliens_általános 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway (egyszerű kliens tolókapu) 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx gyűjtő 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktiválás 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
Javolution Javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine savanyított zöldség 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv (egy CSV-fájlokat kezelő könyvtár) 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-szoftverfejlesztőkészlet (SDK) 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea TávoliTea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr karakterláncsablon 3.2.1
org.apache.ant hangya 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow nyíl alakú formátum 15.0.0
org.apache.arrow nyíl memóriaegység 15.0.0
org.apache.arrow Arrow-Memória-Netty 15.0.0
org.apache.arrow irányvektor 15.0.0
org.apache.avro Avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-kollekciók4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text (közös szöveg) 1.10.0
org.apache.curator kurátor-ügyfél 2.13.0
org.apache.curator kurátor-keretrendszer 2.13.0
org.apache.curator receptek kurátortól 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches adatvázlatok-memória 2.0.0
org.apache.derby derbi 10.14.2.0
org.apache.hadoop hadoop kliens futásideje 3.3.6
org.apache.hive hive-beeline (eszköz) 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-kliens 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde (sorozatok és deserializáció) 2.3.9
org.apache.hive hive-shims (hive kiegészítő modulok) 2.3.9
org.apache.hive hive-storage-api (hive tárolási API) 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler (méhkas-behúzási-ütemező) 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy borostyánkő 2.5.2
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-elrendezés-sablon-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-illesztékek 1.9.2
org.apache.thrift libfb303 0,9,3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus célközönség megjegyzései 0.13.0
org.apache.zookeeper állatkerti gondozó 3.9.2
org.apache.zookeeper zookeeper-juta 3.9.2
org.checkerframework ellenőr-képzettség 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson Jackson-térképező-ASL 1.9.13
org.codehaus.janino közösségi fordítóprogram 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty Jetty-kontinuáció 9.4.52.v20230823
org.eclipse.jetty jetty-http (egy Java HTTP szerver implementáció) 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty Jetty Plus 9.4.52.v20230823
org.eclipse.jetty jetty proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security (egy biztonsági modul a Jetty kiszolgálóhoz) 9.4.52.v20230823
org.eclipse.jetty Jetty webszerver 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty Jetty webalkalmazás 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket API 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-klient 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-kommon 9.4.52.v20230823
org.eclipse.jetty.websocket WebSocket-szerver 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-lokátor 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 OSGi erőforrás-kereső 1.0.3
org.glassfish.hk2.external aopalliance-újracsomagolt 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet (Jersey konténer szervlet) 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-ügyfél 2.40
org.glassfish.jersey.core jersey-közös 2.40
org.glassfish.jersey.core jersey-szerver 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator (a Hibernate hitelesítő) 6.1.7.Végleges
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging (naplózó rendszer) 3.3.2.Végleges verzió
org.jdbi jdbi 2.63.1
org.jetbrains Széljegyzetek 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql PostgreSQL 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap Hézagolók 0.9.45-databricks
org.rocksdb rocksdbjni 9.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-java8-compat_2.12 0.9.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt teszt-interfész 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.16
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest tesztelési keretrendszerrel kompatibilis 3.2.16
org.scalatest scalatest-core_2.12 3.2.16
org.scalatest scalatest-diagrams_2.12 3.2.16
org.scalatest scalatest-featurespec_2.12 3.2.16
org.scalatest scalatest-flatspec_2.12 3.2.16
org.scalatest scalatest-freespec_2.12 3.2.16
org.scalatest scalatest-funspec_2.12 3.2.16
org.scalatest scalatest-funsuite_2.12 3.2.16
org.scalatest scalatest-matchers-core_2.12 3.2.16
org.scalatest scalatest-mustmatchers_2.12 3.2.16
org.scalatest scalatest-propspec_2.12 3.2.16
org.scalatest scalatest-refspec_2.12 3.2.16
org.scalatest scalatest-shouldmatchers_2.12 3.2.16
org.scalatest scalatest-wordspec_2.12 3.2.16
org.scalatest scalatest_2.12 3.2.16
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten három-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl (nyílt forráskódú szoftver) 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.2-linux-x86_64
Stax stax-api 1.0.1
  • Last updated on