Databricks Runtime 14.3 LTS
Az alábbi kibocsátási megjegyzések az Apache Spark 3.5.0 által működtetett Databricks Runtime 14.3 LTS-ről nyújtanak információkat.
A Databricks 2024 februárjában adta ki ezeket a képeket.
Új funkciók és fejlesztések
- A foton nélküli törlési vektoroptimalizálások
MERGE
támogatása - A Spark-katalógus API-k mostantól teljes mértékben támogatottak megosztott hozzáférési módban
- Általánosan elérhető a Delta UniForm
- Új SQL-függvény – AZONNALI VÉGREHAJTÁS
- A Delta-táblák adatkihagyási statisztikáinak újrakomponálása
- Állapotinformációk lekérdezése állapotalapú streamelési lekérdezésekhez
- A Megosztott fürtök Kafka-hitelesítéséhez használja a Microsoft Entra-azonosítót (korábbi nevén Azure Active Directoryt)
- Fájl- és partíciómetszet-metszés támogatása a lekérdezési teljesítmény javítása érdekében
- Ideiglenes változók deklarálása SQL-munkamenetben
- Thriftserver-frissítések a nem használt funkciók eltávolításához
- Truststore- és keystore-fájlok használata Unity Catalog-kötetekben
- Natív XML-fájlformátum támogatása (nyilvános előzetes verzió)
- A Cloudflare R2 storage támogatása (nyilvános előzetes verzió)
- A Spark és a dbutils hozzáférést biztosít a munkaterületfájlokhoz a megosztott hozzáférésű Unity-katalógusfürtökön
- Init-szkriptek és fürttárak támogatása megosztott hozzáférésű Unity-katalógusfürtökön
A foton nélküli törlési vektoroptimalizálások MERGE
támogatása
A fotonra már nincs szükség a MERGE
törlési vektorok optimalizálása érdekében végzett műveletekhez. Lásd: Mik azok a törlési vektorok?.
A Spark-katalógus API-k mostantól teljes mértékben támogatottak megosztott hozzáférési módban
Mostantól az API összes függvényét használhatja a Pythonban és a spark.catalog
Scalában is a megosztott hozzáférési móddal konfigurált számítási feladatokon.
Általánosan elérhető a Delta UniForm
Az UniForm mostantól általánosan elérhető, és a IcebergCompatV2
tábla funkciót használja. Mostantól engedélyezheti vagy frissítheti az UniFormot a meglévő táblákon. Lásd: Az UniForm használata a Delta-táblák iceberg-ügyfelekkel való olvasásához.
Új SQL-függvény – AZONNALI VÉGREHAJTÁS
Mostantól az EXECUTE IMMEDIATE szintaxissal támogathatja a paraméteres lekérdezéseket az SQL-ben. Lásd: AZONNALI VÉGREHAJTÁS.
A Delta-táblák adatkihagyási statisztikáinak újrakomponálása
Most már újrafordíthatja a Delta-naplóban tárolt statisztikákat, miután módosította az adatkiugráshoz használt oszlopokat. Lásd: Deltastatisztikai oszlopok megadása.
Állapotinformációk lekérdezése állapotalapú streamelési lekérdezésekhez
Mostantól lekérdezheti a strukturált streamelési állapot adatait és metaadatait. Lásd: Strukturált streamelési állapotinformációk olvasása.
A Megosztott fürtök Kafka-hitelesítéséhez használja a Microsoft Entra-azonosítót (korábbi nevén Azure Active Directoryt)
Mostantól az OAuthon keresztül hitelesítheti az Event Hubs-szolgáltatásokat a Microsoft Entra-azonosítóval a megosztott hozzáférési móddal konfigurált számítási adatokon. Lásd: Szolgáltatásnév-hitelesítés a Microsoft Entra-azonosítóval (korábbi nevén Azure Active Directory) és az Azure Event Hubs-tal.
Fájl- és partíciómetszet-metszés támogatása a lekérdezési teljesítmény javítása érdekében
A JOIN-feltételek nulltűrő egyenlőségére támaszkodó lekérdezések felgyorsítása érdekében mostantól támogatjuk DynamicFilePruning
és DynamicPartitionPruning
támogatjuk a EqualNullSafe
JOIN-ekben lévő operátort.
Ideiglenes változók deklarálása SQL-munkamenetben
Ez a kiadás lehetővé teszi az ideiglenes változók deklarálását egy munkamenetben, amely beállítható, majd a lekérdezéseken belülről hivatkozható. Lásd: Változók.
Thriftserver-frissítések a nem használt funkciók eltávolításához
A Thriftserver-kód frissült az elavult funkciók kódjának eltávolításához. A módosítások miatt a következő konfigurációk már nem támogatottak:
- A tulajdonság használatával
hive.aux.jars.path
konfigurált Hive kiegészítő JARs-ek már nem támogatottak a kapcsolatokhozhive-thriftserver
. - A Hive globális init-fájl (
.hiverc
), amelynek helye ahive.server2.global.init.file.location
tulajdonság vagy aHIVE_CONF_DIR
környezeti változó használatával van konfigurálva, a kapcsolatok esetébenhive-thriftserver
már nem támogatott.
Truststore- és keystore-fájlok használata Unity Catalog-kötetekben
Mostantól a Unity-katalógus köteteiben lévő truststore- és keystore-fájlok használatával hitelesítheti magát a Confluent sémaregisztrációs adatbázisában az avro- vagy protokollpufferadatokhoz. Tekintse meg az avro- vagy protokollpufferek dokumentációját.
Natív XML-fájlformátum támogatása (nyilvános előzetes verzió)
A natív XML-fájlformátum támogatása mostantól nyilvános előzetes verzióban érhető el. Az XML-fájlformátum támogatása lehetővé teszi az XML-adatok kötegelt feldolgozáshoz vagy streameléshez való betöltését, lekérdezését és elemzését. Képes automatikusan sémákat és adattípusokat kikövetkeztetni és fejleszteni, támogatja az OLYAN SQL-kifejezéseket, mint például from_xml
az XML-dokumentumok létrehozása. Nem igényel külső üvegeket, és zökkenőmentesen működik az Automatikus betöltővel és read_files
COPY INTO
a Delta Live Tables szolgáltatással. Lásd: XML-fájlok olvasása és írása.
A Cloudflare R2 storage támogatása (nyilvános előzetes verzió)
Mostantól a Cloudflare R2-t használhatja felhőbeli tárolóként a Unity Katalógusban regisztrált adatokhoz. A Cloudflare R2 elsősorban deltamegosztási használati esetekre szolgál, amelyekben el szeretné kerülni a felhőszolgáltatók által a régiók közötti adatforgalom során felszámított adatforgalom-díjakat. Az R2 Storage az AWS S3, az Azure Data Lake Storage Gen2 és a Google Cloud Storage által támogatott összes Databricks-adatot és AI-eszközt támogatja. Lásd: Cloudflare R2-replikák használata vagy tároló áttelepítése R2-be , és tároló hitelesítő adatainak létrehozása a Cloudflare R2-hez való csatlakozáshoz.
A Spark és a dbutils hozzáférést biztosít a munkaterületfájlokhoz a megosztott hozzáférésű Unity-katalógusfürtökön
dbutils
A Munkaterület-fájlok Spark-, olvasási és írási hozzáférése mostantól támogatott a Unity Catalog-fürtökön megosztott hozzáférési módban. Lásd: Munkaterületfájlok kezelése.
Init-szkriptek és fürttárak támogatása megosztott hozzáférésű Unity-katalógusfürtökön
Mostantól általánosan elérhető a fürthatókörű init-szkriptek és Python- és JAR-kódtárak telepítése a Unity Catalog-fürtökön megosztott hozzáférési módban, beleértve a fürtszabályzatok használatával történő telepítést is. A Databricks azt javasolja, hogy telepítsen init szkripteket és kódtárakat a Unity Catalog-kötetekből.
Könyvtárfrissítések
- Frissített Python-kódtárak:
- fastjsonschema 2.19.0 és 2.19.1 között
- filelock 3.12.4 és 3.13.1 között
- googleapis-common-protos 1.61.0 és 1.62.0 között
- csomagolás 22.0–23.2
- Frissített R-kódtárak:
- idegen 0,8-82-0,8-85
- nlme 3.1-162-ről 3.1-163-ra
- rpart 4.1.19-től 4.1.21-ig
- Frissített Java-kódtárak:
- com.databricks.databricks-sdk-java 0.7.0 és 0.13.0 között
- org.apache.orc.orc-core 1.9.1-shaded-protobuf-1.9.2-shaded-protobuf
- org.apache.orc.orc-mapreduce from 1.9.1-shaded-protobuf to 1.9.2-shaded-protobuf
- org.apache.orc.orc-shims 1.9.1 és 1.9.2 között
- org.scala-lang.modules.scala-collection-compat_2.12 2.9.0-tól 2.11.0-ra
Apache Spark
A Databricks Runtime 14.3 tartalmazza az Apache Spark 3.5.0-t. Ez a kiadás tartalmazza a Databricks Runtime 14.2-ben található összes Spark-javítást és -fejlesztést, valamint a Spark következő további hibajavításait és fejlesztéseit:
- [SPARK-46541] [SC-153546] [SQL] [CONNECT] A nem egyértelmű oszlophivatkozás javítása az önillesztés során
- [SPARK-45433] "[SC-145163][SQL] A CSV/JSON séma következtetésének javítása...
- [SPARK-46723] [14.3] [SASP-2792] [SC-153425] [CONNECT] [SCALA] AddArtifact újrapróbálkozása
- [SPARK-46660] [SC-153391] [CONNECT] A ReattachExecute kérések frissítik a SessionHolder élőképességét
- [SPARK-46670] [SC-153273] [PYTHON] [SQL] A DataSourceManager önálló klónozásának lehetővé tétele statikus és futtatókörnyezeti Python-adatforrások elkülönítésével
- [SPARK-46720] [SC-153410] [SQL] [PYTHON] Python-adatforrás újrabontása más beépített DSv2-adatforrásokkal való összhangban
- [SPARK-46684] [SC-153275] [PYTHON] [CONNECT] A CoGroup.applyInPandas/Arrow javítása az argumentumok megfelelő átadásához
- [SPARK-46667] [SC-153271] [SC-153263] [SQL] XML: Hiba elhárítás több XML-adatforráson
- [SPARK-46382] [SC-151881] [SQL] XML: Alapértelmezett ignoreSurroundingSpaces to true
- [SPARK-46382] [SC-153178] [SQL] XML: A dokumentum frissítése a következőhöz:
ignoreSurroundingSpaces
- [SPARK-45292] "[SC-151609][SQL][HIVE] Guava eltávolítása a megosztott osztályokból az IsolatedClientLoaderből"
- [SPARK-45292] [SC-151609] [SQL] [HIVE] Guava eltávolítása a megosztott osztályokból az IsolatedClientLoaderből
- [SPARK-46311] [SC-150137] [CORE] Az illesztőprogramok végső állapotának naplózása a
Master.removeDriver
- [SPARK-46413] [SC-151052] [PYTHON] A Arrow Python UDF returnType-jának ellenőrzése
- [SPARK-46633] [WARMFIX] [SC-153092] [SQL] Az Avro-olvasó javítása a nulla hosszúságú blokkok kezeléséhez
- [SPARK-46537] [SC-151286] [SQL] NPE konvertálása és a parancsokból belső hibákká alakítása
- [SPARK-46179] [SC-151678] [SQL] CrossDbmsQueryTestSuites hozzáadása, amely más DBMS-eket futtat arany fájlokon más DBMS-ekkel, a Postgrestől kezdve
- [SPARK-44001] [SC-151413] [PROTOBUF] Lehetőség hozzáadása a protobuf jól ismert burkolótípusok leválasztásához
- [SPARK-40876] [SC-151786] [SQL] Nagyobb léptékű decimális típus-előléptetés a Parquet-olvasókban
- [SPARK-46605] [SC-151769] [CONNECT] Függvény létrehozása
lit/typedLit
a connect modul támogatásábans.c.immutable.ArraySeq
- [SPARK-46634] [SC-153005] Az [SQL] literális érvényesítése nem részletezhet null mezőkre
- [SPARK-37039] [SC-153094] [PS] Javítás
Series.astype
a hiányzó érték megfelelő működéséhez - [SPARK-46312] [SC-150163] [CORE] Használat a következőben
lower_camel_case
:store_types.proto
- [SPARK-46630] [SC-153084] [SQL] XML: XML-elem nevének ellenőrzése íráskor
- [SPARK-46627] [SC-152981] [SS] [Felhasználói felület] Idővonal elemleírásának javítása a streamelési felhasználói felületen
- [SPARK-46248] [SC-151774] [SQL] XML: Az ignoreCorruptFiles és az ignoreMissingFiles beállításainak támogatása
- [SPARK-46386] [SC-150766] [PYTHON] A megfigyelés helyességének javítása (pyspark.sql.megfigyelés)
- [SPARK-46581] [SC-151789] [CORE] Update comment on isZero in AccumulatorV2
- [SPARK-46601] [SC-151785] [CORE] Naplóhiba javítása a handleStatusMessage szolgáltatásban
- [SPARK-46568] [SC-151685] [PYTHON] A Python-adatforrás beállításainak kis- és nagybetűk megkülönböztetése szótárként
- [SPARK-46611] [SC-151783] [CORE] A ThreadLocal eltávolítása a SimpleDateFormat és a DateTimeFormatter helyére
- [SPARK-46604] [SC-151768] [SQL] Támogatás létrehozása
Literal.apply
s.c.immuable.ArraySeq
- [SPARK-46324] [SC-150223] [SQL] [PYTHON] A pyspark.sql.functions.user és session_user kimeneti nevének javítása
- [SPARK-46621] [SC-151794] [PYTHON] Null cím a Exception.getMessage fájlból a Py4J rögzített kivételében
- [SPARK-46598] [SC-151767] [SQL] Az OrcColumnarBatchReadernek tiszteletben kell tartania a memória módot, amikor oszlopvektorokat hoz létre a hiányzó oszlophoz
- [SPARK-46613] [SC-151778] [SQL] [PYTHON] Teljes kivétel naplózása, ha nem sikerült megkeresni a Python-adatforrásokat
- [SPARK-46559] [SC-151364] [MLLIB]
export
A csomag nevének körbefuttatása háttérrel - [SPARK-46522] [SC-151784] [PYTHON] Python-adatforrás-regisztráció letiltása névütközésekkel
- [SPARK-45580] [SC-149956] [SQL] Olyan eset kezelése, ahol a beágyazott részlekérdezés létcsatlakozássá válik
- [SPARK-46609] [SC-151714] [SQL] Az exponenciális robbanás elkerülése a PartitioningPreservingUnaryExecNode-ban
- [SPARK-46535] [SC-151288] [SQL] Az NPE javítása a kiterjesztett oszlop colstats nélküli leírásakor
- [SPARK-46599] [SC-147661] [SC-151770] [SQL] XML: A TypeCoercion.findTightestCommonType használata kompatibilitás-ellenőrzéshez
- [SPARK-40876] [SC-151129] [SQL] Típus-promóciók bővítése a Parquet-olvasókban
- [SPARK-46179] [SC-151069] [SQL] Kód lekérése újrafelhasználható függvényekbe az SQLQueryTestSuite-ban
- [SPARK-46586] [SC-151679] [SQL] Támogatás
s.c.immutable.ArraySeq
a következő módon:customCollectionCls
MapObjects
- [SPARK-46585] [SC-151622] [CORE] Közvetlenül a használat
mutable.ArraySeq.toSeq
helyett közvetlenül ametricPeaks
immutable.ArraySeq
Executor
- [SPARK-46488] [SC-151173] [SQL] A trimAll hívás kihagyása az időbélyeg-elemzés során
- [SPARK-46231] [SC-149724] [PYTHON] Az összes fennmaradó
NotImplementedError
>TypeError
áttelepítése a PySpark hibakeretébe - [SPARK-46348] [SC-150281] [CORE] Támogatás
spark.deploy.recoveryTimeout
- [SPARK-46313] [SC-150164] [CORE] Napló-helyreállítás
Spark HA
időtartama - [SPARK-46358] [SC-150307] [CONNECT] A feltétel ellenőrzésének egyszerűsítése a
ResponseValidator#verifyResponse
- [SPARK-46380] [SC-151078] [SQL] Cserélje le az aktuális időt/dátumot a beágyazott táblakifejezések kiértékelése előtt.
- [SPARK-46563] [SC-151441] [SQL] A simpleString megtekintése nem követi a conf spark.sql.debug.maxToStringFields parancsot
- [SPARK-46101] [SC-149211] [CORE] [SQL] [MLLIB] [SS] [R] [CONNCT] [GRAPHX] A veremmélység csökkentése lecseréléssel (string|array).size with (string|array).length
- [SPARK-46539] [SC-151469] [SQL] Standard kiadás LECT * A KIVÉTEL (a szerkezet összes mezője) helyességi hibát eredményez
- [SPARK-46565] [SC-151414] [PYTHON] Hibaosztályok és hibaüzenetek pontosítása Python-adatforrásokhoz
- [SPARK-46576] [SC-151614] [SQL] A nem támogatott adatforrás-mentési mód hibaüzeneteinek javítása
- [SPARK-46540] [SC-151355] [PYTHON] Oszlopnevek tiszteletben tartása, ha a Python-adatforrás olvasási függvénye sorobjektumoknak nevezett kimeneteket ad ki
- [SPARK-46577] [SC-151448] [SQL] HiveMetastoreLazyInitializationSuite leaks hive's SessionState
- [SPARK-44556] [SC-151562] [SQL] Újra felhasználható
OrcTail
a vectorizedReader engedélyezésekor - [SPARK-46587] [SC-151618] [SQL] XML: XSD nagy egész szám konvertálásának javítása
- [SPARK-46382] [SC-151297] [SQL] XML: Elemek közötti értékek rögzítése
- [SPARK-46567] [SC-151447] [CORE] A ThreadLocal eltávolítása a ReadAheadInputStreamhez
- [SPARK-45917] [SC-151269] [PYTHON] [SQL] Python-adatforrás automatikus regisztrálása indításkor
- [SPARK-28386] [SC-151014] [SQL] A GROUP BY és a HAVING oszlopokkal rendelkező ORDER BY oszlopok nem oldhatók fel
- [SPARK-46524] [SC-151446] [SQL] Az érvénytelen mentési mód hibaüzeneteinek javítása
- [SPARK-46294] [SC-150672] [SQL] Az init és a nulla érték szemantikájának törlése
- [SPARK-46301] [SC-150100] [CORE] Támogatás
spark.worker.(initial|max)RegistrationRetries
- [SPARK-46542] [SC-151324] [SQL] Távolítsa el a csekket
c>=0
ExternalCatalogUtils#needsEscaping
, mert az mindig igaz - [SPARK-46553] [SC-151360] [PS]
FutureWarning
objektuminterpolate
dtype-jával - [SPARK-45914] [SC-151312] [PYTHON] Api véglegesítésének és megszakításának támogatása Python-adatforrások írásához
- [SPARK-46543] [SC-151350] [PYTHON] [CONNECT] PySparkValueError dobása
json_tuple
üres mezőkhöz - [SPARK-46520] [SC-151227] [PYTHON] Python-adatforrás írási módjának támogatása
- [SPARK-46502] [SC-151235] [SQL] Támogatási időbélyeg-típusok a UnwrapCastInBinaryComparisonban
- [SPARK-46532] [SC-151279] [CONNECT] Üzenetparaméterek átadása a metaadatokban:
ErrorInfo
- [SPARK-46397] "[SC-151311][PYTHON][CONNECT] A függvénynek
sha2
érvénytelenneknumBits
kell lenniePySparkValueError
" - [SPARK-46170] [SC-149472] [SQL] Adaptív lekérdezés post planner stratégiai szabályainak támogatása a SparkSessionExtensions-ban
- [SPARK-46444] [SC-151195] [SQL] A V2SessionCatalog#createTable nem töltheti be a táblát
- [SPARK-46397] [SC-151311] [PYTHON] [CONNECT] A függvénynek
sha2
érvénytelennek kell lenniePySparkValueError
numBits
- [SPARK-46145] [SC-149471] [SQL] spark.catalog.listTables nem okoz kivételt, ha a tábla vagy nézet nem található
- [SPARK-46272] [SC-151012] [SQL] CTAS támogatása DSv2-források használatával
- [SPARK-46480] [SC-151127] [CORE] [SQL] NPE javítása a táblagyorsítótár-feladat megkísérlésekor
- [SPARK-46100] [SC-149051] [CORE] [PYTHON] A veremmélység csökkentése lecseréléssel (string|array).size with (string|array).length
- [SPARK-45795] [SC-150764] [SQL] A DS V2 támogatja a leküldéses módot
- [SPARK-46485] [SC-151133] [SQL] A V1Write nem vehet fel rendezést, ha nincs rá szükség
- [SPARK-46468] [SC-151121] [SQL] A EXISTS-allekérdezések darabszámának kezelése csoportosítási kulcsok nélkül összesítéssel
- [SPARK-46246] [SC-150927] [SQL] AZONNALI SQL-támogatás végrehajtása
- [SPARK-46498] [SC-151199] [CORE] Eltávolítás
shuffleServiceEnabled
innen:o.a.spark.util.Utils#getConfiguredLocalDirs
- [SPARK-46440] [SC-150807] [SQL] Az újrabázis konfigurációinak beállítása alapértelmezés szerint a
CORRECTED
módra - [SPARK-45525] [SC-151120] [SQL] [PYTHON] Python-adatforrások írásának támogatása a DSv2 használatával
- [SPARK-46505] [SC-151187] [CONNECT] Bájtküszöb konfigurálása a következőben:
ProtoUtils.abbreviate
- [SPARK-46447] [SC-151025] [SQL] Az SQL-konfigurációk régi datetime-újrabetöltésének eltávolítása
- [SPARK-46443] [SC-151123] [SQL] A decimális pontosságot és a skálázást a H2 dialektusnak kell eldöntenie.
- [SPARK-46384] [SC-150694] [SPARK-46404] [SS] [Felhasználói felület] Művelet időtartamának veremdiagramjának javítása strukturált streamelési oldalon
- [SPARK-46207] [SC-151068] [SQL] A MergeInto támogatása a DataFrameWriterV2-ben
- [SPARK-46452] [SC-151018] [SQL] Új API hozzáadása a DataWriterben rekordok iterátorának megírásához
- [SPARK-46273] [SC-150313] [SQL] In Standard kiadás RT INTO/OVERWRITE támogatása DSv2-források használatával
- [SPARK-46344] [SC-150267] [CORE] Megfelelő figyelmeztetés, ha egy illesztőprogram sikeresen létezik, de a főkiszolgáló leválasztva van
- [SPARK-46284] [SC-149944] [PYTHON] [CONNECT] Függvény hozzáadása
session_user
a Pythonhoz - [SPARK-46043] [SC-149786] [SQL] Tábla létrehozásának támogatása DSv2-források használatával
- [SPARK-46323] [SC-150191] [PYTHON] A pyspark.sql.functions.now kimeneti nevének javítása
- [SPARK-46465] [SC-151059] [PYTHON] [CONNECT] Hozzáadás
Column.isNaN
a PySparkban - [SPARK-46456] [SC-151050] [CORE] Hozzáadás
spark.ui.jettyStopTimeout
a Jetty-kiszolgáló leállási időtúllépésének beállításához a SparkContext leállításának feloldásához - [SPARK-43427] [SC-150356] [PROTOBUF] spark protobuf: az aláíratlan egész számok típusának engedélyezése
- [SPARK-46399] [SC-151013] [14.x] [Core] Kilépési állapot hozzáadása az Application End eseményhez a Spark-figyelő használatához
- [SPARK-46423] [SC-150752] [PYTHON] [SQL] Python-adatforráspéldány létrehozása a DataSource.lookupDataSourceV2 webhelyen
- [SPARK-46424] [SC-150765] [PYTHON] [SQL] Python-metrikák támogatása a Python-adatforrásban
- [SPARK-46330] [SC-151015] Spark felhasználói felületi blokkok betöltése hosszú ideig, amikor a HybridStore engedélyezve van
- [SPARK-46378] [SC-150397] [SQL] A Rendezés eltávolítása az Összesítés projektté konvertálása után
- [SPARK-45506] [SC-146959] [CONNECT] Borostyán URI-támogatás hozzáadása a Sparkhoz Csatlakozás addArtifact
- [SPARK-45814] [SC-147871] [CONNECT] [SQL] Az ArrowConverters.createEmptyArrowBatch hívás bezárása() a memóriavesztés elkerülése érdekében
- [SPARK-46427] [SC-150759] [PYTHON] [SQL] A Python-adatforrás leírásának módosítása a magyarázatban
- [SPARK-45597] [SC-150730] [PYTHON] [SQL] Tábla létrehozásának támogatása Python-adatforrás használatával az SQL-ben (DSv2 exec)
- [SPARK-46402] [SC-150700] [PYTHON] GetMessageParameters és getQueryContext támogatás hozzáadása
- [SPARK-46453] [SC-150897] [CONNECT] Kivétel bedobásából
internalError()
SessionHolder
- [SPARK-45758] [SC-147454] [SQL] Mapper bemutatása Hadoop-tömörítési kodekekhez
- [SPARK-46213] [PYTHON] Bevezetés
PySparkImportError
a hiba-keretrendszerbe - [SPARK-46230] [SC-149960] [PYTHON] Migrálás
RetriesExceeded
a PySparkba hiba - [SPARK-45035] [SC-145887] [SQL] Az ignoreCorruptFiles/ignoreMissingFiles és a többsoros CSV/JSON hibajelentése
- [SPARK-46289] [SC-150846] [SQL] Az UDT-k értelmezett módban történő megrendelésének támogatása
- [SPARK-46229] [SC-150798] [PYTHON] [CONNECT] ApplyInArrow hozzáadása a GroupBy-hoz és a csoportcsoporthoz a Spark Csatlakozás
- [SPARK-46420] [SC-150847] [SQL] A sparkSQLCLIDriver nem használt átvitelének eltávolítása
- [SPARK-46226] [PYTHON] Az összes fennmaradó migrálás
RuntimeError
a PySpark hiba keretrendszerébe - [SPARK-45796] [SC-150613] [SQL] Támogatási MÓD() CSOPORTON BELÜL (ORDER BY col)
- [SPARK-40559] [SC-149686] [PYTHON] [14.X] ApplyInArrow hozzáadása a groupBy-hoz és a csoporthoz
- [SPARK-46069] [SC-149672] [SQL] Támogatás a dátum típusú időbélyegek felülírásának támogatásához
- [SPARK-46406] [SC-150770] [SQL] Név hozzárendelése a _LEGACY_ERROR_TEMP_1023 hibaosztályhoz
- [SPARK-46431] [SC-150782] [SS]
internalError
KonvertálásIllegalStateException
munkamenet-iterátorokra - [SPARK-45807] [SC-150751] [SQL] A ViewCatalog API fejlesztése
- [SPARK-46009] [SC-149771] [SQL] [CONNECT] A PercentileCont és a PercentileDisc elemzési szabályának egyesítése a FunctionCall függvényben
- [SPARK-46403] [SC-150756] [SQL] Parquet bináris kódolása getBytesUnsafe metódussal
- [SPARK-46389] [SC-150779] [CORE] A kivétel eldobásakor
checkVersion
manuálisan zárja be aRocksDB/LevelDB
példányt - [SPARK-46360] [SC-150376] [PYTHON] A hibaüzenetek hibakeresésének javítása új
getMessage
API-val - [SPARK-46233] [SC-149766] [PYTHON] Az összes fennmaradó migrálás
AttributeError
a PySpark hiba keretrendszerébe - [SPARK-46394] [SC-150599] [SQL] A spark.catalog.listDatabases() hibáinak elhárítása speciális karaktereket tartalmazó sémákon, ha
spark.sql.legacy.keepCommandOutputSchema
igaz értékre van állítva - [SPARK-45964] [SC-148484] [SQL] Privát SQL-tartozék eltávolítása XML- és JSON-csomagban a katalizátorcsomag alatt
- [SPARK-45856] [SC-148691] ArtifactManager áthelyezése a Spark Csatlakozás-ból a SparkSessionbe (sql/core)
- [SPARK-46409] [SC-150714] [CONNECT] Spark-connect-scala-client indítási szkript javítása
- [SPARK-46416] [SC-150699] [CORE] Hozzáadás
@tailrec
aHadoopFSUtils#shouldFilterOutPath
- [SPARK-46115] [SC-149154] [SQL] A karakterkészletek korlátozása a következőben:
encode()
- [SPARK-46253] [SC-150416] [PYTHON] Python-adatforrás olvasásának tervezése a MapInArrow használatával
- [SPARK-46339] [SC-150266] [SS] A kötegszámnévvel rendelkező címtárat nem szabad metaadatnaplóként kezelni
- [SPARK-46353] [SC-150396] [CORE] Újrabontás az egységtesztek lefedettségének javítása érdekében
RegisterWorker
- [SPARK-45826] [SC-149061] [SQL] SQL-konfiguráció hozzáadása veremkövetkezésekhez a DataFrame lekérdezési környezetében
- [SPARK-45649] [SC-150300] [SQL] Az OffsetWindowFunctionFrame előkészítő keretrendszerének egységesítése
- [SPARK-46346] [SC-150282] [CORE] A főkiszolgáló javítása egy feldolgozó
UNKNOWN
ALIVE
frissítéséhez az MSG-nRegisterWorker
- [SPARK-46388] [SC-150496] [SQL] A HiveAnalysis kihagyja a mintaőrt
query.resolved
- [SPARK-46401] [SC-150609] [CORE] Használat
!isEmpty()
aRoaringBitmap
következő helyett:getCardinality() > 0
RemoteBlockPushResolver
- [SPARK-46393] [SC-150603] [SQL] Kivételek osztályozása a JDBC táblakatalógusában
- [SPARK-45798] [SC-150513] [CONNECT] Követés: serverSessionId hozzáadása a SessionHolderInfo-hoz
- [SPARK-46153] [SC-146564] [SC-150508] [SQL] XML: TimestampNTZType támogatás hozzáadása
- [SPARK-46075] [SC-150393] [CONNECT] A Spark Csatlakozás SessionManager fejlesztései
- [SPARK-46357] [SC-150596] A setConf helytelen dokumentációjának cseréje conf.setre
- [SPARK-46202] [SC-150420] [CONNECT] Új ArtifactManager API-k közzététele egyéni célkönyvtárak támogatásához
- [SPARK-45824] [SC-147648] [SQL] A hibaosztály kényszerítése a következőben:
ParseException
- [SPARK-45845] [SC-148163] [SS] [Felhasználói felület] Kiürített állapotsorok számának hozzáadása a streamelési felhasználói felülethez
- [SPARK-46316] [SC-150181] [CORE] Engedélyezés
buf-lint-action
moduloncore
- [SPARK-45816] [SC-147656] [SQL] Visszatérés
NULL
, ha túlcsordul az időbélyegről az egész számokra történő öntés során - [SPARK-46333] [SC-150263] [SQL] Csere
IllegalStateException
katalizátorralSparkException.internalError
- [SPARK-45762] [SC-148486] [CORE] A felhasználói jarokban definiált shuffle-kezelők támogatása az indítási sorrend módosításával
- [SPARK-46239] [SC-149752] [CORE] Információ elrejtése
Jetty
- [SPARK-45886] [SC-148089] [SQL] Teljes veremkövetés
callSite
kimenete a DataFrame-környezetben - [SPARK-46290] [SC-150059] [PYTHON] A SaveMode módosítása logikai jelzőre a DataSourceWriter esetében
- [SPARK-45899] [SC-148097] [CONNECT] Az errorClass beállítása az errorInfoToThrowable fájlban
- [SPARK-45841] [SC-147657] [SQL] A verem nyomkövetésének elérhetővé helyezése a következő szerint:
DataFrameQueryContext
- [SPARK-45843] [SC-147721] [CORE] Támogatás
killall
a REST Submission API-ban - [SPARK-46234] [SC-149711] [PYTHON] Bevezetés
PySparkKeyError
a PySpark hiba keretrendszerbe - [SPARK-45606] [SC-147655] [SQL] Kiadási korlátozások többrétegű futtatókörnyezet-szűrőn
- [SPARK-45725] [SC-147006] [SQL] Távolítsa el a nem alapértelmezett IN alhálózati futtatókörnyezet szűrőt
- [SPARK-45694] [SC-147314] [SPARK-45695] [SQL] Elavult API-használat
View.force
ésScalaNumberProxy.signum
- [SPARK-45805] [SC-147488] [SQL] Általánosabbá tétele
withOrigin
- [SPARK-46292] [SC-150086] [CORE] [Felhasználói felület] Feldolgozók összegzésének megjelenítése a MasterPage-ben
- [SPARK-45685] [SC-146881] [CORE] [SQL] Használat
LazyList
helyettStream
- [SPARK-45888] [SC-149945] [SS] Hibaosztály-keretrendszer alkalmazása a State (Metadata) adatforrásra
- [SPARK-46261] [SC-150111] [CONNECT]
DataFrame.withColumnsRenamed
meg kell őriznie a diktálás/térképrendezést - [SPARK-46263] [SC-149933] [SQL] [SS] [ML] [MLLIB] [Felhasználói felület] Tisztítás
SeqOps.view
ésArrayOps.view
átalakítás - [SPARK-46029] [SC-149255] [SQL] Az egyetlen idézőjel feloldása és
_
%
a DS V2 leküldéses leküldése - [SPARK-46275] [SC-150189] Protobuf: Null értéket ad vissza megengedő módban, ha a deszerializálás sikertelen.
- [SPARK-46320] [SC-150187] [CORE] Támogatás
spark.master.rest.host
- [SPARK-46092] [SC-149658] [SQL] Ne nyomja le a túlcsorduló Parquet sorcsoportszűrőket
- [SPARK-46300] [SC-150097] [PYTHON] [CONNECT] Kisebb viselkedésegyezés egyeztetése az Oszlopban teljes tesztlefedettséggel
- [SPARK-46298] [SC-150092] [PYTHON] [CONNECT] A Catalog.createExternalTable elavultsági figyelmeztetésének, tesztesetének és hibájának egyeztetése
- [SPARK-45689] [SC-146898] [SPARK-45690] [SPARK-45691] [CORE] [SQL] Az elavult API-használat
StringContext/StringOps/RightProjection/LeftProjection/Either
törlése és típushasználataBufferedIterator/CanBuildFrom/Traversable
- [SPARK-33393] [SC-148407] [SQL] A TABLE EXTENDED támogatása a v2-ben
- [SPARK-45737] [SC-147011] [SQL] Szükségtelen
.toArray[InternalRow]
eltávolítása a következőben:SparkPlan#executeTake
- [SPARK-46249] [SC-149797] [SS] Példányzárolás megkövetelése a RocksDB-metrikák beszerzéséhez a háttérben futó verseny megakadályozása érdekében
- [SPARK-46260] [SC-149940] [PYTHON] [SQL]
DataFrame.withColumnsRenamed
tiszteletben kell tartania a diktálási sorrendet - [SPARK-46274] [SC-150043] [SQL] A tartomány operátor computeStats() javítása a hosszú érvényesség ellenőrzéséhez konvertálás előtt
- [SPARK-46040] [SC-149767] [SQL] [Python] Az általános kifejezések támogatásához frissítse az UDTF API-t az "elemzési" particionálási/rendezési oszlopokhoz
- [SPARK-46287] [SC-149949] [PYTHON] [CONNECT]
DataFrame.isEmpty
minden adattípussal együtt kell működnie - [SPARK-45678] [SC-146825] [CORE] Cover BufferReleasingInputStream.available/reset under tryOrFetchFailedException
- [SPARK-45667] [SC-146716] [CORE] [SQL] [CONNECT] Törölje a elavult API-használatot a következőhöz
IterableOnceExtensionMethods
: . - [SPARK-43980] [SC-148992] [SQL] bevezetés a szintaxisba
select * except
- [SPARK-46269] [SC-149816] [PS] További NumPy kompatibilitási függvénytesztek engedélyezése
- [SPARK-45807] [SC-149851] [SQL] CreateOrReplaceView(..) / replaceView(..) hozzáadása a ViewCataloghoz
- [SPARK-45742] [SC-147212] [CORE] [CONNECT] [MLLIB] [PYTHON] A Scala Array implicit függvényének bevezetése a sortöréshez
immutable.ArraySeq
. - [SPARK-46205] [SC-149655] [CORE] A teljesítmény javítása
PersistenceEngine
aKryoSerializer
- [SPARK-45746] [SC-149359] [Python] Adott hibaüzeneteket ad vissza, ha az UDTF "analyze" vagy "eval" metódus helytelen értékeket fogad el vagy ad vissza
- [SPARK-46186] [SC-149707] [CONNECT] Az érvénytelen állapotváltás javítása, ha az ExecuteThreadRunner az indítás előtt megszakadt
- [SPARK-46262] [SC-149803] [PS] A Pandas-on-Spark objektum tesztelésének
np.left_shift
engedélyezése. - [SPARK-45093] [SC-149679] [CONNECT] [PYTHON] Az AddArtifactHandler hibakezelésének és konvertálásának megfelelő támogatása
- [SPARK-46188] [SC-149571] [Dokumentum] [3.5] A Spark-dokumentum által létrehozott táblák CSS-jének javítása
- [SPARK-45940] [SC-149549] [PYTHON] InputPartition hozzáadása a DataSourceReader felülethez
- [SPARK-43393] [SC-148301] [SQL] A címütemezési kifejezés túlcsordulási hibája.
- [SPARK-46144] [SC-149466] [SQL] Fail IN Standard kiadás RT INTO ... REPLACE utasítás, ha a feltétel részkikérdezéseket tartalmaz
- [SPARK-46118] [SC-149096] [SQL] [SS] [CONNECT] Használat
SparkSession.sessionState.conf
ésSQLContext.conf
megjelölésSQLContext.conf
elavultként - [SPARK-45760] [SC-147550] [SQL] Hozzáadás kifejezéssel a kifejezések duplikálásának elkerülése érdekében
- [SPARK-43228] [SC-149670] [SQL] Az illesztési kulcsok megfelelnek a PartitioningCollection elemnek a CoalesceBucketsInJoin alkalmazásban
- [SPARK-46223] [SC-149691] [PS] A SparkPandasNotImplementedError tesztelése a nem használt kód eltávolításával
- [SPARK-46119] [SC-149205] [SQL] Felülbírálási
toString
módszer a következőhöz:UnresolvedAlias
- [SPARK-46206] [SC-149674] [PS] Szűkebb hatókörkivétel használata AZ SQL-processzor esetében
- [SPARK-46191] [SC-149565] [CORE] Az msg hiba javítása
FileSystemPersistenceEngine.persist
a meglévő fájl esetében - [SPARK-46036] [SC-149356] [SQL] Hibaosztály eltávolítása raise_error függvényből
- [SPARK-46055] [SC-149254] [SQL] Katalógusadatbázis API-k implementálásának újraírása
- [SPARK-46152] [SC-149454] [SQL] XML: DecimalType-támogatás hozzáadása AZ XML-séma következtetéséhez
- [SPARK-45943] [SC-149452] [SQL] A DetermineTableStats áthelyezése feloldási szabályokra
- [SPARK-45887] [SC-148994] [SQL] Kodenáris és nem codegen implementáció igazítása
Encode
- [SPARK-45022] [SC-147158] [SQL] Az adathalmaz API-hibáinak kontextusának megadása
- [SPARK-45469] [SC-145135] [CORE] [SQL] [CONNECT] [PYTHON] Csere erre
toIterator
:iterator
IterableOnce
- [SPARK-46141] [SC-149357] [SQL] A spark.sql.legacy.ctePrecedencePolicy alapértelmezett értékének módosítása JAVÍTVA értékre
- [SPARK-45663] [SC-146617] [CORE] [MLLIB] Csere erre
IterableOnceOps#aggregate
:IterableOnceOps#foldLeft
- [SPARK-45660] [SC-146493] [SQL] Konstans objektumok ismételt használata a ComputeCurrentTime-szabályban
- [SPARK-45803] [SC-147489] [CORE] A már nem használt eszközök eltávolítása
RpcAbortException
- [SPARK-46148] [SC-149350] [PS] Pyspark.pandas.mlflow.load_model teszt javítása (Python 3.12)
- [SPARK-46110] [SC-149090] [PYTHON] Hibaosztályok használata katalógusban, konföderációban, csatlakozásban, megfigyelésben, pandas-modulokban
- [SPARK-45827] [SC-149203] [SQL] A kodenikus és vektorizált olvasóval kapcsolatos változatjavítások le vannak tiltva
- [SPARK-46080] "[SC-149012][PYTHON] A Cloudpickle frissítése 3.0.0-ra"
- [SPARK-45460] [SC-144852] [SQL] Csere erre
scala.collection.convert.ImplicitConversions
:scala.jdk.CollectionConverters
- [SPARK-46073] [SC-149019] [SQL] Bizonyos parancsok feloldatlannamespace speciális felbontásának eltávolítása
- [SPARK-45600] [SC-148976] [PYTHON] Python-adatforrásregisztrációs munkamenet szintjének létrehozása
- [SPARK-46074] [SC-149063] [CONNECT] [SCALA] Az UDF-hiba hibaüzenetének nem megfelelő részletei
- [SPARK-46114] [SC-149076] [PYTHON] PySparkIndexError hozzáadása hiba keretrendszerhez
- [SPARK-46120] [SC-149083] [CONNECT] [PYTHON] Segédfüggvény eltávolítása
DataFrame.withPlan
- [SPARK-45927] [SC-148660] [PYTHON] Python-adatforrás elérési útkezelésének frissítése
- [SPARK-46062] [14.x] [SC-148991] [SQL] Az isStreaming jelölő szinkronizálása a CTE-definíció és a referencia között
- [SPARK-45698] [SC-146736] [CORE] [SQL] [SS] Az elavult API-használat törlése a következőhöz:
Buffer
- [SPARK-46064] [SC-148984] [SQL] [SS] Lépjen a EliminateEventTimeWatermark elemzőre, és módosítsa a módosítást, hogy csak a feloldott gyermekre legyen hatással
- [SPARK-45922] [SC-149038] [CONNECT] [ÜGYFÉL] Kisebb újrabontások (több szabályzat követése)
- [SPARK-45851] [SC-148419] [CONNECT] [SCALA] Több szabályzat támogatása a Scala-ügyfélben
- [SPARK-45974] [SC-149062] [SQL] Scan.filterAttributes nem üres ítélet hozzáadása a RowLevelOperationRuntimeGroupFilteringhez
- [SPARK-46085] [SC-149049] [CONNECT] Dataset.groupingSets a Scala Spark Csatlakozás-ügyfélben
- [SPARK-45136] [SC-146607] [CONNECT] A ClosureCleaner továbbfejlesztése az Ammonite támogatásával
- [SPARK-46084] [SC-149020] [PS] Adattípus-öntési művelet újrabontása kategorikus típus esetén.
- [SPARK-46083] [SC-149018] [PYTHON] SparkNoSuchElementException létrehozása canonical error API-ként
- [SPARK-46048] [SC-148982] [PYTHON] [CONNECT] DataFrame.groupingSets támogatása a Python Spark Csatlakozás
- [SPARK-46080] [SC-149012] [PYTHON] A Cloudpickle frissítése a 3.0.0-ra
- [SPARK-46082] [SC-149015] [PYTHON] [CONNECT] Protobuf-sztring-ábrázolás javítása a Pandas Functions API-hoz a Spark Csatlakozás
- [SPARK-46065] [SC-148985] [PS] Használandó
create_map
újrabontás(DataFrame|Series).factorize()
. - [SPARK-46070] [SC-148993] [SQL] Regex-minta fordítása a SparkDateTimeUtils.getZoneId-ben a gyakori elérésű hurokon kívül
- [SPARK-46063] [SC-148981] [PYTHON] [CONNECT] Az aranyos, összesítő, csoportosítási és kimutatásbeli argumentumtípusokkal kapcsolatos hibaüzenetek javítása
- [SPARK-44442] [SC-144120] [MESOS] Mesos-támogatás eltávolítása
- [SPARK-45555] [SC-147620] [PYTHON] Hibakeresési objektumot tartalmaz a sikertelen állításhoz
- [SPARK-46048] [SC-148871] [PYTHON] [SQL] DataFrame.groupingSets támogatása a PySparkban
- [SPARK-45768] [SC-147304] [SQL] [PYTHON] A hibakezelő futtatókörnyezeti konfigurációjának létrehozása Python-végrehajtáshoz az SQL-ben
- [SPARK-45996] [SC-148586] [PYTHON] [CONNECT] A Spark Csatlakozás megfelelő függőségi követelményüzeneteinek megjelenítése
- [SPARK-45681] [SC-146893] [Felhasználói felület] Az UIUtils.errorMessageCell js-verziójának klónozása a felhasználói felületen történő konzisztens hibamegjelenítéshez
- [SPARK-45767] [SC-147225] [CORE] Törlés és annak UT-jának törlése
TimeStampedHashMap
- [SPARK-45696] [SC-148864] [CORE] Fix metódus tryCompleteWith in trait Promise is elavult
- [SPARK-45503] [SC-146338] [SS] Conf hozzáadása a RocksDB-tömörítés beállításához
- [SPARK-45338] [SC-143934] [CORE] [SQL] Csere erre
scala.collection.JavaConverters
:scala.jdk.CollectionConverters
- [SPARK-44973] [SC-148804] [SQL] Javítás a következőben
ArrayIndexOutOfBoundsException
:conv()
- [SPARK-45912] [SC-144982] [SC-148467] [SQL] Az XSDToSchema API továbbfejlesztése: A HDFS API-ra váltás a felhőalapú tárolás akadálymentességéhez
- [SPARK-45819] [SC-147570] [CORE] Támogatás
clear
a REST Submission API-ban - [SPARK-45552] [14.x] [SC-146874] [PS] Rugalmas paraméterek bevezetése a
assertDataFrameEqual
- [SPARK-45815] [SC-147877] [SQL] [Streamelés] [14.x] [CSERESZNYE-PICK] Adjon meg egy felületet más streamelési források számára oszlopok hozzáadásához
_metadata
- [SPARK-45929] [SC-148692] [SQL] A groupingSets művelet támogatása a DataFrame API-ban
- [SPARK-46012] [SC-148693] [CORE] Az EventLogFileReader nem olvassa be a működés közbeni naplókat, ha hiányzik az alkalmazás állapotfájlja
- [SPARK-45965] [SC-148575] [SQL] DSv2 particionálási kifejezések áthelyezése a functions.partitioning szolgáltatásba
- [SPARK-45971] [SC-148541] [CORE] [SQL] A következő csomag nevének
SparkCollectionUtils
javítása:org.apache.spark.util
- [SPARK-45688] [SC-147356] [SPARK-45693] [CORE] A > Javításhoz kapcsolódó
MapOps
elavult API-használat törlésemethod += in trait Growable is deprecated
- [SPARK-45962] [SC-144645] [SC-148497] [SQL] Eltávolítás
treatEmptyValuesAsNulls
és használatnullValue
lehetőség helyett XML-ben - [SPARK-45988] [SC-148580] [SPARK-45989] [PYTHON] A GenericAlias kezelésére
list
használható typehints javítása a Python 3.11+-ban - [SPARK-45999] [SC-148595] [PS] Dedikált
PandasProduct
használatcumprod
- [SPARK-45986] [SC-148583] [ML] [PYTHON] Javítás
pyspark.ml.torch.tests.test_distributor
a Python 3.11-ben - [SPARK-45994] [SC-148581] [PYTHON] Váltás
description-file
adescription_file
- [SPARK-45575] [SC-146713] [SQL] A df read API időutazási lehetőségeinek támogatása
- [SPARK-45747] [SC-148404] [SS] Az előtagkulcs adatainak használata az állapot metaadataiban a munkamenetablak-összesítés olvasási állapotának kezeléséhez
- [SPARK-45898] [SC-148213] [SQL] A katalógustábla API-inak újraírása megoldatlan logikai terv használatára
- [SPARK-45828] [SC-147663] [SQL] Elavult metódus eltávolítása a dsl-ben
- [SPARK-45990] [SC-148576] [SPARK-45987] [PYTHON] [CONNECT] Frissítés
protobuf
a 4.25.1-re a támogatás érdekébenPython 3.11
- [SPARK-45911] [SC-148226] [CORE] A TLS1.3 alapértelmezett beállítása az RPC SSL-hez
- [SPARK-45955] [SC-148429] [Felhasználói felület] A Flamegraph és a szálképek támogatásának összecsukása
- [SPARK-45936] [SC-148392] [PS] Optimalizálja
Index.symmetric_difference
- [SPARK-45389] [SC-144834] [SQL] [3.5] MetaException egyező szabály kijavítása a partíció metaadatainak lekérésekor
- [SPARK-45655] [SC-148085] [SQL] [SS] Nem determinisztikus kifejezések engedélyezése az AggregateFunctionsben a CollectMetricsben
- [SPARK-45946] [SC-148448] [SS] Az elavult FileUtils-írás használatának javítása alapértelmezett karakterkészlet átadásához a RocksDBSuite-ban
- [SPARK-45511] [SC-148285] [SS] Állapotadatforrás – Olvasó
- [SPARK-45918] [SC-148293] [PS] Optimalizálja
MultiIndex.symmetric_difference
- [SPARK-45813] [SC-148288] [CONNECT] [PYTHON] A megfigyelt metrikák visszaadása parancsokból
- [SPARK-45867] [SC-147916] [CORE] Támogatás
spark.worker.idPattern
- [SPARK-45945] [SC-148418] [CONNECT] Segédfüggvény hozzáadása a következőhöz:
parser
- [SPARK-45930] [SC-148399] [SQL] Nem determinisztikus UDF-ek támogatása a MapInPandas/MapInArrow alkalmazásban
- [SPARK-45810] [SC-148356] [Python] Python UDTF API létrehozása a sorok bevitelének leállításához a bemeneti táblából
- [SPARK-45731] [SC-147929] [SQL] A partícióstatisztikák frissítése a paranccsal
ANALYZE TABLE
- [SPARK-45868] [SC-148355] [CONNECT] Győződjön meg arról, hogy
spark.table
ugyanazt az elemzőt használja a vanília sparkkal - [SPARK-45882] [SC-148161] [SQL] A BroadcastHashJoinExec propagálási particionálásának tiszteletben kell tartania a CoalescedHashPartitioninget
- [SPARK-45710] [SC-147428] [SQL] Nevek hozzárendelése hiba _LEGACY_ERROR_TEMP_21[59,60,61,62]
- [SPARK-45915] [SC-148306] [SQL] A tizedesjel(x, 0) kezelése ugyanaz, mint az IntegralType
PromoteStrings
- [SPARK-45786] [SC-147552] [SQL] Pontatlan decimális szorzás és osztás eredményeinek javítása
- [SPARK-45871] [SC-148084] [CONNECT] A modulokban lévő
.toBuffer
optimalizálás gyűjteményátalakításaconnect
- [SPARK-45822] [SC-147546] [CONNECT] A Spark Csatlakozás SessionManager megkereshet egy leállított sparkcontextet
- [SPARK-45913] [SC-148289] [PYTHON] A belső attribútumok titkossá tétele PySpark-hibák miatt.
- [SPARK-45827] [SC-148201] [SQL] Variant-adattípus hozzáadása a Sparkban.
- [SPARK-44886] [SC-147876] [SQL] A CLUSTER BY záradék bevezetése a CREATE/REPLACE TABLE függvényhez
- [SPARK-45756] [SC-147959] [CORE] Támogatás
spark.master.useAppNameAsAppId.enabled
- [SPARK-45798] [SC-147956] [CONNECT] Kiszolgálóoldali munkamenet-azonosító érvényesítése
- [SPARK-45896] [SC-148091] [SQL] Szerkezet
ValidateExternalType
a megfelelő várt típussal - [SPARK-45902] [SC-148123] [SQL] A nem használt függvény
resolvePartitionColumns
eltávolítása aDataSource
- [SPARK-45909] [SC-148137] [SQL] Távolítsa el
NumericType
a leadott elemeket, ha biztonságosan fel tudja dobni aIsNotNull
- [SPARK-42821] [SC-147715] [SQL] A splitFiles metódusok nem használt paramétereinek eltávolítása
- [SPARK-45875] [SC-148088] [CORE] Eltávolítás
MissingStageTableRowData
a modulbólcore
- [SPARK-45783] [SC-148120] [PYTHON] [CONNECT] Hibaüzenetek javítása, ha a Spark Csatlakozás mód engedélyezve van, de a távoli URL-cím nincs beállítva
- [SPARK-45804] [SC-147529] [Felhasználói felület] Spark.ui.threadDump.flamegraphEnabled konfiguráció hozzáadása a lánggráf be- és kikapcsolásához
- [SPARK-45664] [SC-146878] [SQL] Leképező bemutatása orc tömörítési kodekekhez
- [SPARK-45481] [SC-146715] [SQL] Mapper bemutatása parquet tömörítési kodekekhez
- [SPARK-45752] [SC-148005] [SQL] A nem hivatkozott CTE-kapcsolatok ellenőrzésére szolgáló kód egyszerűsítése
- [SPARK-44752] [SC-146262] [SQL] XML: Spark-dokumentumok frissítése
- [SPARK-45752] [SC-147869] [SQL] A nem hivatkozott CTE-t a CheckAnalysis0-nek kell ellenőriznie
- [SPARK-45842] [SC-147853] [SQL] Katalógusfüggvény API-k újrabontása az elemző használatához
- [SPARK-45639] [SC-147676] [SQL] [PYTHON] Python-adatforrások betöltésének támogatása a DataFrameReaderben
- [SPARK-45592] [SC-146977] [SQL] Az AQE helyességi problémája az InMemoryTableScanExec használatával
- [SPARK-45794] [SC-147646] [SS] Az állapot metaadat-forrásának bemutatása a streamelési állapot metaadatainak lekérdezéséhez
- [SPARK-45739] [SC-147059] [PYTHON] Az IOException fogása az EOFException helyett egyedül a hibakezelő esetében
- [SPARK-45677] [SC-146700] Jobb hibanaplózás a Observation API-hoz
- [SPARK-45544] [SC-146873] [CORE] SSL-támogatás integrálása a TransportContextbe
- [SPARK-45654] [SC-147152] [PYTHON] Python-adatforrás írási API hozzáadása
- [SPARK-45771] [SC-147270] [CORE] Engedélyezés
spark.eventLog.rolling.enabled
alapértelmezés szerint - [SPARK-45713] [SC-146986] [PYTHON] Python-adatforrások regisztrálásának támogatása
- [SPARK-45656] [SC-146488] [SQL] A különböző adathalmazokon azonos nevű elnevezett megfigyelések megfigyelésének javítása
- [SPARK-45808] [SC-147571] [CONNECT] [PYTHON] Az SQL-kivételek jobb hibakezelése
- [SPARK-45774] [SC-147353] [CORE] [Felhasználói felület] Támogatás a következőben
spark.master.ui.historyServerUrl
:ApplicationPage
- [SPARK-45776] [SC-147327] [CORE] Távolítsa el a SPARK-39553-ban hozzáadott védelmi null ellenőrzést
MapOutputTrackerMaster#unregisterShuffle
- [SPARK-45780] [SC-147410] [CONNECT] Az összes Spark-Csatlakozás-ügyféllánc propagálása az InheritableThread alkalmazásban
- [SPARK-45785] [SC-147419] [CORE] Támogatás
spark.deploy.appNumberModulo
az alkalmazás számának elforgatásához - [SPARK-45793] [SC-147456] [CORE] A beépített tömörítési kodekek fejlesztése
- [SPARK-45757] [SC-147282] [ML] Kerülje az NNZ újraszámítását a Binarizerben
- [SPARK-45209] [SC-146490] [CORE] [Felhasználói felület] Flame Graph-támogatás végrehajtói szálképoldalhoz
- [SPARK-45777] [SC-147319] [CORE] Támogatás a következőben
spark.test.appId
:LocalSchedulerBackend
- [SPARK-45523] [SC-146331] [PYTHON] A null-ellenőrzés újrabontása billentyűparancsok használatához
- [SPARK-45711] [SC-146854] [SQL] Mapper bemutatása avro-tömörítési kodekekhez
- [SPARK-45523] [SC-146077] [Python] Hasznos hibaüzenetet ad vissza, ha az UDTF a None értéket adja vissza a nem null értékű oszlopokhoz
- [SPARK-45614] [SC-146729] [SQL] Nevek hozzárendelése hiba _LEGACY_ERROR_TEMP_215[6,7,8]
- [SPARK-45755] [SC-147164] [SQL] Fejlesztés
Dataset.isEmpty()
globális korlát alkalmazásával1
- [SPARK-45569] [SC-145915] [SQL] Név hozzárendelése a hiba _LEGACY_ERROR_TEMP_2153
- [SPARK-45749] [SC-147153] [CORE] [WEBUI] Javítás
Spark History Server
az oszlop megfelelő rendezéséhezDuration
- [SPARK-45754] [SC-147169] [CORE] Támogatás
spark.deploy.appIdPattern
- [SPARK-45707] [SC-146880] [SQL] Egyszerűsítés
DataFrameStatFunctions.countMinSketch
aCountMinSketchAgg
- [SPARK-45753] [SC-147167] [CORE] Támogatás
spark.deploy.driverIdPattern
- [SPARK-45763] [SC-147177] [CORE] [Felhasználói felület] Az
MasterPage
oszlop csak akkor jelenik megResource
, ha létezik - [SPARK-45112] [SC-143259] [SQL] UnresolvedFunction-alapú felbontás használata az SQL Dataset-függvényekben
Databricks ODBC/JDBC illesztőprogram támogatása
A Databricks támogatja az elmúlt 2 évben kiadott ODBC/JDBC-illesztőprogramokat. Töltse le a nemrég kiadott illesztőprogramokat és frissítsen (töltse le az ODBC-t, töltse le a JDBC-t).
Karbantartási frissítések
Lásd a Databricks Runtime 14.3 karbantartási frissítéseit. Ezt az első kiadásban fűzik hozzá.
Rendszerkörnyezet
- Operációs rendszer: Ubuntu 22.04.3 LTS
- Java: Zulu 8.74.0.17-CA-linux64
- Scala: 2.12.15
- Python: 3.10.12
- R: 4.3.1
- Delta Lake: 3.1.0
Telepített Python-kódtárak
Könyvtár | Verzió | Könyvtár | Verzió | Könyvtár | Verzió |
---|---|---|---|---|---|
anyio | 3.5.0 | argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 |
asttokens | 2.0.5 | attrs | 22.1.0 | backcall | 0.2.0 |
beautifulsoup4 | 4.11.1 | Fekete | 22.6.0 | Fehérítő | 4.1.0 |
villogó | 1.4 | boto3 | 1.24.28 | botocore | 1.27.96 |
minősítés | 2022.12.7 | cffi | 1.15.1 | karakterkészlet | 4.0.0 |
charset-normalizer | 2.0.4 | kattintás | 8.0.4 | Comm | 0.1.2 |
contourpy | 1.0.5 | Titkosítás | 39.0.1 | cycler | 0.11.0 |
Cython | 0.29.32 | databricks-sdk | 0.1.6 | dbus-python | 1.2.18 |
hibakeresés | 1.6.7 | Dekoratőr | 5.1.1 | defusedxml | 0.7.1 |
distlib | 0.3.7 | docstring-to-markdown | 0,11 | belépési pontok | 0,4 |
Végrehajtó | 0.8.3 | aspektusok áttekintése | 1.1.1 | fastjsonschema | 2.19.1 |
filelock | 3.13.1 | betűtípusok | 4.25.0 | googleapis-common-protos | 1.62.0 |
grpcio | 1.48.2 | grpcio-status | 1.48.1 | httplib2 | 0.20.2 |
idna | 3.4 | importlib-metadata | 4.6.4 | ipykernel | 6.25.0 |
ipython | 8.14.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
Jedi | 0.18.1 | Jeepney | 0.7.1 | Jinja2 | 3.1.2 |
jmespath | 0.10.0 | joblib | 1.2.0 | jsonschema | 4.17.3 |
jupyter-client | 7.3.4 | jupyter-server | 1.23.4 | jupyter_core | 5.2.0 |
jupyterlab-pygments | 0.1.2 | jupyterlab-widgetek | 1.0.0 | Kulcstartó | 23.5.0 |
kiwisolver | 1.4.4 | launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 |
lazr.uri | 1.0.6 | lxml | 4.9.1 | Korrektúra Széf | 2.1.1 |
matplotlib | 3.7.0 | matplotlib-inline | 0.1.6 | Mccabe | 0.7.0 |
mistune | 0.8.4 | more-itertools | 8.10.0 | mypy-extensions | 0.4.3 |
nbclassic | 0.5.2 | nbclient | 0.5.13 | nbconvert | 6.5.4 |
nbformat | 5.7.0 | nest-asyncio | 1.5.6 | nodeenv | 1.8.0 |
jegyzetfüzet | 6.5.2 | notebook_shim | 0.2.2 | numpy | 1.23.5 |
oauthlib | 3.2.0 | Csomagolás | 23.2 | pandas | 1.5.3 |
pandocfilters | 1.5.0 | parso | 0.8.3 | pathspec | 0.10.3 |
Patsy | 0.5.3 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
Párna | 9.4.0 | Pip | 22.3.1 | platformdirs | 2.5.2 |
ábrázolás | 5.9.0 | pluggy | 1.0.0 | prometheus-client | 0.14.1 |
prompt-toolkit | 3.0.36 | protobuf | 4.24.0 | psutil | 5.9.0 |
psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
pyarrow | 8.0.0 | pyarrow-hotfix | 0,5 | pycparser | 2.21 |
pydantic | 1.10.6 | pyflakes | 3.1.0 | Pygments | 2.11.2 |
PyGObject | 3.42.1 | PyJWT | 2.3.0 | pyodbc | 4.0.32 |
pyparsing | 3.0.9 | pyright | 1.1.294 | pyrsistent | 0.18.0 |
python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.1.1 | python-lsp-server | 1.8.0 |
pytoolconfig | 1.2.5 | pytz | 2022.7 | pyzmq | 23.2.0 |
kérelmek | 2.28.1 | Kötél | 1.7.0 | s3transfer | 0.6.2 |
scikit-learn | 1.1.1 | scipy | 1.10.0 | tengeri | 0.12.2 |
SecretStorage | 3.3.1 | Send2Trash | 1.8.0 | setuptools | 65.6.3 |
Hat | 1.16.0 | sniffio | 1.2.0 | levessieve | 2.3.2.post1 |
ssh-import-id | 5,11 | veremadatok | 0.2.0 | statsmodels | 0.13.5 |
Kitartás | 8.1.0 | terminado | 0.17.1 | threadpoolctl | 2.2.0 |
tinycss2 | 1.2.1 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
Tornádó | 6.1 | árulók | 5.7.1 | typing_extensions | 4.4.0 |
ujson | 5.4.0 | felügyelet nélküli frissítések | 0,1 | urllib3 | 1.26.14 |
virtualenv | 20.16.7 | wadllib | 1.3.6 | wcwidth | 0.2.5 |
webencodings | 0.5.1 | websocket-client | 0.58.0 | whatthepatch | 1.0.2 |
Kerék | 0.38.4 | widgetsnbextension | 3.6.1 | yapf | 0.33.0 |
zipp | 1.0.0 |
Telepített R-kódtárak
Az R-kódtárak a Posit Csomagkezelő CRAN-pillanatképből vannak telepítve 2023.02.10-én.
Könyvtár | Verzió | Könyvtár | Verzió | Könyvtár | Verzió |
---|---|---|---|---|---|
nyíl | 12.0.1 | askpass | 1,1 | assertthat | 0.2.1 |
Backports | 1.4.1 | alap | 4.3.1 | base64enc | 0.1-3 |
Kicsit | 4.0.5 | bit64 | 4.0.5 | blob | 1.2.4 |
indítás | 1.3-28 | Sört | 1.0-8 | Brio | 1.1.3 |
Seprű | 1.0.5 | bslib | 0.5.0 | gyorsítótár | 1.0.8 |
hívó | 3.7.3 | Billentyűzettel | 6.0-94 | cellranger | 1.1.0 |
chron | 2.3-61 | osztály | 7.3-22 | Cli | 3.6.1 |
clipr | 0.8.0 | Óra | 0.7.0 | fürt | 2.1.4 |
kódtoolok | 0.2-19 | színtér | 2.1-0 | commonmark | 1.9.0 |
Fordító | 4.3.1 | config | 0.3.1 | Ütközött | 1.2.0 |
cpp11 | 0.4.4 | Zsírkréta | 1.5.2 | hitelesítő adatok | 1.3.2 |
Curl | 5.0.1 | data.table | 1.14.8 | adatkészletek | 4.3.1 |
DBI | 1.1.3 | dbplyr | 2.3.3 | Desc | 1.4.2 |
devtools | 2.4.5 | diagram | 1.6.5 | diffobj | 0.3.5 |
Digest | 0.6.33 | levilágított | 0.4.3 | dplyr | 1.1.2 |
dtplyr | 1.3.1 | e1071 | 1.7-13 | három pont | 0.3.2 |
evaluate | 0.21 | fani | 1.0.4 | farver | 2.1.1 |
gyorstérkép | 1.1.1 | fontawesome | 0.5.1 | forcats | 1.0.0 |
foreach | 1.5.2 | Külföldi | 0.8-85 | Forge | 0.2.0 |
Fs | 1.6.2 | Jövőben | 1.33.0 | future.apply | 1.11.0 |
Gargarizál | 1.5.1 | Generikus | 0.1.3 | Gert | 1.9.2 |
ggplot2 | 3.4.2 | Gh | 1.4.0 | gitcreds | 0.1.2 |
glmnet | 4.1-7 | Globals | 0.16.2 | Ragasztó | 1.6.2 |
googledrive | 2.1.1 | googlesheets4 | 1.1.1 | Gower | 1.0.1 |
grafika | 4.3.1 | grDevices | 4.3.1 | Rács | 4.3.1 |
gridExtra | 2.3 | gsubfn | 0,7 | gtable | 0.3.3 |
hardhat | 1.3.0 | Haven | 2.5.3 | highr | 0.10 |
Hms | 1.1.3 | htmltoolok | 0.5.5 | htmlwidgets | 1.6.2 |
httpuv | 1.6.11 | httr | 1.4.6 | httr2 | 0.2.3 |
Azonosítók | 1.0.1 | Ini | 0.3.1 | ipred | 0.9-14 |
izoband | 0.2.7 | iterátorok | 1.0.14 | jquerylib | 0.1.4 |
jsonlite | 1.8.7 | KernSmooth | 2.23-21 | knitr | 1,43 |
Címkézés | 0.4.2 | Később | 1.3.1 | Rács | 0.21-8 |
Láva | 1.7.2.1 | életciklus | 1.0.3 | figyelő | 0.9.0 |
lubridate | 1.9.2 | magrittr | 2.0.3 | markdown | 1,7 |
MASS | 7.3-60 | Mátrix | 1.5-4.1 | memoise | 2.0.1 |
metódusok | 4.3.1 | mgcv | 1.8-42 | Mime | 0,12 |
miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modellező | 0.1.11 |
munsell | 0.5.0 | nlme | 3.1-163 | nnet | 7.3-19 |
numDeriv | 2016.8-1.1 | Openssl | 2.0.6 | parallel | 4.3.1 |
párhuzamosan | 1.36.0 | Pillér | 1.9.0 | pkgbuild | 1.4.2 |
pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.2.1 |
plogr | 0.2.0 | rétegelt | 1.8.8 | Dicséret | 1.0.0 |
prettyunits | 1.1.1 | Proc | 1.18.4 | processx | 3.8.2 |
prodlim | 2023.03.31 | profvis | 0.3.8 | Haladás | 1.2.2 |
progressr | 0.13.0 | Ígér | 1.2.0.1 | Proto | 1.0.0 |
Proxy | 0.4-27 | Ps | 1.7.5 | purrr | 1.0.1 |
r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.5 |
randomForest | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
RColorBrewer | 1.1-3 | Rcpp | 1.0.11 | RcppEigen | 0.3.3.9.3 |
olvasó | 2.1.4 | readxl | 1.4.3 | receptek | 1.0.6 |
Visszavágót | 1.0.1 | visszavágó2 | 2.1.2 | Távirányító | 2.4.2 |
reprex | 2.0.2 | újraformázás2 | 1.4.4 | rlang | 1.1.1 |
rmarkdown | 2.23 | RODBC | 1.3-20 | roxygen2 | 7.2.3 |
rpart | 4.1.21 | rprojroot | 2.0.3 | Rserve | 1.8-11 |
RSQLite | 2.3.1 | rstudioapi | 0.15.0 | rversions | 2.1.2 |
rvest | 1.0.3 | Sass | 0.4.6 | Mérlegek | 1.2.1 |
választó | 0.4-2 | sessioninfo | 1.2.2 | Alakzat | 1.4.6 |
Fényes | 1.7.4.1 | sourcetools | 0.1.7-1 | sparklyr | 1.8.1 |
Térbeli | 7.3-15 | splines | 4.3.1 | sqldf | 0.4-11 |
NÉGYZET | 2021.1 | Statisztika | 4.3.1 | statisztikák4 | 4.3.1 |
stringi | 1.7.12 | sztring | 1.5.0 | Túlélési | 3.5-5 |
sys | 3.4.2 | systemfonts | 1.0.4 | tcltk | 4.3.1 |
testthat | 3.1.10 | szövegformázás | 0.3.6 | tibble | 3.2.1 |
tidyr | 1.3.0 | tidyselect | 1.2.0 | tidyverse | 2.0.0 |
timechange | 0.2.0 | timeDate | 4022.108 | tinytex | 0,45 |
eszközök | 4.3.1 | tzdb | 0.4.0 | urlchecker | 1.0.1 |
usethis | 2.2.2 | utf8 | 1.2.3 | eszközök | 4.3.1 |
uuid | 1.1-0 | vctrs | 0.6.3 | viridisLite | 0.4.2 |
vroom | 1.6.3 | Waldo | 0.5.1 | bajusz | 0.4.1 |
withr | 2.5.0 | xfun | 0,39 | xml2 | 1.3.5 |
xopen | 1.0.0 | xtable | 1.8-4 | Yaml | 2.3.7 |
Zip | 2.3.0 |
Telepített Java- és Scala-kódtárak (Scala 2.12-fürtverzió)
Csoportazonosító | Összetevő azonosítója | Verzió |
---|---|---|
antlr | antlr | 2.7.7 |
com.amazonaws | amazon-kinesis-client | 1.12.0 |
com.amazonaws | aws-java-sdk-autoscaling | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudformation | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudfront | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudhsm | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudsearch | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudtrail | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudwatch | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.390 |
com.amazonaws | aws-java-sdk-codedeploy | 1.12.390 |
com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.390 |
com.amazonaws | aws-java-sdk-cognitosync | 1.12.390 |
com.amazonaws | aws-java-sdk-config | 1.12.390 |
com.amazonaws | aws-java-sdk-core | 1.12.390 |
com.amazonaws | aws-java-sdk-datapipeline | 1.12.390 |
com.amazonaws | aws-java-sdk-directconnect | 1.12.390 |
com.amazonaws | aws-java-sdk-directory | 1.12.390 |
com.amazonaws | aws-java-sdk-dynamodb | 1.12.390 |
com.amazonaws | aws-java-sdk-ec2 | 1.12.390 |
com.amazonaws | aws-java-sdk-ecs | 1.12.390 |
com.amazonaws | aws-java-sdk-efs | 1.12.390 |
com.amazonaws | aws-java-sdk-elasticache | 1.12.390 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.390 |
com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.390 |
com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.390 |
com.amazonaws | aws-java-sdk-emr | 1.12.390 |
com.amazonaws | aws-java-sdk-glacier | 1.12.390 |
com.amazonaws | aws-java-sdk-glue | 1.12.390 |
com.amazonaws | aws-java-sdk-iam | 1.12.390 |
com.amazonaws | aws-java-sdk-importexport | 1.12.390 |
com.amazonaws | aws-java-sdk-kinesis | 1.12.390 |
com.amazonaws | aws-java-sdk-kms | 1.12.390 |
com.amazonaws | aws-java-sdk-lambda | 1.12.390 |
com.amazonaws | aws-java-sdk-logs | 1.12.390 |
com.amazonaws | aws-java-sdk-machinelearning | 1.12.390 |
com.amazonaws | aws-java-sdk-opsworks | 1.12.390 |
com.amazonaws | aws-java-sdk-rds | 1.12.390 |
com.amazonaws | aws-java-sdk-redshift | 1.12.390 |
com.amazonaws | aws-java-sdk-route53 | 1.12.390 |
com.amazonaws | aws-java-sdk-s3 | 1.12.390 |
com.amazonaws | aws-java-sdk-ses | 1.12.390 |
com.amazonaws | aws-java-sdk-simpledb | 1.12.390 |
com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.390 |
com.amazonaws | aws-java-sdk-sns | 1.12.390 |
com.amazonaws | aws-java-sdk-sqs | 1.12.390 |
com.amazonaws | aws-java-sdk-ssm | 1.12.390 |
com.amazonaws | aws-java-sdk-storagegateway | 1.12.390 |
com.amazonaws | aws-java-sdk-sts | 1.12.390 |
com.amazonaws | aws-java-sdk-support | 1.12.390 |
com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
com.amazonaws | aws-java-sdk-workspaces | 1.12.390 |
com.amazonaws | jmespath-java | 1.12.390 |
com.clearspring.analytics | Patak | 2.9.6 |
com.databricks | Rserve | 1.8-3 |
com.databricks | databricks-sdk-java | 0.13.0 |
com.databricks | jets3t | 0.7.1-0 |
com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
com.esotericsoftware | kryo-shaded | 4.0.2 |
com.esotericsoftware | minlog | 1.3.0 |
com.fasterxml | Osztálytárs | 1.3.4 |
com.fasterxml.jackson.core | jackson-annotations | 2.15.2 |
com.fasterxml.jackson.core | jackson-core | 2.15.2 |
com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.15.2 |
com.fasterxml.jackson.dataformat | jackson-dataformat-yaml | 2.15.2 |
com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.15.2 |
com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.15.1 |
com.fasterxml.jackson.module | jackson-module-paranamer | 2.15.2 |
com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.15.2 |
com.github.ben-manes.koffein | Koffein | 2.9.3 |
com.github.fommil | jniloader | 1,1 |
com.github.fommil.netlib | native_ref-java | 1,1 |
com.github.fommil.netlib | native_ref-java | 1.1-natívok |
com.github.fommil.netlib | native_system-java | 1,1 |
com.github.fommil.netlib | native_system-java | 1.1-natívok |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-natívok |
com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-natívok |
com.github.luben | zstd-jni | 1.5.5-4 |
com.github.wendykierp | JTransforms | 3.1 |
com.google.code.findbugs | jsr305 | 3.0.0 |
com.google.code.gson | gson | 2.10.1 |
com.google.crypto.tink | Csellengő | 1.9.0 |
com.google.errorprone | error_prone_annotations | 2.10.0 |
com.google.flatbuffers | flatbuffers-java | 1.12.0 |
com.google.guava | Guava | 15,0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.helger | Profiler | 1.1.1 |
com.jcraft | jsch | 0.1.55 |
com.jolbox | bonecp | 0.8.0.RELEA Standard kiadás |
com.lihaoyi | sourcecode_2.12 | 0.1.9 |
com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
com.ning | compress-lzf | 1.1.2 |
com.sun.mail | javax.mail | 1.5.2 |
com.sun.xml.bind | jaxb-core | 2.2.11 |
com.sun.xml.bind | jaxb-impl | 2.2.11 |
com.tdunning | json | 1.8 |
com.thoughtworks.paranamer | paranamer | 2.8 |
com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
com.twitter | chill-java | 0.10.0 |
com.twitter | chill_2.12 | 0.10.0 |
com.twitter | util-app_2.12 | 7.1.0 |
com.twitter | util-core_2.12 | 7.1.0 |
com.twitter | util-function_2.12 | 7.1.0 |
com.twitter | util-jvm_2.12 | 7.1.0 |
com.twitter | util-lint_2.12 | 7.1.0 |
com.twitter | util-registry_2.12 | 7.1.0 |
com.twitter | util-stats_2.12 | 7.1.0 |
com.typesafe | config | 1.2.1 |
com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
com.uber | h3 | 3.7.3 |
com.univocity | univocity-parsers | 2.9.1 |
com.zaxxer | HikariCP | 4.0.3 |
commons-cli | commons-cli | 1.5.0 |
commons-codec | commons-codec | 1.16.0 |
commons-collections | commons-collections | 3.2.2 |
commons-dbcp | commons-dbcp | 1.4 |
commons-fileupload | commons-fileupload | 1,5 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2.13.0 |
commons-lang | commons-lang | 2.6 |
commons-naplózás | commons-naplózás | 1.1.3 |
commons-pool | commons-pool | 1.5.4 |
dev.ludovic.netlib | arpack | 3.0.3 |
dev.ludovic.netlib | Blas | 3.0.3 |
dev.ludovic.netlib | lapack | 3.0.3 |
info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
io.airlift | aircompressor | 0,25 |
io.delta | delta-sharing-client_2.12 | 1.0.3 |
io.dropwizard.metrics | metrics-annotation | 4.2.19 |
io.dropwizard.metrics | metrikamag | 4.2.19 |
io.dropwizard.metrics | metrics-graphite | 4.2.19 |
io.dropwizard.metrics | metrics-healthchecks | 4.2.19 |
io.dropwizard.metrics | metrics-jetty9 | 4.2.19 |
io.dropwizard.metrics | metrics-jmx | 4.2.19 |
io.dropwizard.metrics | metrics-json | 4.2.19 |
io.dropwizard.metrics | metrics-jvm | 4.2.19 |
io.dropwizard.metrics | metrics-servlets | 4.2.19 |
io.netty | netty-all | 4.1.96.Final |
io.netty | netty-buffer | 4.1.96.Final |
io.netty | netty-codec | 4.1.96.Final |
io.netty | netty-codec-http | 4.1.96.Final |
io.netty | netty-codec-http2 | 4.1.96.Final |
io.netty | netty-codec-zokni | 4.1.96.Final |
io.netty | netty-common | 4.1.96.Final |
io.netty | netty-handler | 4.1.96.Final |
io.netty | netty-handler-proxy | 4.1.96.Final |
io.netty | netty-resolver | 4.1.96.Final |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-aarch_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-x86_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-aarch_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-x86_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-windows-x86_64 |
io.netty | netty-tcnative-classes | 2.0.61.Final |
io.netty | netty-transport | 4.1.96.Final |
io.netty | netty-transport-classes-epoll | 4.1.96.Final |
io.netty | netty-transport-classes-kqueue | 4.1.96.Final |
io.netty | netty-transport-native-epoll | 4.1.96.Final |
io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-aarch_64 |
io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-x86_64 |
io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-aarch_64 |
io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-x86_64 |
io.netty | netty-transport-native-unix-common | 4.1.96.Final |
io.prometheus | simpleclient | 0.7.0 |
io.prometheus | simpleclient_common | 0.7.0 |
io.prometheus | simpleclient_dropwizard | 0.7.0 |
io.prometheus | simpleclient_pushgateway | 0.7.0 |
io.prometheus | simpleclient_servlet | 0.7.0 |
io.prometheus.jmx | Kollektor | 0.12.0 |
jakarta.annotation | jakarta.annotation-api | 1.3.5 |
jakarta.servlet | jakarta.servlet-api | 4.0.3 |
jakarta.validation | jakarta.validation-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.activation | aktiválás | 1.1.1 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.transaction | jta | 1,1 |
javax.transaction | transaction-api | 1,1 |
javax.xml.bind | jaxb-api | 2.2.11 |
javolution | javolution | 5.5.1 |
jline | jline | 2.14.6 |
joda-time | joda-time | 2.12.1 |
net.java.dev.jna | jna | 5.8.0 |
net.razorvine | Lé | 1.3 |
net.sf.jpam | jpam | 1,1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | super-csv | 2.2.0 |
net.snowflake | snowflake-ingest-sdk | 0.9.6 |
net.sourceforge.f2j | arpack_combined_all | 0,1 |
org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
org.antlr | ST4 | 4.0.4 |
org.antlr | antlr-runtime | 3.5.2 |
org.antlr | antlr4-runtime | 4.9.3 |
org.antlr | stringtemplate | 3.2.1 |
org.apache.ant | ant | 1.9.16 |
org.apache.ant | ant-jsch | 1.9.16 |
org.apache.ant | ant-launcher | 1.9.16 |
org.apache.arrow | nyílformátum | 12.0.1 |
org.apache.arrow | nyíl-memóriamag | 12.0.1 |
org.apache.arrow | nyíl-memória-netty | 12.0.1 |
org.apache.arrow | nyíl-vektor | 12.0.1 |
org.apache.avro | avro | 1.11.2 |
org.apache.avro | avro-ipc | 1.11.2 |
org.apache.avro | avro-mapred | 1.11.2 |
org.apache.commons | commons-collections4 | 4.4 |
org.apache.commons | commons-compress | 1.23.0 |
org.apache.commons | commons-crypto | 1.1.0 |
org.apache.commons | commons-lang3 | 3.12.0 |
org.apache.commons | commons-math3 | 3.6.1 |
org.apache.commons | commons-text | 1.10.0 |
org.apache.curator | kurátor-ügyfél | 2.13.0 |
org.apache.curator | kurátor-keretrendszer | 2.13.0 |
org.apache.curator | kurátor-receptek | 2.13.0 |
org.apache.datasketches | datasketches-java | 3.1.0 |
org.apache.datasketches | datasketches-memory | 2.0.0 |
org.apache.derby | Derby | 10.14.2.0 |
org.apache.hadoop | hadoop-client-runtime | 3.3.6 |
org.apache.hive | hive-beeline | 2.3.9 |
org.apache.hive | hive-cli | 2.3.9 |
org.apache.hive | hive-jdbc | 2.3.9 |
org.apache.hive | hive-llap-client | 2.3.9 |
org.apache.hive | hive-llap-common | 2.3.9 |
org.apache.hive | hive-serde | 2.3.9 |
org.apache.hive | hive-shims | 2.3.9 |
org.apache.hive | hive-storage-api | 2.8.1 |
org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
org.apache.hive.shims | hive-shims-common | 2.3.9 |
org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
org.apache.httpcomponents | httpclient | 4.5.14 |
org.apache.httpcomponents | httpcore | 4.4.16 |
org.apache.ivy | Ivy | 2.5.1 |
org.apache.logging.log4j | log4j-1.2-api | 2.20.0 |
org.apache.logging.log4j | log4j-api | 2.20.0 |
org.apache.logging.log4j | log4j-core | 2.20.0 |
org.apache.logging.log4j | log4j-slf4j2-impl | 2.20.0 |
org.apache.orc | orc-core | 1.9.2-shaded-protobuf |
org.apache.orc | orc-mapreduce | 1.9.2-shaded-protobuf |
org.apache.orc | orc-shims | 1.9.2 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.12.0 |
org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
org.apache.xbean | xbean-asm9-shaded | 4.23 |
org.apache.yetus | célközönség-széljegyzetek | 0.13.0 |
org.apache.zookeeper | zookeeper | 3.6.3 |
org.apache.zookeeper | zookeeper-juta | 3.6.3 |
org.checkerframework | checker-qual | 3.31.0 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
org.codehaus.janino | commons-compiler | 3.0.16 |
org.codehaus.janino | janino | 3.0.16 |
org.datanucleus | datanucleus-api-jdo | 4.2.4 |
org.datanucleus | datanucleus-core | 4.1.17 |
org.datanucleus | datanucleus-rdbms | 4.1.19 |
org.datanucleus | javax.jdo | 3.2.0-m3 |
org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
org.eclipse.jetty | móló-folytatás | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-http | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
org.eclipse.jetty | móló plusz | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-proxy | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-security | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-server | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-util | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-webapp | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-api | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-client | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-common | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-server | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-servlet | 9.4.52.v20230823 |
org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
org.glassfish.hk2 | hk2-api | 2.6.1 |
org.glassfish.hk2 | hk2-lokátor | 2.6.1 |
org.glassfish.hk2 | hk2-utils | 2.6.1 |
org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
org.glassfish.jersey.containers | jersey-container-servlet | 2.40 |
org.glassfish.jersey.containers | jersey-container-servlet-core | 2.40 |
org.glassfish.jersey.core | jersey-client | 2.40 |
org.glassfish.jersey.core | jersey-common | 2.40 |
org.glassfish.jersey.core | jersey-server | 2.40 |
org.glassfish.jersey.inject | jersey-hk2 | 2.40 |
org.hibernate.validator | hibernate-validator | 6.1.7.Final |
org.ini4j | ini4j | 0.5.4 |
org.javassist | javassist | 3.29.2-GA |
org.jboss.logging | jboss-logging | 3.3.2.Végleges |
org.jdbi | jdbi | 2.63.1 |
org.jetbrains | Széljegyzetek | 17.0.0 |
org.joda | joda-convert | 1,7 |
org.jodd | jodd-core | 3.5.2 |
org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
org.json4s | json4s-core_2.12 | 3.7.0-M11 |
org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
org.lz4 | lz4-java | 1.8.0 |
org.mlflow | mlflow-spark_2.12 | 2.9.1 |
org.objenesis | objenesis | 2.5.1 |
org.postgresql | postgresql | 42.6.0 |
org.roaringbitmap | RoaringBitmap | 0.9.45 |
org.roaringbitmap | Alátéteket | 0.9.45 |
org.rocksdb | rocksdbjni | 8.3.2 |
org.rosuda.REngine | REngine | 2.1.0 |
org.scala-lang | scala-compiler_2.12 | 2.12.15 |
org.scala-lang | scala-library_2.12 | 2.12.15 |
org.scala-lang | scala-reflect_2.12 | 2.12.15 |
org.scala-lang.modules | scala-collection-compat_2.12 | 2.11.0 |
org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
org.scala-sbt | teszt-interfész | 1,0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.2.15 |
org.scalanlp | breeze-macros_2.12 | 2.1.0 |
org.scalanlp | breeze_2.12 | 2.1.0 |
org.scalatest | scalatest-kompatibilis | 3.2.15 |
org.scalatest | scalatest-core_2.12 | 3.2.15 |
org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
org.scalatest | scalatest_2.12 | 3.2.15 |
org.slf4j | jcl-over-slf4j | 2.0.7 |
org.slf4j | jul-to-slf4j | 2.0.7 |
org.slf4j | slf4j-api | 2.0.7 |
org.slf4j | slf4j-simple | 1.7.25 |
org.threeten | három-extra | 1.7.1 |
org.tukaani | xz | 1,9 |
org.typelevel | algebra_2.12 | 2.0.1 |
org.typelevel | cats-kernel_2.12 | 2.1.1 |
org.typelevel | spire-macros_2.12 | 0.17.0 |
org.typelevel | spire-platform_2.12 | 0.17.0 |
org.typelevel | spire-util_2.12 | 0.17.0 |
org.typelevel | spire_2.12 | 0.17.0 |
org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
org.xerial | sqlite-jdbc | 3.42.0.0 |
org.xerial.snappy | snappy-java | 1.1.10.3 |
org.yaml | snakeyaml | 2,0 |
Oro | Oro | 2.0.8 |
pl.edu.icm | JLargeArrays | 1,5 |
software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
software.amazon.ion | ion-java | 1.0.2 |
stax | stax-api | 1.0.1 |
Visszajelzés
https://aka.ms/ContentUserFeedback.
Hamarosan elérhető: 2024-ben fokozatosan kivezetjük a GitHub-problémákat a tartalom visszajelzési mechanizmusaként, és lecseréljük egy új visszajelzési rendszerre. További információ:Visszajelzés küldése és megtekintése a következőhöz: