Megosztás a következőn keresztül:

Databricks Runtime 13.3 LTS

  • Cikk

Az alábbi kibocsátási megjegyzések az Apache Spark 3.4.1 által működtetett Databricks Runtime 13.3 LTS-ről nyújtanak információkat.

A Databricks 2023 augusztusában adta ki ezeket a képeket.

Új funkciók és fejlesztések

Megosztott fürtök Scala-támogatása

A Unity katalógusbarát megosztott fürtöi mostantól támogatják a Scalát a Databricks Runtime 13.3-at vagy újabb verzióját használva.

Az init-szkriptek, JARs-ek és Maven-koordináták engedélyezési listája a Unity Catalog megosztott fürtöin nyilvános előzetes verzióban érhető el

Mostantól a Unity katalógus allowlist használatával szabályozhatja az init-szkriptek, a JAR-ek és a Maven-koordináták telepítését a számításhoz a Databricks Runtime 13.3-at vagy újabb verzióját futtató megosztott hozzáférési móddal. Lásd: Allowlist-kódtárak és init-szkriptek megosztott számításon.

Az Init-szkriptek és a JAR-k mennyiségi támogatása nyilvános előzetes verzióban érhető el

A Unity Catalog-kötetekkel mostantól init-szkripteket és JAR-eket tárolhat a számításban a Databricks Runtime 13.3-at vagy újabb verzióját futtató hozzárendelt vagy megosztott hozzáférési módokkal. Lásd: Hol telepíthetők init-szkriptek? és fürt hatókörű kódtárak.

A Delta Lake-műveletekhez alapértelmezés szerint engedélyezett biztonságos leadások

A delta UPDATE és MERGE a műveletek mostantól hibát eredményeznek, ha az értékek nem adhatók biztonságosan a céltábla sémájának típusához. A Delta összes implicit öntöttje most ahelyettspark.sql.ansi.enabled, hogy a spark.sql.storeAssignmentPolicy . Tekintse meg az ANSI-megfelelőséget a Databricks Runtime-ban.

Címkék bemutatása a Unity Catalog használatával

A Databricks Runtime 13.3 LTS és újabb verzióival címkéket alkalmazhat a biztonságos objektumokra. A címkék segítségével rendszerezheti a biztonságos objektumokat, és egyszerűbbé teheti az adategységek keresését és felderítését. Lásd: Címkék alkalmazása a Unity Catalog biztonságos objektumaira.

A Databricks Runtime hibát ad vissza, ha egy fájl módosul a lekérdezéstervezés és a hívás között

A Databricks Runtime-lekérdezések hibát adnak vissza, ha egy fájl frissül a lekérdezéstervezés és a hívás között. A módosítás előtt a Databricks Runtime beolvas egy fájlt a szakaszok között, ami esetenként kiszámíthatatlan eredményekhez vezet.

Séma felülírása dinamikus partíció felülírása esetén

A Delta Lake-ben nem állíthatja be overwriteSchema true a dinamikus partíció felülírásait. Ez megakadályozza a tábla sérülését a sémaeltérés miatt. Lásd: Dinamikus partíció felülírása.

CopyFile API integrálása a dbutils.fs.cp fájlba

A dbutils copy parancs dbutils.fs.cp mostantól a gyorsabb másolásra van optimalizálva. Ezzel a fejlesztéssel a másolási műveletek a fájl méretétől függően akár 100-szor gyorsabbak is lehetnek. A funkció az Azure Databricksben elérhető összes fájlrendszerben elérhető, beleértve a Unity Catalog Volumes és a Databricks Fájlrendszer-csatlakoztatásokat is.

Databricks ODBC/JDBC illesztőprogram támogatása

Az Azure Databricks támogatja az elmúlt 2 évben kiadott ODBC- és JDBC-illesztőprogramokat. Töltse le a legújabb illesztőprogramot az ODBC-illesztőprogram letöltésével és a JDBC-illesztőprogram letöltésével.

Névtelen (pozíció) paraméterjelölők támogatása

Az SparkSession.sql() API mostantól támogatja a ? szintaxist használó paraméteres lekérdezéseket a szintaxist használó :parm paraméteres lekérdezések mellett. Lásd a paraméterjelölőket.

Idősor oszlopcímkézésének engedélyezése

Mostantól megjelölheti az idősor oszlopait az elsődleges kulcskorlátozások létrehozásakor.

Új bitkép SQL-függvények

Az Azure Databricks most olyan függvénykészletet biztosított, amellyel integrált numerikus értékeket képezhet le bittérképre, és összesítheti őket. Ez a különböző értékek számának előzetes kiszámítására használható.

Továbbfejlesztett titkosítási függvények

A aes_encrypt, aes_decrypt és try_aes_decrypt függvények az inicializálási vektorok (IV) és a hitelesített további adatok (AAD) támogatásával lettek továbbfejlesztve.

A Unity Catalog támogatása a REFRESH FOREIGN-hez

Mostantól frissítheti a külföldi katalógusokat, sémákat és táblákat a Unity Katalógusban a , REFRESH FOREIGN SCHEMAés REFRESH FOREIGN TABLEa .REFRESH FOREIGN CATALOG Lásd: KÜLSŐ FRISSÍTÉS (KATALÓGUS, SÉMA és TÁBLÁZAT).

BESZÚRÁS NÉV SZERINT

Amikor sorokat szúr be egy táblába, az Azure Databricks mostantól automatikusan leképítheti a forrás lekérdezés oszlopait és mezőit a tábla oszlopaihoz a nevük alapján. Lásd: INSERT INTO.

Materializált nézetek megosztása a Delta Sharing szolgáltatással

Az ALTER SHARE utasítás mostantól támogatja a materializált nézeteket.

Kompatibilitástörő változások

Implicit öntvény módosítása a sorok táblában való tárolásakor a MERGE INTO és az UPDATE használatával

Az Azure Databricks mostantól követi az implicit öntés konfigurálását spark.sql.storeAssignmentPolicy , amikor sorokat tárol egy táblában. Az alapértelmezett érték ANSI hibát jelez a túlcsorduló értékek tárolásakor. Korábban az értékek alapértelmezés szerint lesznek tárolva NULL .

Az alábbi példához hasonlóan a túlcsordulásokat úgy is kezelheti, ha újraírja a táblát, hogy a hibát okozó oszlophoz egy szélesebb típust használjon.

-- Enable column mapping
ALTER TABLE MyTable SET TBLPROPERTIES (
    'delta.minReaderVersion' = '2',
    'delta.minWriterVersion' = '5',
    'delta.columnMapping.mode' = 'name'
  )

-- Rename the old column and create a new column with the new type using the old name
ALTER TABLE MyTable RENAME ID to ID_old
ALTER TABLE MyTable ADD COLUMN ID BIGINT

-- Rewrite the entire table
UPDATE MyTable SET ID = ID_old

-- Drop the old column
ALTER TABLE MyTable DROP COLUMN ID_old

Parquet Schema Inference Changes

Ha a Spark által nem írt Parquet-fájlok sémáiból következtet, int64 az időbélyeggel jegyzett isAdjustedToUTC=false oszlopok alapértelmezés szerint beírásra kerülnek TIMESTAMP_NTZ . Korábban ezek típusként TIMESTAMP lettek kikövetkeztetve. Ez a frissítés növeli a Parquet-típusok Spark SQL-típusokra való leképezésének pontosságát.

Ennek eredményeképpen a külső Parquet-fájlok adatainak Delta-táblába való beolvasása hibát okozhat, ha a timestampNtz funkció nincs engedélyezve. A hiba a következőképpen jelenik meg:

Fatal exception of the update:
com.databricks.sql.transaction.tahoe.DeltaTableFeatureException
Your table schema requires manual enablement of the following table feature(s): timestampNtz.

Az előző viselkedés fenntartásához és a hiba megelőzéséhez állítsa a Spark konfigurációs paraméterét spark.sql.parquet.inferTimestampNTZ.enabled a következőre false: .

Könyvtárfrissítések

  • Frissített Python-kódtárak:
    • hibakeresés az 1.5.1-től az 1.6.0-s verzióig
    • 0.3.6 és 0.3.7 közötti eloszlás
    • fastjsonschema 2.16.3-tól 2.18.0-ra
    • filelock 3.12.0 és 3.12.2 között
  • Frissített R-kódtárak:
    • SparkR 3.4.0 és 3.4.1 között
  • Frissített Java-kódtárak:
    • org.apache.orc.orc-core 1.8.3-shaded-protobuf-1.8.4-shaded-protobuf
    • org.apache.orc.orc-mapreduce from 1.8.3-shaded-protobuf to 1.8.4-shaded-protobuf
    • org.apache.orc.orc-shims 1.8.3 és 1.8.4 között
    • org.eclipse.jetty.jetty-client 9.4.50.v20221201 és 9.4.51.v20230217
    • org.eclipse.jetty.jetty-folytatás 9.4.50.v20221201-től 9.4.51.v20230217
    • org.eclipse.jetty.jetty-http 9.4.50.v20221201-től 9.4.51.v20230217
    • org.eclipse.jetty.jetty-io 9.4.50.v20221201-től 9.4.51.v20230217
    • org.eclipse.jetty.jetty-jndi 9.4.50.v20221201-től 9.4.51.v20230217
    • org.eclipse.jetty.jetty-plus 9.4.50.v20221201-től 9.4.51.v20230217
    • org.eclipse.jetty.jetty-proxy 9.4.50.v20221201-től 9.4.51.v20230217
    • org.eclipse.jetty.jetty-security 9.4.50.v20221201–9.4.51.v20230217
    • org.eclipse.jetty.jetty-server 9.4.50.v20221201-ről 9.4.51.v20230217
    • org.eclipse.jetty.jetty-servlet 9.4.50.v20221201 és 9.4.51.v20230217
    • org.eclipse.jetty.jetty-servlets from 9.4.50.v20221201 to 9.4.51.v20230217
    • org.eclipse.jetty.jetty-util 9.4.50.v20221201-től 9.4.51.v20230217
    • org.eclipse.jetty.jetty-util-ajax 9.4.50.v20221201 és 9.4.51.v20230217
    • org.eclipse.jetty.jetty-webapp 9.4.50.v20221201 és 9.4.51.v20230217
    • org.eclipse.jetty.jetty-xml 9.4.50.v20221201-től 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-api 9.4.50.v20221201 és 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-client 9.4.50.v20221201–9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-common 9.4.50.v20221201–9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-server 9.4.50.v20221201–9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-servlet 9.4.50.v20221201–9.4.51.v20230217
    • org.xerial.snappy.snappy-java 1.1.8.4 és 1.1.10.1 között

Apache Spark

A Databricks Runtime 13.3 tartalmazza az Apache Spark 3.4.1-et. Ez a kiadás tartalmazza a Databricks Runtime 13.2 -ben (EoS) található összes Spark-javítást és -fejlesztést, valamint a Spark következő további hibajavításait és fejlesztéseit:

  • Most már beállíthatja, hogy a fürt környezeti változója SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12 a Spark-snowflake összekötő 2.12.0-s verziót használja.
  • [SPARK-43380] [DBRRM-383] "[SC-133100][SQL] Az Avro adattípus konvererének visszaállítása...
  • [SPARK-44504] [Backport] [13.2] [13.x] [13.3] Ürítse ki a szolgáltatót, így kényszerítve a DB-példány bezárását és az erőforrások felszabadítását a karbantartási feladat hibája esetén
  • [SPARK-44059] [SC-137023] A beépített függvények nevesített argumentumainak elemzői támogatásának hozzáadása
  • [SPARK-44485] [SC-137653] [SQL] A TreeNode.generateTreeString optimalizálása
  • [SPARK-42944] [SC-137164] [SS] [PYTHON] A ForeachBatch streamelése Pythonban
  • [SPARK-44446] [SC-136994] [PYTHON] A várt listatípusra vonatkozó speciális esetek ellenőrzése
  • [SPARK-44439] [SC-136973] [CONNECT] [SS] Kijavítottuk a listListenereket, hogy csak azonosítókat küldjenek vissza az ügyfélnek
  • [SPARK-44216] [SC-136941] [PYTHON] Az assertSchemaEqual API nyilvánossá tétele
  • [SPARK-44201] [SC-136778] [CONNECT] [SS] Streamfigyelő támogatása a Scala for Spark Connectben
  • [SPARK-43915] [SC-134766] [SQL] Nevek hozzárendelése a LEGACY_ERROR_TEMP hibaosztályhoz[2438-2445]
  • [SPARK-43798] "[SC-133990][SQL][PYTHON] A Python felhasználó által definiált táblafüggvények támogatása"
  • [SPARK-44398] [SC-136720] [CONNECT] Scala foreachBatch API
  • [SPARK-44476] [SC-137169] [CORE] [CONNECT] A JobArtifactState összetevő-populációjának javítása társított összetevők nélkül
  • [SPARK-44269] [SC-135817] [SQL] Nevek hozzárendelése a LEGACY_ERROR_TEMP hibaosztályhoz[2310-2314]
  • [SPARK-44395] [SC-136744] [SQL] A TVF-argumentumok frissítése, hogy zárójeleket követeljenek meg az azonosító körül a TABLE kulcsszó után
  • [SPARK-43915] [SC-134766] [SQL] Nevek hozzárendelése a LEGACY_ERROR_TEMP hibaosztályhoz[2438-2445]
  • [SPARK-43995] [SC-136794] [SPARK-43996] [CONNECT] Az UDFRegistration támogatásának hozzáadása a Scala-ügyfél csatlakoztatásához
  • [SPARK-44109] [SC-134755] [CORE] Az egyes RDD-partíciók ismétlődő előnyben részesített helyeinek eltávolítása
  • [SPARK-44169] [SC-135497] [SQL] Nevek hozzárendelése a LEGACY_ERROR_TEMP hibaosztályhoz[2300-2304]
  • [SPARK-41487] [SC-135636] [SQL] Név hozzárendelése _LEGACY_ERROR_TEMP_1020
  • [SPARK-44398] [SC-136720] [CONNECT] Scala foreachBatch API
  • [SPARK-44153] [SC-134977] [CORE] [Felhasználói felület] Támogatási Heap Histogram oszlop a Executors lapon
  • [SPARK-44044] [SC-135695] [SS] Windows-függvények hibaüzenetének javítása streameléssel
  • [SPARK-43914] [SC-135414] [SQL] Nevek hozzárendelése a LEGACY_ERROR_TEMP hibaosztályhoz[2433-2437]
  • [SPARK-44217] [SC-136805] [PYTHON] Egyéni pontosság engedélyezése fp kb egyenlőség esetén
  • [SPARK-44370] [SC-136575] [CONNECT] Buf távoli generációs alfa migrálása távoli beépülő modulokra
  • [SPARK-44410] [SC-136930] [PYTHON] [CONNECT] Aktív munkamenet beállítása a létrehozásban, nem csak a getOrCreate
  • [SPARK-44348] [SAS-1910] [SC-136644] [13.X] [CORE] [CONNECT] [PYTHON] Reenable test_artifact releváns módosításokkal
  • [SPARK-44145] [SC-136698] [SQL] Visszahívás, ha készen áll a végrehajtásra
  • [SPARK-44264] [SC-136870] [PYTHON] [ML] FunctionPickler osztály
  • [SPARK-43986] [SC-135623] [SQL] Hibaosztályok létrehozása HyperLog-függvényhívási hibákhoz
  • [SPARK-44139] [SC-134967] [SQL] Teljesen leküldéses szűrők elvetése csoportalapú MERGE műveletekben
  • [SPARK-44338] [SC-136718] [SQL] A nézetséma eltérésének javítása hibaüzenet
  • [SPARK-44208] [SC-135505] [CORE] [SQL] Egyértelmű hibaosztálynevek hozzárendelése olyan logikához, amely közvetlenül kivételeket használ
  • [SPARK-44364] [SC-136773] [PYTHON] Támogatás hozzáadása a List[Row] adattípushoz a várthoz
  • [SPARK-44180] [SC-136792] [SQL] A DistributionAndOrderingUtilsnak a ResolveTimeZone-t kell alkalmaznia
  • [SPARK-43389] [SC-136772] [SQL] Null értékű pipa hozzáadása a lineSep beállításhoz
  • [SPARK-44388] [SC-136695] [CONNECT] Protobuf-leadási probléma kijavítása UDF-példány frissítésekor
  • [SPARK-44352] [SC-136373] [CONNECT] Helyezze vissza a SameType-t és barátait a DataType-ban.
  • [SPARK-43975] [SC-134265] [SQL] DataSource V2: Update parancsok kezelése csoportalapú forrásokhoz
  • [SPARK-44360] [SC-136461] [SQL] Sémametszet támogatása a delta-alapú MERGE műveletekben
  • [SPARK-44138] [SC-134907] [SQL] Nem determinisztikus kifejezések, albekérdezések és aggregátumok tiltása a MERGE feltételekben
  • [SPARK-43321] [SC-136678] [Csatlakozás] [Nyomon követés] A Scala Client joinWith-ben használt API-k jobb nevei
  • [SPARK-44263] [SC-136447] [CONNECT] Egyéni elfogók támogatása
  • [SPARK-39851] [SC-123383] [SQL] Az illesztésstatisztikák becslésének javítása, ha az egyik oldal képes megőrizni az egyediséget
  • [SPARK-44390] [SC-136677] [CORE] [SQL] Átnevezés SparkSerDerseUtils : SparkSerDeUtils
  • [SPARK-44004] [SC-134751] [SQL] Név hozzárendelése és javítása hibaüzenet a gyakori LEGACY-hibák esetén.
  • [SPARK-44322] [SC-136204] [CONNECT] Az elemző az SQLConf helyett az SqlApiConfot használja.
  • [SPARK-44271] [SC-136347] [SQL] Alapértelmezett értékfüggvények áthelyezése a StructType-ból a ResolveDefaultColumnsba
  • [SPARK-44332] [SC-136413] [CORE] [WEBUI] A Végrehajtóazonosító oszlop rendezési hibájának kijavítása a Végrehajtók felhasználói felületén
  • [SPARK-44282] [SC-135948] [CONNECT] DataType-elemzés előkészítése a Spark Connect Scala-ügyfélben való használatra
  • [SPARK-44349] [SC-136581] [R] Matematikai függvények hozzáadása a SparkR-hez
  • [SPARK-44397] [SC-136647] [PYTHON] Az assertDataFrameEqual felfedése a pyspark.testing.utils alkalmazásban
  • [SPARK-42981] [SC-136620] [CONNECT] Közvetlen nyíl szerializálásának hozzáadása
  • [SPARK-44373] [SC-136577] [SQL] Wrap withActive for Dataset API w/ parse logic to make parser related configuration work
  • [SPARK-44340] [SC-136574] [SQL] Határozza meg a számítási logikát a PartitionEvaluator API-val, és használja a WindowGroupLimitExecben
  • [SPARK-43665] [SC-136573] [CONNECT] [PS] A PandasSQLStringFormatter.vformat engedélyezése a Spark Connect használatához
  • [SPARK-44325] [SC-136572] [SQL] PartitionEvaluator API használata a SortMergeJoinExecben
  • [SPARK-44315] [SC-136171] [SQL] [CONNECT] DefinedByConstructorParams áthelyezése sql/api-ba
  • [SPARK-44275] [SC-136184] [CONNECT] Konfigurálható újrapróbálkozási mechanizmus hozzáadása a Scala Spark Connecthez
  • [SPARK-44326] [SC-136208] [SQL] [CONNECT] A Scala-ügyfélről a gyakori modulokra alkalmazott utilok áthelyezése
  • [SPARK-43321] [SC-136156] [Csatlakozás] Adatkészlet#Joinwith
  • [SPARK-44343] [SC-136372] [CONNECT] ScalaReflection előkészítése az SQL/API-ba való áthelyezéshez
  • [SPARK-44313] [SC-136081] [SQL] A létrehozott oszlopkifejezés-ellenőrzés javítása, ha a sémában char/varchar oszlop található
  • [SPARK-43963] [SC-134145] [SQL] DataSource V2: Csoportalapú források MERGE parancsainak kezelése
  • [SPARK-44363] [SC-136433] [PYTHON] Egyenlőtlen sorok százalékos aránya a DataFrame-összehasonlításban
  • [SPARK-44251] [SC-136432] [SQL] Null értékű helyes beállítása a teljes külső USING illesztésben a szénerősített illesztési kulcson
  • [SPARK-43948] [SC-133366] [SQL] Nevek hozzárendelése a LEGACY_ERROR_TEMP hibaosztályhoz[0050|0057|0058|0059]
  • [SPARK-44329] [SC-136326] [CONNECT] [PYTHON] Hll_sketch_agg, hll_union_agg, to_varchar, try_aes_decrypt hozzáadása a Scalához és a Pythonhoz
  • [SPARK-44351] [SC-136353] [SQL] Szintaktikai egyszerűsítés
  • [SPARK-44281] [SC-135963] [SQL] DataType által használt QueryCompilation-hiba áthelyezése az sql/api-ba DataTypeErrorsként
  • [SPARK-44283] [SC-136109] [CONNECT] Forrás áthelyezése az SQL/API-ba
  • [SPARK-43926] [SC-135590] [CONNECT] [PYTHON] Array_agg, array_size, számosság, count_min_sketch,maszk, named_struct,json_* hozzáadása a Scalához és a Pythonhoz
  • [SPARK-44327] [SC-136187] [SQL] [CONNECT] Függvények any hozzáadása és len a Scala
  • [SPARK-44290] [SC-136300] [CONNECT] Munkamenet-alapú fájlok és archívumok a Spark Connectben
  • [SPARK-44061] [SC-136299] [PYTHON] AssertDataFrameEqual util függvény hozzáadása
  • [SPARK-44331] [SC-136324] [CONNECT] [PYTHON] Bitképfüggvények hozzáadása a Scalához és a Pythonhoz
  • [SPARK-44342] [SC-136334] [SQL] Az SQLContext cseréje SparkSession for GenTPCDSData-ra
  • [SPARK-42583] [SC-124190] [SQL] Távolítsa el a külső illesztést, ha mindegyik különböző összesítő függvény
  • [SPARK-44333] [SC-136206] [CONNECT] [SQL] EnhancedLogicalPlan áthelyezése a ParserUtils elemből
  • [SPARK-43824] [SC-132655] [SPARK-43825] [SQL] Nevek hozzárendelése a _LEGACY_ERROR_TEMP_128[1-2] hibaosztályhoz
  • [SPARK-43939] [SC-134602] [CONNECT] [PYTHON] Try_* függvények hozzáadása a Scalához és a Pythonhoz
  • [SPARK-44193] [SC-135886] [CONNECT] GRPC-kivételek lehallgatása implementálása konvertáláshoz
  • [SPARK-44284] [SC-136107] [CONNECT] Egyszerű konföderáció-rendszer létrehozása sql/api-hoz
  • [SPARK-43913] [SC-133368] [SQL] Nevek hozzárendelése a LEGACY_ERROR_TEMP hibaosztályhoz[2426-2432]
  • [SPARK-44291] "[SC-135924][SPARK-43416][CONNECT] Helytelen séma javítása tartomány-lekérdezéshez"
  • [SPARK-44312] [SC-136185] [CONNECT] [PYTHON] Felhasználói ügynök beállításának engedélyezése környezeti változóval
  • [SPARK-44154] [SC-136060] Bitképfüggvények implementálása
  • [SPARK-43885] [SC-133996] [SQL] DataSource V2: A DELTA-alapú források MERGE parancsainak kezelése
  • [SPARK-43924] [SC-135161] [CONNECT] [PYTHON] Egyéb függvények hozzáadása a Scalához és a Pythonhoz
  • [SPARK-43969] [SC-134556] [SQL] Újrabontás & Nevek hozzárendelése a _LEGACY_ERROR_TEMP_1170 hibaosztályhoz
  • [SPARK-44185] [SC-135730] [SQL] A katalógus és az adatműveletek közötti inkonzisztens elérési út javítása
  • [SPARK-44073] [SC-134562] [SQL] [PYTHON] [CONNECT] Dátum-idő függvények hozzáadása a Scalához, a Pythonhoz és a Connecthez – 2. rész
  • [SPARK-43942] [SC-134527] [CONNECT] [PYTHON] Sztringfüggvények hozzáadása a Scalához és a Pythonhoz – 1. rész
  • [SPARK-44266] [SC-135813] [SQL] Util.truncatedString áthelyezése sql/api-ba
  • [SPARK-44195] [SC-135722] [R] JobTag API-k hozzáadása a SparkR SparkContexthez
  • [SPARK-44200] [SC-135736] [SQL] TableValuedFunction TÁBLA argumentumelemző szabályának támogatása
  • [SPARK-44254] [SC-135709] [SQL] DataType által használt QueryExecutionErrors áthelyezése az sql/api-ba DataTypeErrorsként
  • [SPARK-44291] [SC-135924] [SPARK-43416] [CONNECT] Helytelen séma kijavítása tartomány-lekérdezéshez
  • [SPARK-43922] [SC-135612] [SQL] Elnevezett paramétertámogatás hozzáadása az elemzőben függvényhívásokhoz
  • [SPARK-44300] [SC-135882] [CONNECT] Az összetevők törlésének javítása a törlés hatókörének munkamenet-specifikus összetevőkre való korlátozásához
  • [SPARK-44293] [SC-135849] [CONNECT] Érvénytelen URI javítása egyéni JAR-ekhez a Spark Connectben
  • [SPARK-44215] [SC-135850] [SHUFFLE] Ha a számtömbök száma 0, akkor a kiszolgálónak runtimeException értéket kell létrehoznia
  • [SPARK-44245] [SC-135851] [PYTHON] pyspark.sql.dataframe sample() doctestsnek csak szemléltető jellegűnek kell lennie
  • [SPARK-44274] [SC-135814] [CONNECT] Az ArtifactManager által használt util függvények áthelyezése a common/utils függvényekre
  • [SPARK-44194] [SC-135815] [PYTHON] [CORE] JobTag API-k hozzáadása a PySpark SparkContexthez
  • [SPARK-42828] [SC-135733] [PYTHON] [SQL] Explicitebb Python-típusú széljegyzetek a GroupedData-hoz
  • [SPARK-44079] [SC-135486] [SQL] Javítás ArrayIndexOutOfBoundsException , ha a tömböt strukturáltként elemzi a hibás rekorddal rendelkező PERMISSIVE móddal
  • [SPARK-44255] [SC-135809] [SQL] StorageLevel áthelyezése a common/utils szolgáltatásba
  • [SPARK-42169] [SC-135795] [SQL] Kódgenerálás implementálása to_csv függvényhez (StructsToCsv)
  • [SPARK-44249] [SC-135719] [SQL] [PYTHON] A PythonUDTFRunner újrabontása a visszatérési típus külön-külön történő elküldéséhez
  • [SPARK-43353] [SC-132734] [PYTHON] Fennmaradó munkamenethibák migrálása hibaosztályba
  • [SPARK-44211] [SC-135718] [PYTHON] [CONNECT] SparkSession.is_stopped implementálása
  • [SPARK-42784] [SC-135691] akkor is létre kell hoznia a subDirt, ha a egyesítési dirben lévő aldirek száma kisebb, mint a conf
  • [SPARK-41599] [SC-135616] Memóriavesztés a FileSystem.CACHE-ben, amikor alkalmazásokat küld a fürt védelmére az InProcessLauncher használatával
  • [SPARK-44241] [SC-135613] [Core] Ha az io.connectionTimeout/connectionCreationTimeout értéke nullára vagy negatívra van állítva, akkor a végrehajtók szüntelen hátrányai/megsemmisítései lesznek.
  • [SPARK-44133] [SC-134795] [13.X] [PYTHON] A MyPy frissítése 0,920-ról 0,982-re
  • [SPARK-42941] [SC-134707] [SS] [CONNECT] [1/2] StreamingQueryListener – Event Serde JSON formátumban
  • [SPARK-44188] [SC-135173] [CORE] Használhatatlan metódus eltávolítása a következőben resetAllPartitions : ActiveJob
  • [SPARK-43757] [SC-135418] [CONNECT] Ügyfélkompatibilitás módosítása engedélyezési listáról tiltólistára
  • [SPARK-43474] [SC-135521] [SS] [CONNECT] Spark Connect-hozzáférés hozzáadása futtatókörnyezeti adatkeretekhez azonosító szerint.
  • [SPARK-44183] [SC-135209] [PYTHON] A minimális verzió létrehozása PyArrow 4.0.0-ra
  • [SPARK-44248] [SC-135554] [SS] [SQL] [Kafka] Előnyben részesített hely hozzáadása a Kafka-forrás v2-ben
  • [SPARK-43929] [SC-134510] [SQL] [PYTHON] [CONNECT] Dátum-idő függvények hozzáadása a Scala, a Python és a Connect API-hoz – 1. rész
  • [SPARK-44161] [SC-135326] [Csatlakozás] UDF-ek sorbemenetének kezelése
  • [SPARK-44227] [SC-135520] [SQL] SchemaUtils kinyerés a StructFieldből
  • [SPARK-44064] [SC-135116] [CORE] [SQL] Új apply függvény hozzáadása a NonFateSharingCache
  • [SPARK-44171] [SC-135269] [SQL] Nevek hozzárendelése a LEGACY_ERROR_TEMP[2279-2282] hibaosztályhoz & törölje a nem használt hibaosztályokat
  • [SPARK-44056] [SC-134758] [SQL] UDF-név belefoglalása az UDF-végrehajtási hibaüzenetbe, ha elérhető
  • [SPARK-44205] [SC-135422] [SQL] Katalizátorkód kinyerve a DecimalType-ból
  • [SPARK-44220] [SC-135484] [SQL] StringConcat áthelyezése sql/api-ba
  • [SPARK-44146] [SC-135230] [CONNECT] Spark Connect session jars és classfiles elkülönítése
  • [SPARK-44206] [SC-135411] [SQL] DataSet.selectExpr hatókör Munkamenet.aktív
  • [SPARK-40850] [SC-135417] [SQL] A teszteset által értelmezett lekérdezések kijavítása a Codegent is végrehajthatja
  • [SPARK-44204] [SC-135253] [SQL] [HIVE] Hiányzó rekord hozzáadásaHiveCall for getPartitionNames
  • [SPARK-44237] [SC-135485] [CORE] A DirectByteBuffer konstruktorkeresési logikája egyszerűsítése
  • [SPARK-44189] [SC-135170] [CONNECT] [PYTHON] Pozícióparaméterek támogatása a következő szerint: sql()
  • [SPARK-44140] [SC-134893] [SQL] [PYTHON] Pozícióparaméterek támogatása a Pythonban sql()
  • [SPARK-44164] [SC-135158] [SQL] Extract toAttribute metódus a StructFieldből a Util osztályba
  • [SPARK-44178] [SC-135113] [CONNECT] Pozícióparaméterek támogatása a következőben: sql()
  • [SPARK-43208] [SC-128955] [SQL] [HIVE] Az IsolatedClassLoadernek be kell zárnia az InputStream akadályosztályt az olvasás után
  • [SPARK-43063] [SC-128382] [SQL] df.show a handle null értéket a null helyett a NULL betűt kell nyomtatnia
  • [SPARK-42539] [SC-124464] [SQL] [HIVE] A különálló classloader eltávolítása a metaadat-ügyfél "beépített" Hive-verziójának használatakor
  • [SPARK-43992] [SC-133645] [SQL] [PYTHON] [CONNECT] Választható minta hozzáadása a Catalog.listFunctionshez
  • [SPARK-44066] [SC-134878] [SQL] Pozícióparaméterek támogatása a Scalában/Java-ban sql()
  • [SPARK-44078] [SC-134869] [CONNECT] [CORE] Támogatás hozzáadása az osztálybetöltőhöz/erőforrás-elkülönítéshez
  • [SPARK-43470] [SC-135187] [CORE] Operációsrendszer-, Java- és Python-verzióinformációk hozzáadása az alkalmazásnaplóhoz
  • [SPARK-43136] [SC-135238] [CONNECT] [Nyomon követés] Tesztek hozzáadása kulcsala-khoz
  • [SPARK-39740] [SC-135093] [Felhasználói felület]: Frissítse az ütemtervet a 7.7.2-es verzióra a CVE-2020-28487 javítása érdekében
  • [SPARK-42298] [SC-133952] [SQL] Név hozzárendelése _LEGACY_ERROR_TEMP_2132
  • [SPARK-43961] [SC-133459] [SQL] [PYTHON] [CONNECT] Választható minta hozzáadása a Catalog.listTableshoz
  • [SPARK-44026] [SC-135181] Az SQLMetrics kezdeti értékének megadása
  • [SPARK-44202] [SC-135244] [CORE] JobTag API-k hozzáadása a JavaSparkContexthez
  • [SPARK-44030] [SC-135237] [SQL] A DataTypeExpression implementálása a kifejezés alkalmazásának mellőzéséhez
  • [SPARK-43876] "[SC-134603][SQL] A gyors kivonattérkép engedélyezése különböző lekérdezésekhez"
  • [SPARK-40082] [SC-126437] Egyesítés ütemezéseA leküldéses egyesítési shuffleMapStage újrapróbálkozáskor, de nincsenek futó feladatok
  • [SPARK-43888] [SC-132893] [CORE] Naplózás áthelyezése a common/utils szolgáltatásba
  • [SPARK-43474] [SC-134400] [SS] [CONNECT] Munkamenet-tulajdonos hozzáadása a SparkConnectPlannerhez
  • [SPARK-43944] [SC-134490] [CONNECT] [PYTHON] Sztringfüggvények hozzáadása a Scalához és a Pythonhoz – 2. rész
  • [SPARK-44134] [SC-134954] [CORE] Az erőforrások (GPU/FPGA) értékének javítása 0 értékre, ha a spark-defaults.conf fájlban vannak beállítva
  • [SPARK-44142] [SC-134947] [PYTHON] A python-típusok Spark-típusokká alakításához cserélje le a típust tpe-re a segédprogramban
  • [SPARK-43952] [SC-134695] [CORE] [CONNECT] [SQL] SparkContext API-k hozzáadása a lekérdezések címke szerinti törléséhez
  • [SPARK-44000] [SC-133634] [SQL] Tipp hozzáadása a közvetítés letiltásához és az összekapcsolás egyik oldalának replikálásához
  • [SPARK-43937] [SC-134362] [CONNECT] [PYTHON] Ifnull,isnotnull,equal_null,nullif,nvl,nvl2 hozzáadása a Scalához és a Pythonhoz
  • [SPARK-43624] [13.x] [SC-134557] [PS] [CONNECT] Hozzáadás EWM a SparkConnectPlannerhez.
  • [SPARK-44040] [SC-134366] [SQL] Számítási statisztikák javítása a QueryStageExec fölötti AggregateExec csomópont esetén
  • [SPARK-43485] [SC-131264] [SQL] A datetime add/diff függvény argumentumának hibaüzenetének unit javítása
  • [SPARK-43794] [SC-132561] [SQL] Név hozzárendelése a _LEGACY_ERROR_TEMP_1335 hibaosztályhoz
  • [SPARK-43511] [SC-134749] [CONNECT] [SS] Implementált MapGroupsWithState és FlatMapGroupsWithState API-k a Spark Connecthez
  • [SPARK-43529] [SQL] A CREATE/REPLACE TABLE OPTIONS kifejezések támogatása + kódkarbantartás
  • [SPARK-44106] [SC-134750] [PYTHON] [CONNECT] Hozzáadás a következőhöz __repr__ : GroupedData
  • [SPARK-42299] [SC-133190] Név hozzárendelése _LEGACY_ERROR_TEMP_2206
  • [SPARK-43290] [SC-134388] [SQL] Támogatja a aes_encrypt- és AAD-ket
  • [SPARK-43932] [SC-134138] [SQL] [PYTHON] [CONNECT] Hasonló függvények hozzáadása current a Scalához és a Pythonhoz
  • [SPARK-43934] [SC-134108] [SQL] [PYTHON] [CONNECT] Regexp_* függvények hozzáadása a Scalához és a Pythonhoz
  • [SPARK-44107] [SC-134746] [CONNECT] [PYTHON] Nem támogatott oszlopmetóták elrejtése az automatikus kiegészítésből
  • [SPARK-42941] [SC-134707] [SS] [CONNECT] [1/2] StreamingQueryListener – Event Serde JSON formátumban
  • [SPARK-43773] [SC-132659] [CONNECT] [PYTHON] A "levenshtein(str1, str2[, threshold])" függvények implementálása a Python-ügyfélben
  • [SPARK-44125] [SC-134745] [R] Java 21 támogatása a SparkR-ben
  • [SPARK-43919] [SC-133374] [SQL] JSON-funkciók kinyerése sorból
  • [SPARK-43769] [SC-132520] [CONNECT] A "levenshtein(str1, str2[, threshold])" függvények implementálása
  • [SPARK-44012] [SC-134662] [SS] KafkaDataConsumer olvasási állapot nyomtatásához
  • [SPARK-43876] [SC-134603] [SQL] Gyors kivonattérkép engedélyezése különböző lekérdezésekhez
  • [SPARK-44024] [SC-134497] [SQL] Váltás a használatra map , ha unzip csak egyetlen elem kinyerésére szolgál
  • [SPARK-43928] [SC-134467] [SQL] [PYTHON] [CONNECT] Bitműveletek hozzáadása a Scalához, a Pythonhoz és a Connect API-hoz
  • [SPARK-44092] [SC-134506] [CORE] Modulátadás hozzáadása Utils.isJavaVersionAtLeast21 és átadása core a Java 21-zel
  • [SPARK-44018] [SC-134512] [SQL] A kivonatkód és a toString javítása néhány DS V2-kifejezéshez
  • [SPARK-44105] [SC-134582] [SQL] LastNonNull lusta módon kell feloldani
  • [SPARK-44081] [SC-134434] A PartitionedFileUtil API egyszerűsítése egy kicsit
  • [SPARK-43791] [SC-132531] [SQL] Név hozzárendelése a _LEGACY_ERROR_TEMP_1336 hibaosztályhoz
  • [SPARK-44071] [SC-134435] Feloldatlan[Levél|Unary]Node-vonások.
  • [SPARK-43852] [SC-132890] [SPARK-43853] [SPARK-43854] [SPARK-43855] [SPARK-43856] Nevek hozzárendelése a _LEGACY_ERROR_TEMP_2418-2425 hibaosztályhoz
  • [SPARK-43742] [SC-132684] [SQL] Alapértelmezett oszlopérték felbontásának újrabontása
  • [SPARK-43493] [SC-132063] [SQL] Maximális távolság argumentum hozzáadása a levenshtein() függvényhez
  • [SPARK-44075] [SC-134382] [CONNECT] Lustaság transformStatCorr
  • [SPARK-43925] [SC-134381] [SQL] [PYTHON] [CONNECT] Adjon hozzá néhányat, bool_or, bool_and, minden a Scalához, a Pythonhoz és a Connecthez
  • [SPARK-43931] [SC-134158] [SQL] [PYTHON] [CONNECT] Make_* függvények hozzáadása a Scalához és a Pythonhoz
  • [SPARK-43762] [SC-132602] [SPARK-43763] [SPARK-43764] [SPARK-43765] [SPARK-43766] [SQL] Nevek hozzárendelése a _LEGACY_ERROR_TEMP_24 hibaosztályhoz[06-10]
  • [SPARK-43962] [SC-133367] [SQL] A hibaüzenetek javítása: CANNOT_DECODE_URL, CANNOT_MERGE_INCOMPATIBLE_DATA_TYPE, CANNOT_PARSE_DECIMAL, CANNOT_READ_FILE_FOOTER. CANNOT_RECOGNIZE_HIVE_TYPE
  • [SPARK-43938] [SC-133887] [CONNECT] [PYTHON] To_* függvények hozzáadása a Scalához és a Pythonhoz
  • [SPARK-44055] [SC-134321] [CORE] Redundáns override függvények eltávolítása CheckpointRDD
  • [SPARK-43802] [SC-132597] [SQL] A unhex és a unbase64 kódrészletének javítása failOnError=true használatával
  • [SPARK-43798] [SC-133990] [SQL] [PYTHON] Python felhasználó által definiált táblafüggvények támogatása
  • [SPARK-43941] [SC-134286] [SQL] [PYTHON] [CONNECT] Any_value, approx_percentile, count_if, first_value, histogram_numeric, last_value hozzáadása, Scala, Python és Connect API-ra való csökkentés
  • [SPARK-43380] [SC-133100] [SQL] Az Avro adattípus-átalakítással kapcsolatos problémáinak megoldása a helytelen eredmények előállításának elkerülése érdekében
  • [SPARK-43803] [SC-133729] [SS] [CONNECT] A awaitTermination() javítása az ügyfélleválasztások kezeléséhez
  • [SPARK-43179] [SC-129070] [SHUFFLE] Lehetővé teszi, hogy az alkalmazások szabályozhassák, hogy a metaadataikat a külső shuffle szolgáltatás menti-e a adatbázisba

Databricks ODBC/JDBC illesztőprogram támogatása

A Databricks támogatja az elmúlt 2 évben kiadott ODBC/JDBC-illesztőprogramokat. Töltse le a nemrég kiadott illesztőprogramokat és frissítsen (töltse le az ODBC-t, töltse le a JDBC-t).

Rendszerkörnyezet

  • Operációs rendszer: Ubuntu 22.04.2 LTS
  • Java: Zulu 8.70.0.23-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.2.2
  • Delta Lake: 2.4.0

Telepített Python-kódtárak

Könyvtár Verzió Könyvtár Verzió Könyvtár Verzió
appdirs 1.4.4 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.2.1 attrs 21.4.0 backcall 0.2.0
beautifulsoup4 4.11.1 fekete 22.6.0 fehérítő 4.1.0
villogó 1.4 boto3 1.24.28 botocore 1.27.28
minősítés 2022.9.14 cffi 1.15.1 karakterkészlet 4.0.0
charset-normalizer 2.0.4 kattintás 8.0.4 kriptográfia 37.0.1
biciklista 0.11.0 Cython 0.29.32 databricks-sdk 0.1.6
dbus-python 1.2.18 hibakeresés 1.6.0 lakberendező 5.1.1
defusedxml 0.7.1 distlib 0.3.7 docstring-to-markdown 0,12
belépési pontok 0,4 Végrehajtó 1.2.0 aspektusok áttekintése 1.0.3
fastjsonschema 2.18.0 filelock 3.12.2 betűtípusok 4.25.0
googleapis-common-protos 1.56.4 grpcio 1.48.1 grpcio-status 1.48.1
httplib2 0.20.2 idna 3.3 importlib-metadata 4.6.4
ipykernel 6.17.1 ipython 8.10.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 jedi 0.18.1 Jeepney 0.7.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.2.0
jsonschema 4.16.0 jupyter-client 7.3.4 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgetek 1.0.0 kulcstartó 23.5.0
kiwisolver 1.4.2 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 MarkupSafe 2.0.1 matplotlib 3.5.2
matplotlib-inline 0.1.6 Mccabe 0.7.0 mistune 0.8.4
more-itertools 8.10.0 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.5.0 nest-asyncio 1.5.5
nodeenv 1.8.0 jegyzetfüzet 6.4.12 numpy 1.21.5
oauthlib 3.2.0 csomagolás 21,3 pandas 1.4.4
pandocfilters 1.5.0 parso 0.8.3 pathspec 0.9.0
Patsy 0.5.2 pexpect 4.8.0 pickleshare 0.7.5
Párna 9.2.0 mag 22.2.2 platformdirs 2.5.2
ábrázolás 5.9.0 pluggy 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 3.19.4 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pycparser 2.21 pydantic 1.10.6
pyflakes 3.0.1 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.32 pyparsing 3.0.9
pyright 1.1.294 pyrsistent 0.18.0 python-dateutil 2.8.2
python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1 pytoolconfig 1.2.2
pytz 2022.1 pyzmq 23.2.0 kérelmek 2.28.1
kötél 1.7.0 s3transfer 0.6.0 scikit-learn 1.1.1
scipy 1.9.1 tengeri 0.11.2 SecretStorage 3.3.1
Send2Trash 1.8.0 setuptools 63.4.1 Hat 1.16.0
levessieve 2.3.1 ssh-import-id 5,11 veremadatok 0.6.2
statsmodels 0.13.2 Kitartás 8.1.0 terminado 0.13.1
testpath 0.6.0 threadpoolctl 2.2.0 tokenize-rt 4.2.1
tomli 2.0.1 tornádó 6.1 árulók 5.1.1
typing_extensions 4.3.0 ujson 5.4.0 felügyelet nélküli frissítések 0,1
urllib3 1.26.11 virtualenv 20.16.3 wadllib 1.3.6
wcwidth 0.2.5 webencodings 0.5.1 whatthepatch 1.0.2
kerék 0.37.1 widgetsnbextension 3.6.1 yapf 0.31.0
zipp 1.0.0

Telepített R-kódtárak

Az R-kódtárak a Microsoft CRAN 2023.02.10-i pillanatképéből vannak telepítve.

Könyvtár Verzió Könyvtár Verzió Könyvtár Verzió
nyíl 10.0.1 askpass 1,1 assertthat 0.2.1
backports 1.4.1 alap 4.2.2 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.3
indítás 1.3-28 főz 1.0-8 Brio 1.1.3
seprű 1.0.3 bslib 0.4.2 gyorsítótár 1.0.6
hívó 3.7.3 kalap 6.0-93 cellranger 1.1.0
chron 2.3-59 osztály 7.3-21 Cli 3.6.0
clipr 0.8.0 óra 0.6.1 fürt 2.1.4
kódtoolok 0.2-19 színtér 2.1-0 commonmark 1.8.1
fordítóprogram 4.2.2 config 0.3.1 cpp11 0.4.3
zsírkréta 1.5.2 hitelesítő adatok 1.3.2 csavarodik 5.0.0
data.table 1.14.6 adatkészletek 4.2.2 DBI 1.1.3
dbplyr 2.3.0 Desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 emészt 0.6.31 levilágított 0.4.2
dplyr 1.1.0 dtplyr 1.2.2 e1071 1.7-13
három pont 0.3.2 evaluate 0.20 fani 1.0.4
farver 2.1.1 gyorstérkép 1.1.0 fontawesome 0.5.0
forcats 1.0.0 foreach 1.5.2 külföldi 0.8-82
kovácsol 0.2.0 Fs 1.6.1 jövő 1.31.0
future.apply 1.10.0 gargarizál 1.3.0 Generikus 0.1.3
Gert 1.9.2 ggplot2 3.4.0 Gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-6 globális 0.16.2
ragasztó 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
Gower 1.0.1 grafika 4.2.2 grDevices 4.2.2
rács 4.2.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.1 hardhat 1.2.0 kikötő 2.5.1
highr 0.10 Hms 1.1.2 htmltoolok 0.5.4
htmlwidgets 1.6.1 httpuv 1.6.8 httr 1.4.4
Azonosítók 1.0.1 ini 0.3.1 ipred 0.9-13
izoband 0.2.7 iterátorok 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 KernSmooth 2.23-20 knitr 1.42
címkézés 0.4.2 később 1.3.0 rács 0.20-45
láva 1.7.1 életciklus 1.0.3 figyelő 0.9.0
lubridate 1.9.1 magrittr 2.0.3 markdown 1,5
TÖMEG 7.3-58.2 Mátrix 1.5-1 memoise 2.0.1
metódusok 4.2.2 mgcv 1.8-41 MIME 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modellező 0.1.10
munsell 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.5 parallel 4.2.2
párhuzamosan 1.34.0 pillér 1.8.1 pkgbuild 1.4.0
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2
plogr 0.2.0 rétegelt 1.8.8 dicséret 1.0.0
prettyunits 1.1.1 Proc 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 haladás 1.2.2
progressr 0.13.0 Ígér 1.2.0.1 Proto 1.0.0
helyettes 0.4-27 Ps 1.7.2 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.10 RcppEigen 0.3.3.9.3
olvasó 2.1.3 readxl 1.4.2 receptek 1.0.4
Visszavágót 1.0.1 visszavágó2 2.1.2 Távirányító 2.4.2
reprex 2.0.2 újraformázás2 1.4.4 rlang 1.0.6
rmarkdown 2,20 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.20 rstudioapi 0,14 rversions 2.1.2
rvest 1.0.3 Sass 0.4.5 mérleg 1.2.1
választó 0.4-2 sessioninfo 1.2.2 alak 1.4.6
Fényes 1.7.4 sourcetools 0.1.7-1 sparklyr 1.7.9
SparkR 3.4.1 térbeli 7.3-15 splines 4.2.2
sqldf 0.4-11 NÉGYZET 2021.1 statisztika 4.2.2
statisztikák4 4.2.2 stringi 1.7.12 sztring 1.5.0
túlélés 3.5-3 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.6 szövegformázás 0.3.6
tibble 3.1.8 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.2.0 timeDate 4022.108
tinytex 0.44 eszközök 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.3
eszközök 4.2.2 uuid 1.1-0 vctrs 0.5.2
viridisLite 0.4.1 vroom 1.6.1 Waldo 0.4.0
bajusz 0.4.1 withr 2.5.0 xfun 0,37
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 fütyülés 2.2.2

Telepített Java- és Scala-kódtárak (Scala 2.12-fürtverzió)

Csoportazonosító Összetevő azonosítója Verzió
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics patak 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.2.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml osztálytárs 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.14.2
com.fasterxml.jackson.core jackson-core 2.14.2
com.fasterxml.jackson.core jackson-databind 2.14.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.14.2
com.github.ben-manes.koffein koffein 2.9.3
com.github.fommil jniloader 1,1
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java 1.1-natívok
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java 1.1-natívok
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natívok
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natívok
com.github.luben zstd-jni 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.9
com.google.crypto.tink Csellengő 1.7.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava gujávafa 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.214
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1,15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1,5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-naplózás commons-naplózás 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.7.1
io.dropwizard.metrics metrikamag 4.2.10
io.dropwizard.metrics metrics-graphite 4.2.10
io.dropwizard.metrics metrics-healthchecks 4.2.10
io.dropwizard.metrics metrics-jetty9 4.2.10
io.dropwizard.metrics metrics-jmx 4.2.10
io.dropwizard.metrics metrics-json 4.2.10
io.dropwizard.metrics metrics-jvm 4.2.10
io.dropwizard.metrics metrics-servlets 4.2.10
io.netty netty-all 4.1.87.Final
io.netty netty-buffer 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty netty-codec-http 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-zokni 4.1.87.Final
io.netty netty-common 4.1.87.Final
io.netty netty-handler 4.1.87.Final
io.netty netty-handler-proxy 4.1.87.Final
io.netty netty-resolver 4.1.87.Final
io.netty netty-transport 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.87.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx gyűjtő 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktiválás 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
net.java.dev.jna jna 5.8.0
net.razorvine pác 1.3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.33
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow nyílformátum 11.0.0
org.apache.arrow nyíl-memóriamag 11.0.0
org.apache.arrow nyíl-memória-netty 11.0.0
org.apache.arrow nyíl-vektor 11.0.0
org.apache.avro avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator kurátor-ügyfél 2.13.0
org.apache.curator kurátor-keretrendszer 2.13.0
org.apache.curator kurátor-receptek 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby keménykalap 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy borostyán 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.8.4-shaded-protobuf
org.apache.orc orc-mapreduce 1.8.4-shaded-protobuf
org.apache.orc orc-shims 1.8.4
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.22
org.apache.yetus célközönség-széljegyzetek 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-juta 3.6.3
org.checkerframework checker-qual 3.19.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.51.v20230217
org.eclipse.jetty móló-folytatás 9.4.51.v20230217
org.eclipse.jetty jetty-http 9.4.51.v20230217
org.eclipse.jetty jetty-io 9.4.51.v20230217
org.eclipse.jetty jetty-jndi 9.4.51.v20230217
org.eclipse.jetty móló plusz 9.4.51.v20230217
org.eclipse.jetty jetty-proxy 9.4.51.v20230217
org.eclipse.jetty jetty-security 9.4.51.v20230217
org.eclipse.jetty jetty-server 9.4.51.v20230217
org.eclipse.jetty jetty-servlet 9.4.51.v20230217
org.eclipse.jetty jetty-servlets 9.4.51.v20230217
org.eclipse.jetty jetty-util 9.4.51.v20230217
org.eclipse.jetty jetty-util-ajax 9.4.51.v20230217
org.eclipse.jetty jetty-webapp 9.4.51.v20230217
org.eclipse.jetty jetty-xml 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-api 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-client 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-common 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-server 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-servlet 9.4.51.v20230217
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-lokátor 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Végleges
org.jdbi jdbi 2.63.1
org.jetbrains Széljegyzetek 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.8
org.roaringbitmap RoaringBitmap 0.9.39
org.roaringbitmap Alátéteket 0.9.39
org.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt teszt-interfész 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-kompatibilis 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten három-extra 1.7.1
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.1
org.yaml snakeyaml 1.33
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1