Poznámka:
Přístup k této stránce vyžaduje autorizaci. Můžete se zkusit přihlásit nebo změnit adresáře.
Přístup k této stránce vyžaduje autorizaci. Můžete zkusit změnit adresáře.
Poznámka:
Podpora této verze Databricks Runtime skončila. Datum ukončení podpory najdete v tématu Konec podpory a historie ukončení životnosti. Pro všechny podporované verze Databricks Runtime vizte poznámky k vydání Databricks Runtime - verze a kompatibilita.
Následující poznámky k verzi obsahují informace o modulu Databricks Runtime 14.2, který využívá Apache Spark 3.5.0.
Databricks vydala tuto verzi v listopadu 2023.
Nové funkce a vylepšení
-
CACHE SELECTje nyní ignorováno. - Vylepšené chování cache
- Oprava zpracování poškozených souborů v příkazech DML
- Podpora registru schémat pro funkce související s protobufem a Avro ve sdílených clusterech
-
foreachBatchaStreamingListenerpodpora - Souběžnost na úrovni řádků je obecně dostupná a ve výchozím nastavení zapnutá.
- Delta Sharing: Příjemci mohou provádět dávkové dotazy, CDF a dotazy na streamování na sdílené tabulky s vektory odstranění (veřejná ukázka)
- Mělký klon pro externí tabulky katalogu Unity (Public Preview)
- Nový algoritmus přiřazování diskové cache
-
from_avroKonektor registru schématu přidává podporu vývoje schématu. - Rychlejší shromažďování statistik s více vlákny
- Pushdown filtry v DeltaSource na souborech Delta
- Podpora skalárních uživatelem definovaných funkcí scala ve sdílených clusterech (Public Preview)
CACHE SELECT je teď ignorováno.
Příkaz CACHE SELECT SQL se teď ignoruje ve prospěch vylepšeného algoritmu ukládání do mezipaměti. Viz Optimalizace výkonu pomocí cachování na Azure Databricks.
Vylepšené chování ukládání do mezipaměti
Umístění DiskCache prostřednictvím plánovače Sparku má rychlejší přiřazování oddílů, lepší vyrovnávání při automatickém škálování clusteru a konzistentnější provádění dotazů.
Oprava zpracování poškozených souborů v příkazech DML
Příkazy DML DELETE, UPDATE a MERGE INTO již nerespektují možnosti čtení ignoreCorruptFiles a ignoreMissingFiles. Při výskytu nečitelného souboru v tabulce teď tyto příkazy selžou, i když jsou tyto možnosti zadané.
Podpora registru schémat pro funkce související s protobufem a Avro ve sdílených clusterech
Nyní můžete použít funkce from_avro, to_avro, from_protobuf a to_protobuf Python s registrem schématu ve sdílených clusterech.
foreachBatch a StreamingListener podpora
Nyní můžete používat foreachBatch() a StreamingListener API se strukturovaným streamováním ve sdílených clusterech. Viz Použití příkazu foreachBatch k zápisu do libovolných jímek dat a Monitoring Structured Streaming queries on Azure Databricks.
Souběžnost na úrovni řádků je obecně dostupná a ve výchozím nastavení zapnutá.
Souběžnost na úrovni řádků snižuje konflikty mezi souběžnými operacemi zápisu detekcí změn na úrovni řádku. Souběžnost na úrovni řádků se podporuje pouze u tabulek bez particí, což zahrnuje tabulky s liquid clusteringem. Souběžnost na úrovni řádků je ve výchozím nastavení povolená u tabulek Delta s povolenými vektory odstranění. Viz souběžnost na úrovni řádků.
Delta Sharing: Příjemci můžou provádět dávkové dotazy, CDF a streamované dotazy na sdílené tabulky s odstraňovacími vektory (Veřejná ukázka)
Příjemci Delta Sharing teď můžou provádět dávkové dotazy, CDF a streamingové dotazy na sdílené tabulky, které používají vektory odstranění. Ve službě Databricks Runtime 14.1 můžou provádět pouze dávkové dotazy. Viz Přidání tabulek s vektory odstranění nebo mapováním sloupců do sdílené složky, čtení tabulek s povolenými vektory odstranění nebo mapování sloupců a čtení tabulek s povolenými vektory odstranění nebo mapováním sloupců.
Mělký klon pro externí tabulky v katalogu Unity (Veřejná ukázka)
Nyní můžete použít mělký klon u externích tabulek v katalogu Unity. Viz Mělké klonování pro tabulky Unity Catalogu.
Nový algoritmus pro přiřazení kešování disku
Plánovač Sparku teď používá nový algoritmus ukládání do mezipaměti disku. Algoritmus zlepšuje využití disku a přiřazení oddílů napříč uzly s rychlejším přiřazením na začátku i po událostech škálování clusteru. Přiřazování mezipaměti Stickier zlepšuje konzistenci napříč spuštěními a snižuje přesun dat během operací vyrovnávání.
from_avro Konektor registru schématu přidává podporu pro evoluci schémat.
Teď můžete povolit, aby se pipeliny restartovaly, když se zjistí aktualizované záznamy. Pokud se dříve vývoj schématu stal s from_avro konektorem, nové sloupce by se vrátily null. Viz Čtení a zápis streamovaných Avro dat.
Rychlejší shromažďování statistik s více vlákny
Shromažďování statistik je až 10krát rychlejší v malých clusterech při spouštění CONVERT TO DELTA nebo klonování z tabulek Apache Iceberg a Parquet. Viz Převod na Delta Lake a Klonování tabulek Parquet a Iceberg.
Filtrování pomocí pushdown v DeltaSource na souborech Delta
Pro lepší využití se oddílové filtry u streamovacích dotazů na tabulkách Delta předají do Delta ještě před omezením rychlosti.
Podpora skalárních uživatelem definovaných funkcí scala ve sdílených clusterech (Public Preview)
Teď můžete používat skalární funkce Scala v clusterech s podporou Unity Catalogu nakonfigurovaných pomocí režimu sdíleného přístupu. Viz uživatelem definované skalární funkce – Scala.
Upgrady knihoven
- Upgradované knihovny Python:
- fastjsonschema od 2.18.0 do 2.19.0
- filelock od 3.12.3 do 3.12.4
- googleapis-common-protos od 1.60.0 do 1.61.0
- Upgradované knihovny jazyka R:
- Upgradované knihovny Java:
Apache Spark
Databricks Runtime 14.2 zahrnuje Apache Spark 3.5.0. Tato verze zahrnuje všechny opravy a vylepšení Sparku, která jsou součástí Databricks Runtime 14.1 (EoS), a také následující další opravy chyb a vylepšení Sparku:
- [SPARK-45592] [DBRRM-624] Vrátit “[SC-146977][sql] Problém s přesností v AQE s InMemoryTableScanExec”
- [SPARK-45524] [DBRRM-625] Revert "[SC-146319][python][SQL] Initial support f...
- [SPARK-45433] [DBRRM-621] Vrátit zpět “[SC-145163][sql] Oprava inferencí schématu CSV/JSON...
- [SPARK-45592] [SC-146977][sql] Problém se správností v AQE s InMemoryTableScanExec
- [SPARK-45354] Vrátit zpět změny [SC-143991][sql] Vyřešit funkce zdola nahoru
- [SPARK-45680] [TEST-ONLY][sasp-2347][CONNECT] Oprava testů
- [SPARK-45680] [CONNECT] Uvolnění relace
- [SPARK-43380] [SC-146726][es-897115][SQL] Oprava zpomalení ve čtení Avro
-
[SPARK-45649] [SC-146742][sql] Sjednocení rámce přípravy pro
OffsetWindowFunctionFrame - [SPARK-40820] [SC-146727][python][SQL] Vytvoření typu struktury z json
- [SPARK-45620] [SC-146225][python] Oprava uživatelských rozhraní API souvisejících s Python UDTF pro použití camelCase
- [SPARK-45727] [SC-146978][ss] Odebrání nepoužívané mapy v simulaci šíření vodoznaku
- [SPARK-45723] [SC-146890][python][CONNECT] Metody katalogu se vyhýbají převodu pomocí knihovny pandas.
- [SPARK-45574] [SC-146106][sql] Přidat syntax :: jako zkratku pro přetypování
-
[SPARK-45670] [SC-146725][core][3.5] SparkSubmit při nasazování na K8s nepodporuje
--total-executor-cores - [SPARK-45661] [SC-146594][sql][PYTHON] Přidejte ToNullable v StructType, MapType a ArrayType
- [SPARK-45524] [SC-146319][python][SQL] Počáteční podpora rozhraní API pro čtení zdroje dat Python
-
[SPARK-45542] [SC-145892][core] Nahraďte
setSafeMode(HdfsConstants.SafeModeAction, boolean)hosetSafeMode(SafeModeAction, boolean) - [SPARK-45652] [SC-146641][sql] SPJ: Zpracování prázdných vstupních oddílů po dynamickém filtrování
- [SPARK-45454] [SC-144846][sql] Nastavte výchozího vlastníka tabulky na current_user
-
[SPARK-45554] [SC-146875][python] Zavedení flexibilního parametru pro
assertSchemaEqual - [SPARK-45242] [SC-143410][sql] Použití ID datového rámce k sémantickému ověření CollectMetrics
- [SPARK-45674] [SC-146862][connect][PYTHON] Zlepšení chybové zprávy pro atributy závislé na JVM ve Spark Connectu
- [SPARK-45646] [SC-146276][sql] Odstranění zakódovaných časových proměnných před Hive 2.0
- [SPARK-43380] [SC-146726][es-897115][SQL] Oprava zpomalení ve čtení Avro
- [SPARK-45545] [SC-146484][core] Předávejte SSLOptions tam, kde vytváříme SparkTransportConf
- [SPARK-45641] [SC-146260][ui] Zobrazení času spuštění aplikace na allJobsPage
- [SPARK-40154] [SC-146491][python][Docs] Oprava úrovně úložiště v docstringu Dataframe.cache
- [SPARK-45626] [SC-146259][sql] Převod _LEGACY_ERROR_TEMP_1055 na REQUIRES_SINGLE_PART_NAMESPACE
- [SPARK-45507] [SC-145900][sql] Korekce správnosti vnořených korelovaných skalárních poddotazů s agregacemi COUNT
- [SPARK-45619] [SC-146226][connect][PYTHON] Použití pozorovaných metrik na objekt Pozorování
- [SPARK-45588] [SC-145909][protobuf][CONNECT][minor] Vylepšení Scaladoc pro StreamingForeachBatchHelper
- [SPARK-45616] [SC-146120][core] Vyhněte se ParVectoru, který nepropaguje ThreadLocals ani SparkSession.
- [SPARK-45604] [SC-146105][sql] Přidání kontroly logického typu u INT64 –> převod DateTime u vektorizované čtečky Parquet
- [SPARK-44649] [SC-145891][sql] Filtrování za běhu podporuje předávání ekvivalentních výrazů na vytvářící stranu.
- [SPARK-41674] [SC-128408][sql] Modul runtime by měl podporovat stranu spojení s více úrovněmi jako stranu vytvoření filtru.
- [SPARK-45547] [SC-146228][ml] Ověření vektorů pomocí vestavěné funkce
- [SPARK-45558] [SC-145890][ss] Zavedení souboru metadat pro stavový operátor streamování
- [SPARK-45618] [SC-146252][core] Remove BaseErrorHandler
- [SPARK-45638] [SC-146251][sql][Avro] Zlepšení pokrytí testu konverze desetinných čísel
- [SPARK-44837] [SC-146020][sql] Změnit chybovou zprávu příkazu ALTER TABLE ALTER PARTITION sloupec
- [SPARK-45561] [SC-146264][sql] Přidání správných převodů pro TINYINT v MySQLDialect
- [SPARK-45632] [SC-146255][sql] Mezipaměť tabulky by se měla vyhnout zbytečným sloupcům ColumnarToRow při povolení AQE
- [SPARK-45569] [SC-145932][sql] Přiřazení názvu k chybě _LEGACY_ERROR_TEMP_2152
- [SPARK-44784] [SC-141015][connect] Zajistěte hermetické testování SBT.
-
[SPARK-45452] [SC-144836][sql] Vylepšení
InMemoryFileIndexpro použitíFileSystem.listFilesrozhraní API - [SPARK-44735] [SC-146186][sql] Přidat varovnou zprávu při vkládání řádků, kde sloupce se stejným názvem nesouhlasí
-
[SPARK-45351] [SC-144791][core] Změna
spark.shuffle.service.db.backendvýchozí hodnoty na ROCKSDB -
[SPARK-45553] [SC-145906][ps] Vyřazení
assertPandasOnSparkEqual - [SPARK-45613] [SC-146022][core] Zveřejnit DeterministicLevel jako DeveloperApi
-
[SPARK-45549] [SC-145895][jádro] Odeberte nepoužívané
numExistingExecutorsvCoarseGrainedSchedulerBackend - [SPARK-45609] [SC-146030][connect] Zahrnout SqlState do protokolu zprávy SparkThrowable
- [SPARK-45595] [SC-146037] zveřejnit stav SQL v chybové zprávě
-
[SPARK-45628] [SC-146123][ml] Zlepšení
vector_to_arraypro.mllib.linalg.SparseVector - [SPARK-45009] [SC-145884][sql][FOLLOW UP] Vypnutí derrelace v podmínkách spojení pro test AQE InSubquery
- [SPARK-45576] [SC-145883][core] Odebrání nepotřebných protokolů ladění v ReloadingX509TrustManagerSuite
- [SPARK-45485] [SC-145719][connect] Vylepšení uživatelského agenta: Použití proměnné SPARK_CONNECT_USER_AGENT env a zahrnutí atributů specifických pro prostředí
- [SPARK-45508] [SC-145513][core] Přidejte "-add-opens=java.base/jdk.internal.ref=ALL-UNNAMED", aby platforma získala přístup k Cleaner na Java 9+
- [SPARK-45595] Vrátit “[SC-146037] Zpřístupnit SQLSTATE v chybové zprávě” zpět
- [SPARK-45595] [SC-146037] Zveřejnění STAVU SQL v chybové zprávě
- [SPARK-45112] Vrátit “[SC-143259][sql] Použít UnresolvedFunction ba…"
-
[SPARK-45257] [SC-143411][core] Povolení
spark.eventLog.compressve výchozím nastavení - [SPARK-45586] [SC-145899][sql] Omezení latence kompilátoru pro plány s velkými stromy výrazů
- [SPARK-45517] [SC-145691][connect][14.x] Rozšiřte další konstruktory výjimek pro podporu parametrů architektury chyb.
- [SPARK-45581] [SC-145896] Nastavení SQLSTATE jako povinného
- [SPARK-45427] [SC-145590][core] Přidání nastavení PROTOKOLU RPC SSL do SSLOptions a SparkTransportConf
-
[SPARK-45261] [SC-143357][core] Oprava
EventLogFileWriterspro zpracovánínonejako kodeku - [SPARK-45582] [SC-145897][ss] Zajistěte, aby instance úložiště nebyla použita po volání commit v rámci agregace streamování v režimu výstupu.
- [SPARK-45562] [SC-145720][sc-144650][SQL] XML: Značka řádku musí být povinnou možností
-
[SPARK-45392] [SC-144362][core][SQL][ss] Nahraďte
Class.newInstance()Class.getDeclaredConstructor().newInstance() - [SPARK-45433] [SC-145163][sql] Oprava odvození schématu CSV/JSON, pokud časové razítka neodpovídají zadanému časovému razítkuFormat
- [SPARK-45458] [SC-145011][sql] Převeďte IllegalArgumentException do SparkIllegalArgumentException v bitwiseExpressions
- [SPARK-45564] [SC-145735][sql] Zjednodušit 'DataFrameStatFunctions.bloomFilter' pomocí výrazu 'BloomFilterAggregate'
- [SPARK-45566] [SC-145777][ps] Podpora nástrojů pro testování typu Pandas pro rozhraní Pandas API ve Sparku
- [SPARK-45498] [SC-145509][jádro] Pokračování: Ignorování dokončení úkolu ze staré etapy a...
- [SPARK-45483] [SC-145152][connect] Oprava skupin funkcí v connect.functions
- [SPARK-45577] [SC-145781][python] Oprava UserDefinedPythonTableFunctionAnalyzeRunner pro předání složených hodnot z pojmenovaných argumentů
- [SPARK-45009] [SC-138223][následná akce] Vypnutí dekorrelace v podmínkách spojení pro AetherSQLQuerySuite
- [SPARK-45415] [SC-145344] Umožnit selektivně zakázat "fallocate" ve statestore RocksDB
- [SPARK-45500] [SC-145134][jádro][WEBI] Zobrazí počet neobvykle dokončených ovladačů v MasterPage.
- [SPARK-44120] [SC-144349][python] Podpora Python 3.12
- [SPARK-45439] [SC-145589][sql][UI] Snížení využití paměti LiveStageMetrics.accumIdsToMetricType
- [SPARK-45565] [SC-145717][ui] Nepotřebná smyčka JSON.stringify a JSON.parse pro seznam úkolů ve fázi podrobností
- [SPARK-45567] [SC-145718][connect] Odstranit přebytečné if v org.apache.spark.sql.connect.execution.ExecuteGrpcResponseSender#run
- [SPARK-45112] [SC-143259][sql] Použití rozlišení založeného na nevyřešených funkcích v SQL Dataset funkcích
- [SPARK-45486] [SASP-2457][sc-145612][CONNECT] Udělat žádost add_artifact idempotentní
- [SPARK-44913] [SC-144326][sql] DS V2 podporuje funkci push down V2 UDF s magickou metodou
- [SPARK-45538] [SC-145635][python][CONNECT] chyba pyspark connect overwrite_partitions
- [SPARK-45491] [SC-145622] Přidání chybějících funkcí SQLSTATES 2/2
- [SPARK-45009] [SC-145620][sc-138223][SQL] Dekódování poddotazů predikátu v podmínce spojení
- [SPARK-45377] [SC-144377][core] Zpracovat InputStream v NettyLogger
- [SPARK-45248] [SC-143759][core]Nastavení časového limitu pro server uživatelského rozhraní Sparku
- [SPARK-44594] [SC-145611][ss] Odebrání redundantního parametru metody v konektoru Kafka
- [SPARK-45539] [SC-145621][ss] Přidání assertu a protokolu k označení, že je vyžadována definice vodoznaku pro dotazy na agregaci streamování v režimu připojování.
-
[SPARK-44262] [SC-145639][sql] Přidání
dropTableagetInsertStatementdo JdbcDialect - [SPARK-45516] [SC-145480][connect] Zahrnout QueryContext do proto zprávy SparkThrowable
- [SPARK-45310] [SC-145127][core] Stav bloku náhodného prohazování by měl během migrace z provozu respektovat službu prohazování.
-
[SPARK-45521] [SC-145487][ml] Vyhněte se revýpočtu nnz v
VectorAssembler - [SPARK-45418] [SC-145485][sql][PYTHON][connect] Změna aliasu sloupce current_database() na current_schema()
-
[SPARK-45116] [SC-145142][sql] Přidejte komentář pro parametry JdbcDialect.
createTable - [SPARK-45495] [SC-145529][jádro] Podpora profilu zdrojů úkolu na úrovni etapy pro k8s cluster, když je dynamické přidělování zakázáno
- [SPARK-45487] [SC-145559] Oprava chyb SQLSTAT a dočasných chyb
- [SPARK-45505] [SC-145550][python] Refaktorovat analyzeInPython, aby byl znovu použitelný
- [SPARK-45132] [SC-145425][sql] Oprava IDENTIFIER vyvolání funkce
- [SPARK-45213] [SC-145020][sql] Přiřazení názvu k chybě _LEGACY_ERROR_TEMP_2151
- [SPARK-45416] [SC-145126][connect] Rychlá kontrola konzistence výsledků Arrow
- [SPARK-45163] [SC-143386][sql] Sloučení UNSUPPORTED_VIEW_OPERATION & UNSUPPORTED_TABLE_OPERATION a oprava některých problémů
- [SPARK-45421] [SC-144814][sql] Catch AnalysisException over InlineCTE
-
[SPARK-43664] [SC-145404][connect][PS] Vyvolej výjimku pro
ps.sqlobjekt Pandas-on-Spark ve Spark Connect. - [SPARK-45402] [SC-145371][sql][PYTHON] Přidání rozhraní UDTF API pro metody eval a terminate pro využití předchozího výsledku analýzy
- [SPARK-36112] [SC-67885] [SQL] Podpora korelovaných poddotazů EXISTS a IN s využitím architektury DecorrelateInnerQuery
- [SPARK-45383] [SC-144929][sql] Oprava chybové zprávy pro časovou cestu s neexistující tabulkou
- [SPARK-43254] [SC-143318][sql] Přiřazení názvu k chybě _LEGACY_ERROR_TEMP_2018
- [SPARK-45204] [SC-145167][connect] Přidání volitelného executeHolderu do SparkConnectPlanneru
- [SPARK-45451] [SC-145144][sql] Nastavit výchozí úroveň úložiště mezipaměti datové sady konfigurovatelnou
- [SPARK-45192] [SC-143194][ui] Oprava zpožděného parametru lineInterpolate pro hrany v Graphviz
-
[SPARK-45467] [SC-145146][jádro] Nahraďte
Proxy.getProxyClass()Proxy.newProxyInstance().getClass - [SPARK-45397] [SC-145139][ml][CONNECT] Přidání transformátoru funkce assembleru pole
- [SPARK-44855] [SC-145226][connect] Malé úpravy připojení ExecuteGrpcResponseSender k ExecuteResponseObserver
-
[SPARK-45398] [SC-144796][sql] Připojit
ESCAPEvesql()výrazuLike - [SPARK-45494] [SC-145129][core][PYTHON] Zavést pomocné funkce pro čtení a zápis bajtového pole pro PythonWorkerUtils
- [SPARK-45464] [SC-145125][core] Oprava sestavení distribuce network-yarn
- [SPARK-45461] [SC-144851][core][SQL][mllib] Zavedení mapovače pro úroveň úložiště
- [SPARK-45450] [SC-145009][python] Oprava importů podle PEP8: pyspark.pandas a pyspark (jádro)
- [SPARK-45475] [SC-145018][sql] Používá datový rámec.foreachPartition místo RDD.foreachPartition v JdbcUtils.
- [SPARK-45271] [SC-143778][sql] Sloučení _LEGACY_ERROR_TEMP_1113 do TABLE_OPERATION a odstranění některých nepoužívaných metod v QueryCompilationErrors
- [SPARK-45449] [SC-145013][sql] Problém s neplatnou mezipamětí u tabulky JDBC
- [SPARK-45473] [SC-145017][sql] Oprava nesprávné chybové zprávy pro RoundBase
- [SPARK-43299] [SC-145022][ss][CONNECT] Převést StreamingQueryException v Scala klientu
- [SPARK-45474] [SC-145014][core][WEBUI] Podpora filtrování nejvyšší úrovně v rozhraní API JSON MasterPage
- [SPARK-45205] [SC-145012][sql] CommandResultExec pro přepsání metod iterátorů, aby se předešlo spuštění více úloh.
- [SPARK-45472] [SC-145004][ss] Úložiště stavů RocksDB nemusí znovu kontrolovat existenci cesty kontrolního bodu.
- [SPARK-45470] [SC-145010][sql] Vyhněte se vkládání řetězcové hodnoty typu komprese hive orc
- [SPARK-45448] [SC-144829][python] Oprava importů podle PEP8: pyspark.testing, pyspark.mllib, pyspark.resource a pyspark.streaming
- [SPARK-45446] [SC-144828][python] Oprava importů podle PEP8: pyspark.errors a pyspark.ml
- [SPARK-45239] [SC-144832][connect] Snížit výchozí hodnotu spark.connect.jvmStacktrace.maxSize
- [SPARK-45436] [SC-144831][python][CONNECT] Metody DataFrame kontrolují stejnou relaci.
- [SPARK-45413] [SC-144847][core] Přidání upozornění na přípravu zrušení podpory LevelDB
-
[SPARK-45462] [SC-144848][core][WEBUI] Zobrazit
DurationvApplicationPage - [SPARK-44527] [SC-144855][sql] Nahraďte SkalarSubquery hodnotou null, pokud je jeho maxRows 0
-
[SPARK-45401] [SC-144854][python] Přidání nové metody
cleanupdo rozhraní UDTF -
[SPARK-43704] [SC-144849][connect][PS] Podpora
MultiIndexproto_series() - [SPARK-45424] [SC-144888][sql] Oprava TimestampFormatter vrací volitelné výsledky analýzy, když se shoduje pouze předpona.
- [SPARK-45441] [SC-144833][python] Představit více pomocných funkcí pro PythonWorkerUtils
-
[SPARK-45412] [SC-144803][python][CONNECT] Ověřte plán a relaci v
DataFrame.__init__ - [SPARK-45408] [SC-144810][core] Přidání nastavení PROTOKOLU RPC SSL do TransportConf
-
[SPARK-45432] [SC-144818][core] Odebrání zastaralého konstruktoru Hadoop-2
LocatedFileStatus - [SPARK-45434] [SC-144819][ml][CONNECT] LogisticRegression kontroluje štítky trénování.
- [SPARK-45420] [SC-144808][sql][PYTHON][connect] Přidání datového typu.fromDDL do PySpark
-
[SPARK-45406] [SC-144793][python][CONNECT] Odstranění
schemaz konstruktoru datového rámce -
[SPARK-45404] [SC-144799][core] Podpora
AWS_ENDPOINT_URLproměnné env - [SPARK-43620] [SC-144792][connect][PS] Oprava rozhraní API Pandas závisí na nepodporovaných funkcích.
- [SPARK-45354] [SC-143991][sql] Řešení funkcí směrem dolů nahoru
- [SPARK-45394] [SASP-1480][sc-144712][PYTHON][connect] Přidat pokusy o opakování pro API artefaktů. Zlepšení zpracování chyb (pokračování [SPARK-45093])
- [SPARK-45120] [SC-142780][spark-45150][UI] Upgrade d3 z v3 na v7(v7.8.5) a použití změn rozhraní API v uživatelském rozhraní
- [SPARK-44838] [SC-143983][sql] vylepšení funkce raise_error
- [SPARK-45312] [SC-143754][sql][UI] Podpora přepínače zobrazení/skrytí plánu svg na stránce spuštění
- [SPARK-45378] [SC-144448][core] Přidání convertToNettyForSsl na ManagedBuffer
- [SPARK-44762] [SC-144338][connect][CORE] Dokumentace pro SparkConnect.addJobTag a Connect SparkSession.addTag
- [SPARK-45383] Elegantní zpracování nevyřešeného relačního časového cestování
- [SPARK-45347] [SC-144512][sql][CONNECT] Zahrnout SparkThrowable do FetchErrorDetailsResponse
- [SPARK-45012] [SC-141512][sql] CheckAnalysis by měl vyhodit vložený plán ve výjimce AnalysisException.
-
[SPARK-45359] [SC-144336][python][CONNECT]
DataFrame.{columns, colRegex, explain}by měla vyvolat výjimky, pokud je plán neplatný. - [SPARK-45227] [SC-144233][core] Oprava jemného problému s bezpečností vláken v CoarseGrainedExecutorBackend
- [SPARK-45266] [SC-144171][python] Refaktorování pravidla analyzátoru ResolveFunctions k odložení tvorby laterálního spojení při použití argumentů tabulky
- [SPARK-45266] Vrátit změnu “[SC-144171][python] Refaktoring pravidla analyzátoru ResolveFunctions, aby se odložilo vytvoření laterálního spojení při použití argumentů tabulky”
- [SPARK-45371] [SC-144389][connect] Oprava problémů se stínováním v klientovi Spark Connect Scala
- [SPARK-45057] [SC-144214][core] Vyhněte se získání zámku pro čtení, pokud je keepReadLock nastaven na false
-
[SPARK-45385] [SC-144357][sql] Vyřazení
spark.sql.parser.escapedStringLiterals -
[SPARK-45340] [SC-143917][sql] Odebrání konfigurace SQL
spark.sql.hive.verifyPartitionPath - [SPARK-45266] [SC-144171][python] Refaktorování pravidla analyzátoru ResolveFunctions k odložení tvorby laterálního spojení při použití argumentů tabulky
- [SPARK-45362] [SC-144198][python] Projekce PARTITION BY výrazů před tím, než je použije metoda 'eval' Python UDTF
- [SPARK-45346] [SC-143925][sql] Odvození schématu Parquet by při slučování schématu mělo respektovat příznak rozlišující malá a velká písmena.
-
[SPARK-45341] [SC-143933][core] Opravte úroveň nadpisu v komentářích v souboru KVStore.java, aby
sbt docmohl úspěšně běžet na Java 17. - [SPARK-45334] [SC-143914][sql] Odebrání zavádějícího komentáře v parquetSchemaConverter
-
[SPARK-45337] [SC-143932][core] Refaktoring
AbstractCommandBuilder#getScalaVersionpro odebrání kontroly pro Scalu 2.12 - [SPARK-45329] [SC-143918][python][CONNECT] Metody datového rámce přeskočí převod do formátu pandas
- [SPARK-43662] [SC-143923][ps][CONNECT] Podpora merge_asof ve Spark Connect
- [SPARK-44126] [SC-143751][core] Počet selhání při shuffle migraci by se neměl zvýšit, když je cílový exekutor dekomisován
-
[SPARK-44550] [SC-119768][sql] Povolení oprav správnosti v
null IN (empty list)rámci ANSI -
[SPARK-45316] [SC-143783][core][SQL] Přidání nových parametrů
ignoreCorruptFiles/ignoreMissingFilesdo aHadoopRDDNewHadoopRDD - [SPARK-45093] [SC-143414][connect][PYTHON] Hlášení chyb pro dotaz addArtifacts
- [SPARK-44756] [SC-143787][core] Exekutor přestane reagovat, když RetryingBlockTransferor selže při pokusu o opakované spuštění
- [SPARK-45333] [SC-143768][core] Oprava chyby jedné jednotky související se spark.eventLog.buffer.kb
- [SPARK-45317] [SC-143750][sql][CONNECT] Zpracování názvu souboru null v trasování zásobníku výjimek
- [SPARK-45191] [SC-143407][sql] InMemoryTableScanExec simpleStringWithNodeId přidá sloupcové informace
-
[SPARK-45235] [SC-143314][connect][PYTHON] Podpora parametrů map a pole pomocí
sql() - [SPARK-45138] [SC-143309][ss] Definujte novou třídu chyb a použijte ji při selhání checkpointování stavu do DFS.
- [SPARK-45297] [SC-143644][sql] Odstranit alternativní řešení pro dateformatter přidané ve SPARK-31827
-
[SPARK-44345] [SC-143593][core] Snížit
unknown shuffle map outputúroveň protokolování na ÚROVEŇ VAROVÁNÍ, pokud je povolené přehazování dat - [SPARK-44463] [SC-143251][ss][CONNECT] Zlepšení zpracování chyb pro připojení parního Python pracovního procesu
- [SPARK-45207] [SC-143603][sql][CONNECT] Implementujte obohacení chyb pro klienta Scala
- [SPARK-45240] [SC-143602][sql][CONNECT] Implementujte rozšiřování chyb pro klienta Python
- [SPARK-45216] [SC-143288][sql] Oprava nedeterministických rozhraní API pro datové sady
- [SPARK-45251] [SC-143419][connect] Přidání pole client_type pro FetchErrorDetails
-
[SPARK-45137] [SC-143001][connect] Podpora parametrů mapování a pole v parametrizovaném
sql() -
[SPARK-45224] [SC-143257][python] Přidání příkladů s mapou a polem jako parametry
sql() - [SPARK-44622] [SC-143205][sql][CONNECT] Implementovat FetchErrorDetails RPC
- [SPARK-45178] [SC-136089] Záložní spuštění jednorázové dávky pro Trigger.AvailableNow s nepodporovanými zdroji místo použití wrapperu
- [SPARK-44823] [14.x][sc-142979][PYTHON] Aktualizujte black na verzi 23.9.1 a opravte nesprávnou kontrolu
-
[SPARK-45078] [SC-142954][sql] Oprava
array_insertimplicitníhocastInputTypes nefunguje - [SPARK-44579] [SC-138428][sql] Podpora přerušení při zrušení v SQLExecution
-
[SPARK-45252] [SC-143371][core] Uchytejte symboly větší/menší než symboly v komentářích, aby se
sbt docúspěšně provedly. - [SPARK-45189] [SC-142973][sql] Vytvoření nevyřešené relace z TableIdentifier by mělo obsahovat pole katalogu.
- [SPARK-45229] [SC-143254][core][UI] Zobrazí počet ovladačů čekajících ve stavu ODESLÁNÍ v MasterPage.
-
[SPARK-43453] Vrátit "[SC-143135][ps] Ignorovat
nameshodnotuMultiIndexkdyž dojde kaxis=1proconcat"
Podpora ovladačů Databricks ODBC/JDBC
Databricks podporuje ovladače ODBC/JDBC vydané v posledních 2 letech. Stáhněte si nedávno vydané ovladače a upgradujte (stáhněte rozhraní ODBC, stáhněte JDBC).
Viz údržbové aktualizace Databricks Runtime 14.2.
Prostředí systému
- Operační systém: Ubuntu 22.04.3 LTS
- Java: Zulu 8.72.0.17-CA-linux64
- Scala: 2.12.15
- Python: 3.10.12
- R: 4.3.1
- Delta Lake: 3.0.0
Nainstalované knihovny Python
| Knihovna | Verze | Knihovna | Verze | Knihovna | Verze |
|---|---|---|---|---|---|
| anyio | 3.5.0 | argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 |
| asttokens | 2.0.5 | attrs | 22.1.0 | Zpětné volání | 0.2.0 |
| beautifulsoup4 | 4.11.1 | černý | 22.6.0 | bělidlo | 4.1.0 |
| blinkr | 1.4 | boto3 | 1.24.28 | botocore | 1.27.96 |
| certifikát | 2022.12.7 | cffi | 1.15.1 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | klikněte | 8.0.4 | Komunikace | 0.1.2 |
| obrysová křivka | 1.0.5 | kryptografie | 39.0.1 | cyklista | 0.11.0 |
| Cython | 0.29.32 | Databricks-sdk | 0.1.6 | dbus-python | 1.2.18 |
| debugpy | 1.6.7 | dekoratér | 5.1.1 | defusedxml | 0.7.1 |
| distlib | 0.3.7 | docstring-to-markdown | 0,11 | vstupní body | 0,4 |
| vykonávání | 0.8.3 | přehled aspektů | 1.1.1 | fastjsonschema | 2.19.0 |
| uzamčení souboru | 3.12.4 | fonttools | 4.25.0 | googleapis-common-protos | 1.61.0 |
| grpcio | 1.48.2 | grpcio-status | 1.48.1 | httplib2 | 0.20.2 |
| idna | 3.4 | importlib-metadata | 4.6.4 | ipykernel | 6.25.0 |
| ipython | 8.14.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| Jedi | 0.18.1 | Jeepney (tradiční filipínský dopravní prostředek) | 0.7.1 | Jinja2 | 3.1.2 |
| jmespath | 0.10.0 | joblib | 1.2.0 | jsonschema | 4.17.3 |
| jupyter-client | 7.3.4 | jupyter-server | 1.23.4 | jupyter_core | 5.2.0 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | klíčenka | 23.5.0 |
| kiwisolver | 1.4.4 | launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 |
| lazr.uri | 1.0.6 | lxml | 4.9.1 | MarkupSafe | 2.1.1 |
| matplotlib | 3.7.0 | matplotlib-inline | 0.1.6 | Mccabe | 0.7.0 |
| špatné nastavení | 0.8.4 | more-itertools | 8.10.0 | mypy-extensions | 0.4.3 |
| nbclassic | 0.5.2 | nbclient | 0.5.13 | nbconvert | 6.5.4 |
| nbformat | 5.7.0 | nest-asyncio | 1.5.6 | nodeenv | 1.8.0 |
| poznámkový blok | 6.5.2 | notebook_shim | 0.2.2 | numpy | 1.23.5 |
| oauthlib | 3.2.0 | balení | 22.0 | pandas | 1.5.3 |
| pandocfilters | 1.5.0 | parso | 0.8.3 | pathspec | 0.10.3 |
| bábovka | 0.5.3 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| Polštář | 9.4.0 | pip | 22.3.1 | platformdirs | 2.5.2 |
| plotly | 5.9.0 | pluggy | 1.0.0 | prometheus-client | 0.14.1 |
| prompt-toolkit | 3.0.36 | protobuf | 4.24.0 | psutil | 5.9.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
| pyarrow | 8.0.0 | pyarrow-hotfix | 0,4 | pycparser | 2.21 |
| pydantic | 1.10.6 | pyflakes | 3.1.0 | Pygments | 2.11.2 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | pyodbc | 4.0.32 |
| pyparsing | 3.0.9 | pyright | 1.1.294 | pyrsistent | 0.18.0 |
| python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.1.1 | python-lsp-server | 1.8.0 |
| pytoolconfig | 1.2.5 | pytz | 2022.7 | pyzmq | 23.2.0 |
| požadavky | 2.28.1 | lano | 1.7.0 | s3transfer | 0.6.2 |
| scikit-learn | 1.1.1 | scipy | 1.10.0 | seaborn | 0.12.2 |
| SecretStorage | 3.3.1 | Send2Trash | 1.8.0 | setuptools | 65.6.3 |
| Šest | 1.16.0 | sniffio | 1.2.0 | soupsieve | 2.3.2.post1 |
| ssh-import-id | 5,11 | stack-data | 0.2.0 | statsmodels | 0.13.5 |
| houževnatost | 8.1.0 | dokončeno | 0.17.1 | threadpoolctl | 2.2.0 |
| tinycss2 | 1.2.1 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
| tornádo | 6.1 | vlastnosti | 5.7.1 | typing_extensions | 4.4.0 |
| ujson | 5.4.0 | bezobslužné aktualizace | 0,1 | urllib3 | 1.26.14 |
| virtualenv | 20.16.7 | wadllib | 1.3.6 | wcwidth | 0.2.5 |
| webencodings | 0.5.1 | websocket-client | 0.58.0 | whatthepatch | 1.0.2 |
| wheel | 0.38.4 | widgetsnbextension | 3.6.1 | yapf | 0.33.0 |
| zipp | 1.0.0 |
Nainstalované knihovny jazyka R
Knihovny R byly nainstalovány ze snímku Posit Správce balíčků CRAN z 10. února 2023.
| Knihovna | Verze | Knihovna | Verze | Knihovna | Verze |
|---|---|---|---|---|---|
| šipka | 12.0.1 | askpass | 1,1 | assertthat | 0.2.1 |
| zpětné portování | 1.4.1 | báze | 4.3.1 | base64enc | 0.1-3 |
| bitové | 4.0.5 | bit64 | 4.0.5 | objekt blob | 1.2.4 |
| bootování | 1.3-28 | vařit | 1.0-8 | verva | 1.1.3 |
| koště | 1.0.5 | bslib | 0.5.0 | cachem | 1.0.8 |
| volající | 3.7.3 | caret | 6.0-94 | cellranger | 1.1.0 |
| chronograf | 2.3-61 | třída | 7.3-22 | Rozhraní příkazového řádku | 3.6.1 |
| clipr | 0.8.0 | takt | 0.7.0 | cluster | 2.1.4 |
| codetools | 0.2-19 | barevný prostor | 2.1-0 | commonmark | 1.9.0 |
| kompilátor | 4.3.1 | config | 0.3.1 | v rozporu | 1.2.0 |
| cpp11 | 0.4.4 | pastelka | 1.5.2 | přihlašovací údaje | 1.3.2 |
| curl | 5.0.1 | data.table | 1.14.8 | datové sady | 4.3.1 |
| DBI | 1.1.3 | dbplyr | 2.3.3 | Popis | 1.4.2 |
| devtools | 2.4.5 | diagram | 1.6.5 | diffobj | 0.3.5 |
| hodnota hash | 0.6.33 | přisvícení dolů | 0.4.3 | dplyr | 1.1.2 |
| dtplyr | 1.3.1 | e1071 | 1.7-13 | tři tečky | 0.3.2 |
| vyhodnotit | 0.21 | fanoušci | 1.0.4 | barvy | 2.1.1 |
| rychlá mapa | 1.1.1 | fontawesome | 0.5.1 | forcats | 1.0.0 |
| foreach | 1.5.2 | zahraniční | 0.8-82 | kovat | 0.2.0 |
| fs | 1.6.2 | budoucnost | 1.33.0 | future.apply | 1.11.0 |
| kloktadlo | 1.5.1 | obecné typy | 0.1.3 | Gert | 1.9.2 |
| ggplot2 | 3.4.2 | gh | 1.4.0 | gitcreds | 0.1.2 |
| glmnet | 4.1-7 | globálních objektů | 0.16.2 | lepidlo | 1.6.2 |
| googledrive | 2.1.1 | googlesheets4 | 1.1.1 | Gower | 1.0.1 |
| Grafika | 4.3.1 | grDevices | 4.3.1 | mřížka | 4.3.1 |
| gridExtra | 2.3 | gsubfn | 0,7 | gtable | 0.3.3 |
| bezpečnostní přilba | 1.3.0 | útočiště | 2.5.3 | highr | 0.10 |
| Hms | 1.1.3 | htmltools | 0.5.5 | htmlwidgets | 1.6.2 |
| httpuv | 1.6.11 | httr | 1.4.6 | httr2 | 0.2.3 |
| Id | 1.0.1 | ini | 0.3.1 | ipred | 0.9-14 |
| isoband | 0.2.7 | Iterátory | 1.0.14 | jquerylib | 0.1.4 |
| jsonlite | 1.8.7 | KernSmooth | 2.23-21 | knitr | 1,43 |
| značení | 0.4.2 | později | 1.3.1 | mřížka | 0.21-8 |
| láva | 1.7.2.1 | životní cyklus | 1.0.3 | listenv | 0.9.0 |
| lubridate | 1.9.2 | magrittr | 2.0.3 | markdown | 1,7 |
| MŠE | 7.3-60 | Matice | 1.5-4.1 | memoise | 2.0.1 |
| metody | 4.3.1 | mgcv | 1.8-42 | mim | 0.12 |
| miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.11 |
| munsell | 0.5.0 | nlme | 3.1-162 | nnet | 7.3-19 |
| numDeriv | 2016.8-1.1 | openssl | 2.0.6 | paralelní | 4.3.1 |
| paralelně | 1.36.0 | pilíř | 1.9.0 | pkgbuild | 1.4.2 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.2.1 |
| plogr | 0.2.0 | plyr | 1.8.8 | pochvala | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.18.4 | processx | 3.8.2 |
| prodlim | 2023.03.31 | profvis | 0.3.8 | Průběh | 1.2.2 |
| progressr | 0.13.0 | promisy | 1.2.0.1 | proto | 1.0.0 |
| proxy | 0.4-27 | PS | 1.7.5 | purrr | 1.0.1 |
| r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.5 |
| randomForest | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-3 | Rcpp | 1.0.11 | RcppEigen | 0.3.3.9.3 |
| readr | 2.1.4 | readxl | 1.4.3 | recepty | 1.0.6 |
| odvetný zápas | 1.0.1 | rematch2 | 2.1.2 | dálková ovládání | 2.4.2 |
| reprex | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.1.1 |
| rmarkdown | 2.23 | RODBC | 1.3-20 | roxygen2 | 7.2.3 |
| rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-11 |
| RSQLite | 2.3.1 | rstudioapi | 0.15.0 | rversions | 2.1.2 |
| rvest | 1.0.3 | drzá napodobenina | 0.4.6 | váhy | 1.2.1 |
| selektor | 0.4-2 | sessioninfo | 1.2.2 | obrazec | 1.4.6 |
| lesklý | 1.7.4.1 | sourcetools | 0.1.7-1 | sparklyr | 1.8.1 |
| prostorový | 7.3-15 | spline | 4.3.1 | sqldf | 0.4-11 |
| SQUAREM | 2021.1 | statistické údaje | 4.3.1 | Statistiky 4 | 4.3.1 |
| stringi | 1.7.12 | stringr | 1.5.0 | přežití | 3.5-5 |
| sys | 3.4.2 | systemfonts | 1.0.4 | tcltk | 4.3.1 |
| testthat | 3.1.10 | tvarování textu | 0.3.6 | tibble | 3.2.1 |
| tidyr | 1.3.0 | tidyselect | 1.2.0 | tidyverse | 2.0.0 |
| změna času | 0.2.0 | timeDate | 4022.108 | tinytex | 0,45 |
| nástroje | 4.3.1 | tzdb | 0.4.0 | ověřovač URL | 1.0.1 |
| usethis | 2.2.2 | utf8 | 1.2.3 | utils | 4.3.1 |
| Uuid | 1.1-0 | vctrs | 0.6.3 | viridisLite | 0.4.2 |
| vroom | 1.6.3 | Waldo | 0.5.1 | vodič | 0.4.1 |
| withr | 2.5.0 | xfun | 0,39 | xml2 | 1.3.5 |
| xopen | 1.0.0 | xtable | 1.8-4 | yaml (YAML Ain't Markup Language), formát pro serializaci dat | 2.3.7 |
| zip | 2.3.0 |
Nainstalované Java a knihovny Scala (verze clusteru Scala 2.12)
| ID skupiny | ID artefaktu | Verze |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | automatické škálování aws-java-sdk | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.390 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.390 |
| com.amazonaws | aws-java-sdk-config | 1.12.390 |
| com.amazonaws | aws-java-sdk-core | 1.12.390 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.390 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.390 |
| com.amazonaws | aws-java-sdk-directory | 1.12.390 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.390 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.390 |
| com.amazonaws | aws-java-sdk-efs | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.390 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.390 |
| com.amazonaws | aws-java-sdk-emr | 1.12.390 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.390 |
| com.amazonaws | aws-java-sdk-glue | 1.12.390 |
| com.amazonaws | aws-java-sdk-iam | 1.12.390 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.390 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.390 |
| com.amazonaws | aws-java-sdk-kms | 1.12.390 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.390 |
| com.amazonaws | aws-java-sdk-logs | 1.12.390 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.390 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.390 |
| com.amazonaws | aws-java-sdk-rds | 1.12.390 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.390 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.390 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ses | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.390 |
| com.amazonaws | aws-java-sdk-sns | 1.12.390 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.390 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.390 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.390 |
| com.amazonaws | aws-java-sdk-sts | 1.12.390 |
| com.amazonaws | aws-java-sdk-support | 1.12.390 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.390 |
| com.amazonaws | jmespath-java | 1.12.390 |
| com.clearspring.analytics | datový proud | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | databricks-sdk-java | 0.7.0 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | Kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | spolužák | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.15.2 |
| com.fasterxml.jackson.core | jackson-core | 2.15.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.15.1 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.15.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.15.2 |
| com.github.ben-manes.kofein | kofein | 2.9.3 |
| com.github.fommil | jniloader | 1,1 |
| com.github.fommil.netlib | native_ref-java | 1,1 |
| com.github.fommil.netlib | native_ref-java | Nativní verze 1.1 |
| com.github.fommil.netlib | native_system-java | 1,1 |
| com.github.fommil.netlib | native_system-java | Nativní verze 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | Nativní verze 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64 | Nativní verze 1.1 |
| com.github.luben | zstd-jni | 1.5.5-4 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.10.1 |
| com.google.crypto.tink | Tink | 1.9.0 |
| com.google.errorprone | error_prone_annotations | 2.10.0 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.ning | Kompresní algoritmus compress-lzf | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.3 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.16.0 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.5 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.13.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.3 |
| dev.ludovic.netlib | Blas | 3.0.3 |
| dev.ludovic.netlib | lapack | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | kompresor | 0.25 |
| io.delta | delta-sharing-client_2.12 | 1.0.2 |
| io.dropwizard.metrics | anotace metrik | 4.2.19 |
| io.dropwizard.metrics | metriky-základ | 4.2.19 |
| io.dropwizard.metrics | metrics-graphite | 4.2.19 |
| io.dropwizard.metrics | metriky – kontroly stavu | 4.2.19 |
| io.dropwizard.metrics | metrics-jetty9 | 4.2.19 |
| io.dropwizard.metrics | metrics-jmx | 4.2.19 |
| io.dropwizard.metrics | metrics-json | 4.2.19 |
| io.dropwizard.metrics | metrics-jvm | 4.2.19 |
| io.dropwizard.metrics | metriky – servlety | 4.2.19 |
| io.netty | netty-all | 4.1.96.Final |
| io.netty | netty-buffer | 4.1.96.Final |
| io.netty | netty-codec | 4.1.96.Final |
| io.netty | netty-codec-http | 4.1.96.Final |
| io.netty | netty-codec-http2 | 4.1.96.Final |
| io.netty | netty-codec-socks | 4.1.96.Final |
| io.netty | netty-common | 4.1.96.Final |
| io.netty | Netty handler | 4.1.96.Final |
| io.netty | netty-handler-proxy | 4.1.96.Final |
| io.netty | netty-resolver | 4.1.96.Final |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-windows-x86_64 |
| io.netty | netty-tcnative-classes | 2.0.61.Final |
| io.netty | netty-transport | 4.1.96.Final |
| io.netty | netty-transport-classes-epoll | 4.1.96.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.1.96.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | kolektor | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | aktivace | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1,1 |
| javax.transaction | transakční API | 1,1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | marináda | 1.3 |
| net.sf.jpam | jpam | 1,1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.9.3 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.16 |
| org.apache.ant | ant-jsch | 1.9.16 |
| org.apache.ant | ant-launcher | 1.9.16 |
| org.apache.arrow | arrow-format | 12.0.1 |
| org.apache.arrow | arrow-memory-core | 12.0.1 |
| org.apache.arrow | arrow-memory-netty | 12.0.1 |
| org.apache.arrow | arrow-vector | 12.0.1 |
| org.apache.avro | avro | 1.11.2 |
| org.apache.avro | avro-ipc | 1.11.2 |
| org.apache.avro | avro-mapred | 1.11.2 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.23.0 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.kurátor | kurátor-klient | 2.13.0 |
| org.apache.kurátor | kurátor-framework | 2.13.0 |
| org.apache.kurátor | kurátor-recepty | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | datasketches-memory | 2.0.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-runtime | 3.3.6 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | břečťan | 2.5.1 |
| org.apache.logging.log4j | log4j-1.2-api | 2.20.0 |
| org.apache.logging.log4j | log4j-api | 2.20.0 |
| org.apache.logging.log4j | log4j-core | 2.20.0 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.20.0 |
| org.apache.mesos | mesos | 1.11.0-shaded-protobuf |
| org.apache.orc | orc-core | 1.9.1-shaded-protobuf |
| org.apache.orc | orc-mapreduce | 1.9.1-shaded-protobuf |
| org.apache.orc | orc-shims | 1.9.1 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.23 |
| org.apache.yetus | anotace pro publikum | 0.13.0 |
| org.apache.zookeeper | zookeeper | 3.6.3 |
| org.apache.zookeeper | zookeeper-jute | 3.6.3 |
| org.checkerframework | checker-qual | 3.31.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | Janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
| org.eclipse.jetty | pokračování jetty | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-http | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-plus | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-proxy | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-security | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-server | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-webapp | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.52.v20230823 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.40 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.40 |
| org.glassfish.jersey.core | jersey-client | 2.40 |
| org.glassfish.jersey.core | Jersey-common | 2.40 |
| org.glassfish.jersey.core | jersey-server | 2.40 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.40 |
| org.hibernate.validator | Hibernate-validator | 6.1.7.Final |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | Javassist | 3.29.2-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | anotace | 17.0.0 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.9 |
| org.mlflow | mlflow-spark | 2.2.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.6.0 |
| org.roaringbitmap | RoaringBitmap | 0.9.45 |
| org.roaringbitmap | Podložky | 0.9.45 |
| org.rocksdb | rocksdbjni | 8.3.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.9.0 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.2.15 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | kompatibilní s scalatestem | 3.2.15 |
| org.scalatest | scalatest-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
| org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
| org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
| org.scalatest | scalatest_2.12 | 3.2.15 |
| org.slf4j | jcl-over-slf4j | 2.0.7 |
| org.slf4j | jul-to-slf4j | 2.0.7 |
| org.slf4j | slf4j-api | 2.0.7 |
| org.threeten | threeten-extra | 1.7.1 |
| org.tukaani | xz | 1,9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.10.3 |
| org.yaml | snakeyaml | 2.0 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |