Databricks Runtime 14.2

Následující poznámky k verzi obsahují informace o modulu Databricks Runtime 14.2, který využívá Apache Spark 3.5.0.

Databricks vydala tyto image v listopadu 2023.

Nové funkce a vylepšení

• CACHE SELECT je teď ignorováno.
• Vylepšené chování ukládání do mezipaměti
• Oprava zpracování poškozených souborů v příkazech DML
• Podpora registru schémat pro funkce související s protobufem a Avro ve sdílených clusterech
• foreachBatch a StreamingListener podpora
• Souběžnost na úrovni řádků je obecně dostupná a ve výchozím nastavení zapnutá.
• Rozdílové sdílení: Příjemci můžou provádět dávkové dotazy, CDF a streamované dotazy na sdílené tabulky s vektory odstranění (Public Preview)
• Mělký klon pro externí tabulky katalogu Unity (Public Preview)
• Nový algoritmus přiřazení ukládání do mezipaměti disku
• from_avro Konektor registru schématu přidává podporu vývoje schématu.
• Rychlejší shromažďování statistik s více vlákny
• Odsdílení filtrů v DeltaSource v souborech Delta
• Podpora skalárních uživatelem definovaných funkcí scala ve sdílených clusterech (Public Preview)

CACHE SELECT je teď ignorováno.

Příkaz CACHE SELECT SQL se teď ignoruje ve prospěch vylepšeného algoritmu ukládání do mezipaměti. Viz Optimalizace výkonu s využitím ukládání do mezipaměti v Azure Databricks.

Vylepšené chování ukládání do mezipaměti

Umístění DiskCache plánovačem Sparku teď má rychlejší přiřazení oddílů, lepší vyrovnávání při automatickém škálování clusteru a konzistentnější provádění dotazů.

Oprava zpracování poškozených souborů v příkazech DML

Příkazy DML a MERGE INTO již nerespektují možnosti ignoreCorruptFiles čtení a ignoreMissingFiles.DELETEUPDATE Při výskytu nečitelného souboru v tabulce teď tyto příkazy selžou, i když jsou tyto možnosti zadané.

Podpora registru schémat pro funkce související s protobufem a Avro ve sdílených clusterech

Teď můžete používat from_avrofunkce , , to_avrofrom_protobufa to_protobuf Python s registrem schématu ve sdílených clusterech.

foreachBatch a StreamingListener podpora

Teď můžete používat foreachBatch() rozhraní StreamingListener API se strukturovaným streamováním ve sdílených clusterech. Viz Použití foreachBatch k zápisu do libovolných jímek dat a monitorování dotazů strukturovaného streamování v Azure Databricks.

Souběžnost na úrovni řádků je obecně dostupná a ve výchozím nastavení zapnutá.

Souběžnost na úrovni řádků snižuje konflikty mezi souběžnými operacemi zápisu detekcí změn na úrovni řádku. Souběžnost na úrovni řádků se podporuje jenom u tabulek bez dělení, což zahrnuje tabulky s clusteringem liquid. Souběžnost na úrovni řádků je ve výchozím nastavení povolená u tabulek Delta s povolenými vektory odstranění. Viz Konflikty zápisu se souběžností na úrovni řádků.

Rozdílové sdílení: Příjemci můžou provádět dávkové dotazy, CDF a streamované dotazy na sdílené tabulky s vektory odstranění (Public Preview)

Příjemci rozdílového sdílení teď můžou provádět dávkové dotazy, CDF a streamované dotazy na sdílené tabulky, které používají vektory odstranění. Ve službě Databricks Runtime 14.1 můžou provádět pouze dávkové dotazy. Viz Přidání tabulek s vektory odstranění nebo mapováním sloupců do sdílené složky, čtení tabulek s povolenými vektory odstranění nebo mapování sloupců a čtení tabulek s povolenými vektory odstranění nebo mapováním sloupců.

Mělký klon pro externí tabulky katalogu Unity (Public Preview)

U externích tabulek v Katalogu Unity teď můžete použít mělké klony. Viz "Mělké klonování" pro tabulky katalogu Unity.

Nový algoritmus přiřazení ukládání do mezipaměti disku

Plánovač Sparku teď používá nový algoritmus ukládání do mezipaměti disku. Algoritmus zlepšuje využití disku a přiřazení oddílů napříč uzly s rychlejším přiřazením na začátku i po událostech škálování clusteru. Přiřazování mezipaměti Stickier zlepšuje konzistenci napříč spuštěními a snižuje přesun dat během operací vyrovnávání.

from_avro Konektor registru schématu přidává podporu vývoje schématu.

Teď můžete povolit, aby se kanály restartovaly, když se zjistí vyvíjené záznamy. Dříve, pokud se vývoj schématu stalo s from_avro konektorem, nové sloupce by se vrátily null. Viz Čtení a zápis streamovaných dat Avro.

Rychlejší shromažďování statistik s více vlákny

Shromažďování statistik je až 10krát rychlejší u malých clusterů při spuštění příkazu CONVERT TO DELTA nebo klonování z tabulek Iceberg a Parquet. Viz Tabulky Convert to Delta Lake a Clone Parquet a Iceberg.

Odsdílení filtrů v DeltaSource v souborech Delta

Kvůli lepšímu využití se filtry oddílů u dotazů streamování tabulek Delta před omezením rychlosti odsunou do delta.

Podpora skalárních uživatelem definovaných funkcí scala ve sdílených clusterech (Public Preview)

V clusterech s podporou katalogu Unity nakonfigurovaných pomocí režimu sdíleného přístupu teď můžete používat skalární skalární funkce Scala. Viz uživatelem definované skalární funkce – Scala.

Upgrady knihoven

• Upgradované knihovny Pythonu:
  • fastjsonschema od 2.18.0 do 2.19.0
  • filelock od 3.12.3 do 3.12.4
  • googleapis-common-protos od 1.60.0 do 1.61.0
• Upgradované knihovny jazyka R:
• Upgradované knihovny Java:

Apache Spark

Databricks Runtime 14.2 zahrnuje Apache Spark 3.5.0. Tato verze zahrnuje všechny opravy a vylepšení Sparku, která jsou součástí Databricks Runtime 14.1, a také následující další opravy chyb a vylepšení Sparku:

• [SPARK-45592] [DBRRM-624] Vrácení problému se správností [SC-146977][SQL] v AQE s InMemoryTableScanExec
• [SPARK-45524] [DBRRM-625] Vrátit zpět "[SC-146319][PYTHON][SQL] Počáteční podpora f...
• [SPARK-45433] [DBRRM-621] Vrátit zpět "[SC-145163][SQL] Oprava schématu CSV/JSON odvozené...
• [SPARK-45592] [SC-146977] [SQL] Problém s správností v AQE s inMemoryTableScanExec
• [SPARK-45354] Vrátit zpět "[SC-143991][SQL] Řešení funkcí dole nahoru
• [SPARK-45680] [TEST-ONLY] [SASP-2347] [CONNECT] Oprava testů
• [SPARK-45680] [CONNECT] Relace vydání
• [SPARK-43380] [SC-146726] [ES-897115] [SQL] Oprava zpomalení čtení Avro
• [SPARK-45649] [SC-146742] [SQL] Sjednocení architektury přípravy pro OffsetWindowFunctionFrame
• [SPARK-40820] [SC-146727] [PYTHON] [SQL] Vytvoření typu StructType z json
• [SPARK-45620] [SC-146225] [PYTHON] Oprava uživatelsky orientovaných rozhraní API souvisejících s UDTF v Pythonu pro použití camelCase
• [SPARK-45727] [SC-146978] [SS] Odebrání nepoužívané mapy v simulaci šíření vodoznaku
• [SPARK-45723] [SC-146890] [PYTHON] [CONNECT] Metody katalogu se vyhýbají převodu knihovny pandas
• [SPARK-45574] [SC-146106] [SQL] Přidat :: syntaxe jako zkratka pro přetypování
• [SPARK-45670] [SC-146725] [JÁDRO] [3.5] SparkSubmit nepodporuje --total-executor-cores při nasazování na K8s.
• [SPARK-45661] [SC-146594] [SQL] [PYTHON] Přidání toNullable v StructType, MapType a ArrayType
• [SPARK-45524] [SC-146319] [PYTHON] [SQL] Počáteční podpora rozhraní API pro čtení zdroje dat v Pythonu
• [SPARK-45542] [SC-145892] [JÁDRO] Nahradit setSafeMode(HdfsConstants.SafeModeAction, boolean) čím setSafeMode(SafeModeAction, boolean)
• [SPARK-45652] [SC-146641] [SQL] SPJ: Zpracování prázdných vstupních oddílů po dynamickém filtrování
• [SPARK-45454] [SC-144846] [SQL] Nastavení výchozího vlastníka tabulky na current_user
• [SPARK-45554] [SC-146875] [PYTHON] Zavedení flexibilního parametru pro assertSchemaEqual
• [SPARK-45242] [SC-143410] [SQL] Použití ID datového rámce k sémantickému ověření CollectMetrics
• [SPARK-45674] [SC-146862] [CONNECT] [PYTHON] Zlepšení chybové zprávy pro atributy závislé na prostředí JVM v Připojení Sparku
• [SPARK-45646] [SC-146276] [SQL] Odebrání pevných časových proměnných před Hivem 2.0
• [SPARK-43380] [SC-146726] [ES-897115] [SQL] Oprava zpomalení čtení Avro
• [SPARK-45545] [SC-146484] [JÁDRO] Předávání SSLOptions všude, kde vytvoříme SparkTransportConf
• [SPARK-45641] [SC-146260] [UŽIVATELSKÉ ROZHRANÍ] Zobrazení času spuštění aplikace na stránce AllJobsPage
• [SPARK-40154] [SC-146491] [Python] [Docs] Oprava úrovně úložiště v docstringu Dataframe.cache
• [SPARK-45626] [SC-146259] [SQL] Převod _LEGACY_ERROR_TEMP_1055 na REQUIRES_SINGLE_PART_NAMESPACE
• [SPARK-45507] [SC-145900] [SQL] Oprava správnosti pro vnořené skalární poddotazy s agregacemi COUNT
• [SPARK-45619] [SC-146226] [CONNECT] [PYTHON] Použití pozorovaných metrik na objekt pozorování
• [SPARK-45588] [SC-145909] [PROTOBUF] [CONNECT] [PODVERZE] Vylepšení Scaladoc pro StreamingForeachBatchHelper
• [SPARK-45616] [SC-146120] [JÁDRO] Vyhněte se ParVectoru, který nerozšíří ThreadLocals ani SparkSession
• [SPARK-45604] [SC-146105] [SQL] Přidání kontroly logického typu u INT64 –> převod data a času na Parquet Vectorized Reader
• [SPARK-44649] [SC-145891] [SQL] Modul runtime filter podporuje předávání ekvivalentních výrazů na straně vytvoření.
• [SPARK-41674] [SC-128408] [SQL] Modul runtime by měl podporovat stranu spojení s více úrovněmi jako stranu vytvoření filtru.
• [SPARK-45547] [SC-146228] [ML] Ověření vektorů pomocí integrované funkce
• [SPARK-45558] [SC-145890] [SS] Zavedení souboru metadat pro stavový operátor streamování
• [SPARK-45618] [SC-146252] [JÁDRO] Odebrání rutiny BaseErrorHandler
• [SPARK-45638] [SC-146251] [SQL] [Avro] Zlepšení pokrytí testu převodem desetinných míst
• [SPARK-44837] [SC-146020] [SQL] Chybová zpráva ke změně sloupce ALTER TABLE ALTER PARTITION
• [SPARK-45561] [SC-146264] [SQL] Přidání správných převodů pro TINYINT v MySQLDialect
• [SPARK-45632] [SC-146255] [SQL] Při povolení AQE by se měla mezipaměť tabulek vyhnout zbytečným sloupcům ColumnarToRow
• [SPARK-45569] [SC-145932] [SQL] Přiřazení názvu k chybě _LEGACY_ERROR_TEMP_2152
• [SPARK-44784] [SC-141015] [CONNECT] Proveďte testování hermetiky SBT.
• [SPARK-45452] [SC-144836] [SQL] Vylepšení InMemoryFileIndex používání FileSystem.listFiles rozhraní API
• [SPARK-44735] [SC-146186] [SQL] Přidání upozornění při vkládání sloupců se stejným názvem podle řádku, který neodpovídá
• [SPARK-45351] [SC-144791] [JÁDRO] Změna spark.shuffle.service.db.backend výchozí hodnoty na ROCKSDB
• [SPARK-45553] [SC-145906] [PS] Vyřazení assertPandasOnSparkEqual
• [SPARK-45613] [SC-146022] [JÁDRO] Zveřejnění DeterministicLevel jako DeveloperApi
• [SPARK-45549] [SC-145895] [JÁDRO] Odebrání nepoužívaných numExistingExecutors v CoarseGrainedSchedulerBackend
• [SPARK-45609] [SC-146030] [CONNECT] Zahrnutí sqlState do zprávy proto SparkThrowable
• [SPARK-45595] [SC-146037] zveřejnit stav SQL v chybové zprávě
• [SPARK-45628] [SC-146123] [ML] Zlepšení vector_to_array pro .mllib.linalg.SparseVector
• [SPARK-45009] [SC-145884] [SQL] [ZPRACOVAT] Vypnutí derrelace v podmínkách spojení pro test AQE InSubquery
• [SPARK-45576] [SC-145883] [JÁDRO] Odebrání nepotřebných protokolů ladění v reloadingX509TrustManagerSuite
• [SPARK-45485] [SC-145719] [CONNECT] Vylepšení uživatelského agenta: Použití proměnné SPARK_CONNECT_USER_AGENT env a zahrnutí atributů specifických pro prostředí
• [SPARK-45508] [SC-145513] [JÁDRO] Přidejte "-add-opens=java.base/jdk.internal.ref=ALL-UNNAMED", aby platforma získala přístup k Cleaner na Javě 9+
• [SPARK-45595] Vrátit zpět "[SC-146037] Zveřejnění SQLSTATE v chybové zprávě"
• [SPARK-45595] [SC-146037] Zveřejnění STAVU SQL v chybové zprávě
• [SPARK-45112] Vrátit "[SC-143259][SQL] Použít UnresolvedFunction ba...
• [SPARK-45257] [SC-143411] [JÁDRO] Povolit spark.eventLog.compress ve výchozím nastavení
• [SPARK-45586] [SC-145899] [SQL] Snížení latence kompilátoru pro plány s velkými stromy výrazů
• [SPARK-45517] [SC-145691] [CONNECT] [14.x] Rozšíření dalších konstruktorů výjimek pro podporu parametrů architektury chyb
• [SPARK-45581] [SC-145896] Nastavení SQLSTATE jako povinného
• [SPARK-45427] [SC-145590] [JÁDRO] Přidání nastavení PROTOKOLU SSL rpc do sslOptions a SparkTransportConf
• [SPARK-45261] [SC-143357] [JÁDRO] Oprava EventLogFileWriters zpracování none jako kodeku
• [SPARK-45582] [SC-145897] [SS] Ujistěte se, že se instance úložiště nepoužívá po volání potvrzení v agregaci streamování v režimu výstupu.
• [SPARK-45562] [SC-145720] [SC-144650] [SQL] XML: Nastavení atributu rowTag jako povinné možnosti
• [SPARK-45392] [SC-144362] [JÁDRO] [SQL] [SS] Nahradit Class.newInstance() čím Class.getDeclaredConstructor().newInstance()
• [SPARK-45433] [SC-145163] [SQL] Oprava odvození schématu CSV/JSON, když se časová razítka neshodují se zadaným časovým razítkemFormat
• [SPARK-45458] [SC-145011] [SQL] Convert IllegalArgumentException to SparkIllegalArgumentException in bitwiseExpressions
• [SPARK-45564] [SC-145735] [SQL] Zjednodušení DataFrameStatFunctions.bloomFilter s výrazem BloomFilterAggregate
• [SPARK-45566] [SC-145777] [PS] Podpora testovacích nástrojů typu Pandas pro rozhraní Pandas API ve Sparku
• [SPARK-45498] [SC-145509] [JÁDRO] Sledování: Přeskočení dokončení úkolu z původní fáze a...
• [SPARK-45483] [SC-145152] [CONNECT] Oprava skupin funkcí v connect.functions
• [SPARK-45577] [SC-145781] [PYTHON] Oprava UserDefinedPythonTableFunctionAnalyzeRunner pro předávání přeložených hodnot z pojmenovaných argumentů
• [SPARK-45009] [SC-138223] [ZPRACOVAT] Vypnutí derrelace v podmínkách spojení pro AetherSQLQuerySuite
• [SPARK-45415] [SC-145344] Povolit selektivní zakázání "fallocate" ve statestore RocksDB
• [SPARK-45500] [SC-145134] [JÁDRO] [WEBI] Zobrazení počtu neobvykle dokončených ovladačů v MasterPage
• [SPARK-44120] [SC-144349] [PYTHON] Podpora Pythonu 3.12
• [SPARK-45439] [SC-145589] [SQL] [UŽIVATELSKÉ ROZHRANÍ] Snížení využití paměti liveStageMetrics.accumIdsToMetricType
• [SPARK-45565] [SC-145717] [UŽIVATELSKÉ ROZHRANÍ] Nepotřebná smyčka JSON.stringify a JSON.parse pro seznam úkolů v podrobnostech fáze
• [SPARK-45567] [SC-145718] [CONNECT] Odeberte redundantní, pokud v souboru org.apache.spark.sql.connect.execution.ExecuteGrpcResponseSender#run
• [SPARK-45112] [SC-143259] [SQL] Použití rozlišení založeného na UnresolvedFunction ve funkcích datové sady SQL
• [SPARK-45486] [SASP-2457] [SC-145612] [CONNECT] Nastavení idempotentního požadavku add_artifact
• [SPARK-44913] [SC-144326] [SQL] DS V2 podporuje funkci push down V2 UDF s magickou metodou
• [SPARK-45538] [SC-145635] [PYTHON] [CONNECT]chyba připojení pyspark overwrite_partitions
• [SPARK-45491] [SC-145622] Přidání chybějících funkcí SQLSTATES 2/2
• [SPARK-45009] [SC-145620] [SC-138223] [SQL] Dekódování poddotazů predikátu v podmínce spojení
• [SPARK-45377] [SC-144377] [JÁDRO] Zpracování InputStreamu v NettyLoggeru
• [SPARK-45248] [SC-143759] [JÁDRO] Nastavení časového limitu pro server uživatelského rozhraní Sparku
• [SPARK-44594] [SC-145611] [SS] Odebrání redundantního parametru metody v konektoru Kafka
• [SPARK-45539] [SC-145621] [SS] Přidání kontrolního výrazu a protokolu pro označení definice vodoznaku je vyžadováno pro dotazy agregace streamování v režimu připojení.
• [SPARK-44262] [SC-145639] [SQL] Přidání dropTable a getInsertStatement do JdbcDialect
• [SPARK-45516] [SC-145480] [CONNECT] Zahrnout QueryContext do zprávy proto SparkThrowable
• [SPARK-45310] [SC-145127] [JÁDRO] Sestava stavu bloku náhodného prohazování by měla respektovat službu náhodného prohazování během migrace z provozu.
• [SPARK-45521] [SC-145487] [ML] Vyhněte se opakovanému výpočtu nnz v VectorAssembler
• [SPARK-45418] [SC-145485] [SQL] [PYTHON] [CONNECT] Změna aliasu sloupce current_database() na current_schema()
• [SPARK-45116] [SC-145142] [SQL] Přidat komentář pro param of JdbcDialect createTable
• [SPARK-45495] [SC-145529] [jádro] Profil prostředku úkolu na úrovni fáze podpory pro cluster k8s, pokud je dynamické přidělení zakázané
• [SPARK-45487] [SC-145559] Oprava chyb SQLSTAT a dočasných chyb
• [SPARK-45505] [SC-145550] [PYTHON] Refaktoring analyzeInPython, aby byl opakovaně použitelný
• [SPARK-45132] [SC-145425] [SQL] Oprava identifikátoru pro vyvolání funkce
• [SPARK-45213] [SC-145020] [SQL] Přiřazení názvu k chybě _LEGACY_ERROR_TEMP_2151
• [SPARK-45416] [SC-145126] [CONNECT] Kontrola konzistence výsledků se šipkami
• [SPARK-45163] [SC-143386] [SQL] Sloučit UNSUPPORTED_VIEW_OPERATION a UNSUPPORTED_TABLE_OPERATION a opravit nějaký problém
• [SPARK-45421] [SC-144814] [SQL] Catch AnalysisException over InlineCTE
• [SPARK-43664] [SC-145404] [CONNECT] [PS] Vyvolání výjimky pro ps.sql objekt Pandas-on-Spark ve Sparku Připojení
• [SPARK-45402] [SC-145371] [SQL] [PYTHON] Přidání rozhraní UDTF API pro metody eval a terminate pro využití předchozího výsledku analýzy
• [SPARK-36112] [SC-67885] [SQL] Podpora korelovaných poddotazů EXISTS a IN s využitím architektury DecorrelateInnerQuery
• [SPARK-45383] [SC-144929] [SQL] Oprava chybové zprávy pro časovou cestu s neexistující tabulkou
• [SPARK-43254] [SC-143318] [SQL] Přiřazení názvu k chybě _LEGACY_ERROR_TEMP_2018
• [SPARK-45204] [SC-145167] [CONNECT] Přidání volitelného executeholderu do Sparku Připojení Planner
• [SPARK-45451] [SC-145144] [SQL] Nastavení výchozí úrovně úložiště mezipaměti datové sady jako konfigurovatelné
• [SPARK-45192] [SC-143194] [UŽIVATELSKÉ ROZHRANÍ] Oprava parametru overdue lineInterpolate pro edge graphviz
• [SPARK-45467] [SC-145146] [JÁDRO] Nahradit Proxy.getProxyClass() čím Proxy.newProxyInstance().getClass
• [SPARK-45397] [SC-145139] [ML] [CONNECT] Přidání transformátoru funkcí assembleru pole
• [SPARK-44855] [SC-145226] [CONNECT] Malé úpravy připojení ExecuteGrpcResponseSender k ExecuteResponseObserver
• [SPARK-45398] [SC-144796] [SQL] sql() Připojení ESCAPE výrazu Like
• [SPARK-45494] [SC-145129] [JÁDRO] [PYTHON] Představení funkcí nástroje pro čtení a zápis bajtového pole pro PythonWorkerUtils
• [SPARK-45464] [SC-145125] [JÁDRO] Oprava sestavení distribuce sítě-yarn
• [SPARK-45461] [SC-144851] [JÁDRO] [SQL] [MLLIB] Zavedení mapovače pro úroveň úložiště
• [SPARK-45450] [SC-145009] [PYTHON] Oprava importů podle PEP8: pyspark.pandas a pyspark (jádro)
• [SPARK-45475] [SC-145018] [SQL] Používá dataFrame.foreachPartition místo RDD.foreachPartition v JdbcUtils.
• [SPARK-45271] [SC-143778] [SQL] Sloučení _LEGACY_ERROR_TEMP_1113 do TABLE_OPERATION a odstranění některé nepoužívané metody v QueryCompilationErrors
• [SPARK-45449] [SC-145013] [SQL] Problém s neplatnou mezipamětí u tabulky JDBC
• [SPARK-45473] [SC-145017] [SQL] Oprava nesprávné chybové zprávy pro RoundBase
• [SPARK-43299] [SC-145022] [SS] [CONNECT] Převod StreamQueryException v klientovi Scala
• [SPARK-45474] [SC-145014] [JÁDRO] [WEBI] Podpora filtrování nejvyšší úrovně v rozhraní API JSON masterPage
• [SPARK-45205] [SC-145012] [SQL] CommandResultExec k přepsání metod iterátoru, aby se zabránilo aktivaci více úloh.
• [SPARK-45472] [SC-145004] [SS] Úložiště stavu RocksDB nemusí znovu kontrolovat existenci cesty kontrolního bodu.
• [SPARK-45470] [SC-145010] [SQL] Vyhněte se vkládání řetězcové hodnoty typu komprese Hive orc
• [SPARK-45448] [SC-144829] [PYTHON] Oprava importů podle PEP8: pyspark.testing, pyspark.mllib, pyspark.resource a pyspark.streaming
• [SPARK-45446] [SC-144828] [PYTHON] Oprava importů podle PEP8: pyspark.errors a pyspark.ml
• [SPARK-45239] [SC-144832] [CONNECT] Omezení výchozího spark.connect.jvmStacktrace.maxSize
• [SPARK-45436] [SC-144831] [PYTHON] [CONNECT] Metody datového rámce kontrolují stejnou relaci.
• [SPARK-45413] [SC-144847] [JÁDRO] Přidání upozornění pro podporu levelDB pro přípravu
• [SPARK-45462] [SC-144848] [JÁDRO] [WEBI] Zobrazit Duration v ApplicationPage
• [SPARK-44527] [SC-144855] [SQL] Pokud má parametr maxRows hodnotu 0, nahraďte scalarSubquery hodnotou null.
• [SPARK-45401] [SC-144854] [PYTHON] Přidání nové metody cleanup do rozhraní UDTF
• [SPARK-43704] [SC-144849] [CONNECT] [PS] Podpora MultiIndex pro to_series()
• [SPARK-45424] [SC-144888] [SQL] Oprava časového razítkaFormatter vrací volitelné výsledky analýzy, pokud se shodují pouze předpony
• [SPARK-45441] [SC-144833] [PYTHON] Představení dalších funkcí nástrojů pro PythonWorkerUtils
• [SPARK-45412] [SC-144803] [PYTHON] [CONNECT] Ověření plánu a relace v DataFrame.__init__
• [SPARK-45408] [SC-144810] [JÁDRO] Přidání nastavení PROTOKOLU SSL protokolu RPC do TransportConf
• [SPARK-45432] [SC-144818] [JÁDRO] Odebrání zastaralého konstruktoru Hadoop-2 LocatedFileStatus
• [SPARK-45434] [SC-144819] [ML] [CONNECT] LogisticRegrese kontroluje popisky trénování.
• [SPARK-45420] [SC-144808] [SQL] [PYTHON] [CONNECT] Přidání dataType.fromDDL do PySpark
• [SPARK-45406] [SC-144793] [PYTHON] [CONNECT] Odstranit schema z konstruktoru datového rámce
• [SPARK-45404] [SC-144799] [JÁDRO] Podpora AWS_ENDPOINT_URL proměnné env
• [SPARK-43620] [SC-144792] [CONNECT] [PS] Oprava rozhraní API Pandas závisí na nepodporovaných funkcích.
• [SPARK-45354] [SC-143991] [SQL] Řešení funkcí směrem dolů nahoru
• [SPARK-45394] [SASP-1480] [SC-144712] [PYTHON] [CONNECT] Přidejte opakování pro rozhraní API artefaktů. Vylepšení zpracování chyb (následné zpracování [SPARK-45093])
• [SPARK-45120] [SC-142780] [SPARK-45150] [UŽIVATELSKÉ ROZHRANÍ] Upgrade d3 z v3 na v7(v7.8.5) a použití změn rozhraní API v uživatelském rozhraní
• [SPARK-44838] [SC-143983] [SQL] Vylepšení raise_error
• [SPARK-45312] [SC-143754] [SQL] [UŽIVATELSKÉ ROZHRANÍ] Podpora přepnutí zobrazení nebo skrytí plánu svg na stránce provádění
• [SPARK-45378] [SC-144448] [JÁDRO] Přidání convertToNettyForSsl do ManagedBufferu
• [SPARK-44762] [SC-144338] [CONNECT] [JÁDRO] Doc for Spark Připojení.addJobTag a Připojení SparkSession.addTag
• [SPARK-45383] Zpracování nevyřešených relačních časů – elegantně
• [SPARK-45347] [SC-144512] [SQL] [CONNECT] Zahrnutí SparkThrowable v FetchErrorDetailsResponse
• [SPARK-45012] [SC-141512] [SQL] KontrolaAnalysis by měla vyvolat vložený plán v AnalysisException
• [SPARK-45359] [SC-144336] [PYTHON] [CONNECT] DataFrame.{columns, colRegex, explain} by měla vyvolat výjimky, pokud je plán neplatný.
• [SPARK-45227] [SC-144233] [JÁDRO] Oprava drobného problému se zabezpečením vláken s využitím funkce CoarseGrainedExecutorBackend
• [SPARK-45266] [SC-144171] [PYTHON] Refaktoring pravidla analyzátoru ResolveFunctions pro zpoždění pozdějšího spojení při použití argumentů tabulky
• [SPARK-45266] Vrácení pravidla analyzátoru ResolveFunctions [SC-144171][PYTHON] Kvůli zpoždění pozdějšího spojení při použití argumentů tabulky refaktoring resolveFunctions
• [SPARK-45371] [SC-144389] [CONNECT] Řešení problémů se stínováním v klientovi Spark Připojení Scala
• [SPARK-45057] [SC-144214] [JÁDRO] Vyhněte se získání zámku čtení, pokud je keepReadLock false
• [SPARK-45385] [SC-144357] [SQL] Vyřazení spark.sql.parser.escapedStringLiterals
• [SPARK-45340] [SC-143917] [SQL] Odebrání konfigurace SQL spark.sql.hive.verifyPartitionPath
• [SPARK-45266] [SC-144171] [PYTHON] Refaktoring pravidla analyzátoru ResolveFunctions pro zpoždění pozdějšího spojení při použití argumentů tabulky
• [SPARK-45362] [SC-144198] [PYTHON] Vyjádření výrazů PARTITION BY před tím, než je metoda UDTF uDTF spotřebuje
• [SPARK-45346] [SC-143925] [SQL] Odvození schématu Parquet by mělo při slučování schématu respektovat příznak rozlišující malá a velká písmena.
• [SPARK-45341] [SC-143933] [JÁDRO] Opravte úroveň názvu v komentářích KVStore.java, aby sbt doc se úspěšně spustila s Javou 17.
• [SPARK-45334] [SC-143914] [SQL] Odebrání zavádějícího komentáře v parquetSchemaConverter
• [SPARK-45337] [SC-143932] [JÁDRO] Refaktoring AbstractCommandBuilder#getScalaVersion odebrání kontroly pro Scala 2.12
• [SPARK-45329] [SC-143918] [PYTHON] [CONNECT] Metody datového rámce přeskočí převod knihovny pandas
• [SPARK-43662] [SC-143923] [PS] [CONNECT] Podpora merge_asof ve Sparku Připojení
• [SPARK-44126] [SC-143751] [JÁDRO] Při vyřazení cílového exekutoru z provozu by se neměl zvýšit počet selhání migrace náhodného prohazování
• [SPARK-44550] [SC-119768] [SQL] Povolení oprav správnosti pro null IN (empty list) v rámci ANSI
• [SPARK-45316] [SC-143783] [JÁDRO] [SQL] Přidání nových parametrů ignoreCorruptFiles/ignoreMissingFiles do HadoopRDD a NewHadoopRDD
• [SPARK-45093] [SC-143414] [CONNECT] [PYTHON] Zasílání zpráv o chybách pro dotaz addArtifacts
• [SPARK-44756] [SC-143787] [JÁDRO] Exekutor přestane reagovat, když se pokusu o opakování nezdaří.
• [SPARK-45333] [SC-143768] [JÁDRO] Oprava chyby jedné jednotky související se spark.eventLog.buffer.kb
• [SPARK-45317] [SC-143750] [SQL] [CONNECT] Zpracování názvu souboru null v trasování zásobníku výjimek
• [SPARK-45191] [SC-143407] [SQL] InMemoryTableScanExec simpleStringWithNodeId přidá sloupcové informace
• [SPARK-45235] [SC-143314] [CONNECT] [PYTHON] Podpora parametrů mapování a pole podle sql()
• [SPARK-45138] [SC-143309] [SS] Definujte novou třídu chyb a použijte ji při selhání stavu kontrolního bodu na SYSTÉM SOUBORŮ DFS.
• [SPARK-45297] [SC-143644] [SQL] Odebrání alternativního řešení pro dateformatter přidané ve SPARK-31827
• [SPARK-44345] [SC-143593] [JÁDRO] Nižší unknown shuffle map output úroveň protokolu s upozorněním, pokud je povolená migrace náhodného prohazování
• [SPARK-44463] [SC-143251] [SS] [CONNECT] Zlepšení zpracování chyb pro Připojení pracovní proces Pythonu
• [SPARK-45207] [SC-143603] [SQL] [CONNECT] Implementace rozšiřování chyb pro klienta Scala
• [SPARK-45240] [SC-143602] [SQL] [CONNECT] Implementace rozšiřování chyb pro klienta Pythonu
• [SPARK-45216] [SC-143288] [SQL] Oprava ne deterministických počátečních datových rozhraní API
• [SPARK-45251] [SC-143419] [CONNECT] Přidání pole client_type pro FetchErrorDetails
• [SPARK-45137] [SC-143001] [CONNECT] Podpora parametrů mapování a pole v parametrizovaném sql()
• [SPARK-45224] [SC-143257] [PYTHON] Přidání příkladů s mapováním a polem jako parametrů sql()
• [SPARK-44622] [SC-143205] [SQL] [CONNECT] Implementace protokolu FetchErrorDetails RPC
• [SPARK-45178] [SC-136089] Náhradní spuštění jedné dávky pro Trigger.AvailableNow s nepodporovanými zdroji místo použití obálky
• [SPARK-44823] [14.x] [SC-142979] [PYTHON] Aktualizovat černou na verzi 23.9.1 a opraviterronní kontrolu
• [SPARK-45078] [SC-142954] [SQL] Oprava array_insert chyby ImplicitCastInputTypes nefunguje
• [SPARK-44579] [SC-138428] [SQL] Přerušení podpory při zrušení v SQLExecution
• [SPARK-45252] [SC-143371] [JÁDRO] Uchytejte symboly větší/menší než symboly v komentářích, aby se sbt doc úspěšně provedly.
• [SPARK-45189] [SC-142973] [SQL] Vytvoření nerozpoznané relace z TableIdentifier by mělo obsahovat pole katalogu.
• [SPARK-45229] [SC-143254] [JÁDRO] [UŽIVATELSKÉ ROZHRANÍ] Zobrazení počtu ovladačů čekajících ve stavu ODESLÁNÍ v MasterPage
• [SPARK-43453] Vrátit "[SC-143135][PS] Ignorovat names hodnotu MultiIndex kdy axis=1 "concat

Podpora ovladačů Databricks ODBC/JDBC

Databricks podporuje ovladače ODBC/JDBC vydané v posledních 2 letech. Stáhněte si nedávno vydané ovladače a upgradujte (stáhněte rozhraní ODBC, stáhněte JDBC).

Prostředí systému

• Operační systém: Ubuntu 22.04.3 LTS
• Java: Zulu 8.72.0.17-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• Delta Lake: 3.0.0

Nainstalované knihovny Pythonu

Knihovna	Verze	Knihovna	Verze	Knihovna	Verze
anyio	3.5.0	argon2-cffi	21.3.0	argon2-cffi-bindings	21.2.0
asttokens	2.0.5	attrs	22.1.0	backcall	0.2.0
krásnásoup4	4.11.1	Černé	22.6.0	Bělidla	4.1.0
blikač	1.4	boto3	1.24.28	botocore	1.27.96
Certifi	2022.12.7	cffi	1.15.1	chardet	4.0.0
charset-normalizer	2.0.4	kliknutí	8.0.4	Komunikace	0.1.2
obrysová křivka	1.0.5	Kryptografie	39.0.1	Cyklovač	0.11.0
Cython	0.29.32	Databricks-sdk	0.1.6	dbus-python	1.2.18
ladění	1.6.7	Dekoratér	5.1.1	defusedxml	0.7.1
distlib	0.3.7	docstring-to-markdown	0,11	vstupní body	0,4
Provádění	0.8.3	přehled omezujících vlastností	1.1.1	fastjsonschema	2.19.0
filelock	3.12.4	fonttools	4.25.0	googleapis-common-protos	1.61.0
grpcio	1.48.2	grpcio-status	1.48.1	httplib2	0.20.2
idna	3.4	importlib-metadata	4.6.4	ipykernel	6.25.0
ipython	8.14.0	ipython-genutils	0.2.0	ipywidgets	7.7.2
Jedi	0.18.1	Jeepney	0.7.1	Jinja2	3.1.2
jmespath	0.10.0	joblib	1.2.0	jsonschema	4.17.3
jupyter-client	7.3.4	jupyter-server	1.23.4	jupyter_core	5.2.0
jupyterlab-pygments	0.1.2	jupyterlab-widgety	1.0.0	Klíčenku	23.5.0
verizonsolver	1.4.4	launchpadlib	1.10.16	lazr.restfulclient	0.14.4
lazr.uri	1.0.6	lxml	4.9.1	Revize Sejf	2.1.1
matplotlib	3.7.0	matplotlib-inline	0.1.6	Mccabe	0.7.0
špatně zamyšlení	0.8.4	more-itertools	8.10.0	mypy-extensions	0.4.3
nbclassic	0.5.2	nbclient	0.5.13	nbconvert	6.5.4
nbformat	5.7.0	nest-asyncio	1.5.6	nodeenv	1.8.0
poznámkový blok	6.5.2	notebook_shim	0.2.2	numpy	1.23.5
oauthlib	3.2.0	Obalu	22.0	pandas	1.5.3
pandocfilters	1.5.0	parso	0.8.3	pathspec	0.10.3
Patsy	0.5.3	pexpect	4.8.0	pickleshare	0.7.5
Polštář	9.4.0	Pip	22.3.1	platformdirs	2.5.2
plotly	5.9.0	pluggy	1.0.0	prometheus-client	0.14.1
prompt-toolkit	3.0.36	protobuf	4.24.0	psutil	5.9.0
psycopg2	2.9.3	ptyprocess	0.7.0	čistý-eval	0.2.2
pyarrow	8.0.0	pyarrow-hotfix	0,4	pycparser	2.21
pydantic	1.10.6	pyflakes	3.1.0	Pygments	2.11.2
PyGObject	3.42.1	PyJWT	2.3.0	pyodbc	4.0.32
pyparsing	3.0.9	pyright	1.1.294	pyrsistent	0.18.0
python-dateutil	2.8.2	python-lsp-jsonrpc	1.1.1	python-lsp-server	1.8.0
pytoolconfig	1.2.5	pytz	2022.7	pyzmq	23.2.0
žádosti	2.28.1	Lano	1.7.0	s3transfer	0.6.2
scikit-learn	1.1.1	scipy	1.10.0	seaborn	0.12.2
SecretStorage	3.3.1	Send2Trash	1.8.0	setuptools	65.6.3
Šest	1.16.0	sniffio	1.2.0	polévky	2.3.2.post1
ssh-import-id	5,11	stack-data	0.2.0	statsmodels	0.13.5
Houževnatost	8.1.0	terminado	0.17.1	threadpoolctl	2.2.0
tinycss2	1.2.1	tokenize-rt	4.2.1	tomli	2.0.1
Tornádo	6.1	vlastnosti	5.7.1	typing_extensions	4.4.0
ujson	5.4.0	bezobslužné upgrady	0,1	urllib3	1.26.14
virtualenv	20.16.7	wadllib	1.3.6	wcwidth	0.2.5
webencodings	0.5.1	websocket-client	0.58.0	whatthepatch	1.0.2
Kolo	0.38.4	widgetsnbextension	3.6.1	yapf	0.33.0
zipp	1.0.0

Nainstalované knihovny jazyka R

Knihovny R se instalují ze snímku CRAN Správce balíčků Posit 2023-02-10.

Knihovna	Verze	Knihovna	Verze	Knihovna	Verze
šipka	12.0.1	askpass	1,1	assertthat	0.2.1
Backports	1.4.1	base	4.3.1	base64enc	0.1-3
bitové	4.0.5	bit64	4.0.5	blob	1.2.4
startování	1.3-28	Vařit	1.0-8	Brio	1.1.3
Koště	1.0.5	bslib	0.5.0	cachem	1.0.8
volající	3.7.3	caret	6.0-94	cellranger	1.1.0
chron	2.3-61	class	7.3-22	Rozhraní příkazového řádku	3.6.1
clipr	0.8.0	clock	0.7.0	cluster	2.1.4
codetools	0.2-19	barevný prostor	2.1-0	commonmark	1.9.0
– kompilátor	4.3.1	config	0.3.1	Rozporu	1.2.0
cpp11	0.4.4	Pastelka	1.5.2	přihlašovací údaje	1.3.2
Curl	5.0.1	data.table	1.14.8	Power BI	4.3.1
DBI	1.1.3	dbplyr	2.3.3	Desc	1.4.2
devtools	2.4.5	Diagramu	1.6.5	diffobj	0.3.5
Digest	0.6.33	downlit	0.4.3	dplyr	1.1.2
dtplyr	1.3.1	e1071	1.7-13	tři tečky	0.3.2
evaluate	0.21	fanynky	1.0.4	farver	2.1.1
fastmap	1.1.1	fontawesome	0.5.1	forcats	1.0.0
foreach	1.5.2	Zahraniční	0.8-82	Forge	0.2.0
Fs	1.6.2	Budoucnosti	1.33.0	future.apply	1.11.0
Kloktadlo	1.5.1	Generik	0.1.3	Gert	1.9.2
ggplot2	3.4.2	Gh	1.4.0	gitcreds	0.1.2
glmnet	4.1-7	Globals	0.16.2	Lepidlo	1.6.2
googledrive	2.1.1	googlesheets4	1.1.1	Gower	1.0.1
Grafika	4.3.1	grDevices	4.3.1	Mřížky	4.3.1
gridExtra	2.3	gsubfn	0,7	gtable	0.3.3
hardhat	1.3.0	Útočiště	2.5.3	highr	0.10
Hms	1.1.3	htmltools	0.5.5	htmlwidgets	1.6.2
httpuv	1.6.11	httr	1.4.6	httr2	0.2.3
Id	1.0.1	Ini	0.3.1	ipred	0.9-14
isoband	0.2.7	Iterátory	1.0.14	jquerylib	0.1.4
jsonlite	1.8.7	KernSmooth	2.23-21	pletení	1,43
Označování	0.4.2	Později	1.3.1	Mříže	0.21-8
Láva	1.7.2.1	lifecycle	1.0.3	listenv	0.9.0
lubridate	1.9.2	magrittr	2.0.3	Markdown	1,7
MASS	7.3-60	Matice	1.5-4.1	memoise	2.0.1
metody	4.3.1	mgcv	1.8-42	Mime	0.12
miniUI	0.1.1.1	ModelMetrics	1.2.2.2	modelr	0.1.11
munsell	0.5.0	nlme	3.1-162	nnet	7.3-19
numDeriv	2016.8-1.1	openssl	2.0.6	parallel	4.3.1
paralelně	1.36.0	Pilíř	1.9.0	pkgbuild	1.4.2
pkgconfig	2.0.3	pkgdown	2.0.7	pkgload	1.3.2.1
plogr	0.2.0	plyr	1.8.8	Chvála	1.0.0
prettyunits	1.1.1	Proc	1.18.4	processx	3.8.2
prodlim	2023.03.31	profvis	0.3.8	Průběh	1.2.2
progressr	0.13.0	Sliby	1.2.0.1	proto	1.0.0
Proxy	0.4-27	Ps	1.7.5	purrr	1.0.1
r2d3	0.2.6	R6	2.5.1	ragg	1.2.5
randomForest	4.7-1.1	rappdirs	0.3.3	Analýza rcmdcheck	1.4.0
RColorBrewer	1.1-3	Rcpp	1.0.11	RcppEigen	0.3.3.9.3
readr	2.1.4	readxl	1.4.3	recepty	1.0.6
Zápas	1.0.1	rematch2	2.1.2	vzdálená zařízení	2.4.2
reprex	2.0.2	reshape2	1.4.4	rlang	1.1.1
rmarkdown	2.23	RODBC	1.3-20	roxygen2	7.2.3
rpart	4.1.19	rprojroot	2.0.3	Rserve	1.8-11
RSQLite	2.3.1	rstudioapi	0.15.0	rversions	2.1.2
rvest	1.0.3	Sass	0.4.6	Váhy	1.2.1
selektor	0.4-2	sessioninfo	1.2.2	Obrazec	1.4.6
Lesklé	1.7.4.1	sourcetools	0.1.7-1	sparklyr	1.8.1
Prostorové	7.3-15	Křivky	4.3.1	sqldf	0.4-11
ČTVEREC	2021.1	Statistiky	4.3.1	Statistiky 4	4.3.1
stringi	1.7.12	stringr	1.5.0	Přežití	3.5-5
sys	3.4.2	systemfonts	1.0.4	tcltk	4.3.1
testthat	3.1.10	textshaping	0.3.6	tibble	3.2.1
tidyr	1.3.0	tidyselect	1.2.0	tidyverse	2.0.0
časový interval	0.2.0	timeDate	4022.108	tinytex	0,45
tools	4.3.1	tzdb	0.4.0	urlchecker	1.0.1
usethis	2.2.2	utf8	1.2.3	utils	4.3.1
Uuid	1.1-0	vctrs	0.6.3	viridisLite	0.4.2
vroom	1.6.3	Waldo	0.5.1	vousa	0.4.1
withr	2.5.0	xfun	0,39	xml2	1.3.5
xopen	1.0.0	xtable	1.8-4	yaml	2.3.7
Zip	2.3.0

Nainstalované knihovny Java a Scala (verze clusteru Scala 2.12)

ID skupiny	ID artefaktu	Verze
antlr	antlr	2.7.7
com.amazonaws	amazon-kinesis-client	1.12.0
com.amazonaws	automatické škálování aws-java-sdk	1.12.390
com.amazonaws	aws-java-sdk-cloudformation	1.12.390
com.amazonaws	aws-java-sdk-cloudfront	1.12.390
com.amazonaws	aws-java-sdk-cloudhsm	1.12.390
com.amazonaws	aws-java-sdk-cloudsearch	1.12.390
com.amazonaws	aws-java-sdk-cloudtrail	1.12.390
com.amazonaws	aws-java-sdk-cloudwatch	1.12.390
com.amazonaws	aws-java-sdk-cloudwatchmetrics	1.12.390
com.amazonaws	aws-java-sdk-codedeploy	1.12.390
com.amazonaws	aws-java-sdk-cognitoidentity	1.12.390
com.amazonaws	aws-java-sdk-cognitosync	1.12.390
com.amazonaws	aws-java-sdk-config	1.12.390
com.amazonaws	aws-java-sdk-core	1.12.390
com.amazonaws	aws-java-sdk-datapipeline	1.12.390
com.amazonaws	aws-java-sdk-directconnect	1.12.390
com.amazonaws	aws-java-sdk-directory	1.12.390
com.amazonaws	aws-java-sdk-dynamodb	1.12.390
com.amazonaws	aws-java-sdk-ec2	1.12.390
com.amazonaws	aws-java-sdk-ecs	1.12.390
com.amazonaws	aws-java-sdk-efs	1.12.390
com.amazonaws	aws-java-sdk-elasticache	1.12.390
com.amazonaws	aws-java-sdk-elasticbeanstalk	1.12.390
com.amazonaws	aws-java-sdk-elasticloadbalancing	1.12.390
com.amazonaws	aws-java-sdk-elastictranscoder	1.12.390
com.amazonaws	aws-java-sdk-emr	1.12.390
com.amazonaws	aws-java-sdk-glacier	1.12.390
com.amazonaws	aws-java-sdk-glue	1.12.390
com.amazonaws	aws-java-sdk-iam	1.12.390
com.amazonaws	aws-java-sdk-importexport	1.12.390
com.amazonaws	aws-java-sdk-kinesis	1.12.390
com.amazonaws	aws-java-sdk-kms	1.12.390
com.amazonaws	aws-java-sdk-lambda	1.12.390
com.amazonaws	aws-java-sdk-logs	1.12.390
com.amazonaws	aws-java-sdk-machinelearning	1.12.390
com.amazonaws	aws-java-sdk-opsworks	1.12.390
com.amazonaws	aws-java-sdk-rds	1.12.390
com.amazonaws	aws-java-sdk-redshift	1.12.390
com.amazonaws	aws-java-sdk-route53	1.12.390
com.amazonaws	aws-java-sdk-s3	1.12.390
com.amazonaws	aws-java-sdk-ses	1.12.390
com.amazonaws	aws-java-sdk-simpledb	1.12.390
com.amazonaws	aws-java-sdk-simpleworkflow	1.12.390
com.amazonaws	aws-java-sdk-sns	1.12.390
com.amazonaws	aws-java-sdk-sqs	1.12.390
com.amazonaws	aws-java-sdk-ssm	1.12.390
com.amazonaws	aws-java-sdk-storagegateway	1.12.390
com.amazonaws	aws-java-sdk-sts	1.12.390
com.amazonaws	podpora aws-java-sdk-support	1.12.390
com.amazonaws	aws-java-sdk-swf-libraries	1.11.22
com.amazonaws	aws-java-sdk-workspaces	1.12.390
com.amazonaws	jmespath-java	1.12.390
com.clearspring.analytics	datový proud	2.9.6
com.databricks	Rserve	1.8-3
com.databricks	databricks-sdk-java	0.7.0
com.databricks	jets3t	0.7.1-0
com.databricks.scalapb	compilerplugin_2.12	0.4.15-10
com.databricks.scalapb	scalapb-runtime_2.12	0.4.15-10
com.esotericsoftware	Kryo-shaded	4.0.2
com.esotericsoftware	minlog	1.3.0
com.fasterxml	Spolužák	1.3.4
com.fasterxml.jackson.core	jackson-annotations	2.15.2
com.fasterxml.jackson.core	jackson-core	2.15.2
com.fasterxml.jackson.core	jackson-databind	2.15.2
com.fasterxml.jackson.dataformat	jackson-dataformat-cbor	2.15.2
com.fasterxml.jackson.datatype	jackson-datatype-joda	2.15.2
com.fasterxml.jackson.datatype	jackson-datatype-jsr310	2.15.1
com.fasterxml.jackson.module	jackson-module-paranamer	2.15.2
com.fasterxml.jackson.module	jackson-module-scala_2.12	2.15.2
com.github.ben-manes.kofein	Kofein	2.9.3
com.github.fommil	jniloader	1,1
com.github.fommil.netlib	native_ref-java	1,1
com.github.fommil.netlib	native_ref-java	Nativní verze 1.1
com.github.fommil.netlib	native_system-java	1,1
com.github.fommil.netlib	native_system-java	Nativní verze 1.1
com.github.fommil.netlib	netlib-native_ref-linux-x86_64	Nativní verze 1.1
com.github.fommil.netlib	netlib-native_system-linux-x86_64	Nativní verze 1.1
com.github.luben	zstd-jni	1.5.5-4
com.github.wendykierp	JTransforms	3.1
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	gson	2.10.1
com.google.crypto.tink	Tink	1.9.0
com.google.errorprone	error_prone_annotations	2.10.0
com.google.flatbuffers	flatbuffers-java	1.12.0
com.google.guava	Guava	15.0
com.google.protobuf	protobuf-java	2.6.1
com.helger	Profiler	1.1.1
com.jcraft	jsch	0.1.55
com.jolbox	bonecp	0.8.0.RELEASE
com.lihaoyi	sourcecode_2.12	0.1.9
com.microsoft.azure	azure-data-lake-store-sdk	2.3.9
com.microsoft.sqlserver	mssql-jdbc	11.2.2.jre8
com.ning	compress-lzf	1.1.2
com.sun.mail	javax.mail	1.5.2
com.sun.xml.bind	jaxb-core	2.2.11
com.sun.xml.bind	jaxb-impl	2.2.11
com.tdunning	json	1.8
com.thoughtworks.paranamer	paranamer	2.8
com.trueaccord.lenses	lenses_2.12	0.4.12
com.twitter	chill-java	0.10.0
com.twitter	chill_2.12	0.10.0
com.twitter	util-app_2.12	7.1.0
com.twitter	util-core_2.12	7.1.0
com.twitter	util-function_2.12	7.1.0
com.twitter	util-jvm_2.12	7.1.0
com.twitter	util-lint_2.12	7.1.0
com.twitter	util-registry_2.12	7.1.0
com.twitter	util-stats_2.12	7.1.0
com.typesafe	config	1.2.1
com.typesafe.scala-logging	scala-logging_2.12	3.7.2
com.uber	h3	3.7.3
com.univocity	univocity-parsers	2.9.1
com.zaxxer	HikariCP	4.0.3
commons-cli	commons-cli	1.5.0
commons-codec	commons-codec	1.16.0
commons-collections	commons-collections	3.2.2
commons-dbcp	commons-dbcp	1.4
commons-fileupload	commons-fileupload	1.5
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2.13.0
commons-lang	commons-lang	2.6
commons-logging	commons-logging	1.1.3
commons-pool	commons-pool	1.5.4
dev.ludovic.netlib	arpack	3.0.3
dev.ludovic.netlib	Blas	3.0.3
dev.ludovic.netlib	lapack	3.0.3
info.ganglia.gmetric4j	gmetric4j	1.0.10
io.airlift	aircompressor	0.25
io.delta	delta-sharing-client_2.12	1.0.2
io.dropwizard.metrics	metriky anotace	4.2.19
io.dropwizard.metrics	metriky – jádro	4.2.19
io.dropwizard.metrics	metrics-graphite	4.2.19
io.dropwizard.metrics	metriky – kontroly stavu	4.2.19
io.dropwizard.metrics	metrics-jetty9	4.2.19
io.dropwizard.metrics	metrics-jmx	4.2.19
io.dropwizard.metrics	metrics-json	4.2.19
io.dropwizard.metrics	metrics-jvm	4.2.19
io.dropwizard.metrics	metriky – servlety	4.2.19
io.netty	netty-all	4.1.96.Final
io.netty	netty-buffer	4.1.96.Final
io.netty	netty-codec	4.1.96.Final
io.netty	netty-codec-http	4.1.96.Final
io.netty	netty-codec-http2	4.1.96.Final
io.netty	netty-codec-socks	4.1.96.Final
io.netty	netty- common	4.1.96.Final
io.netty	obslužná rutina netty	4.1.96.Final
io.netty	netty-handler-proxy	4.1.96.Final
io.netty	netty-resolver	4.1.96.Final
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-linux-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-linux-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-osx-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-osx-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-windows-x86_64
io.netty	netty-tcnative-classes	2.0.61.Final
io.netty	netty transport	4.1.96.Final
io.netty	netty-transport-classes-epoll	4.1.96.Final
io.netty	netty-transport-classes-kqueue	4.1.96.Final
io.netty	netty-transport-native-epoll	4.1.96.Final
io.netty	netty-transport-native-epoll	4.1.96.Final-linux-aarch_64
io.netty	netty-transport-native-epoll	4.1.96.Final-linux-x86_64
io.netty	netty-transport-native-kqueue	4.1.96.Final-osx-aarch_64
io.netty	netty-transport-native-kqueue	4.1.96.Final-osx-x86_64
io.netty	netty-transport-native-unix-common	4.1.96.Final
io.prometheus	simpleclient	0.7.0
io.prometheus	simpleclient_common	0.7.0
io.prometheus	simpleclient_dropwizard	0.7.0
io.prometheus	simpleclient_pushgateway	0.7.0
io.prometheus	simpleclient_servlet	0.7.0
io.prometheus.jmx	Kolekcí	0.12.0
jakarta.annotation	jakarta.annotation-api	1.3.5
jakarta.servlet	jakarta.servlet-api	4.0.3
jakarta.validation	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activation	aktivace	1.1.1
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.transaction	jta	1,1
javax.transaction	transaction-api	1,1
javax.xml.bind	jaxb-api	2.2.11
javolution	javolution	5.5.1
jline	jline	2.14.6
joda-time	joda-time	2.12.1
net.java.dev.jna	jna	5.8.0
net.razorvine	Lák	1.3
net.sf.jpam	jpam	1,1
net.sf.opencsv	opencsv	2.3
net.sf.supercsv	super-csv	2.2.0
net.snowflake	snowflake-ingest-sdk	0.9.6
net.sourceforge.f2j	arpack_combined_all	0,1
org.acplt.remotetea	remotetea-oncrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.5.2
org.antlr	antlr4-runtime	4.9.3
org.antlr	stringtemplate	3.2.1
org.apache.ant	ant	1.9.16
org.apache.ant	ant-jsch	1.9.16
org.apache.ant	ant-launcher	1.9.16
org.apache.arrow	arrow-format	12.0.1
org.apache.arrow	arrow-memory-core	12.0.1
org.apache.arrow	arrow-memory-netty	12.0.1
org.apache.arrow	arrow-vector	12.0.1
org.apache.avro	Avro	1.11.2
org.apache.avro	avro-ipc	1.11.2
org.apache.avro	avro-mapred	1.11.2
org.apache.commons	commons-collections4	4.4
org.apache.commons	commons-compress	1.23.0
org.apache.commons	commons-crypto	1.1.0
org.apache.commons	commons-lang3	3.12.0
org.apache.commons	commons-math3	3.6.1
org.apache.commons	commons-text	1.10.0
org.apache.kurátor	kurátor-client	2.13.0
org.apache.kurátor	kurátor-framework	2.13.0
org.apache.kurátor	kurátor-recepty	2.13.0
org.apache.datasketches	datasketches-java	3.1.0
org.apache.datasketches	datasketches-memory	2.0.0
org.apache.derby	Derby	10.14.2.0
org.apache.hadoop	hadoop-client-runtime	3.3.6
org.apache.hive	hive-beeline	2.3.9
org.apache.hive	hive-cli	2.3.9
org.apache.hive	hive-jdbc	2.3.9
org.apache.hive	hive-llap-client	2.3.9
org.apache.hive	hive-llap-common	2.3.9
org.apache.hive	hive-serde	2.3.9
org.apache.hive	hive-shims	2.3.9
org.apache.hive	hive-storage-api	2.8.1
org.apache.hive.shims	hive-shims-0.23	2.3.9
org.apache.hive.shims	hive-shims-common	2.3.9
org.apache.hive.shims	hive-shims-scheduler	2.3.9
org.apache.httpcomponents	httpclient	4.5.14
org.apache.httpcomponents	httpcore	4.4.16
org.apache.ivy	Ivy	2.5.1
org.apache.logging.log4j	log4j-1.2-api	2.20.0
org.apache.logging.log4j	log4j-api	2.20.0
org.apache.logging.log4j	log4j-core	2.20.0
org.apache.logging.log4j	log4j-slf4j2-impl	2.20.0
org.apache.mesos	mesos	1.11.0-shaded-protobuf
org.apache.orc	orc-core	1.9.1-shaded-protobuf
org.apache.orc	orc-mapreduce	1.9.1-shaded-protobuf
org.apache.orc	orc-shims	1.9.1
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.12.0
org.apache.ws.xmlschema	xmlschema-core	2.3.0
org.apache.xbean	xbean-asm9-shaded	4.23
org.apache.yetus	cílové skupiny a poznámky	0.13.0
org.apache.zookeeper	zookeeper	3.6.3
org.apache.zookeeper	zookeeper-jute	3.6.3
org.checkerframework	checker-qual	3.31.0
org.codehaus.jackson	jackson-core-asl	1.9.13
org.codehaus.jackson	jackson-mapper-asl	1.9.13
org.codehaus.janino	commons-compiler	3.0.16
org.codehaus.janino	Janino	3.0.16
org.datanucleus	datanucleus-api-jdo	4.2.4
org.datanucleus	datanucleus-core	4.1.17
org.datanucleus	datanucleus-rdbms	4.1.19
org.datanucleus	javax.jdo	3.2.0-m3
org.eclipse.jetty	jetty-client	9.4.52.v20230823
org.eclipse.jetty	pokračování jetty	9.4.52.v20230823
org.eclipse.jetty	jetty-http	9.4.52.v20230823
org.eclipse.jetty	jetty-io	9.4.52.v20230823
org.eclipse.jetty	jetty-jndi	9.4.52.v20230823
org.eclipse.jetty	jetty-plus	9.4.52.v20230823
org.eclipse.jetty	jetty-proxy	9.4.52.v20230823
org.eclipse.jetty	jetty-security	9.4.52.v20230823
org.eclipse.jetty	jetty-server	9.4.52.v20230823
org.eclipse.jetty	jetty-servlet	9.4.52.v20230823
org.eclipse.jetty	jetty-servlets	9.4.52.v20230823
org.eclipse.jetty	jetty-util	9.4.52.v20230823
org.eclipse.jetty	jetty-util-ajax	9.4.52.v20230823
org.eclipse.jetty	jetty-webapp	9.4.52.v20230823
org.eclipse.jetty	jetty-xml	9.4.52.v20230823
org.eclipse.jetty.websocket	websocket-api	9.4.52.v20230823
org.eclipse.jetty.websocket	websocket-client	9.4.52.v20230823
org.eclipse.jetty.websocket	websocket – společné	9.4.52.v20230823
org.eclipse.jetty.websocket	websocket-server	9.4.52.v20230823
org.eclipse.jetty.websocket	websocket-servlet	9.4.52.v20230823
org.fusesource.leveldbjni	leveldbjni-all	1.8
org.glassfish.hk2	hk2-api	2.6.1
org.glassfish.hk2	hk2-locator	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	osgi-resource-locator	1.0.3
org.glassfish.hk2.external	aopalliance-repackaged	2.6.1
org.glassfish.hk2.external	jakarta.inject	2.6.1
org.glassfish.jersey.containers	jersey-container-servlet	2.40
org.glassfish.jersey.containers	jersey-container-servlet-core	2.40
org.glassfish.jersey.core	jersey-client	2.40
org.glassfish.jersey.core	žerzejové společné	2.40
org.glassfish.jersey.core	jersey-server	2.40
org.glassfish.jersey.inject	jersey-hk2	2.40
org.hibernate.validator	Hibernate-validator	6.1.7.Final
org.ini4j	ini4j	0.5.4
org.javassist	Javassist	3.29.2-GA
org.jboss.logging	jboss-logging	3.3.2.Final
org.jdbi	jdbi	2.63.1
org.jetbrains	Poznámky	17.0.0
org.joda	joda-convert	1,7
org.jodd	jodd-core	3.5.2
org.json4s	json4s-ast_2.12	3.7.0-M11
org.json4s	json4s-core_2.12	3.7.0-M11
org.json4s	json4s-jackson_2.12	3.7.0-M11
org.json4s	json4s-scalap_2.12	3.7.0-M11
org.lz4	lz4-java	1.8.0
org.mariadb.jdbc	mariadb-java-client	2.7.9
org.mlflow	mlflow-spark	2.2.0
org.objenesis	objenesis	2.5.1
org.postgresql	postgresql	42.6.0
org.roaringbitmap	RoaringBitmap	0.9.45
org.roaringbitmap	Podložky	0.9.45
org.rocksdb	rocksdbjni	8.3.2
org.rosuda.REngine	REngine	2.1.0
org.scala-lang	scala-compiler_2.12	2.12.15
org.scala-lang	scala-library_2.12	2.12.15
org.scala-lang	scala-reflect_2.12	2.12.15
org.scala-lang.modules	scala-collection-compat_2.12	2.9.0
org.scala-lang.modules	scala-parser-combinators_2.12	1.1.2
org.scala-lang.modules	scala-xml_2.12	1.2.0
org.scala-sbt	test-interface	1.0
org.scalacheck	scalacheck_2.12	1.14.2
org.scalactic	scalactic_2.12	3.2.15
org.scalanlp	breeze-macros_2.12	2.1.0
org.scalanlp	breeze_2.12	2.1.0
org.scalatest	kompatibilní s scalatestem	3.2.15
org.scalatest	scalatest-core_2.12	3.2.15
org.scalatest	scalatest-diagrams_2.12	3.2.15
org.scalatest	scalatest-featurespec_2.12	3.2.15
org.scalatest	scalatest-flatspec_2.12	3.2.15
org.scalatest	scalatest-freespec_2.12	3.2.15
org.scalatest	scalatest-funspec_2.12	3.2.15
org.scalatest	scalatest-funsuite_2.12	3.2.15
org.scalatest	scalatest-matchers-core_2.12	3.2.15
org.scalatest	scalatest-mustmatchers_2.12	3.2.15
org.scalatest	scalatest-propspec_2.12	3.2.15
org.scalatest	scalatest-refspec_2.12	3.2.15
org.scalatest	scalatest-shouldmatchers_2.12	3.2.15
org.scalatest	scalatest-wordspec_2.12	3.2.15
org.scalatest	scalatest_2.12	3.2.15
org.slf4j	jcl-over-slf4j	2.0.7
org.slf4j	jul-to-slf4j	2.0.7
org.slf4j	slf4j-api	2.0.7
org.threeten	threeten-extra	1.7.1
org.tukaani	Xz	1,9
org.typelevel	algebra_2.12	2.0.1
org.typelevel	kočky-kernel_2.12	2.1.1
org.typelevel	spire-macros_2.12	0.17.0
org.typelevel	spire-platform_2.12	0.17.0
org.typelevel	spire-util_2.12	0.17.0
org.typelevel	spire_2.12	0.17.0
org.wildfly.openssl	wildfly-openssl	1.1.3.Final
org.xerial	sqlite-jdbc	3.42.0.0
org.xerial.snappy	snappy-java	1.1.10.3
org.yaml	snakeyaml	2.0
Oro	Oro	2.0.8
pl.edu.icm	JLargeArrays	1.5
software.amazon.cryptools	AmazonCorrettoCryptoProvider	1.6.1-linux-x86_64
software.amazon.ion	ion-java	1.0.2
stax	stax-api	1.0.1