Databricks Runtime 14.1 (EoS)

Poznámka:

Podpora této verze Databricks Runtime skončila. Datum ukončení podpory najdete v tématu Konec podpory a historie ukončení životnosti. Pro všechny podporované verze Databricks Runtime vizte poznámky k vydání Databricks Runtime - verze a kompatibilita.

Následující poznámky k verzi obsahují informace o modulu Databricks Runtime 14.1, který využívá Apache Spark 3.5.0.

Databricks vydala tuto verzi v říjnu 2023.

Nové funkce a vylepšení

• array_insert() je pro záporné indexy založené na 1
• Kontrolní body Delta v2 jsou ve výchozím nastavení povoleny s kapalinovým seskupováním
• Funkce tabulky Drop Delta ve verzi Public Preview
• Delta sdílení: Příjemci můžou provádět dávkové dotazy na sdílené tabulky s vektory odstranění (Veřejná ukázka)
• Delta Sharing: Příjemci můžou provádět dávkové dotazy na sdílené tabulky s mapováním sloupců (veřejná ukázka)
• Streamování ze zobrazení katalogu Unity ve verzi Public Preview
• Konektor Apache Pulsar v rámci veřejného náhledu
• Upgrade ovladače Snowflake
• Proměnné relace SQL
• Volání pojmenovaného parametru pro UDF SQL a Pythonu
• Argumenty tabulky pro funkce podporují dělení a řazení.
• Nové a vylepšené integrované funkce SQL
• Vylepšené zpracování korelovaných poddotazů

array_insert() je pro záporné indexy založené na 1

Funkce array_insert je založená na indexu 1 pro kladné i záporné hodnoty. Teď vloží nový prvek na konec vstupních polí pro index -1. Chcete-li obnovit předchozí chování, nastavte spark.sql.legacy.negativeIndexInArrayInsert na true.

Kontrolní body Delta v2 jsou automaticky povoleny s použitím technologie liquid clustering.

Nově vytvořené tabulky Delta s clusteringem liquid používají ve výchozím nastavení kontrolní body v2. Viz Kompatibilitu pro tabulky sshlukováním tekutin.

Funkce odstranění tabulky Delta ve veřejné ukázce

U tabulek Delta teď můžete vypustit některé funkce tabulky. Aktuální podpora zahrnuje vyřazení deletionVectors a v2Checkpoint. Viz Smazat tabulku Delta Lake a snížit protokol tabulky.

Delta sdílení: Příjemci můžou provádět dávkové dotazy na sdílené tabulky s mazacími vektory (Public Preview)

Příjemci Delta Sharing teď můžou provádět dávkové dotazy na sdílené tabulky, které pracují s vektory mazání. Viz Přidání tabulek s vektory odstranění nebo mapováním sloupců na sdílený prostor, Čtení tabulek s povolenými vektory odstranění nebo mapováním sloupcůa Čtení tabulek s vektory odstranění nebo mapováním sloupců.

Rozdílové sdílení: Příjemci můžou provádět dávkové dotazy na sdílené tabulky s mapováním sloupců (Veřejný náhled)

Příjemci Delta Sharing teď můžou provádět dávkové dotazy na sdílené tabulky s mapováním sloupců. Viz Přidání tabulek s vektory odstranění nebo mapováním sloupců na sdílený prostor, Čtení tabulek s povolenými vektory odstranění nebo mapováním sloupcůa Čtení tabulek s vektory odstranění nebo mapováním sloupců.

Streamování ze zobrazení katalogu Unity ve verzi Public Preview

Strukturované streamování teď můžete použít pro streamované čtení z pohledů registrovaných v katalogu Unity. Azure Databricks podporuje pouze streamování čtení ze zobrazení definovaných v tabulkách Delta.

Konektor Apache Pulsar ve veřejné předběžné verzi

Pomocí strukturovaného streamování teď můžete streamovat data z Apache Pulsear v Azure Databricks. Podívejte se na Stream z Apache Pulsar.

Aktualizovaný ovladač Snowflake

Ovladač Snowflake JDBC teď používá verzi 3.13.33.

SQL proměnné pro relaci

Tato verze zavádí možnost deklarovat dočasné proměnné v relaci, které lze nastavit a na které lze poté v dotazech odkazovat. Viz proměnné.

Volání pomocí pojmenovaných parametrů pro SQL a Python UDF.

Teď můžete použít volání pojmenovaného parametru v SQL a UDF Pythonu.

Argumenty tabulky pro funkce podporují dělení a řazení.

Nyní můžete pomocí klauzulí PARTITION BY a ORDER BY řídit, jak se argumenty tabulky předávají funkci během vyvolání funkce.

Nové a vylepšené integrované funkce SQL

Byly přidány následující předdefinované funkce:

• from_xml: Parsuje XML STRING do STRUCT.
• schema_of_xml: Odvozuje schéma z XML STRING.
• session_user: Vrátí přihlášeného uživatele.
• try_reflect: Vrátí NULL místo výjimky, pokud metoda Java selže.

Byly vylepšeny následující předdefinované funkce:

• mode: Podpora volitelného parametru k vynucení deterministického výsledku.
• to_char: Nová podpora pro DATE, TIMESTAMPa BINARY.
• to_varchar: Nová podpora pro DATE, TIMESTAMPa BINARY.

Vylepšené zpracování korelovaných poddotazů

Možnost zpracování korelace v poddotazech byla rozšířena:

• Zpracování limitu a pořadí podle korelačních skalárních (laterálních) poddotazů
• Podpora funkcí oken v korelovaných skalárních poddotazech
• Podpora korelovaných odkazů v predikátech spojení pro skalární a laterální poddotazy

Změna chování

Striktní kontrola typu ve čtečce Photon Parquet

Funkce Photon selže při pokusu o načtení desetinné hodnoty ze sloupce Parquet, který není desetinným typem. Photon také selže při čtení pevně dlouhého pole bajtů z Parquet jako řetězce.

Upgrady knihoven

• Upgradované knihovny Pythonu:
  • filelock od 3.12.2 do 3.12.3
  • s3transfer od 0.6.1 do 0.6.2
• Upgradované knihovny Java:
  • com.uber.h3 od 3.7.0 do 3.7.3
  • Aktualizace io.airlift.aircompressor z verze 0.24 na 0.25
  • io.delta.delta-sharing-spark_2.12 od 0.7.1 do 0.7.5
  • io.netty.netty-all od 4.1.93.Final do 4.1.96.Final
  • io.netty.netty-buffer od 4.1.93.Final do 4.1.96.Final
  • io.netty.netty-codec od verze 4.1.93.Final na verzi 4.1.96.Final
  • io.netty.netty-codec-http od 4.1.93.Final do 4.1.96.Final
  • io.netty.netty-codec-http2 od 4.1.93.Final do 4.1.96.Final
  • io.netty.netty-codec-socks od 4.1.93.Final do 4.1.96.Final
  • io.netty.netty-common od 4.1.93.Final do 4.1.96.Final
  • io.netty.netty-handler od 4.1.93.Final do 4.1.96.Final
  • io.netty.netty-handler-proxy z verze 4.1.93.Final na 4.1.96.Final
  • io.netty.netty-resolver od 4.1.93.Final do 4.1.96.Final
  • io.netty.netty-transport od 4.1.93.Final do 4.1.96.Final
  • io.netty.netty-transport-classes-epoll od 4.1.93.Final do 4.1.96.Final
  • io.netty.netty-transport-classes-kqueue od 4.1.93.Final do 4.1.96.Final
  • io.netty.netty-transport-native-epoll od 4.1.93.Final-linux-x86_64 do 4.1.96.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue z 4.1.93.Final-osx-x86_64 na 4.1.96.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common od verze 4.1.93.Final do verze 4.1.96.Final
  • net.snowflake.snowflake-jdbc od 3.13.29 do 3.13.33
  • org.apache.orc.orc-core od 1.9.0-shaded-protobuf do 1.9.1-shaded-protobuf
  • org.apache.orc.orc-mapreduce z 1.9.0-shaded-protobuf na 1.9.1-shaded-protobuf
  • org.apache.orc.orc-shims od 1.9.0 do 1.9.1

Apache Spark

Databricks Runtime 14.1 zahrnuje Apache Spark 3.5.0. Tato verze zahrnuje všechny opravy a vylepšení Sparku, která jsou součástí Databricks Runtime 14.0 (EoS), a také následující další opravy chyb a vylepšení Sparku:

• [SPARK-45088] [DBRRM-557] Revert "[SC-142785][python][CONNECT] Make getitem work with duplicated column"
• [SPARK-43453] [DBRRM-557] Vrátit "[SC-143135][ps] Ignorovat names z MultiIndex při axis=1 pro concat"
• [SPARK-45225] [SC-143207][sql] XML: Podpora adresy URL souboru XSD
• [SPARK-45156] [SC-142782][sql] Obalení inputName pomocí zpětných uvozovek ve NON_FOLDABLE_INPUT třídě chyb
• [SPARK-44910] [SC-143082][sql] Encoders.bean nepodporuje supertřídy s argumenty obecného typu
• [SPARK-43453] [SC-143135][ps] Ignorujte namesMultiIndex při axis=1 pro concat.
• [SPARK-44463] [SS][connect] Zlepšit zpracování chyb pro Python pracovníka pro připojení a streaming
• [SPARK-44960] [SC-141023][ui] Unescape a skládat souhrn chyb napříč stránkami uživatelského rozhraní
• [SPARK-44788] [SC-142980][connect][PYTHON][sql] Přidání from_xml a schema_of_xml do pyspark, spark connect a funkce SQL
• [SPARK-44614] [SC-138460][python][CONNECT][3.5] Přidání chybějících balíčků do setup.py
• [SPARK-45151] [SC-142861][core][UI] Podpora výpisu stavu vláken na úrovni úloh
• [SPARK-45056] [SC-142779][python][SS][connect] Ukončovací testy pro streamingQueryListener a foreachBatch
• [SPARK-45084] [SC-142828][ss] StateOperatorProgress pro použití přesného efektivního čísla oddílu pro náhodný prohaz shuffle.
• [SPARK-44872] [SC-142405][connect] Server testing infra a ReattachableExecuteSuite
• [SPARK-45197] [SC-142984][core] Zajistit, aby StandaloneRestServer přidal JavaModuleOptions do ovladačů
• [SPARK-44404] [SC-139601][sql] Přiřazení názvů ke třídě chyb LEGACY_ERROR_TEMP[1009,1010,1013,1015,1016,1278]
• [SPARK-44647] [SC-142297][sql] Podpora SPJ, kde klíče připojení jsou menší než klíče clusteru
• [SPARK-45088] [SC-142785][python][CONNECT] Udělat getitem aby fungovalo s duplicitními sloupci
• [SPARK-45128] [SC-142851][sql] Podpora CalendarIntervalType v šipkách
• [SPARK-45130] [SC-142976][connect][ML][python] Vyhněte se tomu, aby model ML pro připojení Sparku změnil vstupní datový rámec pandas.
• [SPARK-45034] [SC-142959][sql] Podpora deterministické funkce režimu
• [SPARK-45173] [SC-142931][ui] Odebrání nepotřebných souborů zdrojového mapování v uživatelském rozhraní
• [SPARK-45162] [SC-142781][sql] Podpora map a parametrů pole vytvořených prostřednictvím call_function
• [SPARK-45143] [SC-142840][python][CONNECT] Zajištění kompatibility PySpark s PyArrow 13.0.0
• [SPARK-45174] [SC-142837][core] Podpora spark.deploy.maxDrivers
• [SPARK-45167] [SC-142956][connect][PYTHON] Klient Pythonu musí volat release_all
• [SPARK-36191] [SC-142777][sql] Zpracování limitu a řazení ve korelovaných skalárních (laterálních) poddotazech
• [SPARK-45159] [SC-142829][python] Zpracovat pojmenované argumenty pouze v případě potřeby
• [SPARK-45133] [SC-142512][connect] Nastavit dotazy Spark Connect jako DOKONČENÉ po dokončení posledního úkolu s výsledkem
• [SPARK-44801] [SC-140802][sql][UI] Zachytávání neúspěšných dotazů v naslouchacím procesu a uživatelském rozhraní
• [SPARK-45139] [SC-142527][sql] Přidání DatabricksDialect pro zpracování převodu typů SQL
• [SPARK-45157] [SC-142546][sql] Vyhněte se opakovaným if kontrolám [On|Off|HeapColumnVector
• [SPARK-45077] Vrátit zpět "[SC-142069][ui] Upgrade dagre-d3.js z 04.3 na 0.6.4
• [SPARK-45145] [SC-142521][příklad] Přidat příklad pro JavaSparkSQLCli
• [SPARK-43295] Vrátit "[SC-142254][ps] Podpora sloupců typu řetězce pro DataFrameGroupBy.sum"
• [SPARK-44915] [SC-142383][jádro] Před obnovením ověřte kontrolní součet remountovaných dat PVC.
• [SPARK-45147] [SC-142524][jádro] Odebrat System.setSecurityManager použití
• [SPARK-45104] [SC-142206][ui] Upgrade graphlib-dot.min.js na verzi 1.0.2
• [SPARK-44238] [SC-141606][core][SQL] Zavedení nové readFrom metody se vstupem bajtového pole pro BloomFilter
• [SPARK-45060] [SC-141742][sql] Oprava vnitřní chyby způsobené formátem to_char()NULL
• [SPARK-43252] [SC-142381][sql] Nahraďte třídu _LEGACY_ERROR_TEMP_2016 chyb vnitřní chybou.
• [SPARK-45069] [SC-142279][sql] Proměnná SQL by měla být vždy vyřešena po vnějším odkazu.
• [SPARK-44911] [SC-142388][sql] Vytvoření tabulky Hive s neplatným sloupcem by mělo vrátit třídu chyb
• [SPARK-42754] [SC-125567][sql][UI] Oprava problému se zpětnou kompatibilitou při vnořeném spuštění SQL
• [SPARK-45121] [SC-142375][connect][PS] Podpora Series.empty pro Spark Connect.
• [SPARK-44805] [SC-142203][sql] getBytes/getShorts/getInts/etc. by měl fungovat ve vektoru sloupce, který má slovník.
• [SPARK-45027] [SC-142248][python] Skrytí interních funkcí/proměnných pyspark.sql.functions před automatickým dokončováním
• [SPARK-45073] [SC-141791][ps][CONNECT] Nahraďte LastNotNullLast(ignoreNulls=True)
• [SPARK-44901] [SC-141676][sql] Ruční backport: Přidání rozhraní API v metodě Analyze v Pythonu UDTF pro vrácení výrazů dělení a řazení
• [SPARK-45076] [SC-141795][ps] Přepnutí na integrovanou repeat funkci
• [SPARK-44162] [SC-141605][core] Podpora G1GC v metrikách pro Spark
• [SPARK-45053] [SC-141733][python][MINOR] Vylepšení záznamu při neshodě verzí Pythonu
• [SPARK-44866] [SC-142221][sql] Přidání SnowflakeDialect pro správné zpracování typu BOOLEAN
• [SPARK-45064] [SC-141775][python][CONNECT] Přidejte chybějící scale parametr do ceil/ceiling
• [SPARK-45059] [SC-141757][connect][PYTHON] Přidání try_reflect funkcí do Scala a Pythonu
• [SPARK-43251] [SC-142280][sql] Nahraďte třídu _LEGACY_ERROR_TEMP_2015 chyby vnitřní chybou.
• [SPARK-45052] [SC-141736][sql][PYTHON][connect] Vytvoření aliasů výstupních sloupců funkcí v souladu s SQL
• [SPARK-44239] [SC-141502][sql] Uvolnění paměti, kterou alokovaly velké vektory, při resetování vektorů
• [SPARK-43295] [SC-142254][ps] Podpora sloupců typu řetězec pro DataFrameGroupBy.sum
• [SPARK-45080] [SC-142062][ss] Výslovně zmínit podporu pro sloupcový formát u streamovaných datových zdrojů DSv2.
• [SPARK-45036] [SC-141768][sql] SPJ: Zjednodušení logiky pro zpracování částečně clusterované distribuce
• [SPARK-45077] [SC-142069][ui] Upgrade dagre-d3.js z 0.4.3 na 0.6.4
• [SPARK-45091] [SC-142020][python][CONNECT][sql] Funkce floor/round/bround přijímá typ sloupce scale
• [SPARK-45090] [SC-142019][python][CONNECT] DataFrame.{cube, rollup} podpora pořadí sloupců
• [SPARK-44743] [SC-141625][sql] Přidání try_reflect funkce
• [SPARK-45086] [SC-142052][ui] Zobrazit šestnáctkový hash kód zámku vlákna
• [SPARK-44952] [SC-141644][sql][PYTHON] Podpora pojmenovaných argumentů v uživatelsky definovaných agregovaných funkcích Pandas
• [SPARK-44987] [SC-141552][sql] Přiřazení názvu ke třídě chyb _LEGACY_ERROR_TEMP_1100
• [SPARK-45032] [SC-141730][connect] Oprava upozornění kompilace souvisejících s Top-level wildcard is not allowed and will error under -Xsource:3
• [SPARK-45048] [SC-141629][connect] Přidání dalších testů pro klienta Pythonu a připojitelné spuštění
• [SPARK-45072] [SC-141807][connect] Oprava vnějších oborů pro třídy ammonite
• [SPARK-45033] [SC-141759][sql] Podpora map parametrizovaných podle sql()
• [SPARK-45066] [SC-141772][sql][PYTHON][connect] Upravte funkci repeat, aby přijímala typ sloupce n
• [SPARK-44860] [SC-141103][sql] Přidání funkce SESSION_USER
• [SPARK-45074] [SC-141796][python][CONNECT] DataFrame.{sort, sortWithinPartitions} podpora pořadových čísel sloupců
• [SPARK-45047] [SC-141774][python][CONNECT] DataFrame.groupBy podpora ordinály
• [SPARK-44863] [SC-140798][ui] Přidání tlačítka pro stažení výpisu vláken jako txt v uživatelském rozhraní Sparku
• [SPARK-45026] [SC-141604][connect] spark.sql by měl podporovat datové typy, které nejsou kompatibilní se šipkou.
• [SPARK-44999] [SC-141145][core] Refaktoring ExternalSorter pro omezení kontrol shouldPartition při volání getPartition
• [SPARK-42304] [SC-141501][sql] Přejmenovat _LEGACY_ERROR_TEMP_2189 na GET_TABLES_BY_TYPE_UNSUPPORTED_BY_HIVE_VERSION
• [SPARK-43781] [SC-139450][sql] Oprava IllegalStateException při spoluskupování dvou datových sad odvozených ze stejného zdroje
• [SPARK-45018] [SC-141516][python][CONNECT] Přidejte CalendarIntervalType do klienta Python
• [SPARK-45024] [SC-141513][python][CONNECT] Při vytváření relace odfiltrovat některé konfigurace.
• [SPARK-45017] [SC-141508][python] Přidání CalendarIntervalType do PySpark
• [SPARK-44720] [SC-139375][connect] Dataset používat Encoder místo AgnosticEncoder
• [SPARK-44982] [SC-141027][connect] Označte konfigurace serveru Spark Connect jako statické.
• [SPARK-44839] [SC-140900][ss][CONNECT] Lepší protokolování chyb při pokusu uživatele o serializaci relace Sparku
• [SPARK-44865] [SC-140905][ss] Nastavení sloupce metadat podpory StreamRelationV2
• [SPARK-45001] [SC-141141][python][CONNECT] Implement DataFrame.foreachPartition
• [SPARK-44497] [SC-141017][webui] Zobrazení ID oddílu úkolu v tabulce úkolů
• [SPARK-45006] [SC-141143][ui] Pro osu x časových os použijte stejný formát data u jiných prvků data uživatelského rozhraní.
• [SPARK-45000] [SC-141135][python][CONNECT] Implementace datového rámce.foreach
• [SPARK-44967] [SC-141137][sql][CONNECT] Jednotka by se měla nejprve zvážit před použitím logické hodnoty pro TreeNodeTag.
• [SPARK-44993] [SC-141088][core] Přidání ShuffleChecksumUtils.compareChecksums opakovaným použitím ShuffleChecksumTestHelp.compareChecksums
• [SPARK-44807] [SC-140176][connect] Přidání Dataset.metadataColumn do Scala Clienta
• [SPARK-44965] [SC-141098][python] Skrytí interních funkcí/proměnných z pyspark.sql.functions
• [SPARK-44983] [SC-141030][sql] Převod binárního souboru na řetězec to_char pro formáty: hex, base64, utf-8
• [SPARK-44980] [DBRRM-462][sc-141024][PYTHON][connect] Opravit zděděné namedtuples pro práci v createDataFrame
• [SPARK-44985] [SC-141033][core] Použijte toString místo stacktrace pro vlákno reaperump úloh.
• [SPARK-44984] [SC-141028][python][CONNECT] Odebrání _get_alias z datového rámce
• [SPARK-44975] [SC-141013][sql] Odstranit zbytečné přepsání binární aritmetiky neúčinného
• [SPARK-44969] [SC-140957][sql] Opakované použití ArrayInsert v ArrayAppend
• [SPARK-44549] [SC-140714][sql] Funkce okna podpory v korelovaných skalárních poddotazech
• [SPARK-44938] [SC-140811][sql] Změna výchozí hodnoty spark.sql.maxSinglePartitionBytes na 128 MB.
• [SPARK-44918] [SC-140816][sql][PYTHON] Podpora pojmenovaných argumentů v skalárních funkcích Python/Pandas UDF
• [SPARK-44966] [SC-140907][core][CONNECT] Změna nikdy neměněného var na val
• [SPARK-41471] [SC-140804][sql] Zmenšit Spark shuffle, pokud je jen jedna strana spojení KeyGroupedPartitioning
• [SPARK-44214] [SC-140528][core] Podpora uživatelského rozhraní živého protokolu ovladače Sparku
• [SPARK-44861] [SC-140716][connect] jsonignore SparkListenerConnectOperationStarted.planRequest
• [SPARK-44776] [SC-140519][connect] Add ProducedRowCount to SparkListenerConnectOperationFinished
• [SPARK-42017] [SC-140765][python][CONNECT] df['col_name'] by měl ověřit název sloupce.
• [SPARK-40178] [SC-140433][sql][CONNECT] Podpora jednoduše použitelných rad pro slučování v PySpark a R
• [SPARK-44840] [SC-140593][sql] Nastavení array_insert() na 1-základ pro záporné indexy
• [SPARK-44939] [SC-140778][r] Podpora Javy 21 ve SparkR SystemRequirements
• [SPARK-44936] [SC-140770][core] Zjednodušte protokol, když Spark HybridStore dosáhne limitu paměti.
• [SPARK-44908] [SC-140712][ml][CONNECT] Oprava funkce paramu cross validator foldCol
• [SPARK-44816] [SC-140717][connect] Zlepšení chybové zprávy v případě, že nebyla nalezena třída definovaná uživatelem
• [SPARK-44909] [SC-140710][ml] Přeskočte spuštění serveru pro streamování protokolů torch distributora, pokud není k dispozici.
• [SPARK-44920] [SC-140707][core] Použijte await() místo awaitUninterruptibly() v TransportClientFactory.createClient()
• [SPARK-44905] [SC-140703][sql] Stavový LastRegex vyvolá NullPointerException při vyhodnocení funkce regexp_replace
• [SPARK-43987] [SC-139594][shuffle] Oddělení finálního zpracování sloučení shuffle do vyhrazených vláknových bazénů
• [SPARK-42768] [SC-140549][sql] Ve výchozím nastavení používat AQE pro plán z mezipaměti.
• [SPARK-44741] [SC-139447][core] Podpora filtru metrik založených na regulárních výrazech v StatsdSink
• [SPARK-44751] [SC-140532][sql] Implementace rozhraní XML FileFormat
• [SPARK-44868] [SC-140438][sql] Convert datetime to string by to_char/to_varchar
• [SPARK-44748] [SC-140504][sql] Provádění dotazu pro PARTITION klauzuli BY v argumentech UDTF TABLE
• [SPARK-44873] [SC-140427] Podpora upravit zobrazení s vnořenými sloupci v klientovi Hive
• [SPARK-44876] [SC-140431][python] Oprava Arrow-optimalizované uživatelem definované funkce Pythonu ve Spark Connect
• [SPARK-44520] [SC-137845][sql] Nahraďte termín UNSUPPORTED_DATA_SOURCE_FOR_DIRECT_QUERY s UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY a zveřejněte kořenový AE.
• [SPARK-42664] [SC-139769][connect] Podpora bloomFilter funkce pro DataFrameStatFunctions
• [SPARK-43567] [SC-139227][ps] Podpora use_na_sentinel pro factorize
• [SPARK-44859] [SC-140254][ss] Oprava nesprávného názvu vlastnosti v dokumentu strukturovaného streamování
• [SPARK-44822] [SC-140182][python][SQL] Python UDTF jsou ve výchozím nastavení považovány za nedeterministické.
• [SPARK-44731] [SC-139524][python][CONNECT] Make TimestampNTZ funguje s literály v Python Spark Connect
• [SPARK-44836] [SC-140180][python] Refaktoring Arrow Python UDTF
• [SPARK-44714] [SC-139238] Usnadnit překladu LCA týkající se dotazů používajících 'HAVING'
• [SPARK-44749] [SC-139664][sql][PYTHON] Podpora pojmenovaných argumentů v PythonU UDTF
• [SPARK-44737] [SC-139512][sql][UI] Na stránce SQL by se neměly zobrazovat chyby formátu JSON pro jiné než SparkThrowables na kartě SQL
• [SPARK-44665] [SC-139307][python] Přidání podpory pro pandas DataFrame assertDataFrameEqual
• [SPARK-44736] [SC-139622][connect] Přidat Dataset.explode do Spark Connect Scala Client
• [SPARK-44732] [SC-139422][sql] Podpora předdefinovaných zdrojů dat XML
• [SPARK-44694] [SC-139213][python][CONNECT] Refaktoring aktivních relací a jejich zveřejnění jako rozhraní API
• [SPARK-44652] [SC-138881] Vyvolá chybu, pokud je pouze jeden df none
• [SPARK-44562] [SC-138824][sql] Přidat OptimizeOneRowRelationSubquery do dávky poddotazů
• [SPARK-44717] [SC-139319][python][PS] Zohledněte TimestampNTZ při přechodném vzorkování
• [SPARK-42849] [SC-139365] [SQL] Proměnné relací
• [SPARK-44236] [SC-139239][sql] Zakázat WholeStageCodegen při nastavení spark.sql.codegen.factoryMode na NO_CODEGEN
• [SPARK-44695] [SC-139316][python] Zlepšení chybové zprávy pro DataFrame.toDF
• [SPARK-44680] [SC-139234][sql] Vylepšení chyby parametrů v DEFAULT
• [SPARK-43402] [SC-138321][sql] FileSourceScanExec podporuje uplatnění filtru dat pomocí skalárního poddotazu.
• [SPARK-44641] [SC-139216][sql] Nesprávný výsledek v určitých scénářích, když se spJ neaktivuje
• [SPARK-44689] [SC-139219][connect] Zajištění univerzálního zpracování výjimek funkce SparkConnectPlanner#unpackScalarScalaUDF
• [SPARK-41636] [SC-139061][sql] Ujistěte se, že selectFilters vrací predikáty v deterministickém pořadí.
• [SPARK-44132] [SC-139197][sql] Materializace Stream názvů sloupců spojení, aby se zabránilo selhání codegenu
• [SPARK-42330] [SC-138838][sql] Přiřaďte název RULE_ID_NOT_FOUND ke třídě chyb. _LEGACY_ERROR_TEMP_2175
• [SPARK-44683] [SC-139214][ss] Úroveň protokolování není správně předána poskytovateli úložiště stavů RocksDB.
• [SPARK-44658] [SC-138868][core] ShuffleStatus.getMapStatus by se měl vrátit None místo Some(null)
• [SPARK-44603] [SC-138353] Přidání pyspark.testing do setup.py
• [SPARK-44252] [SC-137505][ss] Definujte novou třídu chyb a použijte ji v případě selhání načítání ze systému souborů DFS.
• [SPARK-29497] [DBRRM-396][sc-138477][CONNECT] Vyvolá chybu, pokud UDF není možné deserializovat.
• [SPARK-44624] [DBRRM-396][sc-138900][CONNECT] Opakovat provedení plánu v případě, že se počáteční požadavek nedorazil na server
• [SPARK-41400] [DBRRM-396][sc-138287][CONNECT] Odstranění závislosti Connect Client na Catalyst
• [SPARK-44059] [SC-138833][sql] Přidání lepších chybových zpráv pro SQL s názvem argumnts
• [SPARK-44620] [SC-138831][sql][PS][connect] Učinit ResolvePivot tak, aby zachovalo Plan_ID_TAG
• [SPARK-43838] [SC-137413][sql] Oprava poddotazu s klauzulí HAVING na jedné tabulce nelze optimalizovat
• [SPARK-44555] [SC-138820][sql] Pomocí checkError() zkontrolujte výjimku v sadě příkazů a přiřaďte některé názvy tříd chyb.
• [SPARK-44280] [SC-138821][sql] Přidat convertJavaTimestampToTimestamp v rozhraní JDBCDialect API
• [SPARK-44602] [SC-138337][sql][CONNECT][ps] Zachovat WidenSetOperationTypesPlan_ID_TAG
• [SPARK-42941] [SC-138389][ss][CONNECT] Python StreamingQueryListener
• [SPARK-43838] Vrátit "[SC-137413][sql] Opravit poddotaz na jeden tabulku..."
• [SPARK-44538] [SC-138178][connect][SQL] Obnovení Row.jsonValue a podobných funkcí
• [SPARK-44421] [SC-138434][spark-44423][CONNECT] Znovu připojitelné spuštění ve Spark Connect
• [SPARK-43838] [SC-137413][sql] Oprava poddotazu s klauzulí HAVING na jedné tabulce nelze optimalizovat
• [SPARK-44587] [SC-138315][sql][CONNECT] Zvýšení limitu rekurze protobuf marshaller
• [SPARK-44605] [SC-138338][core] Upřesnění interního rozhraní ShuffleWriteProcessor API
• [SPARK-44394] [SC-138291][connect][WEBUI] Přidání stránky uživatelského rozhraní Sparku pro Spark Connect
• [SPARK-44585] [SC-138286][mllib] Oprava podmínky upozornění v nástroji MLLib RankingMetrics ndcgAk
• [SPARK-44198] [SC-138137][core] Podpora propagace úrovně logování do executorů
• [SPARK-44454] [SC-138071][sql][HIVE] Podpora pro HiveShim getTablesByType včetně záložního řešení
• [SPARK-44425] [SC-138135][connect] Ověřte, že id relace zadané uživatelem je UUID.
• [SPARK-43611] [SC-138051][sql][PS][connect] Umožnit ExtractWindowExpressions zachovat PLAN_ID_TAG
• [SPARK-44560] [SC-138117][python][CONNECT] Vylepšení testů a dokumentace pro UDF pro Šipku v Pythonu
• [SPARK-44482] [SC-138067][connect] Server pro připojení by měl zadat adresu vazby.
• [SPARK-44528] [SC-138047][connect] Podpora správného použití hasattr() pro Connect datový rámec
• [SPARK-44525] [SC-138043][sql] Vylepšete chybovou zprávu, když metoda Invoke nebyla nalezena.
• [SPARK-44355] [SC-137878][sql] Přesun WithCTE do dotazů příkazů

Podpora ovladačů Databricks ODBC/JDBC

Databricks podporuje ovladače ODBC/JDBC vydané v posledních 2 letech. Stáhněte si nedávno vydané ovladače a upgradujte (stáhněte rozhraní ODBC, stáhněte JDBC).

Viz aktualizace údržby Databricks Runtime 14.1.

Systémové prostředí

• Operační systém: Ubuntu 22.04.3 LTS
• Java: Zulu 8.72.0.17-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• Delta Lake: 3.0.0

Nainstalované knihovny Pythonu

Knihovna	Verze	Knihovna	Verze	Knihovna	Verze
anyio	3.5.0	argon2-cffi	21.3.0	argon2-cffi-bindings	21.2.0
asttokens	2.0.5	attrs	22.1.0	zpětný hovor	0.2.0
BeautifulSoup4	4.11.1	černý	22.6.0	bělidlo	4.1.0
blikač	1.4	boto3	1.24.28	botocore	1.27.96
certifikát	2022.12.7	cffi	1.15.1	chardet	4.0.0
nástroj pro normalizaci znakové sady	2.0.4	klikni	8.0.4	Komunikace	0.1.2
ContourPy	1.0.5	kryptografie	39.0.1	cyklista	0.11.0
Cython	0.29.32	Databricks SDK	0.1.6	dbus-python	1.2.18
debugpy	1.6.7	dekoratér	5.1.1	defusedxml	0.7.1
distlib	0.3.7	převod docstringu do formátu markdown	0.11	vstupní body	0,4
provedení	0.8.3	přehled aspektů	1.1.1	fastjsonschema	2.18.0
zamykání souborů	3.12.3	nástroje pro písma	4.25.0	Knihovna běhového prostředí GCC	1.10.0
googleapis-common-protos	1.60.0	grpcio	1.48.2	grpcio-status	1.48.1
httplib2	0.20.2	IDNA	3.4	importlib-metadata	4.6.4
ipykernel	6.25.0	ipython	8.14.0	ipython-genutils	0.2.0
ipywidgets	7.7.2	Jedi	0.18.1	Jeepney (typický veřejný dopravní prostředek na Filipínách)	0.7.1
Jinja2	3.1.2	jmespath	0.10.0	joblib	1.2.0
jsonschema	4.17.3	klient Jupyter	7.3.4	Server Jupyter	1.23.4
jupyter_core	5.2.0	jupyterlab-pygments	0.1.2	JupyterLab widgets	1.0.0
klíčenka	23.5.0	kiwisolver	1.4.4	launchpadlib	1.10.16
lazr.restfulclient	0.14.4	lazr.uri	1.0.6	lxml	4.9.1
MarkupSafe	2.1.1	matplotlib	3.7.0	matplotlib-inline	0.1.6
Mccabe	0.7.0	špatné naladění	0.8.4	more-itertools	8.10.0
mypy-extensions	0.4.3	nbclassic	0.5.2	nbclient	0.5.13
nbconvert	6.5.4	nbformat	5.7.0	nest-asyncio	1.5.6
nodeenv	1.8.0	poznámkový blok	6.5.2	notebook_shim	0.2.2
numpy (knihovna pro numerické výpočty v Pythonu)	1.23.5	oauthlib	3.2.0	balení	22.0
Pandy	1.5.3	pandocfilters	1.5.0	Parso	0.8.3
specifikace cesty	0.10.3	bábovka	0.5.3	pexpect	4.8.0
PickleShare	0.7.5	Polštář	9.4.0	pip	22.3.1
platformdirs	2.5.2	plotly	5.9.0	Pluggy (nástroj pro správu pluginů v Pythonu)	1.0.0
prometheus-client	0.14.1	nástroj "prompt-toolkit"	3.0.36	protobuf	4.24.0
psutil	5.9.0	psycopg2	2.9.3	ptyprocess	0.7.0
čistý-eval	0.2.2	pyarrow	8.0.0	pycparser	2.21
Pydantic (Python knihovna pro validaci a nastavení dat)	1.10.6	pyflakes	3.0.1	Pygments	2.11.2
PyGObject	3.42.1	PyJWT	2.3.0	pyodbc	4.0.32
pyparsing	3.0.9	pyright	1.1.294	pyrsistent	0.18.0
python-dateutil	2.8.2	python-lsp-jsonrpc	1.0.0	python-lsp-server	1.7.1
Pytoolconfig	1.2.5	knihovna pytz pro zpracování časových zón v Pythonu	2022.7	pyzmq	23.2.0
požadavky	2.28.1	lano	1.7.0	s3transfer	0.6.2
scikit-learn	1.1.1	narozený v moři	0.12.2	SecretStorage	3.3.1
Send2Trash	1.8.0	setuptools (nástroj pro vytváření a distribuci Python projektů)	65.6.3	šest	1.16.0
sniffio	1.2.0	sítko na polévku	2.3.2.post1	ssh-import-id	5.11
datová hromádka	0.2.0	statsmodels	0.13.5	houževnatost	8.1.0
dokončeno	0.17.1	threadpoolctl	2.2.0	tinycss2	1.2.1
tokenize-rt	4.2.1	tomli	2.0.1	tornádo	6.1
drobné vlastnosti	5.7.1	rozšíření_typingu	4.4.0	ujson	5.4.0
bezobslužné aktualizace	0,1	urllib3	1.26.14	virtualenv	20.16.7
wadllib	1.3.6	wcwidth (šířka znaků)	0.2.5	webová kódování	0.5.1
websocket-klient	0.58.0	whatthepatch	1.0.2	wheel	0.38.4
widgetsnbextension (rozšíření pro widgety v notebooku)	3.6.1	yapf	0.31.0	zipový uzávěr	1.0.0
SciPy	1.10.1

Nainstalované knihovny jazyka R

Knihovny R jsou instalovány ze snímku CRAN z dne 10.02.2023 pomocí Správce balíčků Posit.

Knihovna	Verze	Knihovna	Verze	Knihovna	Verze
šíp	12.0.1	žádost o heslo	1.1	ověřit, že	0.2.1
zpětné portování	1.4.1	báze	4.3.1	base64enc	0,1-3
trochu	4.0.5	64bit	4.0.5	objekt blob	1.2.4
bootování	1.3-28	připravovat nápoje	1.0-8	elán	1.1.3
koště	1.0.5	bslib	0.5.0	kašmír	1.0.8
volající	3.7.3	karet	6.0-94	cellranger	1.1.0
cron	2.3-61	třída	7.3-22	CLI	3.6.1
Clipr	0.8.0	hodiny	0.7.0	cluster	2.1.4
codetools	0.2-19	barevný prostor	2.1-0	commonmark	1.9.0
kompilátor	4.3.1	konfig	0.3.1	v rozporu	1.2.0
cpp11	0.4.4	pastelka	1.5.2	přihlašovací údaje	1.3.2
kroucení	5.0.1	datová tabulka	1.14.8	datové sady	4.3.1
DBI	1.1.3	dbplyr	2.3.3	Popis	1.4.2
devtools	2.4.5	schéma	1.6.5	diffobj	0.3.5
hodnota hash	0.6.33	dolní osvětlení	0.4.3	dplyr	1.1.2
dtplyr	1.3.1	e1071	1.7-13	tři tečky	0.3.2
hodnotit	0.21	fanoušci	1.0.4	barvy	2.1.1
Fastmap (rychlé mapování)	1.1.1	fontawesome	0.5.1	pro kočky	1.0.0
foreach	1.5.2	zahraničí	0,8-82	kovárna	0.2.0
fs	1.6.2	budoucnost	1.33.0	budoucnost.použít	1.11.0
kloktání	1.5.1	obecné typy	0.1.3	Gert	1.9.2
ggplot2	3.4.2	Gh	1.4.0	gitcreds	0.1.2
glmnet	4.1-7	globální	0.16.2	lepidlo	1.6.2
googledrive	2.1.1	googlesheets4	1.1.1	Gower	1.0.1
Grafika	4.3.1	grDevices	4.3.1	mřížka	4.3.1
gridExtra	2.3	gsubfn	0,7	gtable	0.3.3
ochranná přilba	1.3.0	útočiště	2.5.3	vyšší	0.10
HMS	1.1.3	htmlové nástroje	0.5.5	htmlwidgets (interaktivní HTML prvky)	1.6.2
httpuv	1.6.11	httr	1.4.6	httr2	0.2.3
identifikátory	1.0.1	ini	0.3.1	ipred	0.9-14
isoband	0.2.7	Iterátory	1.0.14	jquerylib	0.1.4
jsonlite	1.8.7	KernSmooth	2.23-21	knitr	1,43
značení	0.4.2	později	1.3.1	mřížka	0.21-8
láva	1.7.2.1	životní cyklus	1.0.3	poslouchej	0.9.0
lubridate	1.9.2	magrittr	2.0.3	Markdown	1,7
Hmotnost	7.3-60	*Matrix*	1.5-4.1	zapamatujte si	2.0.1
metody	4.3.1	mgcv	1.8-42	mim	0.12
miniUI	0.1.1.1	ModelMetrics	1.2.2.2	modelář	0.1.11
munsell	0.5.0	nlme	3.1-162	nnet (neuronová síť)	7.3-19
numDeriv (Numerická derivace)	2016.8 - 1.1	OpenSSL	2.0.6	rovnoběžný	4.3.1
paralelně	1.36.0	pilíř	1.9.0	pkgbuild	1.4.2
pkgconfig	2.0.3	pkgdown	2.0.7	pkgload	1.3.2.1
plogr	0.2.0	plyr	1.8.8	pochvala	1.0.0
prettyunits	1.1.1	pROC	1.18.4	processx	3.8.2
prodlim	2023.03.31	profvis	0.3.8	pokrok	1.2.2
progressr	0.13.0	sliby	1.2.0.1	proto	1.0.0
proxy	0,4-27	p.s.	1.7.5	purrr	1.0.1
r2d3	0.2.6	R6	2.5.1	ragg	1.2.5
"randomForest"	4.7-1.1	rappdirs	0.3.3	Analýza rcmdcheck	1.4.0
RColorBrewer	1.1-3	Rcpp	1.0.11	RcppEigen	0.3.3.9.3
čtenář	2.1.4	readxl	1.4.3	recepty	1.0.6
odvetný zápas	1.0.1	odvetný zápas 2	2.1.2	dálková ovládání	2.4.2
reprodukovatelný příklad	2.0.2	reshape2	1.4.4	rlang	1.1.1
rmarkdown	2.23	RODBC	1.3-20	roxygen2	7.2.3
rpart	4.1.19	rprojroot	2.0.3	Rserve	1.8-11
RSQLite	2.3.1	rstudioapi	0.15.0	rversions	2.1.2
rvest	1.0.3	drzost	0.4.6	váhy	1.2.1
selektor	0.4-2	informace o sezení	1.2.2	obrazec	1.4.6
lesklý	1.7.4.1	sourcetools	0.1.7-1	sparklyr	1.8.1
SparkR	3.5.0	prostorový	7.3-15	spline	4.3.1
sqldf	0.4-11	SQUAREM	2021.1	statistické údaje	4.3.1
Stats4	4.3.1	řetězce	1.7.12	stringr	1.5.0
přežití	3.5-5	systém	3.4.2	systemfonts	1.0.4
tcltk	4.3.1	testthat (nástroj pro testování)	3.1.10	formátování textu	0.3.6
tibble	3.2.1	tidyr	1.3.0	tidyselect	1.2.0
tidyverse	2.0.0	změna času	0.2.0	datum a čas	4022.108
tinytex	0.45	nářadí	4.3.1	tzdb	0.4.0
ověřovač URL	1.0.1	použij tohle	2.2.2	utf8	1.2.3
nástroje	4.3.1	Univerzální jednoznačný identifikátor (UUID)	1.1-0	vctrs	0.6.3
viridisLite	0.4.2	vrrrm	1.6.3	Waldo	0.5.1
hmatový chlup	0.4.1	(v případě, že je možné poskytnout smysl slova "withr", by bylo možné ho přeložit)	2.5.0	xfun	0,39
xml2	1.3.5	xopen	1.0.0	xtable	1.8-4
yaml	2.3.7	zip (jako formát souboru)	2.3.0

Nainstalované knihovny Java a Scala (verze clusteru Scala 2.12)

ID skupiny	Identifikátor artefaktu	Verze
antlr	antlr	2.7.7
com.amazonaws	amazon-kinesis-client (klient Amazon Kinesis)	1.12.0
com.amazonaws	aws-java-sdk Automatické škálování	1.12.390
com.amazonaws	aws-java-sdk-cloudformation	1.12.390
com.amazonaws	aws-java-sdk-cloudfront	1.12.390
com.amazonaws	aws-java-sdk-cloudhsm	1.12.390
com.amazonaws	„aws-java-sdk-cloudsearch“	1.12.390
com.amazonaws	aws-java-sdk-cloudtrail	1.12.390
com.amazonaws	aws-java-sdk-cloudwatch	1.12.390
com.amazonaws	aws-java-sdk-cloudwatchmetrics	1.12.390
com.amazonaws	aws-java-sdk-codedeploy (Balíček AWS SDK pro Java - CodeDeploy)	1.12.390
com.amazonaws	aws-java-sdk-cognitoidentity	1.12.390
com.amazonaws	aws-java-sdk-cognitosync	1.12.390
com.amazonaws	aws-java-sdk-config (konfigurace balíčku SDK pro Javu od AWS)	1.12.390
com.amazonaws	aws-java-sdk-core	1.12.390
com.amazonaws	aws-java-sdk-datapipeline	1.12.390
com.amazonaws	aws-java-sdk-directconnect	1.12.390
com.amazonaws	aws-java-sdk-directory	1.12.390
com.amazonaws	aws-java-sdk-dynamodb	1.12.390
com.amazonaws	aws-java-sdk-ec2	1.12.390
com.amazonaws	aws-java-sdk-ecs	1.12.390
com.amazonaws	aws-java-sdk-efs	1.12.390
com.amazonaws	aws-java-sdk-elasticache	1.12.390
com.amazonaws	aws-java-sdk-elasticbeanstalk	1.12.390
com.amazonaws	aws-java-sdk-elasticloadbalancing	1.12.390
com.amazonaws	aws-java-sdk-elastictranscoder	1.12.390
com.amazonaws	aws-java-sdk-emr	1.12.390
com.amazonaws	aws-java-sdk-glacier (AWS Java SDK pro Glacier)	1.12.390
com.amazonaws	aws-java-sdk-glue (balíček pro vývoj softwaru v Java od AWS, určený pro Glue služby)	1.12.390
com.amazonaws	aws-java-sdk-iam	1.12.390
com.amazonaws	aws-java-sdk-importexport	1.12.390
com.amazonaws	aws-java-sdk-kinesis	1.12.390
com.amazonaws	aws-java-sdk-kms	1.12.390
com.amazonaws	aws-java-sdk-lambda	1.12.390
com.amazonaws	aws-java-sdk-logs	1.12.390
com.amazonaws	aws-java-sdk-strojové učení	1.12.390
com.amazonaws	aws-java-sdk-opsworks	1.12.390
com.amazonaws	aws-java-sdk-rds	1.12.390
com.amazonaws	aws-java-sdk-redshift	1.12.390
com.amazonaws	aws-java-sdk-route53	1.12.390
com.amazonaws	aws-java-sdk-s3	1.12.390
com.amazonaws	aws-java-sdk-ses	1.12.390
com.amazonaws	aws-java-sdk-simpledb	1.12.390
com.amazonaws	aws-java-sdk-simpleworkflow	1.12.390
com.amazonaws	aws-java-sdk-sns	1.12.390
com.amazonaws	aws-java-sdk-sqs	1.12.390
com.amazonaws	aws-java-sdk-ssm	1.12.390
com.amazonaws	aws-java-sdk-storagegateway (balíček nástrojů pro přístup k AWS Storage Gateway)	1.12.390
com.amazonaws	aws-java-sdk-sts	1.12.390
com.amazonaws	podpora AWS Java SDK	1.12.390
com.amazonaws	knihovny AWS Java SDK SWF	1.11.22
com.amazonaws	aws-java-sdk-workspaces	1.12.390
com.amazonaws	jmespath-java	1.12.390
com.clearspring.analytics	datový proud	2.9.6
com.databricks	Rserve	1.8-3
com.databricks	Databricks SDK pro Java	0.7.0
com.databricks	jets3t	0.7.1-0
com.databricks.scalapb	compilerplugin_2.12	0.4.15-10
com.databricks.scalapb	scalapb-runtime_2.12	0.4.15-10
com.esotericsoftware	technologie kryo-stínění	4.0.2
com.esotericsoftware	Minlog	1.3.0
com.fasterxml	spolužák	1.3.4
com.fasterxml.jackson.core	jackson-annotations (poznámky Jackson)	2.15.2
com.fasterxml.jackson.core	jackson-core	2.15.2
com.fasterxml.jackson.core	Jackson-databind	2.15.2
com.fasterxml.jackson.dataformat	jackson-dataformat-cbor	2.15.2
com.fasterxml.jackson.datatype	jackson-datatype-joda	2.15.2
com.fasterxml.jackson.datatype	jackson-datatype-jsr310	2.15.1
com.fasterxml.jackson.module	jackson-module-paranamer	2.15.2
com.fasterxml.jackson.module	jackson-module-scala_2.12	2.15.2
com.github.ben-manes.kofein	kofein	2.9.3
com.github.fommil	jniloader	1.1
com.github.fommil.netlib	Nativní odkaz pro Javu	1.1
com.github.fommil.netlib	Nativní odkaz pro Javu	Verze 1.1 pro místní uživatele
com.github.fommil.netlib	nativní_systém-java	1.1
com.github.fommil.netlib	nativní_systém-java	Verze 1.1 pro místní uživatele
com.github.fommil.netlib	netlib-native_ref-linux-x86_64	Verze 1.1 pro místní uživatele
com.github.fommil.netlib	netlib-nativní_systém-linux-x86_64	Verze 1.1 pro místní uživatele
com.github.luben	zstd-jni	1.5.5-4
com.github.wendykierp	JTransforms	3.1
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	Gson	2.10.1
com.google.crypto.tink	Cink	1.9.0
com.google.errorprone	poznámky_náchylné_k_chybám	2.10.0
com.google.flatbuffers	flatbuffers-java	1.12.0
com.google.guava	guave	15,0
com.google.protobuf	protobuf-java	2.6.1
com.helger	profiler	1.1.1
com.jcraft	jsch	0.1.55
com.jolbox	bonecp	0.8.0.VYDÁNÍ
com.lihaoyi	zdrojový_kód_2.12	0.1.9
com.microsoft.azure	azure-data-lake-store-sdk (software development kit pro úložiště dat Azure Data Lake)	2.3.9
com.microsoft.sqlserver	mssql-jdbc	11.2.2.jre8
com.ning	compress-lzf (komprimační algoritmus LZF)	1.1.2
com.sun.mail	javax.mail	1.5.2
com.sun.xml.bind	jaxb-core	2.2.11
com.sun.xml.bind	jaxb-impl	2.2.11
com.tdunning	JSON	1.8
com.thoughtworks.paranamer	Paranamer	2.8
com.trueaccord.lenses	lenses_2.12	0.4.12
com.twitter	chill-java	0.10.0
com.twitter	chill_2.12	0.10.0
com.twitter	util-app-2.12	7.1.0
com.twitter	util-core_2.12	7.1.0
com.twitter	util-function_2.12	7.1.0
com.twitter	util-jvm_2.12	7.1.0
com.twitter	util-lint_2.12	7.1.0
com.twitter	util-registry_2.12	7.1.0
com.twitter	util-stats_2.12	7.1.0
com.typesafe	konfig	1.2.1
com.typesafe.scala-logging	scala-logging_2.12	3.7.2
com.uber	h3	3.7.3
com.univocity	univocity-parsers (nástroj pro analýzu dat)	2.9.1
com.zaxxer	HikariCP	4.0.3
commons-cli	commons-cli	1.5.0
commons-codec	commons-codec	1.16.0
společné sbírky	společné sbírky	3.2.2
commons-dbcp	commons-dbcp	1.4
Nahrávání souborů v Commons	Nahrávání souborů v Commons	1.5
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2.13.0
commons-lang	commons-lang	2.6
commons-logging (nástroj pro záznamy)	commons-logging (nástroj pro záznamy)	1.1.3
commons-pool	commons-pool	1.5.4
dev.ludovic.netlib	arpack	3.0.3
dev.ludovic.netlib	Blas	3.0.3
dev.ludovic.netlib	LAPACK	3.0.3
info.ganglia.gmetric4j	gmetric4j	1.0.10
io.airlift	vzduchový kompresor	0.25
io.delta	delta-sharing-spark_2.12	0.7.5
io.dropwizard.metrics	anotace metrik	4.2.19
io.dropwizard.metrics	jádro metrik	4.2.19
io.dropwizard.metrics	metrics-graphite	4.2.19
io.dropwizard.metrics	metriky – kontroly stavu	4.2.19
io.dropwizard.metrics	metrics-jetty9	4.2.19
io.dropwizard.metrics	Metrics-JMX	4.2.19
io.dropwizard.metrics	Metriky-json	4.2.19
io.dropwizard.metrics	metriky pro JVM	4.2.19
io.dropwizard.metrics	metrikové servlety	4.2.19
io.netty	netty-all	4.1.96. Finální
io.netty	netty-buffer	4.1.96. Finální
io.netty	netty-codec	4.1.96. Finální
io.netty	netty-kodek-http	4.1.96. Finální
io.netty	netty-codec-http2	4.1.96. Finální
io.netty	netty-codec-socks	4.1.96. Finální
io.netty	netty-common	4.1.96. Finální
io.netty	Netty handler	4.1.96. Finální
io.netty	Netty-handler-proxy	4.1.96. Finální
io.netty	netty-resolver	4.1.96. Finální
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-linux-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.61. Final - linux - x86_64
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-osx-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-osx-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-windows-x86_64
io.netty	netty-tcnative-classes (softwarová knihovna)	2.0.61.Final
io.netty	Netty přenos	4.1.96. Finální
io.netty	netty-transport-classes-epoll	4.1.96. Finální
io.netty	netty-transport-classes-kqueue	4.1.96. Finální
io.netty	netty-transport-native-epoll	4.1.96. Finální
io.netty	netty-transport-native-epoll	4.1.96.Final-linux-aarch_64
io.netty	netty-transport-native-epoll	4.1.96.Final-linux-x86_64
io.netty	netty-transport-native-kqueue	4.1.96.Final-osx-aarch_64
io.netty	netty-transport-native-kqueue	4.1.96.Final-osx-x86_64
io.netty	netty-transport-native-unix-common	4.1.96. Finální
io.prometheus	simpleclient	0.7.0
io.prometheus	simpleklient_obecný	0.7.0
io.prometheus	simpleclient_dropwizard	0.7.0
io.prometheus	simpleclient_pushgateway	0.7.0
io.prometheus	simpleclient_servlet	0.7.0
io.prometheus.jmx	kolektor	0.12.0
jakarta.annotation	jakarta.annotation-api	1.3.5
jakarta.servlet	jakarta.servlet-api	4.0.3
jakarta.validation	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activation	aktivace	1.1.1
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.transaction	jta	1.1
javax.transaction	API pro transakce	1.1
javax.xml.bind	jaxb-api	2.2.11
Javolution	Javolution	5.5.1
jline	jline	2.14.6
joda-time	joda-time	2.12.1
net.java.dev.jna	jna	5.8.0
net.razorvine	nakládačka	1.3
net.sf.jpam	jpam	1.1
net.sf.opencsv	opencsv	2.3
net.sf.supercsv	super-csv	2.2.0
síť.sněhová vločka	snowflake-ingest-sdk	0.9.6
síť.sněhová vločka	snowflake-jdbc	3.13.33
net.sourceforge.f2j	arpack_combined_all	0,1
org.acplt.remotetea	remotetea-oncrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.5.2
org.antlr	antlr4-runtime	4.9.3
org.antlr	StringTemplate	3.2.1
org.apache.ant	mravenec	1.9.16
org.apache.ant	ant-jsch	1.9.16
org.apache.ant	Ant launcher	1.9.16
org.apache.arrow	šipkový formát	12.0.1
org.apache.arrow	jádro šipkové paměti	12.0.1
org.apache.arrow	šipka-paměť-netty	12.0.1
org.apache.arrow	šipkový vektor	12.0.1
org.apache.avro	Avro	1.11.2
org.apache.avro	avro-ipc	1.11.2
org.apache.avro	avro-mapred	1.11.2
org.apache.commons	commons-collections4	4.4
org.apache.commons	commons-compress (softwarová knihovna pro kompresi dat)	1.23.0
org.apache.commons	commons-crypto	1.1.0
org.apache.commons	commons-lang3	3.12.0
org.apache.commons	commons-math3	3.6.1
org.apache.commons	Commons-text (textové nástroje)	1.10.0
org.apache.kurátor	kurátor-klient	2.13.0
org.apache.kurátor	kurátorský rámec	2.13.0
org.apache.kurátor	kurátorovy recepty	2.13.0
org.apache.datasketches	datasketches-java	3.1.0
org.apache.datasketches	datasketches-paměť	2.0.0
org.apache.derby	fotbalové derby	10.14.2.0
org.apache.hadoop	běhové prostředí klienta Hadoop	3.3.6
org.apache.hive	hive-beeline	2.3.9
org.apache.hive	hive-cli	2.3.9
org.apache.hive	hive-jdbc (JDBC ovladač pro Apache Hive)	2.3.9
org.apache.hive	hive-llap-client (klient pro Apache Hive s možností LLAP)	2.3.9
org.apache.hive	hive-llap-common	2.3.9
org.apache.hive	hive-serde	2.3.9
org.apache.hive	Hive-shims	2.3.9
org.apache.hive	rozhraní pro úložiště Hive	2.8.1
org.apache.hive.shims	hive-shims-0.23	2.3.9
org.apache.hive.shims	hive-shims-common	2.3.9
org.apache.hive.shims	plánovač hive-shims	2.3.9
org.apache.httpcomponents	httpclient	4.5.14
org.apache.httpcomponents	httpcore	4.4.16
org.apache.ivy	břečťan	2.5.1
org.apache.logging.log4j	log4j-1.2-api	2.20.0
org.apache.logging.log4j	log4j-api	2.20.0
org.apache.logging.log4j	log4j-core	2.20.0
org.apache.logging.log4j	log4j-slf4j2-impl	2.20.0
org.apache.mesos	Mesos	1.11.0-shaded-protobuf
org.apache.orc	orc-core	1.9.1-shaded-protobuf
org.apache.orc	orc-mapreduce	1.9.1-shaded-protobuf
org.apache.orc	orčí podložky	1.9.1
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.12.0
org.apache.ws.xmlschema	xmlschema-core	2.3.0
org.apache.xbean	xbean-asm9-shaded	4.23
org.apache.yetus	poznámky pro publikum	0.13.0
org.apache.zookeeper	ošetřovatel zvířat v zoo	3.6.3
org.apache.zookeeper	zookeeper-jute	3.6.3
org.checkerframework	checker-qual	3.31.0
org.codehaus.jackson	jackson-core-asl	1.9.13
org.codehaus.jackson	jackson-mapper-asl	1.9.13
org.codehaus.janino	společný kompilátor	3.0.16
org.codehaus.janino	Janino	3.0.16
org.datanucleus	datanucleus-api-jdo	4.2.4
org.datanucleus	datanucleus-core	4.1.17
org.datanucleus	datanucleus-rdbms (framework pro práci s relačními databázemi)	4.1.19
org.datanucleus	javax.jdo	3.2.0-m3
org.eclipse.jetty	jetty-client	9.4.52.v20230823
org.eclipse.jetty	pokračování Jetty	9.4.52.v20230823
org.eclipse.jetty	jetty-http	9.4.52.v20230823
org.eclipse.jetty	jetty-io	9.4.52.v20230823
org.eclipse.jetty	jetty-jndi	9.4.52.v20230823
org.eclipse.jetty	Jetty-plus	9.4.52.v20230823
org.eclipse.jetty	proxy pro službu Jetty	9.4.52.v20230823
org.eclipse.jetty	bezpečnost Jetty	9.4.52.v20230823
org.eclipse.jetty	jetty-server	9.4.52.v20230823
org.eclipse.jetty	jetty-servlet	9.4.52.v20230823
org.eclipse.jetty	jetty-servlets	9.4.52.v20230823
org.eclipse.jetty	jetty-util	9.4.52.v20230823
org.eclipse.jetty	jetty-util-ajax	9.4.52.v20230823
org.eclipse.jetty	Jetty-webová aplikace	9.4.52.v20230823
org.eclipse.jetty	jetty-xml	9.4.52.v20230823
org.eclipse.jetty.websocket	WebSocket API	9.4.52.v20230823
org.eclipse.jetty.websocket	websocket-klient	9.4.52.v20230823
org.eclipse.jetty.websocket	websocket – běžné	9.4.52.v20230823
org.eclipse.jetty.websocket	websocket-server	9.4.52.v20230823
org.eclipse.jetty.websocket	websocket-servlet	9.4.52.v20230823
org.fusesource.leveldbjni	leveldbjni-all	1.8
org.glassfish.hk2	hk2-api	2.6.1
org.glassfish.hk2	hk2-lokátor	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	OSGi vyhledávač zdrojů	1.0.3
org.glassfish.hk2.external	aopalliance-přebaleno	2.6.1
org.glassfish.hk2.external	jakarta.inject (pokud je to potřeba, přidejte vysvětlení nebo typický český termín v závorce)	2.6.1
org.glassfish.jersey.containers	jersey-container-servlet (nástroj pro zpracování požadavků v Java EE)	2.40
org.glassfish.jersey.containers	jersey-container-servlet-jádro	2.40
org.glassfish.jersey.core	jersey-client	2.40
org.glassfish.jersey.core	společný dres	2.40
org.glassfish.jersey.core	Jersey-server (aplikační server frameworku Jersey)	2.40
org.glassfish.jersey.inject	jersey-hk2	2.40
org.hibernate.validator	Hibernate Validator	6.1.7.Final
org.ini4j	ini4j	0.5.4
org.javassist	Javassist	3.29.2-GA
org.jboss.logging	jboss-logging	3.3.2.Final
org.jdbi	jdbi	2.63.1
org.jetbrains	anotace	17.0.0
org.joda	joda-convert	1,7
org.jodd	jodd-core	3.5.2
org.json4s	json4s-ast_2.12	3.7.0-M11
org.json4s	json4s-core_2.12	3.7.0-M11
org.json4s	json4s-jackson_2.12	3.7.0-M11
org.json4s	json4s-scalap_2.12	3.7.0-M11
org.lz4	lz4-java	1.8.0
org.mariadb.jdbc	MariaDB Java klient	2.7.9
org.mlflow	mlflow-spark	2.2.0
org.objenesis	objenesis	2.5.1
org.postgresql	postgresql	42.6.0
org.roaringbitmap	RoaringBitmap	0.9.45
org.roaringbitmap	vymezovací pásky	0.9.45
org.rocksdb	rocksdbjni	8.3.2
org.rosuda.REngine	REngine	2.1.0
org.scala-lang	scala-compiler_2.12	2.12.15
org.scala-lang	scala-library_2.12	2.12.15
org.scala-lang	scala-reflect_2.12	2.12.15
org.scala-lang.modules	scala-collection-compat_2.12	2.9.0
org.scala-lang.modules	scala-parser-combinators_2.12	1.1.2
org.scala-lang.modules	scala-xml_2.12	1.2.0
org.scala-sbt	testovací rozhraní	1.0
org.scalacheck	scalacheck_2.12	1.14.2
org.scalactic	scalactic_2.12	3.2.15
org.scalanlp	breeze-macros_2.12	2.1.0
org.scalanlp	breeze_2.12	2.1.0
org.scalatest	kompatibilní s scalatestem	3.2.15
org.scalatest	scalatest-core_2.12	3.2.15
org.scalatest	scalatest-diagrams_2.12	3.2.15
org.scalatest	scalatest-featurespec_2.12	3.2.15
org.scalatest	scalatest-flatspec_2.12	3.2.15
org.scalatest	scalatest-freespec_2.12	3.2.15
org.scalatest	scalatest-funspec_2.12	3.2.15
org.scalatest	scalatest-funsuite_2.12	3.2.15
org.scalatest	scalatest-matchers-core_2.12	3.2.15
org.scalatest	scalatest-mustmatchers_2.12	3.2.15
org.scalatest	scalatest-propspec_2.12	3.2.15
org.scalatest	scalatest-refspec_2.12	3.2.15
org.scalatest	scalatest-shouldmatchers_2.12	3.2.15
org.scalatest	scalatest-wordspec_2.12	3.2.15
org.scalatest	scalatest_2.12	3.2.15
org.slf4j	jcl-over-slf4j	2.0.7
org.slf4j	jul-to-slf4j	2.0.7
org.slf4j	slf4j-api	2.0.7
org.threeten	threeten-extra	1.7.1
org.tukaani	xz	1.9
org.typelevel	algebra_2.12	2.0.1
org.typelevel	kočky-kernel_2.12	2.1.1
org.typelevel	spire-macros_2.12	0.17.0
org.typelevel	spire-platform_2.12	0.17.0
org.typelevel	spire-util_2.12	0.17.0
org.typelevel	spire_2.12	0.17.0
org.wildfly.openssl	wildfly-openssl	1.1.3.Finální
org.xerial	sqlite-jdbc	3.42.0.0
org.xerial.snappy	snappy-java	1.1.10.3
org.yaml	snakeyaml	2.0
oro	oro	2.0.8
pl.edu.icm	JLargeArrays	1.5
software.amazon.cryptools	AmazonCorrettoCryptoProvider	1.6.1-linux-x86_64
software.amazon.ion	ion-java	1.0.2
Stax	stax-api	1.0.1