Poznámka:
Přístup k této stránce vyžaduje autorizaci. Můžete se zkusit přihlásit nebo změnit adresáře.
Přístup k této stránce vyžaduje autorizaci. Můžete zkusit změnit adresáře.
Následující poznámky k verzi obsahují informace o modulu Databricks Runtime 16.0, který využívá Apache Spark 3.5.0.
Databricks vydala tuto verzi v listopadu 2024.
Poznámka:
Podpora této verze Databricks Runtime skončila. Datum ukončení podpory najdete v tématu Konec podpory a historie ukončení životnosti. Pro všechny podporované verze Databricks Runtime vizte poznámky k vydání Databricks Runtime - verze a kompatibilita.
Změny chování
- Změna způsobující chybu: JDK 17 je teď výchozí
- Zásadní změna: Ukončení životnosti hostované služby RStudio
-
Zásadní změna: Odebrání podpory pro změnu
byte,short,intalongtypy na širší typy - Správné parsování regex vzorů s negací ve vnořeném seskupování znaků
-
Vylepšení detekce duplicitních shod v Delta Lake
MERGE - Metoda instalace knihovny clusteru už nejde přepsat
- Výchozí časový limit dvou hodin pro instalace knihoven v rámci clusteru
-
Instalace knihoven z DBFS a nastavení souboru Spark Conf
spark.databricks.driver.dbfsLibraryInstallationAllowedjsou zakázány. -
Funkce
addArtifact()jsou teď konzistentní napříč typy výpočetních prostředků. - Správně vynucované pravidlo použití 'backticks' pro hlavní identifikátory se speciálními znaky
Změna způsobující chybu: JDK 17 je teď výchozí
Ve verzi Databricks Runtime 16.0 a novější se výchozí verze sady JDK přepne z sady JDK 8 na JDK 17. Tato změna se provádí kvůli plánovanému vyřazení a ukončení podpory sady JDK 8. To má vliv na následující:
- Java kód spuštěný na výpočetních prostředcích Azure Databricks musí být kompatibilní s Java 17.
- Kód Scala spuštěný v poznámkových blocích nebo ve výpočetních prostředcích Azure Databricks musí být kompatibilní s verzí Java 17.
- Java a knihovny Scala nainstalované na výpočetních prostředcích musí být kompatibilní s Java 17.
- Verze klienta metastoru Apache Hive nižší než 2.x Nastavení konfigurace Sparku
spark.sql.hive.metastore.versionna verzi nižší než 2.x způsobí problémy s kompatibilitou s Java 17 a selháním připojení k metastoru Hive. Databricks doporučuje upgradovat Hive na verzi vyšší než 2.0.0.
Pokud se potřebujete vrátit k Java 8, při konfiguraci Azure Databricks výpočetních prostředků přidejte do proměnných prostředí Sparku následující:
JNAME=zulu8-ca-amd64
Pokud používáte instance ARM, použijte následující:
JNAME=zulu8-ca-arm64
Další informace o zadávání verzí sady JDK pomocí Azure Databricks výpočetních prostředků najdete v tématu Vytvoření clusteru s konkrétní verzí sady JDK.
Nápovědu k migraci kódu z Java 8 najdete v následujících příručkách:
Zásadní změna: Hostované RStudio již není podporováno
V této verzi je RStudio Server hostovaný Databricksem ukončen a není dostupný v žádném pracovním prostoru Azure Databricks, kde běží Databricks Runtime 16.0 a novější. Další informace a zobrazení seznamu alternativ k RStudio najdete v tématu Připojení k RStudio Serveru hostovaného v Databricks.
Zásadní změna: Odebrání podpory pro změnu byte, short, int a long typů na širší typy
Ve službě Databricks Runtime 15.4.3 a novějších už nelze u tabulek s povolenou funkcí rozšíření typu použít následující změny datového typu:
-
byte,shortintalongdodecimal. -
byte,shortaintdodouble.
Tato změna zajišťuje konzistentní chování tabulek Delta a Apache Iceberg. Další informace o rozšíření typu najdete v tématu Rozšíření typu.
Správné parsování vzorů regulárních výrazů s negací ve vnořeném seskupování znaků
Tato verze obsahuje změnu, která podporuje správnou analýzu vzorů regulárních výrazů s negací ve vnořených seskupeních znaků. Bude například [^[abc]] analyzován jako "libovolný znak, který není jedním z "abc".
Kromě toho chování Photon bylo nekonzistentní se Sparkem pro vnořené třídy znaků. Vzory regulárních výrazů obsahující vnořené třídy znaků už nebudou používat Photon a místo toho budou používat Spark. Vnořená třída znaků je libovolný vzor obsahující hranaté závorky v hranatých závorkách, například [[a-c][1-3]].
Vylepšení detekce duplicitní shody v Delta Lake MERGE
V Databricks Runtime 15.4 LTS a níže operace selžou, MERGE pokud více než jeden řádek ve zdrojové tabulce odpovídá stejnému řádku v cílové tabulce na MERGE základě podmínky zadané v ON klauzuli. Ve službě Databricks Runtime 16.0 a vyšší MERGE také zohledňuje podmínky uvedené v příkazu WHEN MATCHED. Viz Upsert do tabulky Delta Lake pomocí sloučení.
Metoda instalace knihovny clusteru už nejde přepsat
Konfigurace Sparku spark.databricks.libraries.enableSparkPyPI, spark.databricks.libraries.enableMavenResolution a spark.databricks.libraries.enableCRANResolutionnow jsou nyní v nastavení výchozího true a nelze je přepsat.
Výchozí časový limit dvou hodin pro instalace knihoven v rámci clusteru
Ve verzích Databricks Runtime 16.0 a novějších má instalace knihovny v rámci clusteru výchozí časový limit dvě hodiny. Instalace knihovny, které trvá déle, než tento časový limit, selžou a instalace se ukončí. Při konfiguraci clusteru můžete změnit období časového limitu pomocí konfigurace spark.databricks.driver.clusterLibraryInstallationTimeoutSecSparku .
Instalace knihoven z DBFS a nastavení souboru Spark Conf spark.databricks.driver.dbfsLibraryInstallationAllowed jsou zakázány.
V Databricks Runtime 16.0 a novějších je instalace knihoven z DBFS plně zakázaná. Tato změna se provádí, aby se zlepšilo zabezpečení knihoven v pracovním prostoru Databricks. Kromě toho v Databricks Runtime 16.0 a novějších už nemůžete použít konfiguraci spark.databricks.driver.dbfsLibraryInstallationAllowedSparku .
Funkce addArtifact() jsou teď konzistentní napříč typy výpočetních prostředků.
V této verzi se soubor automaticky rozbalí při použití addArtifact(archive = True) k přidání závislosti na sdílené nebo bezserverové výpočetní prostředky Azure Databricks. Tato změna dělá addArtifact(archive = True) chování u těchto typů výpočetních prostředků konzistentní s vyhrazenými výpočetními prostředky (dříve výpočetní prostředky s jedním uživatelem), které už podporují automatické rozbalení archivů.
Pravidlo pro použití backticks správně vynucováno u hlavních identifikátorů se speciálními znaky
V této verzi se hlavní identifikátory se speciálními znaky v GRANT, DENY a REVOKE nyní vyvolají chybu, pokud nejsou uzavřeny v záložkách.
Nové funkce a vylepšení
-
Spolehlivější opětovné načítání upravených modulů Python s vylepšeními
autoreload - Podpora Avro pro rekurzivní schéma
- funkce to_avro a from_avro
- Rozšířená podpora pro Confluent Schema Registry pro Avro
- Přeclustrovat tabulky s použitím liquid clusteringu
- Delta rozhraní API pro Python a Scala teď podporují sloupce identity
- jemně odstupňované řízení přístupu u vyhrazených výpočetních prostředků (dříve výpočetních prostředků jednoho uživatele) je obecně dostupné
- Vytváření skupinových tabulek s kapalinou během zápisů streamování
- OPTIMIZE klauzule FULL
- Podpora specifikace možností WITH v INSERT a odkazu na tabulku
- Nové funkce SQL
- Povolení automatického vývoje schématu při slučování dat do tabulky Delta
Spolehlivější opětovné načítání upravených modulů Python s vylepšeními autoreload
V Databricks Runtime 16.0 a novějších aktualizacích rozšíření autoreload zlepšuje bezpečnost a spolehlivost opětovného načítání upravených modulů Python importovaných ze souborů pracovního prostoru. Pokud je to možné, autoreloadpři těchto změnách se znovu načte pouze část modulu, která se změnila místo celého modulu. Kromě toho teď Azure Databricks automaticky navrhne použití rozšíření autoreload, pokud se modul od posledního importu změnil. Vizte Autoreload pro moduly Python.
Podpora Avro pro rekurzivní schéma
Teď můžete použít recursiveFieldMaxDepth možnost s from_avro funkcí a avro zdrojem dat. Tato možnost nastaví maximální hloubku rekurze schématu ve zdroji dat Avro. Viz Čtení a zápis streamovaných Avro dat.
funkce to_avro a from_avro
Funkce to_avro a from_avro umožňují převod typů SQL na binární data Avro a zpět.
Rozšířená podpora pro Confluent Schema Registry pro Avro
Azure Databricks nyní podporuje referenci schématu Avro s registrem schémat Confluent. Viz Ověřte se do externího Confluent Schema Registry.
Vynucení přeskupení tabulek pomocí liquid clusteringu
V Databricks Runtime 16.0 a novějších můžete pomocí OPTIMIZE FULL syntaxe vynutit reklustrování všech záznamů v tabulce s povoleným tekutým klastrováním. Viz Nucené opětovné seskupení.
Rozhraní Delta API pro Python a Scala teď podporují sloupce identit.
K vytváření tabulek se sloupci identit teď můžete použít rozhraní Delta API pro Python a Scala. Viz sloupce Identita.
Podrobné řízení přístupu u vyhrazených výpočetních prostředků (dříve výpočetních prostředků s jedním uživatelem) je obecně dostupné.
Ve službě Databricks Runtime 16.0 a novějších je obecně dostupné podrobné řízení přístupu pro vyhrazené výpočetní prostředky. V pracovních prostorech povolených pro bezserverové výpočetní prostředky platí, že pokud je dotaz spuštěný na podporovaných výpočetních prostředcích, jako je vyhrazený výpočetní výkon, a dotaz přistupuje k některému z následujících objektů, předá výpočetní prostředek dotaz do bezserverového výpočetního prostředí, aby bylo možné spouštět filtrování dat:
- Zobrazení definovaná v tabulkách, u kterých uživatel nemá
SELECToprávnění. - Dynamická zobrazení
- Tabulky s použitými filtry řádků nebo maskami sloupců
- Materializovaná zobrazení a streamované tabulky
Vytvořte tekuté klastrované tabulky během zápisů streamování
Nyní můžete použít clusterBy k povolení clusteringu liquid při vytváření nových tabulek se zápisy strukturovaného streamování. Podívejte se na Povolení liquid clusteringu.
Podpora klauzule OPTIMIZE FULL
Databricks Runtime 16.0 podporuje klauzuli OPTIMIZE FULL. Tato klauzule optimalizuje všechny záznamy v tabulce, která používá tekuté seskupování; včetně dat, která mohla být dříve seskupována.
Podpora specifikace možností WITH v INSERT a odkazu na tabulku
Databricks Runtime 16.0 podporuje specifikaci možností pro odkazy na tabulky a názvy tabulek v rámci příkazu, kterou lze použít k řízení chování zdrojů dat.
Nové funkce SQL
V Databricks Runtime 16.0 se přidávají následující funkce SQL:
-
Tato funkce je verze url_decode s odolností proti chybám. Tato funkce vrátí
NULL, pokud vstup není platný řetězec kódovaný adresou URL. -
Pokud je
zeroifnull()vstupní výraz funkceNULL, vrátí funkce hodnotu 0. V opačném případě se vrátí hodnota vstupního výrazu. -
Vrátí
NULL, pokud je vstup 0, nebo vrátí vstup, pokud není 0. Pokud je vstupní výraz funkcenullifzero()0, vrátíNULLfunkce . Pokud vstupní výraz není 0, vrátí se hodnota vstupního výrazu.
Povolení automatického vývoje schématu při slučování dat do tabulky Delta
Tato verze přidává podporu pro withSchemaEvolution() člena DeltaMergeBuilder třídy. Slouží withSchemaEvolution() k povolení automatického vývoje schématu během MERGE operací. Například mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}.
Další změny
SparkR je teď zastaralý.
Ve službě Databricks Runtime 16.0 a novějších je SparkR v Databricks vyřazený v přípravě na vyřazení v nadcházející verzi Sparku 4. Podívejte se na vlákno Deprecate SparkR Apache Spark.
Databricks místo toho doporučuje používat sparklyr .
Databricks Runtime 16.0 se nepodporuje s PVC
Databricks Runtime 16.0 nepodporuje privátní virtuální cloud Databricks (PVC). Musíte použít Databricks Runtime 15.4 nebo novější se všemi verzemi PVC.
Opravy chyb
Auto Loader teď zachraňuje typy záznamů Avro s prázdnými schématy.
Při načítání souboru Avro do tabulky Delta pomocí Auto Loader se typy v souboru s prázdným schématem přidají do sloupce zachráněných dat. Protože nemůžete ingestovat prázdné složité datové typy do tabulky Delta, vyřeší se tím problém s načtením některých souborů Avro. Další informace o zachráněných datech najdete v tématu Co je záchranný sloupec dat?
Oprava chyby při zápisu časových razítek s časovými pásmy obsahujícími offset v sekundách.
Tato verze opravuje chybu, která má vliv na některá časová razítka v časových pásmech obsahujících sekundový offset. Tato chyba způsobí vynechání sekund při zápisu do formátu JSON, XML nebo CSV, což vede k nesprávným hodnotám časového razítka.
Chcete-li se vrátit k předchozímu chování, použijte následující možnost při zápisu do některého z ovlivněných formátů: .option("yyyy-MM-dd'T'HH:mm:ss[.SSS][XXX]").
Upgrady knihoven
- Upgradované knihovny Python:
- Azure-Core od 1.30.2 do 1.31.0
- azure-storage-blob od 12.19.1 do 12.23.0
- azure-storage-file-datalake od verze 12.14.0 do verze 12.17.0
- černá od 23.3.0 do 24.4.2
- blinker od 1.4 do 1.7.0
- boto3 od 1.34.39 do 1.34.69
- botocore od 1.34.39 do 1.34.69
- certifikát od 22.07.2023 do 02.06.2024
- cffi od 1.15.1 do 1.16.0
- klikněte z 8.0.4 na 8.1.7
- comm od 0.1.2 do 0.2.1
- contourpy z verze 1.0.5 na verzi 1.2.0
- kryptografie od 41.0.3 do 42.0.5
- Cython od 0.29.32 do 3.0.11
- databricks-sdk od 0.20.0 do 0.30.0
- dbus-python od 1.2.18 do 1.3.2
- filelock od 3.13.4 do 3.15.4
- fonttools od 4.25.0 do 4.51.0
- GitPython od 3.1.43 do 3.1.37
- google-api-core od 2.18.0 do 2.20.0
- google-auth od 2.31.0 do 2.35.0
- google-cloud-storage od 2.17.0 do 2.18.2
- google-crc32c od 1.5.0 do 1.6.0
- google-resumable-media: aktualizace z verze 2.7.1 na 2.7.2
- googleapis-common-protos od 1.63.2 do 1.65.0
- httplib2 od 0.20.2 do 0.20.4
- idna od 3.4 do 3.7
- ipykernel od 6.25.1 do 6.28.0
- ipython od 8.15.0 do 8.25.0
- jedi od 0.18.1 do 0.19.1
- jmespath od 0.10.0 do 1.0.1
- joblib od 1.2.0 do 1.4.2
- jupyter_client od 7.4.9 do 8.6.0
- jupyter_core od 5.3.0 do 5.7.2
- launchpadlib od 1.10.16 do 1.11.0
- lazr.restfulclient od 0.14.4 do 0.14.6
- matplotlib od 3.7.2 do 3.8.4
- mlflow-skinny od 2.11.4 do 2.15.1
- more-itertools od verze 8.10.0 do verze 10.3.0
- rozšíření mypy-extensions z verze 0.4.3 na verzi 1.0.0
- nest-asyncio od 1.5.6 do 1.6.0
- numpy od 1.23.5 do 1.26.4
- oauthlib od 3.2.0 do 3.2.2
- balení od 23.2 do 24.1
- patsy od 0.5.3 do 0.5.6
- pip od 23.2.1 do 24.2
- vykreslit od 5.9.0 do 5.22.0
- prompt-toolkit od 3.0.36 do 3.0.43
- pyarrow od 14.0.1 do 15.0.2
- pydantic od 1.10.6 do 2.8.2
- PyGObject od 3.42.1 do 3.48.2
- PyJWT od 2.3.0 do 2.7.0
- pyodbc od 4.0.38 do 5.0.1
- python-dateutil od 2.8.2 do 2.9.0.post0
- python-lsp-jsonrpc od 1.1.1 do 1.1.2
- pytz od 2022.7 do 2024.1
- PyYAML od 6.0 do 6.0.1
- pyzmq od 23.2.0 do 25.1.2
- žádosti od 2.31.0 do 2.32.2
- scikit-learn od 1.3.0 do 1.4.2
- scipy od 1.11.1 do 1.13.1
- seaborn od 0.12.2 do 0.13.2
- instalační nástroje od 68.0.0 do 74.0.0
- smmap z verze 5.0.1 na verzi 5.0.0
- sqlparse od 0.5.0 do 0.5.1
- statsmodels od 0.14.0 do 0.14.2
- tornado od 6.3.2 do 6.4.1
- vlastnosti od 5.7.1 do 5.14.3
- typing_extensions od 4.10.0 do 4.11.0
- ujson od 5.4.0 do 5.10.0
- virtualenv od 20.24.2 do 20.26.2
- kolo od 0.38.4 do 0.43.0
- zip od 3.11.0 do 3.17.0
- Upgradované knihovny jazyka R:
- šipka od 14.0.0.2 do 16.1.0
- zpětné portace z verze 1.4.1 do verze 1.5.0
- od 4.3.2 do 4.4.0
- bitops od 1.0-7 do 1.0-8
- Spustit z 1.3-28 na 1.3-30
- brio od 1.1.4 do 1.1.5
- broom z verze 1.0.5 na verzi 1.0.6
- bslib od 0.6.1 do 0.8.0
- Aktualizace cachem z verze 1.0.8 na 1.1.0
- volající od 3.7.3 do 3.7.6
- cli od 3.6.2 do 3.6.3
- hodiny od 0.7.0 do 0.7.1
- cluster od 2.1.4 do 2.1.6
- codetools z verze 0.2-19 na verzi 0.2-20
- barevný prostor od 2.1-0 do 2.1-1
- kompilátor z verze 4.3.2 do 4.4.0
- crayon od 1.5.2 do 1.5.3
- curl od 5.2.0 do 5.2.1
- data.table od 1.15.0 do 1.15.4
- datové sady od 4.3.2 do 4.4.0
- DBI od 1.2.1 do 1.2.3
- dbplyr od 2.4.0 do 2.5.0
- Digest: verze 0.6.34 až 0.6.36
- downlit od 0.4.3 do 0.4.4
- vyhodnotit v rozsahu od 0.23 do 0.24.0
- farver od 2.1.1 do 2.1.2
- fastmap od 1.1.1 do 1.2.0
- cizí od 0.8-85 do 0.8-86
- fs od 1.6.3 do 1.6.4
- aktualizace z 1.33.1 na 1.34.0
- aktualizace future.apply z verze 1.11.1 na 1.11.2
- gert od 2.0.1 do 2.1.0
- ggplot2 od 3.4.4 do 3.5.1
- gh od 1.4.0 do 1.4.1
- aktualizace verzí globals z 0.16.2 na 0.16.3
- grafika od 4.3.2 do 4.4.0
- grDevices od 4.3.2 do 4.4.0
- Grid od 4.3.2 do 4.4.0
- přechod od verze 0.10.1 na 0.11.0
- gtable od 0.3.4 do 0.3.5
- hardhat od 1.3.1 do 1.4.0
- vysoký od 0,10 do 0,11
- htmltools od 0.5.7 do 0.5.8.1
- httpuv od 1.6.14 do 1.6.15
- httr2 od 1.0.0 do 1.0.2
- ipred z 0.9-14 do 0.9-15
- KernSmooth od 2.23-21 do 2.23-22
- knitr od 1.45 do 1.48
- lattice od 0.21-8 do 0.22-5
- lava od verze 1.7.3 do verze 1.8.0
- markdown od 1.12 do 1.13
- HMOTNOST od 7.3-60 do 7.3-60.0.1
- Matice od 1,5-4.1 do 1,6-5
- metody od 4.3.2 do 4.4.0
- mgcv od 1,8-42 do 1,9-1
- mlflow od 2.10.0 do 2.14.1
- munsell od 0.5.0 do 0.5.1
- nlme od 3.1-163 do 3.1-165
- openssl od 2.1.1 do 2.2.0
- paralelně od 4.3.2 do 4.4.0
- paralelně od 1.36.0 do 1.38.0
- pkgbuild od 1.4.3 do 1.4.4
- pkgdown od 2.0.7 do 2.1.0
- pkgload od 1.3.4 do 1.4.0
- processx z verze 3.8.3 na verzi 3.8.4
- prodlim od 2023.08.28 do 2024.06.25
- sliby od 1.2.1 do 1.3.0
- ps od 1.7.6 do 1.7.7
- Aktualizace ragg z verze 1.2.7 na 1.3.2
- Rcpp od 1.0.12 do 1.0.13
- RcppEigen od 0.3.3.9.4 do 0.3.4.0.0
- reactR od 0.5.0 do 0.6.0
- recepty od 1.0.9 do 1.1.0
- vzdáleně od 2.4.2.1 do 2.5.0
- reprex z verze 2.1.0 na verzi 2.1.1
- rlang od 1.1.3 do 1.1.4
- rmarkdown od 2.25 do 2.27
- roxygen2 od 7.3.1 do 7.3.2
- rpart od 4.1.21 do 4.1.23
- RSQLite od 2.3.5 do 2.3.7
- rstudioapi od 0.15.0 do 0.16.0
- rvest od 1.0.3 do 1.0.4
- sass od 0.4.8 do 0.4.9
- tvar od 1.4.6 do 1.4.6.1
- lesklý od 1.8.0 do 1.9.1
- sparklyr od 1.8.4 do 1.8.6
- prostorová od 7.3-15 do 7.3-17
- Spliny od 4.3.2 do 4.4.0
- Statistiky od 4.3.2 do 4.4.0
- stats4 z verze 4.3.2 na 4.4.0
- stringi od 1.8.3 do 1.8.4
- přežití z 3,5-5 na 3,6-4
- swagger od 3.33.1 do 5.17.14.1
- systemfonts od 1.0.5 do 1.1.0
- tcltk od 4.3.2 do 4.4.0
- testthat z verze 3.2.1 na verzi 3.2.1.1
- aktualizace textshaping z verze 0.3.7 na verzi 0.4.0
- tidyselect od 1.2.0 do 1.2.1
- tinytex od 0,49 do 0,52
- nástroje od 4.3.2 do 4.4.0
- usethis od 2.2.2 do 3.0.0
- nástroje od 4.3.2 do 4.4.0
- uuid od 1.2-0 do 1.2-1
- V8 od 4.4.1 do 4.4.2
- withr od 3.0.0 do 3.0.1
- xfun od 0.41 do 0.46
- xopen od 1.0.0 do 1.0.1
- yaml od 2.3.8 do 2.3.10
- Upgradované knihovny Java:
- com.amazonaws.aws-java-sdk-autoscaling z verze 1.12.610 na verzi 1.12.638
- com.amazonaws.aws-java-sdk-cloudformation od 1.12.610 do 1.12.638
- com.amazonaws.aws-java-sdk-cloudfront od 1.12.610 do 1.12.638
- com.amazonaws.aws-java-sdk-cloudhsm od 1.12.610 do 1.12.638
- com.amazonaws.aws-java-sdk-cloudsearch od 1.12.610 do 1.12.638
- com.amazonaws.aws-java-sdk-cloudtrail od 1.12.610 do 1.12.638
- com.amazonaws.aws-java-sdk-cloudwatch od 1.12.610 do 1.12.638
- com.amazonaws.aws-java-sdk-cloudwatchmetrics od 1.12.610 na 1.12.638
- com.amazonaws.aws-java-sdk-codedeploy od 1.12.610 do 1.12.638
- com.amazonaws.aws-java-sdk-cognitoidentity od 1.12.610 do 1.12.638
- com.amazonaws.aws-java-sdk-cognitosync od 1.12.610 do 1.12.638
- com.amazonaws.aws-java-sdk-config od 1.12.610 do 1.12.638
- com.amazonaws.aws-java-sdk-core od 1.12.610 do 1.12.638
- com.amazonaws.aws-java-sdk-datapipeline od 1.12.610 do 1.12.638
- com.amazonaws.aws-java-sdk-directconnect od 1.12.610 do 1.12.638
- com.amazonaws.aws-java-sdk-directory od 1.12.610 do 1.12.638
- com.amazonaws.aws-java-sdk-dynamodb od 1.12.610 do 1.12.638
- com.amazonaws.aws-java-sdk-ec2 od 1.12.610 do 1.12.638
- com.amazonaws.aws-java-sdk-ecs od 1.12.610 do 1.12.638
- com.amazonaws.aws-java-sdk-efs od 1.12.610 do 1.12.638
- com.amazonaws.aws-java-sdk-elasticache od 1.12.610 do 1.12.638
- com.amazonaws.aws-java-sdk-elasticbeanstalk od 1.12.610 do 1.12.638
- com.amazonaws.aws-java-sdk-elasticloadbalancing od 1.12.610 do 1.12.638
- com.amazonaws.aws-java-sdk-elastictranscoder od 1.12.610 do 1.12.638
- com.amazonaws.aws-java-sdk-emr od 1.12.610 do 1.12.638
- com.amazonaws.aws-java-sdk-glacier od 1.12.610 do 1.12.638
- com.amazonaws.aws-java-sdk-glue od 1.12.610 do 1.12.638
- com.amazonaws.aws-java-sdk-iam od 1.12.610 do 1.12.638
- com.amazonaws.aws-java-sdk-importexport od 1.12.610 do 1.12.638
- com.amazonaws.aws-java-sdk-kinesis od 1.12.610 do 1.12.638
- com.amazonaws.aws-java-sdk-kms od 1.12.610 do 1.12.638
- com.amazonaws.aws-java-sdk-lambda od 1.12.610 do 1.12.638
- com.amazonaws.aws-java-sdk-logs od 1.12.610 do 1.12.638
- com.amazonaws.aws-java-sdk-machinelearning od 1.12.610 do 1.12.638
- com.amazonaws.aws-java-sdk-opsworks od 1.12.610 do 1.12.638
- com.amazonaws.aws-java-sdk-rds od 1.12.610 do 1.12.638
- com.amazonaws.aws-java-sdk-redshift od 1.12.610 do 1.12.638
- com.amazonaws.aws-java-sdk-route53 od 1.12.610 do 1.12.638
- com.amazonaws.aws-java-sdk-s3 od 1.12.610 do 1.12.638
- com.amazonaws.aws-java-sdk-ses od 1.12.610 do 1.12.638
- com.amazonaws.aws-java-sdk-simpledb od 1.12.610 do 1.12.638
- com.amazonaws.aws-java-sdk-simpleworkflow od 1.12.610 do 1.12.638
- com.amazonaws.aws-java-sdk-sns od 1.12.610 do 1.12.638
- com.amazonaws.aws-java-sdk-sqs od 1.12.610 do 1.12.638
- com.amazonaws.aws-java-sdk-ssm od 1.12.610 do 1.12.638
- com.amazonaws.aws-java-sdk-storagegateway od 1.12.610 do 1.12.638
- com.amazonaws.aws-java-sdk-sts od 1.12.610 do 1.12.638
- com.amazonaws.aws-java-sdk-support od 1.12.610 do 1.12.638
- com.amazonaws.aws-java-sdk-workspaces od 1.12.610 do 1.12.638
- com.amazonaws.jmespath-java od 1.12.610 do 1.12.638
- com.google.protobuf.protobuf-java od 2.6.1 do 3.25.1
- io.airlift.aircompressor od 0.25 do 0.27
- io.delta.delta-sharing-client_2.12 od 1.1.3 do 1.2.0
- io.netty.netty-all od 4.1.96.Final do 4.1.108.Final
- io.netty.netty-buffer od 4.1.96.Final do 4.1.108.Final
- io.netty.netty-codec od 4.1.96.Final do 4.1.108.Final
- io.netty.netty-codec-http od 4.1.96.Final do 4.1.108.Final
- io.netty.netty-codec-http2 od 4.1.96.Final do 4.1.108.Final
- io.netty.netty-codec-socks from 4.1.96.Final až 4.1.108.Final
- io.netty.netty-common od 4.1.96.Final do 4.1.108.Final
- io.netty.netty-handler od 4.1.96.Final do 4.1.108.Final
- io.netty.netty-handler-proxy z verze 4.1.96.Final na 4.1.108.Final
- io.netty.netty-resolver od 4.1.96.Final do 4.1.108.Final
- io.netty.netty-transport od 4.1.96.Final do 4.1.108.Final
- io.netty.netty-transport-classes-epoll od 4.1.96.Final do 4.1.108.Final
- io.netty.netty-transport-classes-kqueue od 4.1.96.Final do 4.1.108.Final
- io.netty.netty-transport-native-epoll od 4.1.96.Final-linux-x86_64 do 4.1.108.Final-linux-x86_64
- io.netty.netty-transport-native-kqueue od 4.1.96.Final-osx-x86_64 do 4.1.108.Final-osx-x86_64
- io.netty.netty-transport-native-unix-common od 4.1.96.Final do 4.1.108.Final
- org.apache.ivy.ivy od 2.5.1 do 2.5.2
- org.apache.zookeeper.zookeeper od 3.6.3 do 3.9.2
- org.apache.zookeeper.zookeeper-jute od 3.6.3 do 3.9.2
- org.rocksdb.rocksdbjni od 8.11.4 do 9.2.1
- org.scalactic.scalactic_2.12 od 3.2.15 do 3.2.16
- org.scalatest.scalatest-compatible z verze 3.2.15 na 3.2.16
- org.scalatest.scalatest-core_2.12 od 3.2.15 do 3.2.16
- org.scalatest.scalatest-diagrams_2.12 od 3.2.15 do 3.2.16
- org.scalatest.scalatest-featurespec_2.12 od 3.2.15 do 3.2.16
- org.scalatest.scalatest-flatspec_2.12 od 3.2.15 do 3.2.16
- org.scalatest.scalatest-freespec_2.12 od 3.2.15 do 3.2.16
- org.scalatest.scalatest-funspec_2.12 od 3.2.15 do 3.2.16
- org.scalatest.scalatest-funsuite_2.12 od 3.2.15 do 3.2.16
- org.scalatest.scalatest-matchers-core_2.12 od 3.2.15 do 3.2.16
- org.scalatest.scalatest-mustmatchers_2.12 od 3.2.15 do 3.2.16
- org.scalatest.scalatest-propspec_2.12 od 3.2.15 do 3.2.16
- org.scalatest.scalatest-refspec_2.12 od 3.2.15 do 3.2.16
- org.scalatest.scalatest-shouldmatchers_2.12 od 3.2.15 do 3.2.16
- org.scalatest.scalatest-wordspec_2.12 od 3.2.15 do 3.2.16
- org.scalatest.scalatest_2.12 od 3.2.15 do 3.2.16
Apache Spark
Databricks Runtime 16.0 zahrnuje Apache Spark 3.5.0. Tato verze zahrnuje všechny opravy a vylepšení Sparku, která jsou součástí Databricks Runtime 15.4 LTS, a také následující další opravy chyb a vylepšení Sparku:
- [SPARK-49093] [DBRRM-1371] Vrátit "[SC-172958][sql] GROUP BY with MapType nes...
- [SPARK-49898] [DBRRM-1282][sc-178410] Oprava dokumentace a výchozí nastavení pro příznak protokolování metrik úloh protokolu událostí ze spark-42204
- [SPARK-49743] [ES-1260022][chování-157][SC-177475][sql] OptimizeCsvJsonExpr by neměl měnit pole schématu při ořezávání GetArrayStructFields.
- [SPARK-49816] [SC-177896][sql] Měl by aktualizovat pouze odchozí ref-count pro odkazovanou vnější relaci CTE.
- [SPARK-48939] [SC-177022][sc-172766][AVRO] Podpora čtení Avro s odkazem na rekurzivní schéma
- [SPARK-49688] [SC-177468][es-1242349][CONNECT] Oprava datového závodu mezi přerušením a plánem spuštění
- [SPARK-49771] [SC-177466][python] Zlepšit chybové hlášení skalární UDF Pandas iteru při překročení výstupních řádků nad vstupní řádky
- [SPARK-48866] [SC-170772][sql] Oprava návrhů platné znakové sady v chybové zprávě INVALID_PARAMETER_VALUE.CHARSET
- [SPARK-48195] [FIXFORWARD][sc-177267][CORE] Uložení a opakované použití RDD/Broadcastu vytvořeného SparkPlanem
- [SPARK-49585] [CONNECT] Nahrazení mapování spuštění v objektu SessionHolder nastavením operationID
- [SPARK-49211] [SC-174257][sql] Katalog V2 může také podporovat integrované zdroje dat.
- [SPARK-49684] Minimalizace životnosti zámku obnovení relace
- [SPARK-48059] [SPARK-48145][spark-48134][SPARK-48182][spark-48209][SPARK-48291] Framework strukturovaného logování na straně Java
- [SPARK-48857] [SC-170661][sql] Omezení znakových sad v souborech CSVOptions
- [SPARK-49152] [SC-173690][sql] V2SessionCatalog by měl používat V2Command.
- [SPARK-42846] [SC-176588][sql] Odstranit chybový stav _LEGACY_ERROR_TEMP_2011
- [SPARK-48195] [SC-177267][jádro] Uložte a znovu použijte RDD/Broadcast vytvořené SparkPlanem
- [SPARK-49630] [SC-177379][ss] Přidání možnosti zploštění pro zpracování kolekčních typů pomocí čtečky zdroje dat stavu
- [SPARK-49699] [SC-177154][ss] Zákaz funkce PruneFilters pro úlohy streamování
- [SPARK-48781] [SC-175282][sql] Přidání rozhraní API katalogu pro načítání uložených procedur
- [SPARK-49667] [SC-177068][sql] Zakázat CS_AI kolatory s výrazy, které používají StringSearch
- [SPARK-49737] [SC-177207][sql] Zakázat bucketizaci na sloupce s kolací v komplexních typech
- [SPARK-48712] [SC-169794][sql] Vylepšení výkonu pro kódování s prázdnými hodnotami nebo znakovou sadou UTF-8
- [SPARK-49038] [SC-173933][sql] SQLMetric by měl hlásit nezpracovanou hodnotu v události aktualizace akumulátoru.
- [SPARK-48541] [SC-169066][core] Přidání nového ukončovacího kódu pro exekutory, které zabil TaskReaper
- [SPARK-48774] [SC-170138][sql] Použití SparkSession v SQLImplicits
-
[SPARK-49719] [SC-177139][sql] Vytvořit
UUIDaSHUFFLEpřijmout celé čísloseed -
[SPARK-49713] [SC-177135][python][CONNECT] Upravte funkci tak, aby
count_min_sketchpřijímala číselné argumenty - [SPARK-47601] [SC-162499][graphx] Graphx: Migrace protokolů s proměnnými do architektury strukturovaného protokolování
- [SPARK-49738] [SC-177219][sql] Konec opravy chyb
- [SPARK-48623] [SC-170822][jádro] Migrace strukturovaného protokolování [Část 3]
- [SPARK-49677] [SC-177148][ss] Ujistěte se, že soubory protokolu změn jsou zapsány při potvrzení a příznak forceSnapshot se také resetuje.
- [SPARK-49684] [SC-177040][connect] Odebrání globálních zámků z správců relací a spouštění
- [SPARK-48302] [SC-168814][python] Zachování hodnot null ve sloupcích mapy v tabulkách PyArrow
- [SPARK-48601] [SC-169025][sql] Poskytněte uživatelsky přívětivější chybovou zprávu při nastavení hodnoty null pro možnost JDBC.
- [SPARK-48635] [SC-169263][sql] Přiřadit třídy chybám typu spojení a chybě spojení as-of
- [SPARK-49673] [SC-177032][connect] Zvyšte CONNECT_GRPC_ARROW_MAX_BATCH_SIZE na 0,7 * CONNECT_GRPC_MAX_MESSAGE_SIZE
-
[SPARK-49693] [SC-177071][python][CONNECT] Upřesněte řetězcovou reprezentaci
timedelta -
[SPARK-49687] [SC-176901][sql] Zpoždění řazení
validateAndMaybeEvolveStateSchema -
[SPARK-49718] [SC-177112][ps] Přepnutí
Scattergrafu na vzorkovaná data - [SPARK-48472] [SC-169044][sql] Povolení výrazů reflect s kolacionovanými řetězci
- [SPARK-48484] [SC-167484][sql] Oprava: V2Write použijte stejný TaskAttemptId pro různé pokusy o úkol.
- [SPARK-48341] [SC-166560][connect] Povolit modulům plug-in v testech používat QueryTest
-
[SPARK-42252] [SC-168723][core] Přidání
spark.shuffle.localDisk.file.output.buffera vyřazeníspark.shuffle.unsafe.file.output.buffer - [SPARK-48314] [SC-166565][ss] Nepoužívejte soubory dvojité mezipaměti pro FileStreamSource pomocí Trigger.AvailableNow.
-
[SPARK-49567] [SC-176241][python] Použijte
classicmísto základuvanillakódu PySpark. - [SPARK-48374] [SC-167596][python] Podpora dalších typů sloupců PyArrow Table
-
[SPARK-48300] [SC-166481][sql] Podpora Codegen pro
from_xml - [SPARK-49412] [SC-177059][ps] Výpočet všech metrik krabicového grafu v jedné úloze
- [SPARK-49692] [SC-177031][python][CONNECT] Upřesněte řetězcovou reprezentaci literálového data a data a času.
- [SPARK-49392] [ES-1130351][sc-176705][SQL] Chyby zachycení při selhání zápisu do externího zdroje dat
- [SPARK-48306] [SC-166241][sql] Vylepšení UDT v chybové zprávě
- [SPARK-44924] [SC-166379][ss] Přidání konfigurace pro soubory uložené v mezipaměti FileStreamSource
- [SPARK-48176] [SC-165644][sql] Upravit název FIELD_ALREADY_EXISTS chybového stavu
-
[SPARK-49691] [SC-176988][python][CONNECT] Funkce
substringby měla přijímat názvy sloupců. - [SPARK-49502] [SC-176077][core] Vyhněte se NPE ve SparkEnv.get.shuffleManager.unregisterShuffle
- [SPARK-49244] [SC-176703][sql] Další vylepšení výjimek pro analyzátor/interpret
- [SPARK-48355] [SC-176684][sql] Podpora příkazu CASE
-
[SPARK-49355] [SC-175121][sql]
levenshteinby měl zkontrolovat, jestlicollationjsou hodnoty všech typů parametrů stejné. -
[SPARK-49640] [SC-176953][ps] Použití vzorkování nádrží v
SampledPlotBase -
[SPARK-49678] [SC-176857][core] Podpora
spark.test.mastervSparkSubmitArguments -
[SPARK-49680] [SC-176856][python] Omezení
Sphinxparalelismu sestavení na 4 ve výchozím nastavení - [SPARK-49396] Vrátit zpět “[SC-176030][sql] Změnit kontrolu nulovatelnosti pro výraz CaseWhen”
- [SPARK-48419] [SC-167443][sql] Skládací šíření nahrazuje skládací sloupec...
- [SPARK-49556] [SC-176757][sql] Přidání syntaxe kanálu SQL pro SELECT operátor
-
[SPARK-49438] [SC-175237][sql] Oprava hezkého názvu výrazu
FromAvro>ToAvro - [SPARK-49659] [SC-1229924][sql] Přidání jasné uživatelské chyby pro skalární poddotazy uvnitř VALUES klauzule
- [SPARK-49646] [SC-176778][sql] oprava dekorrelace poddotazů pro operace sjednocení/sady, když parentOuterReferences obsahuje odkazy, které nejsou zahrnuty v collectedChildOuterReferences
-
[SPARK-49354] [SC-175034][sql]
split_partby měl zkontrolovat, jestlicollationjsou hodnoty všech typů parametrů stejné. - [SPARK-49478] [SC-175914][connect] Zpracování metrik null v ConnectProgressExecutionListener
- [SPARK-48358] [SC-176374][sql] Podpora příkazu REPEAT
- [SPARK-49183] [SC-173680][sql] V2SessionCatalog.createTable by měl respektovat PROP_IS_MANAGED_LOCATION
-
[SPARK-49611] [SC-176791][sql] Zavedení TVF
collations()a odstraněníSHOW COLLATIONSpříkazu - [SPARK-49261] [SC-176589][sql] Nenahrazovat literály v agregačních výrazech výrazy seskupováním
- [SPARK-49099] [SC-173229][sql] CatalogManager.setCurrentNamespace by měl respektovat vlastní katalog relací.
- [SPARK-49594] [SC-176569][ss] Přidání kontroly, jestli byly přidány nebo odebrány rodiny sloupců pro zápis souboru StateSchemaV3
- [SPARK-49578] [SC-176385][sql] Odeberte návrh konfigurace ANSI v CAST_INVALID_INPUT a CAST_OVERFLOW
- [SPARK-48882] [SC-174256][ss] Přiřazení názvů ke třídám chyb souvisejících s režimem výstupu streamování
-
[SPARK-49155] [SC-176506][sql][SS] Použijte vhodnější typ parametru pro konstrukci
GenericArrayData - [SPARK-49519] [SC-176388][sql] Možnosti sloučení tabulek a relací při vytváření FileScanBuilder
- [SPARK-49591] [SC-176587][sql] Přidání sloupce Logický typ do README varianty
-
[SPARK-49596] [SC-176423][sql] Zvýšení výkonu
FormatString - [SPARK-49525] [SC-176044][ss][CONNECT] Menší vylepšení záznamu pro naslouchací komponentu dotazů na straně serveru ListenerBus Listener
-
[SPARK-49583] [SC-176272][sql] Definujte dílčí podmínku
SECONDS_FRACTIONchyby pro neplatný vzor zlomku sekund. - [SPARK-49536] [SC-176242] Zpracování chyby při předběžném načtení záznamu streamovaného zdroje dat v Pythonu
- [SPARK-49443] [SC-176273][sql][PYTHON] Implementujte výraz to_variant_object a výrazy schema_of_variant vypisovat OBJEKT pro variantní objekty.
- [SPARK-49544] [SASP-3990][sc-176557][CONNECT] Nahrazení hrubé synchronizace zámků ve SparkConnectExecutionManager pomocí ConcurrentMap
- [SPARK-49548] [SASP-3990][sc-176556][CONNECT] Nahrazení hrubého zamykání ve SparkConnectSessionManageru pomocí ConcurrentMap
- [SPARK-49551] [SC-176218][ss] Vylepšení protokolu RocksDB pro replayChangelog
-
[SPARK-49595] [SC-176396][connect][SQL] Oprava
DataFrame.unpivot/meltv klientovi Spark Connect Scala - [SPARK-49006] [SC-176162] Implementace mazání pro soubory OperatorStateMetadataV2 a StateSchemaV3
-
[SPARK-49600] [SC-176426][python] Odebrání logiky související s
Python 3.6 and olderztry_simplify_traceback - [SPARK-49303] [SC-176013][ss] Implementace hodnoty TTL pro ValueState v transformWithStateInPandas API
- [SPARK-49191] [SC-176243][ss] Přidání podpory pro čtení proměnných stavu mapování pomocí transformWithState přes čtečku dat ze zdrojů stavu
- [SPARK-49593] [SC-176371][ss] Vyvolá výjimku RocksDB volajícímu při zavření databáze, pokud se zobrazí chyba
-
[SPARK-49334] [SC-174803][sql]
str_to_mapby měl zkontrolovat, jestlicollationjsou hodnoty všech typů parametrů stejné. - [SPARK-42204] [SC-176126][core] Přidání možnosti pro zakázání redundantního protokolování interních akumulátorů TaskMetrics v protokolech událostí
- [SPARK-49575] [SC-176256][ss] Protokolovat uvolnění zámku pouze v případě, že acquiredThreadInfo nemá hodnotu null
- [SPARK-49539] [SC-176250][ss] Aktualizace počátečního identifikátoru interních rodin sloupců na jiný.
- [SPARK-49205] [SC-173853][sql] KeyGroupedPartitioning by měl dědit HashPartitioningLike
- [SPARK-49396] [SC-176030][sql] Změna kontroly použitelnosti výrazu CaseWhen
- [SPARK-49476] [SC-175700][sql] Oprava nullability funkce base64
- [SPARK-47262] [SC-174829][sql] Přiřadit názvy chybovým podmínkám pro konverze parquet
- [SPARK-47247] [SC-158349][sql] Při spojování oddílů s rozloženými spojeními použijte menší cílovou velikost.
- [SPARK-49501] [SC-176166][sql] Oprava dvojitého eskapování umístění tabulky
- [SPARK-49083] [SC-173214][connect] Povolit from_xml a from_json nativně pracovat se schématy JSON
- [SPARK-49043] [SC-174673][sql] Oprava interpretované skupiny cest kódu na mapě obsahující kompletované řetězce
- [SPARK-48986] [SC-172265][connect][SQL] Přidání prostřední reprezentace uzlu ColumnNode
- [SPARK-49326] [SC-176016][ss] Klasifikovat třídu chyb pro chybu uživatelské funkce jímky Foreach
-
[SPARK-48348] [SC-175950][spark-48376][SQL] Zavedení
LEAVEaITERATEpříkazy - [SPARK-49523] [SC-175949][connect] Zvyšte maximální dobu čekání na připojení serveru pro testování.
- [SPARK-49000] [CHOVÁNÍ-105][es-1194747][SQL] Opravit "select count(distinct 1) from t", kde t je prázdná tabulka rozšířením RewriteDistinctAggregates – Databricks Runtime verze 16.x
- [SPARK-49311] [SC-175038][sql] Umožňuje přetypování velkých hodnot intervalu sekund na desetinné místo.
- [SPARK-49200] [SC-173699][sql] Oprava výjimky při řazení typu null bez generování kódu
- [SPARK-49467] [SC-176051][ss] Přidání podpory pro čtečku stavových datových zdrojů a seznam stavů
- [SPARK-47307] [SC-170891][sql] Přidat konfiguraci pro volitelné blokování řetězců base64
- [SPARK-49391] [SC-176032][ps] Box plot vybírá odlehlé hodnoty podle vzdálenosti od hranic.
- [SPARK-49445] [SC-175845][ui] Podpora zobrazení tooltipu v indikátoru průběhu uživatelského rozhraní
- [SPARK-49451] [SC-175702] Povolit duplicitní klíče v parse_json
- [SPARK-49275] [SC-175701][sql] Oprava návratové hodnoty null typu výrazu xpath
- [SPARK-49021] [SC-175578][ss] Přidat podporu pro čtení stavových proměnných hodnot pomocí čtečky stavu zdroje dat transformWithState.
- [SPARK-49474] [CHOVÁNÍ-143][sc-169253][SC-175933][ss] Klasifikovat třídu chyb pro uživatelskou funkci FlatMapGroupsWithState
- [SPARK-49408] [SC-175932][sql] Použijte IndexedSeq v ProjectingInternalRow
-
[SPARK-49509] [SC-175853][core] Použijte
Platform.allocateDirectBuffermístoByteBuffer.allocateDirect - [SPARK-49382] [SC-175013][ps] Zajistěte správné vykreslení krabicového grafu s ohledem na odlehlé body.
- [SPARK-49002] [SC-172846][sql] Konzistentně zpracovávat neplatná umístění v WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY
-
[SPARK-49480] [SC-175699][core] Oprava NullPointerException z
SparkThrowableHelper.isInternalError - [SPARK-49477] [SC-175828][python] Vylepšení chybové zprávy o neplatném návratovém typu u funkce pandas udf
- [SPARK-48693] [SC-169492][sql] Zjednodušení a sjednocení metody toString pro Invoke a StaticInvoke
-
[SPARK-49441] [SC-175716][ml]
StringIndexertřídění polí v exekutorech - [SPARK-49347] [SC-175004][r] Vyřazení SparkR
- [SPARK-49357] [SC-175227][connect][PYTHON] Svisle zkracujte hluboko vnořenou zprávu protobuf.
- [SPARK-41982] [SC-120604][sql] Oddíly typu řetězce by neměly být považovány za číselné typy.
- [SPARK-48776] [SC-170452][behave-72] Oprava formátování časového razítka pro JSON, XML a CSV
- [SPARK-49223] [SC-174800][ml] Zjednodušení StringIndexer.countByValue s integrovanými funkcemi
-
[SPARK-49016] Vrátit zpět "[SC-174663][sql] Obnovit chování, kdy jsou dotazy z nezpracovaných souborů CSV zakázány, pokud zahrnují pouze poškozený sloupec záznamu a přiřadí mu název
_LEGACY_ERROR_TEMP_1285" -
[SPARK-49041] [SC-172392][python][CONNECT] Vyvolá správnou chybu pro
dropDuplicates, když je zadána nesprávná hodnotasubset - [SPARK-49050] [SC-175235] Povolení operátoru deleteIfExists v TWS s rodinami virtuálních sloupců
- [SPARK-49216] [SC-173919][core]Oprava, aby se neprotokoloval kontext zprávy s explicitně vytvořeným záznamem LogEntry při vypnuté konfiguraci strukturovaného protokolování
-
[SPARK-49252] [SC-175596][jádro] Udělat
TaskSetExcludeListaHeathTrackernezávislými - [SPARK-49352] [SC-174971][sql] Vyhněte se redundantní transformaci pole pro identický výraz.
- [SPARK-42307] [SC-173863][sql] Přiřazení názvu chyby _LEGACY_ERROR_TEMP_2232
-
[SPARK-49197] [SC-173732][core] Redigovat výstup v
Spark Commandmodululauncher - [SPARK-48913] [SC-173934][sql] Implementace IndentingXMLStreamWriter
- [SPARK-49306] [SC-175363][python][SQL] Vytvoření aliasů funkce SQL pro zeroifnull a nullifzero
- [SPARK-48344] [SQL] Spouštění skriptů SQL (včetně Spark Connect)
- [SPARK-49402] [SC-175122][python] Oprava integrace Binderu v dokumentaci k PySparku
- [SPARK-49017] [SC-174664][sql] Příkaz Insert selže, když se používá více parametrů
- [SPARK-49318] [SC-174733][sql] Odložení chyby s nízkou prioritou v LCA až do ukončení analýzy kontroly za účelem zlepšení zkušenosti s chybami
-
[SPARK-49016] [SC-174663][sql] Obnovení chování, že dotazy z nezpracovaných souborů CSV nejsou povoleny, pokud zahrnuje pouze poškozený sloupec záznamu a přiřadit tomu název
_LEGACY_ERROR_TEMP_1285 -
[SPARK-49387] [SC-175124][python] Oprava typu nápovědy pro
accuracyvpercentile_approxaapprox_percentile - [SPARK-49131] [SC-174666][ss] TransformWithState by měl správně nastavit implicitní seskupovací klíče i s opožděnými iterátory.
- [SPARK-49301] [SC-174795][ss] Data se šipkami bloků dat předaných pracovnímu procesu Python
- [SPARK-49039] [SC-174651][ui] Obnovit zaškrtávací políčko při načtení metrik exekutoru na záložce Fáze
- [SPARK-48428] [SC-169806][sql]: Oprava IllegalStateException v NestedColumnAliasing
-
[SPARK-49353] [SC-174830][sql] Aktualizace dokumentů souvisejících s
UTF-32kódováním a dekódováním - [SPARK-48613] [SC-170966][sql] SPJ: Podpora automatického náhodného prohazu o jednu stranu + méně spojovacích klíčů než klíče oddílu
- [SPARK-47473] [SC-160450][chování-127][SQL] Oprava problému s přesností převodu časových razítek Postgres INFINITY
- [SPARK-49142] [SC-173658][connect][PYTHON] Následný krok k vrácení změny z Proto na řetězec kvůli výkonovým nákladům.
- [SPARK-49300] [SC-175008][core] Oprava úniku tokenu delegování Hadoop, když tokenRenewalInterval není nastavený.
- [SPARK-49367] [SC-175012][ps] Paralelizace výpočtu KDE na více sloupcích (plotly backend)
- [SPARK-49365] [SC-175011][ps] Zjednodušení agregace segmentu v histogramovém grafu
- [SPARK-49372] [SC-175003][ss] Ujistěte se, že je nejnovější snapshot nastavena na žádnou při uzavření, abyste se vyhnuli následnému použití.
-
[SPARK-49341] [SC-174785] Odebrat
connector/dockerve prospěchApache Spark Operator -
[SPARK-49344] [SC-174894][ps] Podpora
json_normalizerozhraní Pandas API ve Sparku - [SPARK-49306] [SC-174794][sql] Vytvoření nových funkcí SQL zeroifnull a nullifzero
- [SPARK-48796] [SC-174668][ss] Načíst ID rodiny sloupců z RocksDBCheckpointMetadata pro VCF při restartování
- [SPARK-49342] [SC-174899][sql] Učinit argument 'jsonFormatSchema' funkce SQL TO_AVRO nepovinným
- [SPARK-48628] [SC-174695][core] Přidání metrik maximální paměti v přiřazení úloh na/ mimo haldu
- [SPARK-47407] [SC-159379][chování-126][SQL] Podpora mapování java.sql.Types.NULL na NullType
- [SPARK-48628] [SC-173407][core] Přidání metrik vrcholového využití paměti na haldě a mimo haldu
- [SPARK-49166] [SC-173987][sql] Podpora OFFSET v korelovaném poddotazu
- [SPARK-49269] [SC-174676][sql] Okamžité vyhodnocení seznamu VALUES() v AstBuilderu
- [SPARK-49281] [SC-174782][sql] Optimalizujte použití getBytesUnsafe pro binární data Parquet, aby se předešlo nákladům na kopírování
- [SPARK-49113] [SC-174734] Nezpracovávat chyby překladu – potichu polykat výjimku
- [SPARK-49098] [SC-173253][sql] Přidání možností zápisu pro INSERT
- [SPARK-48638] [SC-174694][follow][CONNECT] Oprava dokumentace ke ExecutionInfo
- [SPARK-49250] [ES-1222826][sql] Zlepšení chybové zprávy pro vnořený UnresolvedWindowExpression v CheckAnalysis
- [SPARK-48755] [SC-174258][ss][PYTHON] transformWithState pyspark – základní implementace a podpora ValueState
- [SPARK-48966] [SC-174329][sql] Zlepšit chybovou zprávu s neplatným nevyřešeným odkazem na sloupec při volání UDTF
- [SPARK-46590] [SC-154115][sql] Oprava selhání funkce coalesce s neočekávanými indexy oddílů
- [SPARK-49235] [SC-174159][sql] Úprava pravidla ResolveInlineTables, aby neprocházelo celým stromem
- [SPARK-49060] [SC-173107][connect] Vyčistit pravidla Mima pro kontroly binární kompatibility SQL-Connect
- [SPARK-48762] [SC-172525][sql] Zavedení rozhraní API clusterBy DataFrameWriter pro Python
- [SPARK-49207] [SC-173852][sql] Oprava mapování případů 1:N v SplitPart a StringSplitSQL
- [SPARK-49204] [SC-173850][sql] Oprava zpracování náhradních párů v StringInstr a StringLocate
- [SPARK-36680] [SC-170640][sql] Podporuje možnosti dynamické tabulky pro Spark SQL
- [SPARK-49204] [SC-173849][sql] Oprava zpracování náhradních párů v SubstringIndex
- [SPARK-49204] [SC-173848][sql] Oprava zpracování náhradních párů v StringTrim
- [SPARK-48967] [SC-173993] Oprava testu SparkConfigOwnershipSuite pro OPTIMIZE_INSERT_INTO_VALUES_PARSER.
- [SPARK-49204] [SC-173851][sql] Oprava zpracování náhradních párů v StringReplace
- [SPARK-48967] [SC-173993][sql][16.x] Zlepšení výkonu a paměťové náročnosti pro “INSERT INTO ... "Výroky VALUES"
- [SPARK-49099] Vrátit "[SC-173229][sql] CatalogManager.setCurrent...
- [SPARK-48347] [SC-173812][sql] Podpora příkazu WHILE
- [SPARK-49128] [SC-173344][core] Podpora vlastního titulu uživatelského rozhraní serveru historie
- [SPARK-49146] [SC-173825][ss] Přesunutí chyb kontrolních výrazů souvisejících s chybějícím vodoznakem v dotazech streamování v režimu připojení do architektury chyb
- [SPARK-45787] [SC-172197][sql] Podpora Catalog.listColumns pro seskupovací sloupce
- [SPARK-49099] [SC-173229][sql] CatalogManager.setCurrentNamespace by měl respektovat vlastní katalog relací.
- [SPARK-49138] [SC-173483][sql] Oprava CollationTypeCasts několika výrazů
- [SPARK-49163] [SC-173666][sql] Pokus o vytvoření tabulky na základě poškozených výsledků dat oddílů Parquet by měl vrátit chybu zobrazenou uživatelem.
- [SPARK-49201] [SC-173793][ps][PYTHON][connect] Přeimplementovat plot s Spark SQL
- [SPARK-49188] [SC-173682][sql] Vnitřní chyba v concat_ws volaná na poli polí řetězců
-
[SPARK-49137] [SC-173677][sql] Pokud je logická podmínka v
if statementneplatná, měla by se vyvolat výjimka. - [SPARK-49193] [SC-173672][sql] Zvýšení výkonu RowSetUtils.toColumnBasedSet
- [SPARK-49078] [SC-173078][sql] Podpora zobrazení syntaxe sloupců v tabulce v2
- [SPARK-49141] [SC-173388][sql] Označit variantu jako nekompatibilní datový typ Hive
-
[SPARK-49059] [Cherry-Pick][15.x][SC-172528][connect] Přesunout
SessionHolder.forTesting(...)do testovacího balíčku - [SPARK-49111] [SC-173661][sql] Přesunout withProjectAndFilter do přidruženého objektu DataSourceV2Strategy
-
[SPARK-49185] [SC-173688][ps][PYTHON][connect] Znovuimplementujte
kdegraf pomocí Spark SQL -
[SPARK-49178] [SC-173673][sql] Optimalizujte výkon
Row#getSeqtak, aby odpovídal výkonu při použití Sparku 3.5 se Scalou 2.12 - [SPARK-49093] [SC-172958][sql] GROUP BY s mapType vnořeným uvnitř komplexního typu
- [SPARK-49142] [SC-173469][connect][PYTHON] Snížení úrovně protokolu klienta Spark Connect na ladění
- [SPARK-48761] [SC-172048][sql] Zavedení rozhraní API pro clusterBy DataFrameWriter pro Scala
- [SPARK-48346] [SC-173083][sql] Podpora příkazů IF ELSE ve skriptech SQL
- [SPARK-48338] [SC-173112][sql] Vylepšení výjimek vyvolaných analyzátorem nebo interpretem
- [SPARK-48658] [SC-169474][sql] Funkce pro kódování/dekódování hlásí chyby kódování namísto zobrazení mojibake pro znaky, které nelze mapovat.
- [SPARK-49071] [SC-172954][sql] Odebrání vlastnosti ArraySortLike
-
[SPARK-49107] Vrátit zpět "[SC-173103][sql]
ROUTINE_ALREADY_EXISTSpodporuje rutinní typ" - [SPARK-49070] [SC-172907][ss][SQL] TransformWithStateExec.initialState se nesprávně přepíše, aby se vytvořil neplatný plán dotazu.
- [SPARK-49114] [SC-173217] Podkategorie nemůže načíst chyby úložiště stavu
-
[SPARK-49107] Vrátit zpět "[SC-173103][sql]
ROUTINE_ALREADY_EXISTSpodporuje rutinní typ" - [SPARK-49048] [SC-173223][ss] Přidání podpory pro čtení metadat relevantních operátorů v daném ID dávky
- [SPARK-49094] [SC-173049][sql] Oprava nefunkčního ignoreCorruptFiles pro Hive orc impl s vypnutým mergeSchema
-
[SPARK-49108] [SC-173102][example] Přidání
submit_pi.shpříkladu rozhraní REST API -
[SPARK-49107] [SC-173103][sql]
ROUTINE_ALREADY_EXISTSpodporuje rutinní typ - [SPARK-48997] [SC-172484][ss] Implementace jednotlivých uvolnění pro případy selhání vláken ve vláknovém fondu údržby
- [SPARK-49063] [SC-173094][sql] Opravit BETWEEN se skalárními poddotazy
- [SPARK-45891] [SC-172305][sql][PYTHON][variant] Přidání podpory pro typy intervalů ve specifikaci varianty
-
[SPARK-49074] [BEHAVE-110][sc-172815][SQL] Oprava varianty s
df.cache() - [SPARK-49003] [SC-172613][sql] Oprava hash interpretovaných cest kódu, aby bylo možné provést kolaci
- [SPARK-48740] [SC-172430][sql] Zachytávání chyby chybějící specifikace okna v rané fázi
- [SPARK-48999] [SC-172245][ss] Divide PythonStreamingDataSourceSimpleSuite
- [SPARK-49031] [SC-172602] Implementace ověřování pro operátor TransformWithStateExec pomocí OperatorStateMetadataV2
- [SPARK-49053] [SC-172494][python][ML] Udělat modelu uložení/nahrání pomocné funkce, aby přijímaly Spark relaci
- [SPARK-49032] [Backport][15.x][SS] Přidat cestu ke schématu do záznamu v tabulce metadat, ověřit očekávanou verzi a přidat test související s metadaty operátora pro formát metadat operátora v2
- [SPARK-49034] [SC-172306][core] Podpora serverového nahrazení v rozhraní REST Submission API
- [SPARK-48931] [SC-171895][ss] Snížení nákladů na rozhraní API seznamu úložiště cloudu pro úlohu údržby úložiště stavů
- [SPARK-48849] [SC-172068][ss]Create OperatorStateMetadataV2 pro operátor TransformWithStateExec
- [SPARK-49013] [SC-172322] Změna klíče v objektech CollationsMap pro typy Map a Array v jazyce scala
-
[SPARK-48414] [SC-171884][python] Oprava zásadní změny v Pythonu
fromJson - [SPARK-48910] [SC-171001][sql] Použití hashSet/HashMap k zabránění lineárním vyhledáváním v preprocessTableCreation
-
[SPARK-49007] [SC-172204][core] Vylepšení
MasterPagepodpory vlastního názvu - [SPARK-49009] [SC-172263][sql][PYTHON] Umožnit rozhraním API a funkcím sloupců přijímat výčty
- [SPARK-49033] [SC-172303][core] Podpora serverového nahrazení v rozhraní REST Submission API
-
[SPARK-48363] [SC-166470][sql] Vyčištění některých redundantních kódů v
from_xml - [SPARK-46743] [SC-170867][sql][CHOVÁNÍ-84] Chyba počtu po složení ScalarSubquery, pokud má prázdný vztah
-
[SPARK-49040] [SC-172351][sql] Oprava dokumentu
sql-ref-syntax-aux-exec-imm.md - [SPARK-48998] [SC-172212][ml] Meta algoritmy ukládání a načítání modelu pomocí SparkSession
-
[SPARK-48959] [SC-171708][sql] Udělání
NoSuchNamespaceExceptionrozšířeníNoSuchDatabaseExceptionpro obnovení zpracování výjimek - [SPARK-48996] [SC-172130][sql][PYTHON] Povolit holé literály pro anebo sloupce
- [SPARK-48990] [SC-171936] Navázat na #101759 – oprava testu
- [SPARK-48338] [SC-171912][sql] Kontrola deklarací proměnných
- [SPARK-48990] [SC-171936][sql] Klíčová slova syntaxe SQL související s sjednocenou proměnnou
-
[SPARK-48988] [SC-171915][ml] Umožnit
DefaultParamsReader/Writerpracovat s metadata pomocí Spark session -
[SPARK-48974] [SC-171978][sql][SS][ml][MLLIB] Použijte
SparkSession.implicitsmístoSQLContext.implicits - [SPARK-48760] [SC-170870][sql] Oprava CatalogV2Util.applyClusterByChanges
- [SPARK-48928] [SC-171956] Záznam varování v protokolu pro volání .unpersist() u místně checkpointovaných RDD
- [SPARK-48760] [SC-170139][sql] Představit ALTER TABLE ... CLUSTER BY syntaxe SQL pro změnu sloupců pro seskupování
- [SPARK-48844] Vrátí hodnotu [SC-170669][sql] USE INVALID_EMPTY_LOCATION místo UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY, když je cesta prázdná.
-
[SPARK-48833] [SC-171914][sql][VARIANT] Podpora varianty v
InMemoryTableScan -
[SPARK-48975] [SC-171894][protobuf] Odebrání nepotřebné
ScalaReflectionLockdefinice zprotobuf - [SPARK-48970] [SC-171800][python][ML] Vyhněte se použití SparkSession.getActiveSession ve čtení/zapisovači Spark ML
- [SPARK-48844] [SC-170669][sql] Použijte INVALID_EMPTY_LOCATION místo UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY, pokud je cesta prázdná
- [SPARK-48714] [SC-170136] Oprava neúspěšných testů df.mergeInto v PySparku a UC
- [SPARK-48957] [SC-171797][ss] Vrácení podtříděné třídy chyb při načítání úložiště stavů pro poskytovatele hdfs a rocksdb
- [SPARK-48891] [Backport][15x][SC-171677][ss] Refaktorovat StateSchemaCompatibilityChecker, aby sjednotil všechny formáty stavových schémat
- [SPARK-48972] [SC-171795][python] Sjednocení zpracování literálových řetězců ve funkcích
- [SPARK-48388] [SC-171337][sql] Oprava SET chování příkazů pro skripty SQL
- [SPARK-48743] [SC-170552][sql][SS] MergingSessionIterator by měl lépe zpracovat, když getStruct vrátí hodnotu null.
- [SPARK-48623] [15.x][sc-171322][CORE] Migrace protokolů FileAppender do strukturovaného protokolování
- [SPARK-36680] [DBRRM-1123] Revert "[SC-170640][sql] Podporuje dynamické možnosti tabulky pro Spark SQL.
-
[SPARK-48841] [SC-170868][chování-83][SQL] Zahrnout
collationNamedosql()Collate - [SPARK-48941] [SC-171703][python][ML] Nahrazení volání rozhraní API pro čtení a zápis RDD za rozhraní API pro čtení a zápis DataFrame.
- [SPARK-48938] [SC-171577][python] Zlepšení chybových zpráv při registraci Python UDTF
- [SPARK-48350] [SC-171040][sql] Úvod k vlastním výjimkám pro skriptování SQL
-
[SPARK-48907] [SC-171158][sql] Oprava hodnoty
explicitTypesvCOLLATION_MISMATCH.EXPLICIT -
[SPARK-48945] [SC-171658][python] Zjednodušení funkcí regulárních výrazů pomocí
lit - [SPARK-48944] [SC-171576][connect] Sjednocení zpracování schématu ve formátu JSON na Connect Serveru
- [SPARK-48836] [SC-171569] Integrace schématu SQL se schématem stavu nebo metadaty
- [SPARK-48946] [SC-171504][sql] NPE v metodě redact, pokud je relace null
- [SPARK-48921] [SC-171412][sql] Enkodéry ScalaUDF v poddotazu by se měly vyřešit pro MergeInto.
- [SPARK-45155] [SC-171048][connect] Přidejte dokumentaci API pro Spark Connect JVM/Scala klienta
-
[SPARK-48900] [SC-171319] Přidat
reasonpole procancelJobGroupacancelJobsWithTag - [SPARK-48865] [SC-171154][sql] Přidání funkce try_url_decode
-
[SPARK-48851] [SC-170767][sql] Změňte hodnotu
SCHEMA_NOT_FOUNDznamespacenacatalog.namespace -
[SPARK-48510] [SC-170893][2/2] Podpora rozhraní UDAF
toColumnAPI ve Spark Connect -
[SPARK-45190] [SC-171055][spark-48897][PYTHON][connect] Zajištění
from_xmlpodpory schématu StructType -
[SPARK-48930] [SC-171304][core] Redigovat
awsAccessKeyIdpomocí zahrnutí vzoruaccesskey - [SPARK-48909] [SC-171080][ml][MLLIB] Při zápisu metadat používá SparkSession přes SparkContext.
- [SPARK-48883] [SC-171133][ml][R] Nahrazení volání rozhraní API pro čtení a zápis RDD za volání rozhraní API datového rámce pro čtení a zápis
-
[SPARK-48924] [SC-171313][ps] Přidání pomocné funkce ve stylu pandů
make_interval -
[SPARK-48884] [SC-171051][python] Odebrání nepoužívané pomocné funkce
PythonSQLUtils.makeInterval - [SPARK-48817] [SC-170636][sql] Efektivně spouštět více sjednocovacích příkazů společně
- [SPARK-48896] [SC-171079][ml][MLLIB] Vyhněte se dělení při zápisu metadat.
-
[SPARK-48892] [SC-171127][ml] Vyhněte se čtení parametrů pro jednotlivé řádky v
Tokenizer -
[SPARK-48927] [SC-171227][core] Zobrazí počet RDDs v mezipaměti v
StoragePage - [SPARK-48886] [15.x][backport][SC-171039][ss] Přidání informací o verzi pro protokol změn v2, aby se usnadnil vývoj
- [SPARK-48903] [SC-171136][ss] Nastavte správnou verzi posledního snímku RocksDB při vzdáleném načtení.
- [SPARK-48742] [SC-170538][ss] Rodina virtuálních sloupců pro RocksDB
- [SPARK-48726] [15.x][sc-170753][SS] Vytvořte formát souboru StateSchemaV3 a zapište ho pro operátor TransformWithStateExec.
- [SPARK-48794] [SC-170882][connect][15.x] df.mergeInto podpora pro Spark Connect (Scala a Python)
-
[SPARK-48714] [SC-170136][python] Provést
DataFrame.mergeIntov PySpark - [SPARK-48772] [SC-170642][ss][SQL] Režim čtení zdroje dat pro kanál změn stavu
- [SPARK-48666] [SC-170887][sql] Nepoužívejte filtr, pokud obsahuje Python UDFs
- [SPARK-48845] [SC-170889][sql] GenericUDF zachytává výjimky od dětí
- [SPARK-48880] [SC-170974][core] Vyhněte se vyvolání výjimky NullPointerException, pokud se modul plug-in ovladače nepodaří inicializovat.
- [SPARK-48888] [Backport][15x][SC-170973][ss] Odebrání vytváření snímků na základě velikosti operací v protokolu změn
- [SPARK-48871] [SC-170876] Oprava ověřování INVALID_NON_DETERMINISTIC_EXPRESSIONS v...
- [SPARK-48883] [SC-170894][ml][R] Nahradit volání rozhraní API pro čtení a zápis RDD za rozhraní API pro čtení a zápis DataFrame
- [SPARK-36680] [SC-170640][sql] Podporuje možnosti dynamické tabulky pro Spark SQL
- [SPARK-48804] [SC-170558][sql] Přidání třídyIsLoadable & OutputCommitter.isAssignableFrom – kontrola konfigurace výstupních tříd potvrzení
- [SPARK-46738] [SC-170791][python] Opětovné povolení skupiny doctestů
-
[SPARK-48858] [SC-170756][python] Odebrání zastaralého
setDaemonvoláníThreadmetody vlog_communication.py - [SPARK-48639] [SC-169801][connect][PYTHON] Přidat Origin do RelationCommon
- [SPARK-48863] [SC-170770][es-1133940][SQL] Oprava výjimky ClassCastException při parsování JSON s povolenou možností "spark.sql.json.enablePartialResults"
- [SPARK-48343] [SC-170450][sql] Úvod do interpretu skriptování SQL
- [SPARK-48529] [SC-170755][sql] Úvod popisků do skriptování SQL
- [SPARK-45292] Vrátit zpět “[SC-151609][sql][HIVE] Odebrat Guavu ze sdílených tříd z IzolovanéhoClientLoaderu”
- [SPARK-48037] [SC-165330][core][3.5] Oprava chybějících metrik souvisejících se zápisem pro SortShuffleWriter, což vede k potenciálně nepřesným datům.
-
[SPARK-48720] [SC-170551][sql] Sjednotit příkaz
ALTER TABLE ... UNSET TBLPROPERTIES ...ve verzi v1 a v2 - [SPARK-48485] [SC-167825][connect][SS] Podpora interruptTag a interruptAll v dotazech streamování
- [SPARK-45292] [SC-151609][sql][HIVE] Odebrat Guava ze sdílených tříd IsolatedClientLoaderu
- [SPARK-48668] [SC-169815][sql] Podpora ALTER NAMESPACE ... VYMAZAT VLASTNOSTI ve verzi 2
- [SPARK-47914] [SC-165313][sql] Nezobrazovat parametr rozdělení v oblasti
- [SPARK-48807] [SC-170643][sql] Binární podpora zdroje dat CSV
- [SPARK-48220] [SC-167592][python][15.X] Povolení předávání tabulky PyArrow pro createDataFrame()
- [SPARK-48545] [SC-169543][sql] Vytvořte to_avro a from_avro funkce SQL tak, aby odpovídaly ekvivalentům datových rámců.
- [SPARK-47577] [SC-168875][spark-47579] Oprava zavádějícího použití klíče protokolu TASK_ID
Podpora ovladačů Databricks ODBC/JDBC
Databricks podporuje ovladače ODBC/JDBC vydané v posledních 2 letech. Stáhněte si nedávno vydané ovladače a upgradujte (stáhněte rozhraní ODBC, stáhněte JDBC).
Prostředí systému
- operační systém: Ubuntu 24.04.1 LTS
- Java: Zulu17.50+19-CA
- Scala: 2.12.15
- Python: 3.12.3
- R: 4.4.0
- Delta Lake: 3.2.1
Nainstalované knihovny Python
| Knihovna | Verze | Knihovna | Verze | Knihovna | Verze |
|---|---|---|---|---|---|
| anotované typy | 0.7.0 | asttokens | 2.0.5 | astunparse | 1.6.3 |
| automatické příkazy | 2.2.2 | Azure Core | 1.31.0 | azure-storage-blob (služba pro ukládání dat na platformě Azure) | 12.23.0 |
| Služba "Azure Storage File Data Lake" | 12.17.0 | backports.tarfile | 1.2.0 | černý | 24.4.2 |
| blinkr | 1.7.0 | boto3 | 1.34.69 | botocore | 1.34.69 |
| nástroje pro ukládání do mezipaměti | 5.3.3 | certifikát | 2024.6.2 | cffi | 1.16.0 |
| chardet | 4.0.0 | nástroj pro normalizaci znakové sady | 2.0.4 | klikněte | 8.1.7 |
| cloudpickle | 2.2.1 | Komunikace | 0.2.1 | obrysová křivka | 1.2.0 |
| kryptografie | 42.0.5 | cyklista | 0.11.0 | Cython | 3.0.11 |
| Databricks-sdk | 0.30.0 | dbus-python | 1.3.2 | debugpy | 1.6.7 |
| dekoratér | 5.1.1 | Zastaralé | 1.2.14 | distlib | 0.3.8 |
| převod docstringu do formátu markdown | 0,11 | vstupní body | 0,4 | vykonávání | 0.8.3 |
| přehled aspektů | 1.1.1 | zamykání souborů | 3.15.4 | nástroje pro písma | 4.51.0 |
| gitdb | 4.0.11 | GitPython | 3.1.37 | google-api-core | 2.20.0 |
| google-auth (autentizace) | 2.35.0 | google-cloud-core | 2.4.1 | Úložiště Google Cloud | 2.18.2 |
| google-crc32c | 1.6.0 | google-resumable-media (pro snadné stahování/ukládání mediálních dat) | 2.7.2 | googleapis-common-protos | 1.65.0 |
| grpcio | 1.60.0 | grpcio-status | 1.60.0 | httplib2 | 0.20.4 |
| IDNA | 3.7 | importlib-metadata | 6.0.0 | importlib_resources | 6.4.0 |
| skloňovat | 7.3.1 | ipyflow-core je jádrová komponenta systému ipyflow | 0.0.198 | ipykernel | 6.28.0 |
| ipython | 8.25.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| isodate | 0.6.1 | jaraco.context | 5.3.0 | jaraco.functools | 4.0.1 |
| jaraco.text | 3.12.1 | Jedi | 0.19.1 | jmespath | 1.0.1 |
| joblib | 1.4.2 | klient Jupyter | 8.6.0 | jupyter_core | 5.7.2 |
| kiwisolver | 1.4.4 | launchpadlib | 1.11.0 | lazr.restfulclient | 0.14.6 |
| lazr.uri | 1.0.6 | matplotlib | 3.8.4 | matplotlib-inline | 0.1.6 |
| Mccabe | 0.7.0 | mlflow-skinny | 2.15.1 | more-itertools | 10.3.0 |
| mypy | 1.10.0 | mypy-extensions | 1.0.0 | nest-asyncio | 1.6.0 |
| nodeenv | 1.9.1 | numpy (knihovna pro numerické výpočty v Pythonu) | 1.26.4 | oauthlib | 3.2.2 |
| opentelemetry-api | 1.27.0 | opentelemetry-sdk | 1.27.0 | opentelemetry-semantické-konvence | 0,48b0 |
| balení | 24.1 | Pandy | 1.5.3 | Parso | 0.8.3 |
| specifikace cesty | 0.10.3 | bábovka | 0.5.6 | pexpect | 4.8.0 |
| polštář | 10.3.0 | pip | 24,2 | platformdirs | 3.10.0 |
| plotly | 5.22.0 | Pluggy (nástroj pro správu pluginů v Pythonu) | 1.0.0 | nástroj "prompt-toolkit" | 3.0.43 |
| proto-plus | 1.24.0 | protobuf | 4.24.1 | psutil | 5.9.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
| pyarrow | 15.0.2 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pyccolo | 0.0.52 | pycparser | 2.21 | Pydantic (Python knihovna pro validaci a nastavení dat) | 2.8.2 |
| pydantic_core | 2.20.1 | pyflakes | 3.2.0 | Pygments | 2.15.1 |
| PyGObject | 3.48.2 | PyJWT | 2.7.0 | pyodbc | 5.0.1 |
| pyparsing | 3.0.9 | pyright | 1.1.294 | python-dateutil | 2.9.0.post0 |
| python-lsp-jsonrpc | 1.1.2 | python-lsp-server | 1.10.0 | Pytoolconfig | 1.2.6 |
| knihovna pytz pro zpracování časových zón v Pythonu | 2024.1 | PyYAML | 6.0.1 | pyzmq | 25.1.2 |
| požadavky | 2.32.2 | lano | 1.12.0 | Rsa | 4,9 |
| s3transfer | 0.10.2 | scikit-learn | 1.4.2 | SciPy | 1.13.1 |
| narozený v moři | 0.13.2 | setuptools (nástroj pro vytváření a distribuci Python projektů) | 74.0.0 | Šest | 1.16.0 |
| smmap | 5.0.0 | sqlparse | 0.5.1 | ssh-import-id | 5,11 |
| datová hromádka | 0.2.0 | statsmodels | 0.14.2 | houževnatost | 8.2.2 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
| tornádo | 6.4.1 | vlastnosti | 5.14.3 | typová ochrana | 4.3.0 |
| typy–protobuf | 3.20.3 | types-psutil | 5.9.0 | types-pytz | 2023.3.1.1 |
| types-PyYAML | 6.0.0 | typy žádostí | 2.31.0.0 | types-setuptools | 68.0.0.0 |
| typy-šest | 1.16.0 | types-urllib3 | 1.26.25.14 | rozšíření_typingu | 4.11.0 |
| ujson | 5.10.0 | bezobslužné aktualizace | 0,1 | urllib3 | 1.26.16 |
| virtualenv | 20.26.2 | wadllib | 1.3.6 | wcwidth (šířka znaků) | 0.2.5 |
| whatthepatch | 1.0.2 | wheel | 0.43.0 | zabalený | 1.14.1 |
| yapf | 0.33.0 | zipový uzávěr | 3.17.0 |
Nainstalované knihovny jazyka R
Knihovny R se instalují ze snímku CRAN Posit Správce balíčkůu dne 4. 8. 2024: https://packagemanager.posit.co/cran/2024-08-04/.
| Knihovna | Verze | Knihovna | Verze | Knihovna | Verze |
|---|---|---|---|---|---|
| šipka | 16.1.0 | žádost o heslo | 1.2.0 | ověřit, že | 0.2.1 |
| zpětné portování | 1.5.0 | báze | 4.4.0 | base64enc | 0,1-3 |
| bigD | 0.2.0 | bitové | 4.0.5 | 64bit | 4.0.5 |
| bitops | 1.0-8 | objekt blob | 1.2.4 | bootování | 1.3-30 |
| vařit | 1.0-10 | verva | 1.1.5 | koště | 1.0.6 |
| bslib | 0.8.0 | kašmír | 1.1.0 | volající | 3.7.6 |
| karet | 6.0-94 | cellranger | 1.1.0 | cron | 2.3-61 |
| třída | 7.3-22 | Rozhraní příkazového řádku | 3.6.3 | Clipr | 0.8.0 |
| hodiny | 0.7.1 | cluster | 2.1.6 | codetools | 0.2-20 |
| barevný prostor | 2.1-1 | commonmark | 1.9.1 | kompilátor | 4.4.0 |
| konfig | 0.3.2 | v rozporu | 1.2.0 | cpp11 | 0.4.7 |
| pastelka | 1.5.3 | přihlašovací údaje | 2.0.1 | curl | 5.2.1 |
| datová tabulka | 1.15.4 | datové sady | 4.4.0 | DBI | 1.2.3 |
| dbplyr | 2.5.0 | Popis | 1.4.3 | devtools | 2.4.5 |
| schéma | 1.6.5 | diffobj | 0.3.5 | hodnota hash | 0.6.36 |
| dolní osvětlení | 0.4.4 | dplyr | 1.1.4 | dtplyr | 1.3.1 |
| e1071 | 1.7-14 | tři tečky | 0.3.2 | hodnotit | 0.24.0 |
| fanoušci | 1.0.6 | barvy | 2.1.2 | Fastmap (rychlé mapování) | 1.2.0 |
| fontawesome | 0.5.2 | pro kočky | 1.0.0 | foreach | 1.5.2 |
| zahraniční | 0.8–86 | kovat | 0.2.0 | fs | 1.6.4 |
| budoucnost | 1.34.0 | budoucnost.použít | 1.11.2 | kloktadlo | 1.5.2 |
| obecné typy | 0.1.3 | Gert | 2.1.0 | ggplot2 | 3.5.1 |
| gh | 1.4.1 | git2r | 0.33.0 | gitcreds | 0.1.2 |
| glmnet | 4.1-8 | globálních objektů | 0.16.3 | lepidlo | 1.7.0 |
| googledrive | 2.1.1 | googlesheets4 | 1.1.1 | Gower | 1.0.1 |
| Grafika | 4.4.0 | grDevices | 4.4.0 | mřížka | 4.4.0 |
| gridExtra | 2.3 | gsubfn | 0,7 | GT | 0.11.0 |
| gtable | 0.3.5 | bezpečnostní přilba | 1.4.0 | útočiště | 2.5.4 |
| vyšší | 0,11 | HMS | 1.1.3 | htmlové nástroje | 0.5.8.1 |
| htmlwidgets (interaktivní HTML prvky) | 1.6.4 | httpuv | 1.6.15 | httr | 1.4.7 |
| httr2 | 1.0.2 | Id | 1.0.1 | ini | 0.3.1 |
| ipred | 0.9-15 | isoband | 0.2.7 | Iterátory | 1.0.14 |
| jquerylib | 0.1.4 | jsonlite | 1.8.8 | šťavnatý džus | 0.1.0 |
| KernSmooth | 2.23-22 | knitr | 1.48 | značení | 0.4.3 |
| později | 1.3.2 | mřížka | 0.22-5 | láva | 1.8.0 |
| životní cyklus | 1.0.4 | poslouchej | 0.9.1 | lubridate | 1.9.3 |
| magrittr | 2.0.3 | markdown | 1.13 | MŠE | 7.3-60.0.1 |
| Matice | 1.6-5 | zapamatujte si | 2.0.1 | metody | 4.4.0 |
| mgcv | 1.9-1 | mim | 0.12 | miniUI | 0.1.1.1 |
| mlflow | 2.14.1 | ModelMetrics | 1.2.2.2 | modelář | 0.1.11 |
| munsell | 0.5.1 | nlme | 3.1-165 | nnet (neuronová síť) | 7.3-19 |
| numDeriv (Numerická derivace) | 2016.8 - 1.1 | OpenSSL | 2.2.0 | rovnoběžný | 4.4.0 |
| paralelně | 1.38.0 | pilíř | 1.9.0 | pkgbuild | 1.4.4 |
| pkgconfig | 2.0.3 | pkgdown | 2.1.0 | pkgload | 1.4.0 |
| plogr | 0.2.0 | plyr | 1.8.9 | pochvala | 1.0.0 |
| prettyunits | 1.2.0 | pROC | 1.18.5 | processx | 3.8.4 |
| prodlim | 2024.06.25 | profvis | 0.3.8 | Průběh | 1.2.3 |
| progressr | 0.14.0 | promisy | 1.3.0 | proto | 1.0.0 |
| proxy | 0,4-27 | PS | 1.7.7 | purrr | 1.0.2 |
| R6 | 2.5.1 | ragg | 1.3.2 | "randomForest" | 4.7-1.1 |
| rappdirs | 0.3.3 | rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 |
| Rcpp | 1.0.13 | RcppEigen | 0.3.4.0.0 | reagovatelná | 0.4.4 |
| reactR | 0.6.0 | čtenář | 2.1.5 | readxl | 1.4.3 |
| recepty | 1.1.0 | odvetný zápas | 2.0.0 | odvetný zápas 2 | 2.1.2 |
| dálková ovládání | 2.5.0 | reprodukovatelný příklad | 2.1.1 | reshape2 | 1.4.4 |
| rlang | 1.1.4 | rmarkdown | 2,27 | RODBC | 1.3-23 |
| roxygen2 | 7.3.2 | rpart | 4.1.23 | rprojroot | 2.0.4 |
| Rserve | 1.8–13 | RSQLite | 2.3.7 | rstudioapi | 0.16.0 |
| rversions | 2.1.2 | rvest | 1.0.4 | Sass | 0.4.9 |
| měřítka | 1.3.0 | selektor | 0.4-2 | informace o sezení | 1.2.2 |
| obrazec | 1.4.6.1 | lesklý | 1.9.1 | sourcetools | 0.1.7-1 |
| sparklyr | 1.8.6 | SparkR | 3.5.0 | prostorový | 7.3-17 |
| spline | 4.4.0 | sqldf | 0.4-1 | SQUAREM | 2021.1 |
| statistické údaje | 4.4.0 | Statistiky 4 | 4.4.0 | řetězce | 1.8.4 |
| stringr | 1.5.1 | přežití | 3.6-4 | frajerský krok | 5.17.14.1 |
| systém | 3.4.2 | systemfonts | 1.1.0 | tcltk | 4.4.0 |
| testthat (nástroj pro testování) | 3.2.1.1 | formátování textu | 0.4.0 | tibble | 3.2.1 |
| tidyr | 1.3.1 | tidyselect | 1.2.1 | tidyverse | 2.0.0 |
| změna času | 0.3.0 | datum a čas | 4032.109 | tinytex | 0,52 |
| nářadí | 4.4.0 | tzdb | 0.4.0 | ověřovač URL | 1.0.1 |
| použij tohle | 3.0.0 | utf8 | 1.2.4 | nástroje | 4.4.0 |
| Uuid | 1.2-1 | V8 | 4.4.2 | vctrs | 0.6.5 |
| viridisLite | 0.4.2 | vrrrm | 1.6.5 | Waldo | 0.5.2 |
| vodič | 0.4.1 | (v případě, že je možné poskytnout smysl slova "withr", by bylo možné ho přeložit) | 3.0.1 | xfun | 0.46 |
| xml2 | 1.3.6 | xopen | 1.0.1 | xtable | 1.8-4 |
| yaml (YAML Ain't Markup Language), formát pro serializaci dat | 2.3.10 | zeallot | 0.1.0 | zip (jako formát souboru) | 2.3.1 |
Nainstalované Java a knihovny Scala (verze clusteru Scala 2.12)
| ID skupiny | ID artefaktu | Verze |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client (klient Amazon Kinesis) | 1.12.0 |
| com.amazonaws | automatické škálování aws-java-sdk | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.638 |
| com.amazonaws | „aws-java-sdk-cloudsearch“ | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.638 |
| com.amazonaws | aws-java-sdk-codedeploy (Balíček AWS SDK pro Java - CodeDeploy) | 1.12.638 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.638 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.638 |
| com.amazonaws | aws-java-sdk-config (konfigurace balíčku SDK pro Javu od AWS) | 1.12.638 |
| com.amazonaws | aws-java-sdk-core | 1.12.638 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.638 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.638 |
| com.amazonaws | aws-java-sdk-directory | 1.12.638 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.638 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.638 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.638 |
| com.amazonaws | aws-java-sdk-efs | 1.12.638 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.638 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.638 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.638 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.638 |
| com.amazonaws | aws-java-sdk-emr | 1.12.638 |
| com.amazonaws | aws-java-sdk-glacier (AWS Java SDK pro Glacier) | 1.12.638 |
| com.amazonaws | aws-java-sdk-glue (balíček pro vývoj softwaru v Java od AWS, určený pro Glue služby) | 1.12.638 |
| com.amazonaws | aws-java-sdk-iam | 1.12.638 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.638 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.638 |
| com.amazonaws | aws-java-sdk-kms | 1.12.638 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.638 |
| com.amazonaws | aws-java-sdk-logs | 1.12.638 |
| com.amazonaws | aws-java-sdk-strojové učení | 1.12.638 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.638 |
| com.amazonaws | aws-java-sdk-rds | 1.12.638 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.638 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.638 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.638 |
| com.amazonaws | aws-java-sdk-ses | 1.12.638 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.638 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.638 |
| com.amazonaws | aws-java-sdk-sns | 1.12.638 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.638 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.638 |
| com.amazonaws | aws-java-sdk-storagegateway (balíček nástrojů pro přístup k AWS Storage Gateway) | 1.12.638 |
| com.amazonaws | aws-java-sdk-sts | 1.12.638 |
| com.amazonaws | aws-java-sdk-support | 1.12.638 |
| com.amazonaws | knihovny AWS Java SDK SWF | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.638 |
| com.amazonaws | jmespath-java | 1.12.638 |
| com.clearspring.analytics | datový proud | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | Databricks SDK pro Java | 0.27.0 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | Kryo-shaded | 4.0.2 |
| com.esotericsoftware | Minlog | 1.3.0 |
| com.fasterxml | spolužák | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations (poznámky Jackson) | 2.15.2 |
| com.fasterxml.jackson.core | jackson-core | 2.15.2 |
| com.fasterxml.jackson.core | Jackson-databind | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-yaml | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.16.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.15.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.15.2 |
| com.github.ben-manes.kofein | kofein | 2.9.3 |
| com.github.fommil | jniloader | 1,1 |
| com.github.fommil.netlib | Nativní odkaz pro Javu | 1,1 |
| com.github.fommil.netlib | Nativní odkaz pro Javu | Nativní verze 1.1 |
| com.github.fommil.netlib | nativní_systém-java | 1,1 |
| com.github.fommil.netlib | nativní_systém-java | Nativní verze 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | Nativní verze 1.1 |
| com.github.fommil.netlib | netlib-nativní_systém-linux-x86_64 | Nativní verze 1.1 |
| com.github.luben | zstd-jni | 1.5.5-4 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | Gson | 2.10.1 |
| com.google.crypto.tink | Tink | 1.9.0 |
| com.google.errorprone | poznámky_náchylné_k_chybám | 2.10.0 |
| com.google.flatbuffers | flatbuffers-java | 23. 5. 2026 |
| com.google.guava | guave | 15,0 |
| com.google.protobuf | protobuf-java | 3.25.1 |
| com.helger | profiler | 1.1.1 |
| com.ibm.icu | icu4j | 75.1 |
| com.jcraft | jsch | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.VYDÁNÍ |
| com.lihaoyi | zdrojový_kód_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk (software development kit pro úložiště dat Azure Data Lake) | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.ning | compress-lzf (komprimační algoritmus LZF) | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | JSON | 1.8 |
| com.thoughtworks.paranamer | Paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app-2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | konfig | 1.4.3 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.3 |
| com.univocity | univocity-parsers (nástroj pro analýzu dat) | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.16.0 |
| společné sbírky | společné sbírky | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| Nahrávání souborů v Commons | Nahrávání souborů v Commons | 1.5 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.13.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging (nástroj pro záznamy) | commons-logging (nástroj pro záznamy) | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.3 |
| dev.ludovic.netlib | Blas | 3.0.3 |
| dev.ludovic.netlib | LAPACK | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | vzduchový kompresor | 0.27 |
| io.delta | delta-sharing-client_2.12 | 1.2.0 |
| io.dropwizard.metrics | anotace metrik | 4.2.19 |
| io.dropwizard.metrics | metriky-základ | 4.2.19 |
| io.dropwizard.metrics | metrics-graphite | 4.2.19 |
| io.dropwizard.metrics | metriky – kontroly stavu | 4.2.19 |
| io.dropwizard.metrics | metrics-jetty9 | 4.2.19 |
| io.dropwizard.metrics | Metrics-JMX | 4.2.19 |
| io.dropwizard.metrics | Metriky-json | 4.2.19 |
| io.dropwizard.metrics | metriky pro JVM | 4.2.19 |
| io.dropwizard.metrics | metriky – servlety | 4.2.19 |
| io.netty | netty-all | 4.1.108.Final |
| io.netty | netty-buffer | 4.1.108.Final |
| io.netty | netty-codec | 4.1.108.Final |
| io.netty | netty-kodek-http | 4.1.108.Final |
| io.netty | netty-codec-http2 | 4.1.108.Final |
| io.netty | netty-codec-socks | 4.1.108.Final |
| io.netty | netty-common | 4.1.108.Final |
| io.netty | Netty handler | 4.1.108.Final |
| io.netty | Netty-handler-proxy | 4.1.108.Final |
| io.netty | netty-resolver | 4.1.108.Final |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61. Final - linux - x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-windows-x86_64 |
| io.netty | netty-tcnative-classes (softwarová knihovna) | 2.0.61.Final |
| io.netty | netty-transport | 4.1.108.Final |
| io.netty | netty-transport-classes-epoll | 4.1.108.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.108.Final |
| io.netty | netty-transport-native-epoll | 4.1.108.Final |
| io.netty | netty-transport-native-epoll | 4.1.108.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.108.Final-linux-riscv64 |
| io.netty | netty-transport-native-epoll | 4.1.108.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.108.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.108.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.1.108.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleklient_obecný | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | kolektor | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | aktivace | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1,1 |
| javax.transaction | API pro transakce | 1,1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| Javolution | Javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | marináda | 1.3 |
| net.sf.jpam | jpam | 1,1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| síť.sněhová vločka | snowflake-ingest-sdk | 0.9.6 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.9.3 |
| org.antlr | StringTemplate | 3.2.1 |
| org.apache.ant | mravenec | 1.10.11 |
| org.apache.ant | ant-jsch | 1.10.11 |
| org.apache.ant | Ant launcher | 1.10.11 |
| org.apache.arrow | šipkový formát | 15.0.0 |
| org.apache.arrow | jádro šipkové paměti | 15.0.0 |
| org.apache.arrow | šipka-paměť-netty | 15.0.0 |
| org.apache.arrow | šipkový vektor | 15.0.0 |
| org.apache.avro | Avro | 1.11.3 |
| org.apache.avro | avro-ipc | 1.11.3 |
| org.apache.avro | avro-mapred | 1.11.3 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress (softwarová knihovna pro kompresi dat) | 1.23.0 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | Commons-text (textové nástroje) | 1.10.0 |
| org.apache.kurátor | kurátor-klient | 2.13.0 |
| org.apache.kurátor | kurátor-framework | 2.13.0 |
| org.apache.kurátor | kurátor-recepty | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | datasketches-paměť | 2.0.0 |
| org.apache.derby | fotbalové derby | 10.14.2.0 |
| org.apache.hadoop | běhové prostředí klienta Hadoop | 3.3.6 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc (JDBC ovladač pro Apache Hive) | 2.3.9 |
| org.apache.hive | hive-llap-client (klient pro Apache Hive s možností LLAP) | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | Hive-shims | 2.3.9 |
| org.apache.hive | rozhraní pro úložiště Hive | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | plánovač hive-shims | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | břečťan | 2.5.2 |
| org.apache.logging.log4j | log4j-1.2-api | 2.22.1 |
| org.apache.logging.log4j | log4j-api | 2.22.1 |
| org.apache.logging.log4j | log4j-core | 2.22.1 |
| org.apache.logging.log4j | šablona rozložení log4j ve formátu JSON | 2.22.1 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.22.1 |
| org.apache.orc | orc-core | 1.9.2-shaded-protobuf |
| org.apache.orc | orc-mapreduce | 1.9.2-shaded-protobuf |
| org.apache.orc | orčí podložky | 1.9.2 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.23 |
| org.apache.yetus | anotace pro publikum | 0.13.0 |
| org.apache.zookeeper | ošetřovatel zvířat v zoo | 3.9.2 |
| org.apache.zookeeper | zookeeper-jute | 3.9.2 |
| org.checkerframework | checker-qual | 3.31.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | společný kompilátor | 3.0.16 |
| org.codehaus.janino | Janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms (framework pro práci s relačními databázemi) | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.collections | eclipse-collections | 11.1.0 |
| org.eclipse.collections | eclipse-collections-api | 11.1.0 |
| org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
| org.eclipse.jetty | Jetty - pokračování | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-http | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
| org.eclipse.jetty | Jetty-plus | 9.4.52.v20230823 |
| org.eclipse.jetty | proxy pro službu Jetty | 9.4.52.v20230823 |
| org.eclipse.jetty | bezpečnost Jetty | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-server | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
| org.eclipse.jetty | Jetty-webová aplikace | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | WebSocket API | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-klient | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.52.v20230823 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-lokátor | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | OSGi vyhledávač zdrojů | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-přebaleno | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject (pokud je to potřeba, přidejte vysvětlení nebo typický český termín v závorce) | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet (nástroj pro zpracování požadavků v Java EE) | 2.40 |
| org.glassfish.jersey.containers | jersey-container-servlet-jádro | 2.40 |
| org.glassfish.jersey.core | jersey-client | 2.40 |
| org.glassfish.jersey.core | Jersey-common | 2.40 |
| org.glassfish.jersey.core | Jersey-server (aplikační server frameworku Jersey) | 2.40 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.40 |
| org.hibernate.validator | Hibernate Validator | 6.1.7.Final |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | Javassist | 3.29.2-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | anotace | 17.0.0 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mlflow | mlflow-spark_2.12 | 2.9.1 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.6.1 |
| org.roaringbitmap | RoaringBitmap | 0.9.45-databricks |
| org.roaringbitmap | Vymezovací destičky | 0.9.45-databricks |
| org.rocksdb | rocksdbjni | 9.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.11.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.9.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | testovací rozhraní | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.2.16 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | kompatibilní s scalatestem | 3.2.16 |
| org.scalatest | scalatest-core_2.12 | 3.2.16 |
| org.scalatest | scalatest-diagrams_2.12 | 3.2.16 |
| org.scalatest | scalatest-featurespec_2.12 | 3.2.16 |
| org.scalatest | scalatest-flatspec_2.12 | 3.2.16 |
| org.scalatest | scalatest-freespec_2.12 | 3.2.16 |
| org.scalatest | scalatest-funspec_2.12 | 3.2.16 |
| org.scalatest | scalatest-funsuite_2.12 | 3.2.16 |
| org.scalatest | scalatest-matchers-core_2.12 | 3.2.16 |
| org.scalatest | scalatest-mustmatchers_2.12 | 3.2.16 |
| org.scalatest | scalatest-propspec_2.12 | 3.2.16 |
| org.scalatest | scalatest-refspec_2.12 | 3.2.16 |
| org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.16 |
| org.scalatest | scalatest-wordspec_2.12 | 3.2.16 |
| org.scalatest | scalatest_2.12 | 3.2.16 |
| org.slf4j | jcl-over-slf4j | 2.0.7 |
| org.slf4j | jul-to-slf4j | 2.0.7 |
| org.slf4j | slf4j-api | 2.0.7 |
| org.slf4j | slf4j-simple | 1.7.25 |
| org.threeten | threeten-extra | 1.7.1 |
| org.tukaani | xz | 1,9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.1.3.Finální |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.10.3 |
| org.yaml | snakeyaml | 2.0 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.2-linux-x86_64 |
| Stax | stax-api | 1.0.1 |