Databricks Runtime 15.1 (EoS)

Poznámka:

Podpora této verze Databricks Runtime skončila. Datum ukončení podpory najdete v tématu Konec podpory a historie ukončení životnosti. Pro všechny podporované verze Databricks Runtime vizte poznámky k vydání Databricks Runtime - verze a kompatibilita.

Následující poznámky k verzi obsahují informace o modulu Databricks Runtime 15.1, který využívá Apache Spark 3.5.0.

Databricks vydala tuto verzi v dubnu 2024.

Změny způsobující chyby

Podpora databricks Runtime 15.0 a Databricks Runtime 15.0 pro Machine Learning končí 31. května 2024, protože upgrade knihovny pandas z verze 1.5.3 na 2.0.3 v 15.0 způsobil zásadní změnu v několika rozhraních APACHE Spark API. Podrobnostioch souborech najdete v tématu >Us>< Python ítě Pro vyřešení této nekompatibilitu vydala Databricks Runtime 15.1 a Databricks Runtime 15.1 pro Machine Learning. Funkce podporované těmito verzemi jsou stejné jako verze 15.0, ale verze pandas je downgradovaná na verzi 1.5.3.

Všechny existující clustery nebo úlohy, které používají verze Databricks Runtime 15.0, budou nadále fungovat, ale nebudou dostávat aktualizace produktů ani zabezpečení. V uživatelském rozhraní Databricks už nemůžete konfigurovat nové výpočetní prostředky, které používají Databricks Runtime 15.0 nebo Databricks Runtime 15.0 ML. Pokud nepoužíváte funkce nebo rozhraní API, která vyžadují knihovnu pandas 2.0 nebo novější, doporučuje Databricks přepnout tyto úlohy na Databricks Runtime 15.1.

Pokud používáte funkce nebo rozhraní API dostupná jenom v knihovně pandas 2.0 nebo novější a nepoužíváte žádné funkce ovlivněné touto verzí, doporučuje Databricks přepnout na Databricks Runtime 15.1 a upgradovat výchozí balíček pandas pomocí knihoven clusteru nebo pro prostředí poznámkového bloku. Pokud chcete například upgradovat knihovnu pandas v poznámkovém bloku Databricks, použijte následující příkaz:

%pip install pandas==2.0.3

Verze knihovny pandas Python byla snížena na 1.5.3

V této verzi je knihovna pandas downgradována z verze 2.0.3 na 1.5.3. Tento downgrade byl vyžadován, protože nekompatibility ve verzi pandas 2.0.3 způsobily chyby v některých rozhraních PANDAS API ve funkcích Sparku. Následující seznam uvádí funkce ovlivněné verzí pandas 2.0.3:

  • pyspark.date_range: Chybí closed parametr, který způsobuje chyby, když je tato funkce volána existujícím kódem.
  • GroupBy Funkce sloupců MultiIndex se změní, což způsobuje neočekávané chování.
  • Některé datetime atributy DatetimeIndex (například day, month, yeara tak dále) vrací int32 datové typy místo datových int64 typů.

Funkce PySpark spark.sql() nyní selže pro neplatné typy argumentů.

V Databricks Runtime 15.1 a novějších verzích musí být parametr pojmenovaných nebo pozičních parametrů předaných funkci args slovníkem nebo seznamem. Pokud je předán jakýkoli jiný typ objektu, je vyvolána následující chyba: PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>.

Ukládání knihoven v kořenovém adresáři DBFS je ve výchozím nastavení zastaralé a zakázané

Aby se zlepšilo zabezpečení knihoven v pracovním prostoru Azure Databricks, ukládání souborů knihoven v kořenovém adresáři DBFS je ve výchozím nastavení zastaralé a zakázané od Databricks Runtime 15.1. Databricks doporučuje nahrát všechny knihovny, které zahrnují Python knihovny, soubory JAR a konektory Sparku, do souborů pracovních prostorů, svazků Unity Catalog nebo použijte úložiště balíčků. Viz Doporučení pro nahrávání knihoven.

Chcete-li znovu povolit ukládání knihoven v kořenovém adresáři DBFS, nastavte následující konfigurační parametr Sparku: spark.databricks.driver.dbfsLibraryInstallationAllowed true.

Výchozí verze Python se upgraduje z verze 3.10 na verzi 3.11.

U Databricks Runtime 15.1 je výchozí Python verze 3.11.0. Seznam upgradovaných knihoven Python najdete v tématu Upgrady .

Odebere se JDK 11.

Jak jsme již oznámili, sada JDK 11 se odebere z Databricks Runtime 15.1 a novější. Databricks doporučuje upgradovat na JDK 17 při upgradu na Databricks Runtime 15.1 a novější. Viz Databricks SDK pro Java.

Python REPL se nyní elegantně ukončí.

U Databricks Runtime 15.1 se teď proces REPL Python notebooku elegantně ukončí při ukončení. To způsobí, že všechny háky atexit budou respektovány. Například v pracovním postupu s více úkoly Python v poznámkovém bloku se háky atexit registrované v prvním úkolu spustí před spuštěním druhého úkolu v poznámkovém bloku Python.

Nové funkce a vylepšení

Klauzule * (hvězdička) je nyní podporována v klauzuli WHERE.

Nyní můžete pomocí klauzule hvězdička (*) v WHERE klauzuli odkazovat na všechny sloupce ze SELECT seznamu. Například SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

Konfigurace spark.sql.json.enablePartialResults je teď ve výchozím nastavení povolená.

Konfigurace spark.sql.json.enablePartialResults Sparku je teď ve výchozím nastavení povolena, což umožňuje JSON analyzátoru správně zpracovávat chyby při analýze složitých typů, jako jsou struktura, mapa a pole, aniž by byly odstraněny zbývající pole. Tato změna řeší problém s konzistencí pro zdroje dat JSON s vyřazením sloupců.

Knihovny clusteru teď podporují requirements.txt soubory

Knihovny clusteru teď můžete nainstalovat pomocí requirements.txt souboru uloženého v souboru pracovního prostoru nebo svazku katalogu Unity. V clusterech s režimem vyhrazeného a requirements.txt přístupu může soubor odkazovat na jiné soubory. V clusterech s režimem sdíleného přístupu bez izolace se podporují pouze balíčky PyPI. Viz knihovny s vymezeným výpočetním oborem.

Rozhraní příkazového řádku Databricks je teď dostupné ve webovém terminálu.

Rozhraní příkazového řádku Databricks teď můžete použít z webového terminálu v notebooku. Poznámkový blok musí být připojený ke clusteru v režimu vyhrazeného nebo bez izolace sdílený přístup. Podrobnosti najdete v tématu Použití webového terminálu a rozhraní příkazového řádku Databricks.

Přidání výchozích úložišť Python do konfigurací clusteru

Ve verzi Databricks Runtime 15.1 a novější můžete konfigurovat globální pip index-url a extra-index-url parametry pro instalaci knihoven svázaných s clustery a poznámkovými bloky při konfiguraci clusteru nebo definování zásad clusteru. Nastavte proměnné prostředí DATABRICKS_PIP_INDEX_URL a DATABRICKS_PIP_EXTRA_INDEX_URL.

Webový terminál dostupný na standardních clusterech

Ve službě Databricks Runtime 15.1 a novějších můžete použít webový terminál v clusterech s režimem přístupu Standard .

Předávání přihlašovacích údajů a řízení přístupu k tabulce metastoru Hive jsou zastaralé

Předávání přihlašovacích údajů a řízení přístupu k tabulkám metastoru Hive jsou starší modely zásad správného řízení dat. Upgradujte na Unity Catalog, abyste zjednodušili zabezpečení a správu vašich dat tím, že poskytuje centrální místo pro správu a auditování přístupu k datům napříč několika pracovními prostory ve vašem účtu. Viz téma Co je katalog Unity?.

Podpora předávání přihlašovacích údajů a řízení přístupu k tabulce metastoru Hive se odebere v nadcházející verzi Databricks Runtime.

Upgrady knihoven

  • Upgradované knihovny Python:
    • černá od 22.6.0 do 23.3.0
    • boto3 od 1.24.28 do 1.34.39
    • aktualizace botocore z verze 1.27.96 na 1.34.39
    • certifi od 2022.12.7 do 2023.7.22
    • kryptografie od 39.0.1 do 41.0.3
    • databricks-sdk od 0.1.6 do 0.20.0
    • distlib od 0.3.7 do 0.3.8
    • googleapis-common-protos od 1.62.0 do 1.63.0
    • grpcio od 1.48.2 do 1.60.0
    • grpcio-status z verze 1.48.1 na verzi 1.60.0
    • importlib-metadata z verze 4.6.4 do 6.0.0
    • ipykernel od 6.25.0 do 6.25.1
    • ipython od 8.14.0 do 8.15.0
    • ipywidgets od 7.7.2 do 8.0.4
    • jupyter_core od 5.2.0 do 5.3.0
    • jupyterlab-widgety od 1.0.0 do 3.0.5
    • matplotlib od 3.7.0 do 3.7.2
    • pip od 22.3.1 do 23.2.1
    • platformdirs od verze 2.5.2 do verze 3.10.0
    • protobuf od 4.24.0 do 4.24.1
    • pyarrow od 8.0.0 do 14.0.1
    • Pygments od 2.11.2 do 2.15.1
    • pyodbc od 4.0.32 do 4.0.38
    • žádosti od 2.28.1 do 2.31.0
    • s3transfer z 0.6.2 na 0.10.0
    • scikit-learn od 1.1.1 do 1.3.0
    • scipy od 1.10.0 do 1.11.1
    • instalační nástroje od 65.6.3 do 68.0.0
    • statsmodels od 0.13.5 do 0.14.0
    • tenacity 8.1.0 až 8.2.2
    • tornado od 6.1 do 6.3.2
    • typing_extensions od 4.4.0 do 4.7.1
    • urllib3 od 1.26.14 do 1.26.16
    • virtualenv od 20.16.7 do 20.24.2
    • widgetsnbextension od 3.6.1 do 4.0.5
    • zipp od 1.0.0 do 3.11.0
  • Upgradované knihovny jazyka R:
    • šipka od 12.0.1 do 14.0.0.2
    • askpass od 1.1 do 1.2.0
    • základ od 4.3.1 do 4.3.2
    • vaření od 1.0-8 do 1.0-10
    • brio od 1.1.3 do 1.1.4
    • bslib od 0.5.0 do 0.6.1
    • cli od 3.6.1 do 3.6.2
    • společné označení od 1.9.0 do 1.9.1
    • kompilátor z verze 4.3.1 do 4.3.2
    • konfigurace z 0.3.1 na 0.3.2
    • cpp11 od 0.4.4 do 0.4.7
    • přihlašovací údaje od 1.3.2 do 2.0.1
    • curl od 5.0.1 do 5.2.0
    • data.table od 1.14.8 do 1.15.0
    • datové sady od 4.3.1 do 4.3.2
    • DBI od 1.1.3 do 1.2.1
    • dbplyr od 2.3.3 do 2.4.0
    • desc od 1.4.2 do 1.4.3
    • digest od 0.6.33 do 0.6.34
    • dplyr od 1.1.2 do 1.1.4
    • e1071 od 1.7-13 do 1.7-14
    • vyhodnocení z 0.21 na 0.23
    • ventilátory od 1.0.4 do 1.0.6
    • fontawesome od 0.5.1 do 0.5.2
    • fs od 1.6.2 do 1.6.3
    • budoucí od 1.33.0 do 1.33.1
    • future.apply od 1.11.0 do 1.11.1
    • gargle od 1.5.1 do 1.5.2
    • gert od 1.9.2 do 2.0.1
    • ggplot2 od 3.4.2 do 3.4.4
    • glmnet od 4.1-7 do 4.1-8
    • připevnění z 1.6.2 na 1.7.0
    • grafika od 4.3.1 do 4.3.2
    • grDevices od 4.3.1 do 4.3.2
    • mřížka od 4.3.1 do 4.3.2
    • gtable od 0.3.3 do 0.3.4
    • hardhat od 1.3.0 do 1.3.1
    • Aktualizace haven z verze 2.5.3 na verzi 2.5.4
    • htmltools od 0.5.5 do 0.5.7
    • htmlwidgets od 1.6.2 do 1.6.4
    • httpuv od 1.6.11 do 1.6.14
    • httr od 1.4.6 do 1.4.7
    • httr2 od 0.2.3 do 1.0.0
    • Jsonlite od 1.8.7 do 1.8.8
    • knitr od 1.43 do 1.45
    • popisky od 0.4.2 do 0.4.3
    • později od 1.3.1 do 1.3.2
    • láva od 1.7.2.1 do 1.7.3
    • životní cyklus od 1.0.3 do 1.0.4
    • listenv od 0.9.0 do 0.9.1
    • lubridate od 1.9.2 do 1.9.3
    • markdown od 1.7 do 1.12
    • metody od 4.3.1 do 4.3.2
    • openssl od 2.0.6 do 2.1.1
    • paralelní od 4.3.1 do 4.3.2
    • pkgbuild od 1.4.2 do 1.4.3
    • pkgload od 1.3.2.1 do 1.3.4
    • plyr od 1.8.8 do 1.8.9
    • prettyunits od 1.1.1 do 1.2.0
    • pROC od 1.18.4 do 1.18.5
    • processx od 3.8.2 do 3.8.3
    • prodlim od 31.03.2023 do 28.08.2023
    • aktualizace z 1.2.2 na 1.2.3
    • progressr od 0.13.0 na 0.14.0
    • sliby od 1.2.0.1 do 1.2.1
    • ps od 1.7.5 do 1.7.6
    • purrr od 1.0.1 do 1.0.2
    • ragg od 1.2.5 do 1.2.7
    • Rcpp od 1.0.11 do 1.0.12
    • RcppEigen od 0.3.3.9.3 do 0.3.3.9.4
    • readr od 2.1.4 do 2.1.5
    • recepty od 1.0.6 do 1.0.9
    • aktualizace z 1.0.1 na 2.0.0
    • aktualizace z 2.4.2 na 2.4.2.1
    • Aktualizace reprex z verze 2.0.2 na 2.1.0
    • rlang od 1.1.1 do 1.1.3
    • rmarkdown od 2.23 do 2.25
    • RODBC od 1.3-20 do 1.3-23
    • roxygen2 od 7.2.3 do 7.3.1
    • rprojroot od 2.0.3 do 2.0.4
    • Rserve od 1.8-11 do 1.8-13
    • RSQLite od 2.3.1 do 2.3.5
    • Sass od 0.4.6 do 0.4.8
    • škálování od 1.2.1 do 1.3.0
    • lesklý od 1.7.4.1 do 1.8.0
    • sparklyr od 1.8.1 do 1.8.4
    • splines od 4.3.1 do 4.3.2
    • Statistiky od 4.3.1 do 4.3.2
    • Statistiky 4 od 4.3.1 do 4.3.2
    • stringi od 1.7.12 do 1.8.3
    • stringr od 1.5.0 do 1.5.1
    • systemfonts od 1.0.4 do 1.0.5
    • tcltk od 4.3.1 do 4.3.2
    • testthat z verze 3.1.10 na 3.2.1
    • textshaping od verze 0.3.6 na verzi 0.3.7
    • tidyr od 1.3.0 do 1.3.1
    • časový interval od 0.2.0 do 0.3.0
    • ČasDatum od 4022.108 do 4032.109
    • tinytex od 0,45 do 0,49
    • nástroje od 4.3.1 do 4.3.2
    • utf8 od 1.2.3 do 1.2.4
    • aktualizace nástrojů z verze 4.3.1 na verzi 4.3.2
    • uuid od 1.1-0 do 1.2-0
    • vctrs od 0.6.3 do 0.6.5
    • vroom od 1.6.3 do 1.6.5
    • waldo od 0.5.1 do 0.5.2
    • withr od 2.5.0 do 3.0.0
    • xfun od 0.39 do 0.41
    • xml2 od 1.3.5 do 1.3.6
    • yaml od 2.3.7 do 2.3.8
    • zip od 2.3.0 do 2.3.1
  • Upgradované knihovny Java:
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 od 2.15.1 do 2.16.0
    • com.google.flatbuffers.flatbuffers-java od 1.12.0 do 23.5.26
    • com.typesafe.config od 1.2.1 do 1.4.3
    • org.apache.ant.ant od 1.9.16 do 1.10.11
    • org.apache.ant.ant-jsch od 1.9.16 do 1.10.11
    • org.apache.ant.ant-launcher od 1.9.16 do 1.10.11
    • Aktualizace org.apache.arrow.arrow-format z verze 12.0.1 na 15.0.0
    • org.apache.arrow.arrow-memory-core od 12.0.1 do 15.0.0
    • org.apache.arrow.arrow-memory-netty od 12.0.1 do 15.0.0
    • org.apache.arrow.arrow-vector od 12.0.1 do 15.0.0
    • org.apache.avro.avro od 1.11.2 do 1.11.3
    • org.apache.avro.avro-ipc od 1.11.2 do 1.11.3
    • org.apache.avro.avro-mapred od 1.11.2 do 1.11.3
    • org.apache.logging.log4j.log4j-1.2-api od 2.20.0 do 2.22.1
    • org.apache.logging.log4j.log4j-api od 2.20.0 do 2.22.1
    • org.apache.logging.log4j.log4j-core od 2.20.0 do 2.22.1
    • org.apache.logging.log4j.log4j-slf4j2-impl od 2.20.0 do 2.22.1
    • org.postgresql.postgresql od 42.6.0 do 42.6.1

Apache Spark

Databricks Runtime 15.1 zahrnuje Apache Spark 3.5.0. Tato verze zahrnuje všechny opravy a vylepšení Sparku zahrnuté v Databricks Runtime 14.3 LTS a také následující další opravy chyb a vylepšení Sparku:

  • [SPARK-45527] [DBRRM-805][es-1073714] Revert "[SC-151626][core] K výpočtu prostředků použijte zlomek"
  • [SPARK-47102] [DBRRM-803][sc-158253][SQL] Přidejte konfigurační příznak COLLATION_ENABLED
  • [SPARK-46973] [SC-158140][dbrrm-777][SQL] Vynechá vyhledávání tabulek V2, když je tabulka v mezipaměti tabulky V1.
  • [SPARK-46808] [SC-154113][python] Upřesnit třídy chyb v Python pomocí funkce automatického řazení
  • [SPARK-47251] [SC-158291][python] Blokování neplatných typů z argumentu args příkazu sql
  • [SPARK-47251] [SC-158121][python] Blokování neplatných typů z argumentu args příkazu sql
  • [SPARK-47108] [SC-157204][core] Nastavit derby.connection.requireAuthentication na false explicitně v CLIs
  • [SPARK-45599] [SC-157537][core] Použití rovnosti objektů v OpenHashSet
  • [SPARK-47099] [SC-157352][sql] Slouží ordinalNumber k jednotnému nastavení hodnoty paramIndex pro třídu chyb. UNEXPECTED_INPUT_TYPE
  • [SPARK-46558] [SC-151363][connect] Extrahujte pomocnou funkci, která eliminuje duplicitní kód, který získává MessageParameters z ErrorParams v GrpcExceptionConverter
  • [SPARK-43117] [SC-156177][connect] Udělejte, aby ProtoUtils.abbreviate podporoval opakovaná pole
  • [SPARK-46342] [SC-150283][sql] Nahraďte IllegalStateException za SparkException.internalError v SQL
  • [SPARK-47123] [SC-157412][core] JDBCRDD nezpracuje správně chyby v getQueryOutputSchema
  • [SPARK-47189] [SC-157667][sql] Úprava názvů chyb sloupců a textu
  • [SPARK-45789] [SC-157101][sql] Podpora DESCRIBE TABLE pro sloupce seskupování
  • [SPARK-43256] [SC-157699][sql] Odstraňte třídu chyb _LEGACY_ERROR_TEMP_2021
  • [SPARK-47201] [SC-157782][python][CONNECT] sameSemantics kontroluje typy vstupu.
  • [SPARK-47183] [SC-157660][python] Oprava třídy chyb pro sameSemantics
  • [SPARK-47179] [SC-157663][sql] Zlepšení zprávy o chybě ze SparkThrowableSuite pro lepší možnosti ladění
  • [SPARK-46965] [SC-155791][jádro] Kontrola logType v Utils.getLog
  • [SPARK-46832] [SC-156774][sql] Představení výrazů kolací a třídění
  • [SPARK-46946] [SC-155721][sql] Podpora vysílání více klíčů filtrování v DynamicPruningu
  • [SPARK-47079] [VARIANT-22][sc-157598][PYTHON][sql][CONNECT] Přidání informací o typu Variant do PySpark
  • [SPARK-47101] [SC-157360][sql] Povolit použití čárky v názvech sloupců nejvyšší úrovně a odebrat kontrolu v definici vnořeného typu v HiveExternalCatalog.verifyDataSchema
  • [SPARK-47173] [SC-157571][ss][UI] Oprava překlepu v vysvětlení uživatelského rozhraní streamování
  • [SPARK-47113] [SC-157348][core] Vrátit opravu logiky S3A endpointu pro SPARK-35878
  • [SPARK-47130] [SC-157462][core] Použití funkce listStatus k obejití informací o umístění bloku při čištění protokolů ovladačů
  • [SPARK-43259] [SC-157368][sql] Přiřazení názvu ke třídě chyb _LEGACY_ERROR_TEMP_2024
  • [SPARK-47104] [SC-157355][sql] TakeOrderedAndProjectExec by měl inicializovat nebezpečnou projekci.
  • [SPARK-47137] [SC-157463][python][CONNECT] Přidání příkazu getAll do spark.conf pro paritu funkcí se Scalou
  • [SPARK-46924] [SC-154905][core] Opravit Load New tlačítko v Master/HistoryServer uživatelském rozhraní pro protokoly
  • [SPARK-47069] [SC-157370][python][CONNECT] Zavedení spark.profile.show/dump profilace založené na SparkSession
  • [SPARK-46812] [SC-157075][sql][PYTHON] Umožněte mapInPandas / mapInArrow podporovat ResourceProfile
  • [SPARK-46833] [SC-155866][sql] Kolace – Představujeme CollationFactory, která poskytuje pravidla porovnání a hashování pro podporované kolace
  • [SPARK-47057] [SC-157036][python] Znovu povolit testování dat pomocí MyPy
  • [SPARK-46934] [SC-157084][sql] Roundtrip pro čtení a zápis pro typ struktury se speciálními znaky pomocí HMS
  • [SPARK-46727] [SC-153472][sql] Port classifyException() v JDBC dialektech pro třídy chyb
  • [SPARK-46964] [SC-155740][sql] Změňte podpis chyby spuštění dotazu hllInvalidLgK tak, aby jako 4. argument přebral celé číslo.
  • [SPARK-46949] [SC-155719][sql] Podporovat CHAR/VARCHAR v ResolveDefaultColumns
  • [SPARK-46972] [SC-155888][sql] Oprava asymetrického nahrazení znaku/varchar ve V2SessionCatalog.createTable
  • [SPARK-47014] [SC-156778][python][CONNECT] Implementovat metody dumpPerfProfiles a dumpMemoryProfiles SparkSession.
  • [SPARK-46689] [SC-156221][spark-46690][PYTHON][connect] Podpora profilace v2 ve skupině/cogroup applyInPandas/applyInArrow
  • [SPARK-47040] [SC-156773][connect] Povolit čekání skriptu serveru Spark Connect
  • [SPARK-46688] [SC-156113][spark-46691][PYTHON][connect] Podpora profilování v2 v agregovaných Pandas UDFs
  • [SPARK-47004] [SC-156499][connect] Přidání dalších testů do ClientStreamingQuerySuite pro zvýšení pokrytí testu klienta Scala
  • [SPARK-46994] [SC-156169][python] Refaktorovat PythonWrite pro přípravu na podporu streamovaného zápisu zdrojů dat v Pythonu
  • [SPARK-46979] [SC-156587][ss] Přidání podpory pro zadání kodéru klíč a hodnota samostatně a také pro každou řadu sloupců ve zprostředkovateli úložiště stavů RocksDB
  • [SPARK-46960] [SC-155940][ss] Testování více vstupních datových proudů pomocí operátoru TransformWithState
  • [SPARK-46966] [SC-1561112][python] Přidejte rozhraní API UDTF pro metodu analyze, která označuje podmnožinu sloupců vstupní tabulky, které chcete vybrat.
  • [SPARK-46895] [SC-155950][core] Nahrazení časovače za naplánovaného vykonavatele s jediným vláknem
  • [SPARK-46967] [SC-155815][core][UI] Skrytí Thread Dump a Heap Histogram exekutorů Dead v Executors uživatelském rozhraní
  • [SPARK-46512] [SC-155826][core] Optimalizujte čtení shuffle při použití řazení a kombinování.
  • [SPARK-46958] [SC-155942][sql] Přidat chybějící časové pásmo pro přizpůsobení výchozích hodnot
  • [SPARK-46754] [SC-153830][sql][AVRO] Oprava rozlišení kódu komprese v definici tabulky a možnostech zápisu avro
  • [SPARK-46728] [SC-154207][python] Zkontrolujte správnou instalaci Pandas.
  • [SPARK-43403] [SC-154216][ui] Před načtením nového se ujistěte, že se odpojil starý SparkUI v HistoryServeru.
  • [SPARK-39910] [SC-156203][sql] Delegování kvalifikace cesty na systém souborů během globování cest k souborům DataSource
  • [SPARK-47000] [SC-156123] Vrátit „[SC-156123][jádro] Použít getTotalMemorySize...
  • [SPARK-46819] [SC-154560][core] Přesun kategorií chyb a stavů do FORMÁTU JSON
  • [SPARK-46997] [SC-156175][core] Povolit spark.worker.cleanup.enabled ve výchozím nastavení
  • [SPARK-46865] [SC-156168][ss] Přidání podpory dávky pro operátor TransformWithState
  • [SPARK-46987] [SC-156040][connect] ProtoUtils.abbreviate vyhněte se zbytečným setField operacím.
  • [SPARK-46970] [SC-155816][jádro] Přepsat OpenHashSet#hasher pomocí pattern matching
  • [SPARK-46984] [SC-156024][python] Odstranit pyspark.copy_func
  • [SPARK-47000] [SC-156123][jádro] Použijte getTotalMemorySize v WorkerArguments
  • [SPARK-46980] [SC-155914][SQL][MINOR] Vyhněte se použití interních rozhraní API v komplexních testech datového rámce
  • [SPARK-46931] Vrátit "[SC-155661][ps] Implementace {Frame, Series}.to_hdf"
  • [SPARK-46618] [SC-153828][sql] Vylepšení chybových zpráv pro DATA_SOURCE_NOT_FOUND chybu
  • [SPARK-46849] [SC-154586][sql] Spuštění optimalizátoru ve CREATE TABLE výchozím nastavení sloupců
  • [SPARK-46911] [SC-155724][ss] Přidání operátoru deleteIfExists do StatefulProcessorHandleImpl
  • [SPARK-43273] [SQL] Podpora lz4raw kodeku komprese pro Parquet
  • [SPARK-47002] [SC-156223][python] Vrátí lepší chybovou zprávu, pokud pole UDTF 'analyze' method 'orderBy' omylem vrátí seznam řetězců.
  • [SPARK-46890] [SC-155802][sql] Oprava chyby analýzy CSV s využitím výchozích hodnot a prořezáváním sloupců
  • [SPARK-46977] [SC-155892][core] Neúspěšný požadavek na získání tokenu z jednoho uzlu NameNode by neměl přeskočit následné žádosti o token.
  • [SPARK-46608] [SC-151806][sql] Obnovení zpětné kompatibility JdbcDialect.classifyException
  • [SPARK-46908] [SC-155702][sql] Podpora klauzule hvězdičky v WHERE klauzuli
  • [SPARK-46908] [SC-155702][sql] Podpora klauzule hvězdičky v WHERE klauzuli
  • [SPARK-46852] [SC-155665][ss] Odeberte použití explicitního kodéru klíčů a implicitně ho předejte operátoru transformWithState.
  • [SPARK-46864] [SC-155669][ss] Onboard libovolný stavV2 do nové architektury tříd chyb
  • [SPARK-45807] [SC-155706][sql] Návratové zobrazení po volání replaceView(.)
  • [SPARK-46899] [SC-154651][core] Odeberte POST rozhraní API z MasterWebUI, když spark.ui.killEnabled je false
  • [SPARK-46868] [SC-154539][core] Podpora uživatelského rozhraní protokolu pracovních procesů Sparku
  • [SPARK-46931] [SC-155661][ps] Implementovat {Frame, Series}.to_hdf
  • [SPARK-46940] [SC-155667][jádro] Odeberte nepoužívané updateSparkConfigFromProperties a isAbsoluteURI v o.a.s.u.Utils
  • [SPARK-46929] [SC-155659][core][CONNECT][ss] Použijte ThreadUtils.shutdown k uzavření fondů vláken.
  • [SPARK-46400] [SC-155658][core][SQL] Pokud jsou v místním úložišti Maven poškozené soubory, přeskočte tuto mezipaměť a zkuste to znovu.
  • [SPARK-46932] [SC-155655] Vyčištění importů v pyspark.pandas.test_*
  • [SPARK-46683] [SC-154120] Napsání generátoru poddotazů, který generuje permutace poddotazů za účelem zvýšení pokrytí testování
  • [SPARK-46914] [SC-154776][ui] Zkraťte název aplikace v souhrnné tabulce na stránce Historie.
  • [SPARK-46831] [SC-154699][sql] Kolace – Rozšíření StringType a PhysicalStringType přidáním pole collationId
  • [SPARK-46816] [SC-154415][ss] Přidání základní podpory pro nový operátor správy libovolného stavu, typ valueState, více proměnných stavů a podkladovou podporu pro rodiny sloupců u RocksDBStateStoreProvider s/bez kontrolních bodů protokolu změn
  • [SPARK-46925] [SC-154890][python][CONNECT] Přidejte upozornění, které dává pokyn k instalaci memory_profiler pro profilaci paměti.
  • [SPARK-46927] [SC-154904][python] Zajistit správnou funkci assertDataFrameEqual bez PyArrow.
  • [SPARK-46021] [SC-148987][core] Podpora zrušení budoucích úloh patřících do skupiny úloh
  • [SPARK-46747] [SC-154789][sql] Vyhněte se prohledávání v getTableExistsQuery pro dialekty JDBC
  • [SPARK-46904] [SC-154704][ui] Oprava problému se zobrazením souhrnu uživatelského rozhraní historie
  • [SPARK-46870] [SC-154541][core] Podpora uživatelského rozhraní hlavního protokolu Sparku
  • [SPARK-46893] [SC-154780][ui] Odebrání vložených skriptů z popisů uživatelského rozhraní
  • [SPARK-46910] [SC-154760][python] Eliminujte požadavek sady JDK v instalaci PySpark
  • [SPARK-46907] [SC-154736][core] Zobrazení umístění souboru logu ovladače v Historickém serveru Sparku
  • [SPARK-46902] [SC-154661][ui] Oprava uživatelského rozhraní Historie serveru Spark pro použití neexportované setAppLimit
  • [SPARK-46687] [SC-154725][python][CONNECT] Základní podpora profileru paměti založeného na SparkSession
  • [SPARK-46623] [SC-153831][core][MLLIB][sql] Nahrazení SimpleDateFormat s DateTimeFormatter
  • [SPARK-46875] [SC-154627][sql] Pokud mode je hodnota null, NullPointException měla by not se vyvolat chyba
  • [SPARK-46872] [SC-154543][jádro] Obnovení log-view.js bez modulu
  • [SPARK-46883] [SC-154629][core] Podpora rozhraní API /json/clusterutilization
  • [SPARK-46886] [SC-154630][core] Povolení spark.ui.prometheus.enabled ve výchozím nastavení
  • [SPARK-46873] [SC-154638][ss] Znovu nevytvářet nový StreamQueryManager pro stejnou relaci Sparku
  • [SPARK-46829] [SC-154419][core] Odebrání createExecutorEnv ze SparkEnv
  • [SPARK-46827] [SC-154280][core] Upravte RocksDBPersistenceEngine tak, aby podporoval symbolický odkaz
  • [SPARK-46903] [SC-154662][core] Podpora uživatelského rozhraní logů Spark History Serveru
  • [SPARK-46874] [SC-154646][python] Odstranit závislost pyspark.pandas z assertDataFrameEqual
  • [SPARK-46889] [SC-154639][jádro] Ověřit nastavení spark.master.ui.decommission.allow.mode
  • [SPARK-46850] [SC-154443][sql] Převést _LEGACY_ERROR_TEMP_2102 na UNSUPPORTED_DATATYPE
  • [SPARK-46704] [SC-153323][core][UI] Oprava MasterPage správného řazení Running Drivers tabulky podle Duration sloupce
  • [SPARK-46796] [SC-154279][ss] Ujistěte se, že se při načítání verze RocksDB používají správné vzdálené soubory (uvedené v metadata.zip).
  • [SPARK-46888] [SC-154636][core] Oprava Master zamítnutí /workers/kill/ žádostí, pokud je vyřazení z provozu zakázané
  • [SPARK-46818] [SC-154422][sql] Zlepšení chybových zpráv pro Range s neskládacími vstupy
  • [SPARK-46898] [SC-154649][connect] Zjednodušení transformace funkce protobuf v Planneru
  • [SPARK-46828] [SC-154413][sql] Odebrání neplatného ověření režimu vzdáleného pro spark sql shell
  • [SPARK-46733] [SC-154274][core] Zjednodušte Správce bloků tak, aby operace ukončení závisela pouze na přerušení vlákna.
  • [SPARK-46777] [SC-154016][ss] Přepracování StreamingDataSourceV2Relation struktury katalyzátoru tak, aby byla více rovnocenná s dávkovou verzí
  • [SPARK-46515] [SC-151716] Přidání funkce MONTHNAME
  • [SPARK-46823] [SC-154276][connect][PYTHON] LocalDataToArrowConversion by měl zkontrolovat hodnotu nullability.
  • [SPARK-46787] [SC-154404][connect] bloomFilter by měla vyvolat AnalysisException neplatný vstup.
  • [SPARK-46779] [SC-154045][sql] InMemoryRelation instance stejného plánu v mezipaměti by měly být sémanticky ekvivalentní.
  • [SPARK-45827] [SC-153973] Zakázat dělení ve sloupci Variant
  • [SPARK-46797] [SC-154085][jádro] Přejmenováno spark.deploy.spreadOut na spark.deploy.spreadOutApps
  • [SPARK-46094] [SC-153421] Podpora profilování JVM správce úloh
  • [SPARK-46746] [SC-153557][sql][AVRO] Připojit rozšíření kodeku k souborům se zdrojem dat avro
  • [SPARK-46698] [SC-153288][core] Nahraďte časovač jednovláknovým naplánovaným vykonavatelem pro ConsoleProgressBar.
  • [SPARK-46629] [SC-153835] Oprava pro typ STRUCT DDL nezachycuje nulovatelnost a komentáře
  • [SPARK-46750] [SC-153772][connect][PYTHON] Čištění kódu rozhraní API datového rámce
  • [SPARK-46769] [SC-153979][sql] Upřesnění odvození schématu souvisejícího s časovým razítkem
  • [SPARK-46765] [SC-153904][python][CONNECT] Zadejte shuffle datový typ seed
  • [SPARK-46579] [SC-151481][sql] Zredigovat url JDBC v chybách a protokolech
  • [SPARK-46686] [SC-153875][python][CONNECT] Základní podpora profileru Python UDF založeného na SparkSession
  • [SPARK-46748] Vrátit změnu “[SC-153800][jádro] Odebrat *slav**.sh scri...
  • [SPARK-46707] [SC-153833][sql] Přidání vyvolatelného pole do výrazů za účelem zlepšení posunu predikátu
  • [SPARK-46519] [SC-151278][sql] Vymazání nepoužívaných tříd chyb ze error-classes.json souboru
  • [SPARK-46677] [SC-153426][sql][CONNECT] Oprava dataframe["*"] řešení
  • [SPARK-46317] [SC-150184][python][CONNECT] Párování menších způsobů chování ve SparkSession s úplným pokrytím testů
  • [SPARK-46748] [SC-153800][jádro] Odebrání *slav**.sh skriptů
  • [SPARK-46663] [SC-153490][python] Zákaz profileru paměti pro pandas uživatelem definované funkce s iterátory
  • [SPARK-46410] [SC-150776][sql] Přiřazení tříd chyb nebo podtříd JdbcUtils.classifyException
  • [SPARK-46277] [SC-150126][python] Ověřte spouštěcí adresy URL s nastavenou konfigurací.
  • [SPARK-46612] [SC-153536][sql] Nepřevádět pole jako řetězec načtené z ovladače jdbc
  • [SPARK-46254] [SC-149788][python] Odebrání zastaralé kontroly verzí Python 3.8/3.7
  • [SPARK-46490] [SC-151335][sql] Vyžadování tříd chyb v SparkThrowable podtřídách
  • [SPARK-46383] [SC-153274][sc-147443][WARMFIX] Snížení využití haldy ovladačů snížením životnosti TaskInfo.accumulables()
  • [SPARK-46541] [SC-153109][sql][CONNECT] Oprava nejednoznačného odkazu na sloupec ve vlastním spojení
  • [SPARK-46381] [SC-150495][sql] Migrace dílčích tříd AnalysisException na třídy chyb
  • [SPARK-46351] [SC-150335][sql] Vyžaduje třídu chyb v AnalysisException
  • [SPARK-46220] [SC-149689][sql] Omezení znakových sad v decode()
  • [SPARK-46369] [SC-150340][core] Odebrání kill odkazu z RELAUNCHING ovladačů v MasterPage
  • [SPARK-46052] [SC-153284][core] Odebrání funkce TaskScheduler.killAllTaskAttempts
  • [SPARK-46536] [SC-153164][sql] Podpora typu kalendářního intervalu GROUP BY
  • [SPARK-46675] [SC-153209][sql] Odstranit nepoužívané inferTimestampNTZ v ParquetReadSupport
  • [SPARK-46717] [SC-153423][core] Zjednodušení ukončení operace, které závisí pouze na přerušení vlákna.
  • [SPARK-46722] [SC-153438][connect] Přidání testu týkajícího se zpětné kontroly kompatibility StreamQueryListener ve Spark Connect (Scala/PySpark)
  • [SPARK-46187] [SC-149580][sql] Sladění codegenu a implementace jiného typu než codegen StringDecode
  • [SPARK-46258] [SC-149799][jádro] Přidat RocksDBPersistenceEngine
  • [SPARK-46216] [SC-149676][core] Vylepšení FileSystemPersistenceEngine pro podporu komprese
  • [SPARK-46189] [SC-149567][ps][SQL] Proveďte porovnání a aritmetiku mezi stejnými typy v různých agregačních funkcích Pandas, abyste se vyhnuli chybám interpretovaného režimu.
  • [SPARK-46184] [SC-149563][core][SQL][connect][MLLIB] Omezte hloubku zásobníku nahrazením Option.isDefined s Option.isEmpty
  • [SPARK-46700] [SC-153329][core] Spočítejte poslední přelití pro metriku diskového prolévání dat shuffle v bajtech.
  • [SPARK-45642] [SC-150286][core][SQL] Oprava FileSystem.isFile & FileSystem.isDirectory is deprecated
  • [SPARK-46640] [SC-153272][sql] Opravit RemoveRedundantAlias vyloučením atributů poddotazů
  • [SPARK-46681] [SC-153287][core] Refaktoring ExecutorFailureTracker#maxNumExecutorFailures, aby se zabránilo výpočtu defaultMaxNumExecutorFailures když je MAX_EXECUTOR_FAILURES konfigurováno
  • [SPARK-46695] [SC-153289][sql][HIVE] Vždy nastavujte hive.execution.engine na mr.
  • [SPARK-46325] [SC-150228][connect] Odebrání nepotřebných funkcí přepsání WrappedCloseableIterator při vytváření v ResponseValidator#wrapIterator
  • [SPARK-46232] [SC-149699][python] Migrujte všechny zbývající hodnoty ValueError do architektury chyb PySpark.
  • [SPARK-46547] [SC-153174][ss] Spolknout nezávažnou výjimku v úloze údržby, aby nedošlo k zablokování mezi údržbovým vláknem a operátorem streamovací agregace
  • [SPARK-46169] [SC-149373][ps] Přiřaďte příslušná čísla JIRA pro chybějící parametry z DataFrame rozhraní API.
  • [SPARK-45857] [SC-148096][sql] Prosazení tříd chyb v podtřídách AnalysisException

Podpora ovladačů Databricks ODBC/JDBC

Databricks podporuje ovladače ODBC/JDBC vydané v posledních 2 letech. Stáhněte si nedávno vydané ovladače a upgradujte (stáhněte rozhraní ODBC, stáhněte JDBC).

Aktualizace údržby

Podívejte se na aktualizace údržby Databricks Runtime 15.1.

Prostředí systému

  • Operační systém: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.1.0

Nainstalované knihovny Python

Knihovna Verze Knihovna Verze Knihovna Verze
asttokens 2.0.5 astunparse 1.6.3 Azure Core 1.30.1
azure-storage-blob 12.19.1 úložiště Azure - souborová datová jezera 12.14.0 Zpětné volání 0.2.0
černý 23.3.0 blinkr 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifikát 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
klikněte 8.0.4 cloudpickle 2.2.1 Komunikace 0.1.2
obrysová křivka 1.0.5 kryptografie 41.0.3 cyklista 0.11.0
Cython 0.29.32 Databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 dekoratér 5.1.1 distlib 0.3.8
vstupní body 0,4 vykonávání 0.8.3 přehled aspektů 1.1.1
uzamčení souboru 3.13.1 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.42 google-api-core 2.17.1 google-auth 2.28.2
google-cloud-core 2.4.1 google-cloud-storage 2.15.0 google-crc32c 1.5.0
Google obnovitelné médium 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipywidgets 8.0.4 isodate 0.6.1
Jedi 0.18.1 Jeepney (tradiční filipínský dopravní prostředek) 0.7.1 jmespath 0.10.0
joblib 1.2.0 jupyter_client 7.4.9 jupyter_core 5.3.0
jupyterlab-widgets 3.0.5 klíčenka 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.1
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 balení 23.2
pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
bábovka 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Polštář 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 protobuf 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 14.0.1 pyasn1 0.4.8
pyasn1-modules 0.2.8 pyccolo 0.0.52 pycparser 2.21
pydantic 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.38 pyparsing 3.0.9
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 pytz 2022.7
PyYAML 6.0 pyzmq 23.2.0 požadavky 2.31.0
rsa 4,9 s3transfer 0.10.0 scikit-learn 1.3.0
scipy 1.11.1 seaborn 0.12.2 SecretStorage 3.3.1
setuptools 68.0.0 Šest 1.16.0 smmap 5.0.1
sqlparse 0.4.4 ssh-import-id 5,11 stack-data 0.2.0
statsmodels 0.14.0 houževnatost 8.2.2 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tornádo 6.3.2 vlastnosti 5.7.1
typing_extensions 4.7.1 tzdata 2022.1 ujson 5.4.0
bezobslužné aktualizace 0,1 urllib3 1.26.16 virtualenv 20.24.2
wadllib 1.3.6 wcwidth 0.2.5 wheel 0.38.4
widgetsnbextension 4.0.5 zipp 3.11.0

Nainstalované knihovny jazyka R

Knihovny R se instalují z snímku Posit Správce balíčků CRAN ze dne 2023-02-10.

Knihovna Verze Knihovna Verze Knihovna Verze
šipka 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
zpětné portování 1.4.1 báze 4.3.2 base64enc 0.1-3
bigD 0.2.0 bitové 4.0.5 bit64 4.0.5
bitops 1.0-7 objekt blob 1.2.4 bootování 1.3-28
vařit 1.0-10 verva 1.1.4 koště 1.0.5
bslib 0.6.1 cachem 1.0.8 volající 3.7.3
caret 6.0-94 cellranger 1.1.0 chronograf 2.3-61
třída 7.3-22 Rozhraní příkazového řádku 3.6.2 clipr 0.8.0
takt 0.7.0 cluster 2.1.4 codetools 0.2-19
barevný prostor 2.1-0 commonmark 1.9.1 kompilátor 4.3.2
config 0.3.2 v rozporu 1.2.0 cpp11 0.4.7
pastelka 1.5.2 přihlašovací údaje 2.0.1 curl 5.2.0
data.table 1.15.0 datové sady 4.3.2 DBI 1.2.1
dbplyr 2.4.0 Popis 1.4.3 devtools 2.4.5
diagram 1.6.5 diffobj 0.3.5 hodnota hash 0.6.34
přisvícení dolů 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 tři tečky 0.3.2 vyhodnotit 0.23
fanoušci 1.0.6 barvy 2.1.1 rychlá mapa 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
zahraniční 0.8-85 kovat 0.2.0 fs 1.6.3
budoucnost 1.33.1 future.apply 1.11.1 kloktadlo 1.5.2
obecné typy 0.1.3 Gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globálních objektů 0.16.2 lepidlo 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
Grafika 4.3.2 grDevices 4.3.2 mřížka 4.3.2
gridExtra 2.3 gsubfn 0,7 gt 0.10.1
gtable 0.3.4 bezpečnostní přilba 1.3.1 útočiště 2.5.4
highr 0.10 HMS 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 Id 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 Iterátory 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 šťavnatý džus 0.1.0
KernSmooth 2.23-21 knitr 1.45 značení 0.4.3
později 1.3.2 mřížka 0.21-8 láva 1.7.3
životní cyklus 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 MŠE 7.3-60
Matice 1.5-4.1 memoise 2.0.1 metody 4.3.2
mgcv 1.8-42 mim 0.12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 paralelní 4.3.2
paralelně 1.36.0 pilíř 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 pochvala 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 Průběh 1.2.3
progressr 0.14.0 promisy 1.2.1 proto 1.0.0
proxy 0.4-27 PS 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reagovatelná 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
recepty 1.0.9 odvetný zápas 2.0.0 rematch2 2.1.2
dálková ovládání 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2,25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 Sass 0.4.8
váhy 1.3.0 selektor 0.4-2 sessioninfo 1.2.2
obrazec 1.4.6 lesklý 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 prostorový 7.3-15 spline 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 statistické údaje 4.3.2
Statistiky 4 4.3.2 stringi 1.8.3 stringr 1.5.1
přežití 3.5-5 swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
tvarování textu 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 změna času 0.3.0
timeDate 4032.109 tinytex 0.49 nástroje 4.3.2
tzdb 0.4.0 ověřovač URL 1.0.1 usethis 2.2.2
utf8 1.2.4 utils 4.3.2 Uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 Waldo 0.5.2 vodič 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml (YAML Ain't Markup Language), formát pro serializaci dat 2.3.8
zeallot 0.1.0 zip 2.3.1

Nainstalované Java a knihovny Scala (verze clusteru Scala 2.12)

ID skupiny ID artefaktu Verze
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws automatické škálování aws-java-sdk 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics datový proud 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware Kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml spolužák 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.kofein kofein 2.9.3
com.github.fommil jniloader 1,1
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java Nativní verze 1.1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java Nativní verze 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64 Nativní verze 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64 Nativní verze 1.1
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift kompresor 0.25
io.delta delta-sharing-client_2.12 1.0.4
io.dropwizard.metrics anotace metrik 4.2.19
io.dropwizard.metrics metriky-základ 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metriky – kontroly stavu 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metriky – servlety 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty Netty handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx kolektor 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivace 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transakční API 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine marináda 1.3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant mravenec 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.kurátor kurátor-klient 2.13.0
org.apache.kurátor kurátor-framework 2.13.0
org.apache.kurátor kurátor-recepty 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy břečťan 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus anotace pro publikum 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty Jetty - pokračování 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core Jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator Hibernate Validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist Javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains anotace 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap Vymezovací destičky 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest kompatibilní s scalatestem 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
  • Last updated on