Databricks Runtime 15.0

  • Článek

Následující poznámky k verzi obsahují informace o modulu Databricks Runtime 15.0, který využívá Apache Spark 3.5.0.

Databricks tyto image vydal v březnu 2024.

Změny způsobující chyby

Funkce PySpark spark.sql() nyní selže pro neplatné typy argumentů.

V Databricks Runtime 15.0 a novějším args musí být parametr pojmenovaných nebo pozičních parametrů předaný spark.sql() funkci slovníkem nebo seznamem. Pokud je předán jakýkoli jiný typ objektu, je vyvolána následující chyba: PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>.

Ukládání knihoven v kořenovém adresáři DBFS je ve výchozím nastavení zastaralé a zakázané

Aby se zlepšilo zabezpečení knihoven v pracovním prostoru Azure Databricks, ukládání souborů knihoven v kořenovém adresáři DBFS je ve výchozím nastavení zastaralé a zakázané od Databricks Runtime 15.0. Databricks doporučuje nahrát všechny knihovny, včetně knihoven Pythonu, souborů JAR a konektorů Spark, do souborů pracovních prostorů, svazků katalogu Unity nebo pomocí úložiště balíčků. Viz Doporučení pro nahrávání knihoven.

Chcete-li znovu povolit ukládání knihoven v kořenovém adresáři DBFS, nastavte následující konfigurační parametr Sparku: spark.databricks.driver.dbfsLibraryInstallationAllowed true.

Výchozí verze Pythonu se upgraduje z verze 3.10 na 3.11.

S Modulem Databricks Runtime 15.0 je výchozí verze Pythonu 3.11.0. Seznam upgradovaných knihoven Pythonu najdete v tématu Upgrady knihoven.

Odebere se JDK 11.

Jak jsme již oznámili, sada JDK 11 se odebere z Databricks Runtime 15.0 a novější. Databricks doporučuje upgrade na sadu JDK 17 při upgradu na Databricks Runtime 15.0 a novější. Viz Databricks SDK pro Javu.

Python REPL se teď elegantně ukončí.

S Modulem Databricks Runtime 15.0 se teď proces Python REPL poznámkového bloku elegantně ukončí při ukončení. To způsobí, že všechny háky atexit budou ctěny. Například v pracovním postupu s několika úlohami poznámkového bloku Pythonu se atexit zaregistruje v prvním úkolu, který se spustí před spuštěním druhé úlohy poznámkového bloku Pythonu.

Nové funkce a vylepšení

Klauzule * (hvězdička) je nyní podporována v klauzuli WHERE.

Nyní můžete pomocí klauzule hvězdička (*) v WHERE klauzuli odkazovat na všechny sloupce ze SELECT seznamu. Například SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

Konfigurace spark.sql.json.enablePartialResults je teď ve výchozím nastavení povolená.

Konfigurace spark.sql.json.enablePartialResults Sparku je teď ve výchozím nastavení povolená a analyzátor JSON umožňuje správně zpracovávat chyby analýzy u složitých typů, jako jsou struktury, mapování a pole, aniž by zahodil zbývající pole. Tato změna řeší problém s konzistencí pro zdroje dat JSON s vyřazením sloupců.

Knihovny clusteru teď podporují requirements.txt soubory

Knihovny clusteru teď můžete nainstalovat pomocí requirements.txt souboru uloženého v souboru pracovního prostoru nebo svazku katalogu Unity. V clusterech s režimem requirements.txt jednoho uživatele a sdíleného přístupu může soubor odkazovat na jiné soubory. V clusterech s režimem sdíleného přístupu bez izolace se podporují pouze balíčky PyPI. Viz Knihovny clusterů.

Rozhraní příkazového řádku Databricks je teď dostupné ve webovém terminálu.

Rozhraní příkazového řádku Databricks teď můžete použít z webového terminálu v poznámkovém bloku. Poznámkový blok musí být připojený ke clusteru v režimu sdíleného přístupu s jedním uživatelem nebo bez izolace. Podrobnosti najdete v tématu Použití webového terminálu a rozhraní příkazového řádku Databricks.

Přidání výchozích úložišť Pythonu do konfigurací clusteru

Ve službě Databricks Runtime 15.0 a novějších můžete při konfiguraci clusteru nebo definování zásad clusteru nakonfigurovat globální pip index-url a extra-index-url parametry pro instalaci knihoven s oborem clusteru a poznámkových bloků. Uděláte to tak, že nastavíte proměnné DATABRICKS_PIP_INDEX_URL prostředí a DATABRICKS_PIP_EXTRA_INDEX_URL.

Upgrady knihoven

  • Upgradované knihovny Pythonu:
    • černá od 22.6.0 do 23.3.0
    • boto3 od 1.24.28 do 1.34.39
    • botocore od 1.27.96 do 1.34.39
    • certifi od 2022.12.7 do 2023.7.22
    • kryptografie od 39.0.1 do 41.0.3
    • databricks-sdk od 0.1.6 do 0.20.0
    • distlib od 0.3.7 do 0.3.8
    • googleapis-common-protos od 1.62.0 do 1.63.0
    • grpcio od 1.48.2 do 1.60.0
    • stav grpcio od 1.48.1 do 1.60.0
    • importlib-metadata z verze 4.6.4 do 6.0.0
    • ipykernel od 6.25.0 do 6.25.1
    • ipython od 8.14.0 do 8.15.0
    • ipywidgets od 7.7.2 do 8.0.4
    • jupyter_core od 5.2.0 do 5.3.0
    • jupyterlab-widgety od 1.0.0 do 3.0.5
    • matplotlib od 3.7.0 do 3.7.2
    • pandas od 1.5.3 do 2.0.3
    • pip od 22.3.1 do 23.2.1
    • platformdirs from 2.5.2 to 3.10.0
    • protobuf od 4.24.0 do 4.24.1
    • pyarrow od 8.0.0 do 14.0.1
    • Pygments od 2.11.2 do 2.15.1
    • pyodbc od 4.0.32 do 4.0.38
    • žádosti od 2.28.1 do 2.31.0
    • s3transfer from 0.6.2 to 0.10.0
    • scikit-learn od 1.1.1 do 1.3.0
    • scipy od 1.10.0 do 1.11.1
    • instalační nástroje od 65.6.3 do 68.0.0
    • statsmodels from 0.13.5 to 0.14.0
    • 8.1.0 až 8.2.2
    • tornado od 6.1 do 6.3.2
    • typing_extensions od 4.4.0 do 4.7.1
    • urllib3 od 1.26.14 do 1.26.16
    • virtualenv od 20.16.7 do 20.24.2
    • widgetsnbextension od 3.6.1 do 4.0.5
    • zipp od 1.0.0 do 3.11.0
  • Upgradované knihovny jazyka R:
    • šipka od 12.0.1 do 14.0.0.2
    • askpass od 1.1 do 1.2.0
    • základ od 4.3.1 do 4.3.2
    • vaření od 1.0-8 do 1.0-10
    • brio od 1.1.3 do 1.1.4
    • bslib od 0.5.0 do 0.6.1
    • cli od 3.6.1 do 3.6.2
    • společné označení od 1.9.0 do 1.9.1
    • kompilátor z verze 4.3.1 do 4.3.2
    • konfigurace z 0.3.1 na 0.3.2
    • cpp11 od 0.4.4 do 0.4.7
    • přihlašovací údaje od 1.3.2 do 2.0.1
    • curl od 5.0.1 do 5.2.0
    • data.table od 1.14.8 do 1.15.0
    • datové sady od 4.3.1 do 4.3.2
    • DBI od 1.1.3 do 1.2.1
    • dbplyr od 2.3.3 do 2.4.0
    • desc od 1.4.2 do 1.4.3
    • digest od 0.6.33 do 0.6.34
    • dplyr od 1.1.2 do 1.1.4
    • e1071 od 1.7-13 do 1.7-14
    • vyhodnocení z 0.21 na 0.23
    • ventilátory od 1.0.4 do 1.0.6
    • fontawesome od 0.5.1 do 0.5.2
    • fs od 1.6.2 do 1.6.3
    • budoucí od 1.33.0 do 1.33.1
    • future.apply from 1.11.0 to 1.11.1
    • gargle od 1.5.1 do 1.5.2
    • gert od 1.9.2 do 2.0.1
    • ggplot2 od 3.4.2 do 3.4.4
    • glmnet od 4.1-7 do 4.1-8
    • připevnění z 1.6.2 na 1.7.0
    • grafika od 4.3.1 do 4.3.2
    • grDevices od 4.3.1 do 4.3.2
    • mřížka od 4.3.1 do 4.3.2
    • od 0.3.3 do 0.3.4
    • hardhat od 1.3.0 do 1.3.1
    • haven from 2.5.3 to 2.5.4
    • htmltools od 0.5.5 do 0.5.7
    • htmlwidgets od 1.6.2 do 1.6.4
    • httpuv od 1.6.11 do 1.6.14
    • httr od 1.4.6 do 1.4.7
    • httr2 od 0.2.3 do 1.0.0
    • Jsonlite od 1.8.7 do 1.8.8
    • pletení od 1.43 do 1.45
    • popisky od 0.4.2 do 0.4.3
    • později od 1.3.1 do 1.3.2
    • láva od 1.7.2.1 do 1.7.3
    • životní cyklus od 1.0.3 do 1.0.4
    • listenv od 0.9.0 do 0.9.1
    • lubridate od 1.9.2 do 1.9.3
    • markdown od 1.7 do 1.12
    • metody od 4.3.1 do 4.3.2
    • openssl od 2.0.6 do 2.1.1
    • paralelní od 4.3.1 do 4.3.2
    • pkgbuild od 1.4.2 do 1.4.3
    • pkgload od 1.3.2.1 do 1.3.4
    • plyr od 1.8.8 do 1.8.9
    • prettyunits od 1.1.1 do 1.2.0
    • pROC od 1.18.4 do 1.18.5
    • processx od 3.8.2 do 3.8.3
    • prodlim od 2023.03.31 do 2023.08.28
    • průběh od 1.2.2 do 1.2.3
    • progressr from 0.13.0 to 0.14.0
    • sliby od 1.2.0.1 do 1.2.1
    • ps od 1.7.5 do 1.7.6
    • purrr od 1.0.1 do 1.0.2
    • ragg od 1.2.5 do 1.2.7
    • Rcpp od 1.0.11 do 1.0.12
    • RcppEigen od 0.3.3.9.3 do 0.3.3.9.4
    • readr od 2.1.4 do 2.1.5
    • recepty od 1.0.6 do 1.0.9
    • rematch from 1.0.1 to 2.0.0
    • vzdálená od 2.4.2 do 2.4.2.1
    • reprex from 2.0.2 to 2.1.0
    • rlang od 1.1.1 do 1.1.3
    • rmarkdown od 2.23 do 2.25
    • RODBC od 1.3-20 do 1.3-23
    • roxygen2 od 7.2.3 do 7.3.1
    • rprojroot od 2.0.3 do 2.0.4
    • Rserve od 1.8-11 do 1.8-13
    • RSQLite od 2.3.1 do 2.3.5
    • sass od 0.4.6 do 0.4.8
    • škálování od 1.2.1 do 1.3.0
    • lesklý od 1.7.4.1 do 1.8.0
    • sparklyr od 1.8.1 do 1.8.4
    • splines od 4.3.1 do 4.3.2
    • Statistiky od 4.3.1 do 4.3.2
    • Statistiky 4 od 4.3.1 do 4.3.2
    • stringi od 1.7.12 do 1.8.3
    • Stringr od 1.5.0 do 1.5.1
    • systemfonts od 1.0.4 do 1.0.5
    • tcltk od 4.3.1 do 4.3.2
    • test ze 3.1.10 do 3.2.1
    • textshaping from 0.3.6 to 0.3.7
    • tidyr od 1.3.0 do 1.3.1
    • časový interval od 0.2.0 do 0.3.0
    • TimeDate from 4022.108 to 4032.109
    • tinytex od 0,45 do 0,49
    • nástroje od 4.3.1 do 4.3.2
    • utf8 od 1.2.3 do 1.2.4
    • nástroje od 4.3.1 do 4.3.2
    • uuid od 1.1-0 do 1.2-0
    • vctrs od 0.6.3 do 0.6.5
    • vroom od 1.6.3 do 1.6.5
    • waldo od 0.5.1 do 0.5.2
    • sr od 2.5.0 do 3.0.0
    • xfun od 0.39 do 0.41
    • xml2 od 1.3.5 do 1.3.6
    • yaml od 2.3.7 do 2.3.8
    • zip od 2.3.0 do 2.3.1
  • Upgradované knihovny Java:
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 z verze 2.15.1 do 2.16.0
    • com.google.flatbuffers.flatbuffers-java od 1.12.0 do 23.5.26
    • com.typesafe.config od 1.2.1 do 1.4.3
    • org.apache.ant.ant od 1.9.16 do 1.10.11
    • org.apache.ant.ant-jsch od 1.9.16 do 1.10.11
    • org.apache.ant.ant-launcher od 1.9.16 do 1.10.11
    • org.apache.arrow.arrow-format from 12.0.1 to 15.0.0
    • org.apache.arrow.arrow-memory-core od 12.0.1 do 15.0.0
    • org.apache.arrow.arrow-memory-netty od 12.0.1 do 15.0.0
    • org.apache.arrow.arrow-vector od 12.0.1 do 15.0.0
    • org.apache.avro.avro od 1.11.2 do 1.11.3
    • org.apache.avro.avro-ipc od 1.11.2 do 1.11.3
    • org.apache.avro.avro-mapred od 1.11.2 do 1.11.3
    • org.apache.logging.log4j.log4j-1.2-api od 2.20.0 do 2.22.1
    • org.apache.logging.log4j.log4j-api od 2.20.0 do 2.22.1
    • org.apache.logging.log4j.log4j-core od 2.20.0 do 2.22.1
    • org.apache.logging.log4j.log4j-slf4j2-impl od 2.20.0 do 2.22.1
    • org.postgresql.postgresql od 42.6.0 do 42.6.1

Apache Spark

Databricks Runtime 15.0 zahrnuje Apache Spark 3.5.0. Tato verze zahrnuje všechny opravy a vylepšení Sparku zahrnuté v Databricks Runtime 14.3 LTS a také následující další opravy chyb a vylepšení Sparku:

  • [SPARK-45527] [DBRRM-805] [ES-1073714] Vrátit zpět "[SC-151626][CORE] Použití zlomku k výpočtu prostředků
  • [SPARK-47102] [DBRRM-803] [SC-158253] [SQL] Přidání příznaku COLLATION_ENABLED konfigurace
  • [SPARK-46973] [SC-158140] [DBRRM-777] [SQL] Vynechání vyhledávání tabulek V2, když je tabulka v mezipaměti tabulky V1
  • [SPARK-46808] [SC-154113] [PYTHON] Upřesnění tříd chyb v Pythonu pomocí funkce automatického řazení
  • [SPARK-47251] [SC-158291] [PYTHON] Blokování neplatných typů z argumentu args pro sql příkaz
  • [SPARK-47251] [SC-158121] [PYTHON] Blokování neplatných typů z argumentu args pro sql příkaz
  • [SPARK-47108] [SC-157204] [JÁDRO] Nastavit derby.connection.requireAuthentication na false explicitně v clis
  • [SPARK-45599] [SC-157537] [JÁDRO] Použití rovnosti objektů v OpenHashSet
  • [SPARK-47099] [SC-157352] [SQL] Slouží ordinalNumber k jednotnému nastavení hodnoty paramIndex pro třídu chyb. UNEXPECTED_INPUT_TYPE
  • [SPARK-46558] [SC-151363] [CONNECT] Extrahování pomocné funkce pro odstranění duplicitního kódu, který se načítá MessageParameters z ErrorParamsGrpcExceptionConverter
  • [SPARK-43117] [SC-156177] [CONNECT] Podpora ProtoUtils.abbreviate opakovaných polí
  • [SPARK-46342] [SC-150283] [SQL] Nahradit IllegalStateException v SparkException.internalError sql
  • [SPARK-47123] [SC-157412] [JÁDRO] JDBCRDD nezpracuje správně chyby v getQueryOutputSchema
  • [SPARK-47189] [SC-157667] [SQL] Úprava názvů chyb sloupců a textu
  • [SPARK-45789] [SC-157101] [SQL] Podpora FUNKCE DESCRIBE TABLE pro sloupce clusteringu
  • [SPARK-43256] [SC-157699] [SQL] Odebrání _LEGACY_ERROR_TEMP_2021 třídy chyb
  • [SPARK-47201] [SC-157782] [PYTHON] [CONNECT] sameSemantics kontroluje vstupní typy.
  • [SPARK-47183] [SC-157660] [PYTHON] Oprava třídy chyb pro sameSemantics
  • [SPARK-47179] [SC-157663] [SQL] Zlepšení chybové zprávy ze SparkThrowableSuite pro lepší ladění
  • [SPARK-46965] [SC-155791] [JÁDRO] Vrátit se změnami logTypeUtils.getLog
  • [SPARK-46832] [SC-156774] [SQL] Představení výrazů kolace a kolace
  • [SPARK-46946] [SC-155721] [SQL] Podpora vysílání více klíčů filtrování v DynamicPruningu
  • [SPARK-47079] [VARIANT-22] [SC-157598] [PYTHON] [SQL] [CONNECT] Přidání informací o typu Variant do PySpark
  • [SPARK-47101] [SC-157360] [SQL] Povolit použití čárky v názvech sloupců nejvyšší úrovně a odebrání definice vnořeného typu v HiveExternalCatalog.verifyDataSchema
  • [SPARK-47173] [SC-157571] [SS] [UŽIVATELSKÉ ROZHRANÍ] Oprava překlepu v vysvětlení uživatelského rozhraní streamování
  • [SPARK-47113] [SC-157348] [JÁDRO] Vrácení logiky oprav koncového bodu S3A spark-35878
  • [SPARK-47130] [SC-157462] [JÁDRO] Použití funkce listStatus k obejití informací o umístění bloku při čištění protokolů ovladačů
  • [SPARK-43259] [SC-157368] [SQL] Přiřazení názvu ke třídě chyb _LEGACY_ERROR_TEMP_2024
  • [SPARK-47104] [SC-157355] [SQL] TakeOrderedAndProjectExec by měla inicializovat nebezpečnou projekci.
  • [SPARK-47137] [SC-157463] [PYTHON] [CONNECT] Přidání příkazu getAll do spark.conf pro paritu funkcí pomocí Scala
  • [SPARK-46924] [SC-154905] [JÁDRO] Tlačítko Opravit Load New v Master/HistoryServer uživatelském rozhraní protokolu
  • [SPARK-47069] [SC-157370] [PYTHON] [CONNECT] Zavedení spark.profile.show/dump profilace založené na SparkSession
  • [SPARK-46812] [SC-157075] [SQL] [PYTHON] Nastavení mapInPandas / mapInArrow podporují ResourceProfile
  • [SPARK-46833] [SC-155866] [SQL] Kolace – Představujeme CollationFactory, která poskytuje pravidla porovnání a hash pro podporované kolace
  • [SPARK-47057] [SC-157036] [PYTHON] Reeanble MyPy data test
  • [SPARK-46934] [SC-157084] [SQL] Roundtrip pro čtení a zápis pro typ struktury se speciálními znaky pomocí HMS
  • [SPARK-46727] [SC-153472] [SQL] Port classifyException() v dialektech JDBC u tříd chyb
  • [SPARK-46964] [SC-155740] [SQL] Změna podpisu chyby spuštění dotazu hllInvalidLgK tak, aby jako 4. argument přebral celé číslo.
  • [SPARK-46949] [SC-155719] [SQL] Podpora CHAR/VARCHAR prostřednictvím ResolveDefaultColumns
  • [SPARK-46972] [SC-155888] [SQL] Oprava asymetrického nahrazení znaku nebo varcharu ve V2SessionCatalog.createTable
  • [SPARK-47014] [SC-156778] [PYTHON] [CONNECT] Implementace metod dumpPerfProfiles a dumpMemoryProfiles SparkSession
  • [SPARK-46689] [SC-156221] [SPARK-46690] [PYTHON] [CONNECT] Podpora profilace v2 ve skupině nebo skupině applyInPandas/applyInArrow
  • [SPARK-47040] [SC-156773] [CONNECT] Povolit skript serveru Spark Připojení čekat
  • [SPARK-46688] [SC-156113] [SPARK-46691] [PYTHON] [CONNECT] Podpora profilace v2 v agregovaných uživatelem definovaných uživatelem Pandas
  • [SPARK-47004] [SC-156499] [CONNECT] Přidání dalších testů do ClientStreamingQuerySuite pro zvýšení pokrytí testu klienta Scala
  • [SPARK-46994] [SC-156169] [PYTHON] Refaktoring PythonWrite pro přípravu na podporu zápisu streamovaného zdroje dat Pythonu
  • [SPARK-46979] [SC-156587] [SS] Přidání podpory pro zadání kodéru klíč a hodnota samostatně a také pro každou řadu sloupců ve zprostředkovateli úložiště stavů RocksDB
  • [SPARK-46960] [SC-155940] [SS] Testování více vstupních Toky pomocí operátoru TransformWithState
  • [SPARK-46966] [SC-156112] [Python] Přidání rozhraní UDTF API pro metodu analyze označující podmnožinu sloupců vstupní tabulky, které chcete vybrat
  • [SPARK-46895] [SC-155950] [JÁDRO] Nahrazení časovače jedním vláknem naplánovaného exekutoru
  • [SPARK-46967] [SC-155815] [JÁDRO] [UŽIVATELSKÉ ROZHRANÍ] Skrytí Thread Dump a Heap Histogram exekutorů v Executors uživatelském Dead rozhraní
  • [SPARK-46512] [SC-155826] [JÁDRO] Optimalizujte čtení náhodného prohazování při použití řazení i kombinování.
  • [SPARK-46958] [SC-155942] [SQL] Přidání chybějícího časového pásma do výchozích hodnot
  • [SPARK-46754] [SC-153830] [SQL] [AVRO] Oprava rozlišení kódu komprese v definici tabulky a možnostech zápisu
  • [SPARK-46728] [SC-154207] [PYTHON] Kontrola správné instalace Pandas
  • [SPARK-43403] [SC-154216] [UŽIVATELSKÉ ROZHRANÍ] Před načtením nového se ujistěte, že se starý SparkUI v HistoryServeru odpojil.
  • [SPARK-39910] [SC-156203] [SQL] Delegování kvalifikace cesty do systému souborů během cesty k souboru DataSource
  • [SPARK-47000] [SC-156123] Vrátit "[SC-156123][CORE] Použít getTotalMemorySize...
  • [SPARK-46819] [SC-154560] [JÁDRO] Přesunutí kategorií chyb a stavů do FORMÁTU JSON
  • [SPARK-46997] [SC-156175] [JÁDRO] Povolit spark.worker.cleanup.enabled ve výchozím nastavení
  • [SPARK-46865] [SC-156168] [SS] Přidání podpory dávky pro operátor TransformWithState
  • [SPARK-46987] [SC-156040] [CONNECT] ProtoUtils.abbreviate vyhnout se zbytečným operacím setField
  • [SPARK-46970] [SC-155816] [JÁDRO] Přepsání OpenHashSet#hasher pomocí pattern matching
  • [SPARK-46984] [SC-156024] [PYTHON] Odebrat pyspark.copy_func
  • [SPARK-47000] [SC-156123] [JÁDRO] Použít getTotalMemorySize v WorkerArguments
  • [SPARK-46980] [SC-155914] [SQL] [PODVERZE] Vyhněte se používání interních rozhraní API v komplexních testech datového rámce
  • [SPARK-46931] Vrátit "[SC-155661][PS] Implement {Frame, Series}.to_hdf"
  • [SPARK-46618] [SC-153828] [SQL] Vylepšení chybových zpráv pro chybu DATA_SOURCE_NOT_FOUND
  • [SPARK-46849] [SC-154586] [SQL] Spuštění optimalizátoru ve výchozím nastavení sloupců CREATE TABLE
  • [SPARK-46911] [SC-155724] [SS] Přidání operátoru deleteIfExists do StatefulProcessorHandleImpl
  • [SPARK-43273] [SQL] Podpora lz4raw kodeku komprese pro Parquet
  • [SPARK-47002] [SC-156223] [Python] Vrátí lepší chybovou zprávu, pokud pole orderBy metody "analyze" UDTF omylem vrátí seznam řetězců.
  • [SPARK-46890] [SC-155802] [SQL] Oprava chyby analýzy sdíleného svazku clusteru s výchozími hodnotami a vyřazením sloupců
  • [SPARK-46977] [SC-155892] [JÁDRO] Neúspěšný požadavek na získání tokenu z jednoho uzlu NameNode by neměl přeskočit následné žádosti o token.
  • [SPARK-46608] [SC-151806] [SQL] Obnovení zpětné kompatibility JdbcDialect.classifyException
  • [SPARK-46908] [SC-155702] [SQL] Podpora hvězdicové klauzule v klauzuli WHERE
  • [SPARK-46908] [SC-155702] [SQL] Podpora hvězdicové klauzule v klauzuli WHERE
  • [SPARK-46852] [SC-155665] [SS] Odeberte použití explicitního kodéru klíčů a implicitně ho předejte operátoru transformWithState.
  • [SPARK-46864] [SC-155669] [SS] Onboarding libovolného stavuV2 do nové architektury tříd chyb
  • [SPARK-45807] [SC-155706] [SQL] Vrácení zobrazení po volání replaceView(.)
  • [SPARK-46899] [SC-154651] [JÁDRO] Odebránírozhraních POSTMasterWebUIspark.ui.killEnabledfalse
  • [SPARK-46868] [SC-154539] [JÁDRO] Podpora uživatelského rozhraní protokolu pracovního procesu Sparku
  • [SPARK-46931] [SC-155661] [PS] Implementovat {Frame, Series}.to_hdf
  • [SPARK-46940] [SC-155667] [JÁDRO] Odebrání nepoužívaných updateSparkConfigFromProperties a isAbsoluteURI in o.a.s.u.Utils
  • [SPARK-46929] [SC-155659] [JÁDRO] [CONNECT] [SS] Zavření fondů vláken pomocí ThreadUtils.shutdown
  • [SPARK-46400] [SC-155658] [JÁDRO] [SQL] Pokud jsou v místním úložišti Maven poškozené soubory, přeskočte tuto mezipaměť a zkuste to znovu.
  • [SPARK-46932] [SC-155655] Vyčištění importů v pyspark.pandas.test_*
  • [SPARK-46683] [SC-154120] Napsání generátoru poddotazů, který generuje permutace poddotazů za účelem zvýšení pokrytí testování
  • [SPARK-46914] [SC-154776] [UŽIVATELSKÉ ROZHRANÍ] Zkrácení názvu aplikace v souhrnné tabulce na stránce Historie
  • [SPARK-46831] [SC-154699] [SQL] Kolace – Rozšíření StringType a PhysicalStringType s polem collationId
  • [SPARK-46816] [SC-154415] [SS] Přidání základní podpory pro nového operátora správy libovolného stavu, jednoho typu valueState, více proměnných stavu a základní podporu pro rodiny sloupců pro RocksDBStateStoreProvider s kontrolními body protokolu změn /bez kontrolních bodů protokolu změn
  • [SPARK-46925] [SC-154890] [PYTHON] [CONNECT] Přidání upozornění, které dává pokyn k instalaci memory_profiler pro profilaci paměti
  • [SPARK-46927] [SC-154904] [PYTHON] Správné assertDataFrameEqual fungování bez PyArrow
  • [SPARK-46021] [SC-148987] [JÁDRO] Podpora zrušení budoucích úloh patřících do skupiny úloh
  • [SPARK-46747] [SC-154789] [SQL] Vyhněte se prohledávání v getTableExistsQuery pro dialekty JDBC
  • [SPARK-46904] [SC-154704] [UŽIVATELSKÉ ROZHRANÍ] Oprava problému se zobrazením souhrnu uživatelského rozhraní historie
  • [SPARK-46870] [SC-154541] [JÁDRO] Podpora uživatelského rozhraní hlavního protokolu Sparku
  • [SPARK-46893] [SC-154780] [UŽIVATELSKÉ ROZHRANÍ] Odebrání vložených skriptů z popisů uživatelského rozhraní
  • [SPARK-46910] [SC-154760] [PYTHON] Eliminace požadavku sady JDK v instalaci PySpark
  • [SPARK-46907] [SC-154736] [JÁDRO] Zobrazení umístění protokolu ovladačů na serveru historie Sparku
  • [SPARK-46902] [SC-154661] [UŽIVATELSKÉ ROZHRANÍ] Oprava uživatelského rozhraní Serveru historie Sparku pro použití neexportované sadyAppLimit
  • [SPARK-46687] [SC-154725] [PYTHON] [CONNECT] Základní podpora profileru paměti založeného na SparkSession
  • [SPARK-46623] [SC-153831] [JÁDRO] [MLLIB] [SQL] Nahrazení SimpleDateFormat dateTimeFormatter
  • [SPARK-46875] [SC-154627] [SQL] mode Pokud je hodnota null, NullPointException měla by not být vyvolán
  • [SPARK-46872] [SC-154543] [JÁDRO] Obnovení log-view.js , které není modulem
  • [SPARK-46883] [SC-154629] [JÁDRO] Rozhraní API podpory /json/clusterutilization
  • [SPARK-46886] [SC-154630] [JÁDRO] Povolit spark.ui.prometheus.enabled ve výchozím nastavení
  • [SPARK-46873] [SC-154638] [SS] Znovu nevytvářet nový StreamQueryManager pro stejnou relaci Sparku
  • [SPARK-46829] [SC-154419] [JÁDRO] Odebrání createExecutorEnv ze SparkEnv
  • [SPARK-46827] [SC-154280] [JÁDRO] Podpora RocksDBPersistenceEngine symbolického odkazu
  • [SPARK-46903] [SC-154662] [JÁDRO] Podpora uživatelského rozhraní protokolu serveru historie Sparku
  • [SPARK-46874] [SC-154646] [PYTHON] Odebrání pyspark.pandas závislosti z assertDataFrameEqual
  • [SPARK-46889] [SC-154639] [JÁDRO] Ověření spark.master.ui.decommission.allow.mode nastavení
  • [SPARK-46850] [SC-154443] [SQL] Převést _LEGACY_ERROR_TEMP_2102 na UNSUPPORTED_DATATYPE
  • [SPARK-46704] [SC-153323] [JÁDRO] [UŽIVATELSKÉ ROZHRANÍ] Oprava MasterPage správného řazení Running Drivers tabulky podle Duration sloupce
  • [SPARK-46796] [SC-154279] [SS] Ujistěte se, že se při načítání verze RocksDB používají správné vzdálené soubory (uvedené v metadata.zip).
  • [SPARK-46888] [SC-154636] [JÁDRO] Oprava Master zamítnutí /workers/kill/ žádostí, pokud je vyřazení z provozu zakázané
  • [SPARK-46818] [SC-154422] [SQL] Vylepšení chybových zpráv pro Rozsah s nepřeložitelnými vstupy
  • [SPARK-46898] [SC-154649] [CONNECT] Zjednodušení transformace funkce protobuf v Planneru
  • [SPARK-46828] [SC-154413] [SQL] Odebrání neplatného kontrolního výrazu vzdáleného režimu pro prostředí Spark SQL Shell
  • [SPARK-46733] [SC-154274] [JÁDRO] Zjednodušit BlockManager ukončovací operací závisí pouze na vlákně přerušení.
  • [SPARK-46777] [SC-154016] [SS] Refaktoring StreamingDataSourceV2Relation struktury katalyzátoru tak, aby byla více na parii s dávkovou verzí
  • [SPARK-46515] [SC-151716] Přidání funkce MONTHNAME
  • [SPARK-46823] [SC-154276] [CONNECT] [PYTHON] LocalDataToArrowConversion měla by zkontrolovat hodnotu nullability.
  • [SPARK-46787] [SC-154404] [CONNECT] bloomFilter Funkce by měla vyvolat AnalysisException neplatný vstup.
  • [SPARK-46779] [SC-154045] [SQL] InMemoryRelation instance stejného plánu v mezipaměti by měly být sémanticky ekvivalentní.
  • [SPARK-45827] [SC-153973] Zakázat dělení ve sloupci Variant
  • [SPARK-46797] [SC-154085] [JÁDRO] Přejmenovat spark.deploy.spreadOut na spark.deploy.spreadOutApps
  • [SPARK-46094] [SC-153421] Profilace JVM exekutoru podpory
  • [SPARK-46746] [SC-153557] [SQL] [AVRO] Připojení rozšíření kodeku k souborům zdroje dat avro
  • [SPARK-46698] [SC-153288] [JÁDRO] Nahraďte časovač jedním vláknem naplánovaného exekutoru pro ConsoleProgressBar.
  • [SPARK-46629] [SC-153835] Oprava pro typ struktury DDL nezbírá nulovou použitelnost a komentář
  • [SPARK-46750] [SC-153772] [CONNECT] [PYTHON] Vyčištění kódu rozhraní API datového rámce
  • [SPARK-46769] [SC-153979] [SQL] Upřesnění odvození schématu souvisejícího s časovým razítkem
  • [SPARK-46765] [SC-153904] [PYTHON] [CONNECT] Určení shuffle datového typu seed
  • [SPARK-46579] [SC-151481] [SQL] Redact JDBC url in errors and logs
  • [SPARK-46686] [SC-153875] [PYTHON] [CONNECT] Základní podpora profileru definovaného uživatelem Pythonu založeného na SparkSession
  • [SPARK-46748] Vrátit "[SC-153800][CORE] Odebrat *slave*.sh scri...
  • [SPARK-46707] [SC-153833] [SQL] Přidání vyvolání pole do výrazů za účelem zlepšení posunu predikátu
  • [SPARK-46519] [SC-151278] [SQL] Vymazání nepoužívaných tříd chyb ze error-classes.json souboru
  • [SPARK-46677] [SC-153426] [SQL] [CONNECT] Oprava dataframe["*"] řešení
  • [SPARK-46317] [SC-150184] [PYTHON] [CONNECT] Porovnávání menšího chování ve SparkSession s úplným pokrytím testu
  • [SPARK-46748] [SC-153800] [JÁDRO] Odebrání *slave*.sh skriptů
  • [SPARK-46663] [SC-153490] [PYTHON] Zakázání profileru paměti pro uživatelem definované uživatelem pandas s iterátory
  • [SPARK-46410] [SC-150776] [SQL] Přiřazení tříd chyb nebo podtříd JdbcUtils.classifyException
  • [SPARK-46277] [SC-150126] [PYTHON] Ověření spouštěcích adres URL s nastavenou konfigurací
  • [SPARK-46612] [SC-153536] [SQL] Nepřevést řetězec typu pole načtený z ovladače jdbc
  • [SPARK-46254] [SC-149788] [PYTHON] Odebrání zastaralé kontroly verzí Pythonu 3.8/3.7
  • [SPARK-46490] [SC-151335] [SQL] Vyžadování tříd chyb v SparkThrowable dílčích třídách
  • [SPARK-46383] [SC-153274] [SC-147443] [WARMFIX] Snížení využití haldy řidiče snížením životnosti TaskInfo.accumulables()
  • [SPARK-46541] [SC-153109] [SQL] [CONNECT] Oprava nejednoznačného odkazu na sloupec ve spojení s vlastním spojením
  • [SPARK-46381] [SC-150495] [SQL] Migrace dílčích AnalysisException tříd do tříd chyb
  • [SPARK-46351] [SC-150335] [SQL] Vyžadování chybové třídy v AnalysisException
  • [SPARK-46220] [SC-149689] [SQL] Omezení znakových sad v decode()
  • [SPARK-46369] [SC-150340] [JÁDRO] Odebrání kill odkazu z RELAUNCHING ovladačů v MasterPage
  • [SPARK-46052] [SC-153284] [JÁDRO] Odebrání funkce TaskScheduler.killAllTaskAttempts
  • [SPARK-46536] [SC-153164] [SQL] Podpora GROUP BY calendar_interval_type
  • [SPARK-46675] [SC-153209] [SQL] Odebrání nepoužívaných inferTimestampNTZ v ParquetReadSupport
  • [SPARK-46717] [SC-153423] [JÁDRO] Zjednodušení ReloadingX509TrustManager výstupní operace závisí pouze na vlákně přerušení.
  • [SPARK-46722] [SC-153438] [CONNECT] Přidání testu týkajícího se zpětné kontroly kompatibility StreamQueryListener ve Sparku Připojení (Scala/PySpark)
  • [SPARK-46187] [SC-149580] [SQL] Zarovnání implementace codegenu a jiného typu než codegen StringDecode
  • [SPARK-46258] [SC-149799] [JÁDRO] Přidat RocksDBPersistenceEngine
  • [SPARK-46216] [SC-149676] [JÁDRO] Vylepšení FileSystemPersistenceEngine podpory komprese
  • [SPARK-46189] [SC-149567] [PS] [SQL] Porovnání a aritmetika mezi stejnými typy v různých agregačních funkcích Pandas, aby nedocházelo k chybám interpretovaného režimu
  • [SPARK-46184] [SC-149563] [JÁDRO] [SQL] [CONNECT] [MLLIB] Zmenšení hloubky zásobníku nahrazením Option.isDefined option.isEmpty
  • [SPARK-46700] [SC-153329] [JÁDRO] Spočítejte poslední přelití pro metriku přelévání disku náhodného prohazování
  • [SPARK-45642] [SC-150286] [JÁDRO] [SQL] Opravit FileSystem.isFile & FileSystem.isDirectory is deprecated
  • [SPARK-46640] [SC-153272] [SQL] Oprava RemoveRedundantAlias vyloučením atributů poddotazů
  • [SPARK-46681] [SC-153287] [JÁDRO] Refaktoring ExecutorFailureTracker#maxNumExecutorFailures , aby se zabránilo výpočtu defaultMaxNumExecutorFailures při MAX_EXECUTOR_FAILURES konfiguraci
  • [SPARK-46695] [SC-153289] [SQL] [HIVE] Vždy nastavujte hive.execution.engine na mr.
  • [SPARK-46325] [SC-150228] [CONNECT] Odebrání nepotřebných přepsání funkcí při vytváření WrappedCloseableIterator v ResponseValidator#wrapIterator
  • [SPARK-46232] [SC-149699] [PYTHON] Migrujte všechny zbývající chyby ValueError do architektury chyb PySpark.
  • [SPARK-46547] [SC-153174] [SS] Polykání ne závažné výjimky v úloze údržby, aby se zabránilo vzájemnému zablokování mezi vláknem údržby a operátorem agregace streamování
  • [SPARK-46169] [SC-149373] [PS] Přiřaďte příslušná čísla JIRA pro chybějící parametry z DataFrame rozhraní API.
  • [SPARK-45857] [SC-148096] [SQL] Vynucování tříd chyb v dílčích třídách AnalysisException

Podpora ovladačů Databricks ODBC/JDBC

Databricks podporuje ovladače ODBC/JDBC vydané v posledních 2 letech. Stáhněte si nedávno vydané ovladače a upgradujte (stáhněte rozhraní ODBC, stáhněte JDBC).

Prostředí systému

  • Operační systém: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.1.0

Nainstalované knihovny Pythonu

Knihovna Verze Knihovna Verze Knihovna Verze
asttokens 2.0.5 astunparse 1.6.3 Azure-Core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
Černé 23.3.0 blikač 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 Certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
kliknutí 8.0.4 cloudpickle 2.2.1 Komunikace 0.1.2
obrysová křivka 1.0.5 Kryptografie 41.0.3 Cyklovač 0.11.0
Cython 0.29.32 Databricks-sdk 0.20.0 dbus-python 1.2.18
ladění 1.6.7 Dekoratér 5.1.1 distlib 0.3.8
vstupní body 0,4 Provádění 0.8.3 přehled omezujících vlastností 1.1.1
filelock 3.13.1 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.42 google-api-core 2.17.1 google-auth 2.28.2
google-cloud-core 2.4.1 google-cloud-storage 2.15.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipywidgets 8.0.4 isodate 0.6.1
Jedi 0.18.1 Jeepney 0.7.1 jmespath 0.10.0
joblib 1.2.0 jupyter_client 7.4.9 jupyter_core 5.3.0
jupyterlab-widgety 3.0.5 Klíčenku 23.5.0 verizonsolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-hubená 2.11.1
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 Obalu 23.2
pandas 2.0.3 parso 0.8.3 pathspec 0.10.3
Patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Polštář 9.4.0 Pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 protobuf 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
čistý-eval 0.2.2 pyarrow 14.0.1 pyasn1 0.4.8
pyasn1-modules 0.2.8 pyccolo 0.0.52 pycparser 2.21
pydantic 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.38 pyparsing 3.0.9
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 pytz 2022.7
PyYAML 6.0 pyzmq 23.2.0 žádosti 2.31.0
rsa 4,9 s3transfer 0.10.0 scikit-learn 1.3.0
scipy 1.11.1 seaborn 0.12.2 SecretStorage 3.3.1
setuptools 68.0.0 Šest 1.16.0 smmap 5.0.1
sqlparse 0.4.4 ssh-import-id 5,11 stack-data 0.2.0
statsmodels 0.14.0 Houževnatost 8.2.2 threadpoolctl 2.2.0
tokenize-rt 4.2.1 Tornádo 6.3.2 vlastnosti 5.7.1
typing_extensions 4.7.1 tzdata 2022.1 ujson 5.4.0
bezobslužné upgrady 0,1 urllib3 1.26.16 virtualenv 20.24.2
wadllib 1.3.6 wcwidth 0.2.5 Kolo 0.38.4
widgetsnbextension 4.0.5 zipp 3.11.0

Nainstalované knihovny jazyka R

Knihovny R se instalují ze snímku CRAN Správce balíčků Posit 2023-02-10.

Knihovna Verze Knihovna Verze Knihovna Verze
šipka 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
Backports 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bitové 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 startování 1.3-28
Vařit 1.0-10 Brio 1.1.4 Koště 1.0.5
bslib 0.6.1 cachem 1.0.8 volající 3.7.3
caret 6.0-94 cellranger 1.1.0 chron 2.3-61
class 7.3-22 Rozhraní příkazového řádku 3.6.2 clipr 0.8.0
clock 0.7.0 cluster 2.1.4 codetools 0.2-19
barevný prostor 2.1-0 commonmark 1.9.1 – kompilátor 4.3.2
config 0.3.2 Rozporu 1.2.0 cpp11 0.4.7
Pastelka 1.5.2 přihlašovací údaje 2.0.1 Curl 5.2.0
data.table 1.15.0 Power BI 4.3.2 DBI 1.2.1
dbplyr 2.4.0 Desc 1.4.3 devtools 2.4.5
Diagramu 1.6.5 diffobj 0.3.5 Digest 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 tři tečky 0.3.2 evaluate 0.23
fanynky 1.0.6 farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
Zahraniční 0.8-85 Forge 0.2.0 Fs 1.6.3
Budoucnosti 1.33.1 future.apply 1.11.1 Kloktadlo 1.5.2
Generik 0.1.3 Gert 2.0.1 ggplot2 3.4.4
Gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 Globals 0.16.2 Lepidlo 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
Grafika 4.3.2 grDevices 4.3.2 Mřížky 4.3.2
gridExtra 2.3 gsubfn 0,7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 Útočiště 2.5.4
highr 0.10 Hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 Id 1.0.1 Ini 0.3.1
ipred 0.9-14 isoband 0.2.7 Iterátory 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 šťavnatájuice 0.1.0
KernSmooth 2.23-21 pletení 1.45 Označování 0.4.3
Později 1.3.2 Mříže 0.21-8 Láva 1.7.3
lifecycle 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 Markdown 1.12 MASS 7.3-60
Matice 1.5-4.1 memoise 2.0.1 metody 4.3.2
mgcv 1.8-42 Mime 0.12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
paralelně 1.36.0 Pilíř 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 Chvála 1.0.0
prettyunits 1.2.0 Proc 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 Průběh 1.2.3
progressr 0.14.0 Sliby 1.2.1 proto 1.0.0
Proxy 0.4-27 Ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 Analýza rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reagovatelná 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
recepty 1.0.9 Zápas 2.0.0 rematch2 2.1.2
vzdálená zařízení 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2,25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 Sass 0.4.8
Váhy 1.3.0 selektor 0.4-2 sessioninfo 1.2.2
Obrazec 1.4.6 Lesklé 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 Prostorové 7.3-15 Křivky 4.3.2
sqldf 0.4-11 ČTVEREC 2021.1 Statistiky 4.3.2
Statistiky 4 4.3.2 stringi 1.8.3 stringr 1.5.1
Přežití 3.5-5 swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 časový interval 0.3.0
timeDate 4032.109 tinytex 0.49 tools 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 utils 4.3.2 Uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 Waldo 0.5.2 vousa 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 Zip 2.3.1

Nainstalované knihovny Java a Scala (verze clusteru Scala 2.12)

ID skupiny ID artefaktu Verze
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws automatické škálování aws-java-sdk 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws podpora aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics datový proud 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware Kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Spolužák 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.kofein Kofein 2.9.3
com.github.fommil jniloader 1,1
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java Nativní verze 1.1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java Nativní verze 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64 Nativní verze 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64 Nativní verze 1.1
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.0.4
io.dropwizard.metrics metriky anotace 4.2.19
io.dropwizard.metrics metriky – jádro 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metriky – kontroly stavu 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metriky – servlety 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty- common 4.1.96.Final
io.netty obslužná rutina netty 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Kolekcí 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivace 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine Lák 1.3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro Avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.kurátor kurátor-client 2.13.0
org.apache.kurátor kurátor-framework 2.13.0
org.apache.kurátor kurátor-recepty 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy Ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus cílové skupiny a poznámky 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty pokračování jetty 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket – společné 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core žerzejové společné 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator Hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist Javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Poznámky 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap Podložky 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest kompatibilní s scalatestem 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani Xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel kočky-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1