Poznámka:
Přístup k této stránce vyžaduje autorizaci. Můžete se zkusit přihlásit nebo změnit adresáře.
Přístup k této stránce vyžaduje autorizaci. Můžete zkusit změnit adresáře.
Poznámka:
Podpora této verze Databricks Runtime skončila. Datum ukončení podpory najdete v tématu Konec podpory a historie ukončení životnosti. Pro všechny podporované verze Databricks Runtime vizte poznámky k vydání Databricks Runtime - verze a kompatibilita.
Následující poznámky k verzi obsahují informace o modulu Databricks Runtime 13.0, který využívá Apache Spark 3.4.0.
Databricks vydala tuto verzi v dubnu 2023.
Nové funkce a vylepšení
- Výrazy H3 teď podporují lineární geografické oblasti.
- Ganglia nahrazena metrikami clusteru
- Spark 3.4.0 byl vydán
- Photon vrátí chybu, pokud se soubor změní mezi plánováním a spuštěním dotazu.
- Nové funkce prediktivních vstupně-výstupních operací
- Rozšířená podpora prediktivních vstupně-výstupních funkcí
- Připojení k jinému pracovnímu prostoru Databricks pomocí konektoru Databricks
- Další možnosti Kafka pro strukturované streamování se sdíleným clusterem v katalogu Unity
- Vynechat změny Delta tabulek pomocí strukturovaného streamování
- funkce CREATE TABLE LIKE pro tabulky Delta
- Nová pole sloupců metadat označující začátek a délku bloku souboru
- Nové geoprostorové funkce H3
- Nové integrované funkce SQL
-
%sqlv poznámkových blocích Python -
%pipse automaticky nerestartuje Python - Clusterové knihovny pro Python jsou instalovány pomocí nekořenového uživatele
Výrazy H3 teď podporují lineární geografické oblasti.
h3_coverash3 Funkce h3_coverash3string teď podporují lineární (linestring a multilinestring) zeměpisné oblasti. Funkce vytvářejí minimální zakrývající sadu buněk H3 v zadaném rozlišení. Viz h3_coverash3 a h3_coverash3string.
Ganglia nahrazena metrikami clusteru
Pro Databricks Runtime verze 13 a vyšší jsou metriky Ganglia nahrazeny metrikami clusteru Azure Databricks. Pro Databricks Runtime verze 12 a níže můžete dál používat metriky Ganglia. Pokud máte pracovní postup, který závisí na metrikách Ganglia, které nelze uspokojit metrikami clusteru, obraťte se na tým účtu Azure Databricks. Viz Zobrazení výpočetních metrik.
Spark 3.4.0 bylo vydáno
Apache Spark 3.4.0 je teď obecně dostupný. Prohlédněte si Vydání Sparku 3.4.0.
Photon vrátí chybu, pokud se soubor změní mezi plánováním a spuštěním dotazu.
Dotazy photon teď vrací chybu, pokud se soubor aktualizuje mezi plánováním dotazů a spuštěním. Před touto změnou by Photon přečetl soubor, i když se čas úprav mezi plánováním a spuštěním dotazu změnil, což by mohlo vést k nepředvídatelným výsledkům.
Nové funkce prediktivních vstupně-výstupních operací
Photon nyní podporuje posuvné rámečky pro režimy ŘÁDKY i ROZSAH pomocí {ROWS | RANGE} BETWEEN offset_start { PRECEDING | FOLLOWING } AND offset_stop { PRECEDING | FOLLOWING }.
Rozšířená podpora prediktivních vstupně-výstupních funkcí
Podpora Photon byla rozšířena pro CSV, AVRO a ukládání DataFrame do mezipaměti, pokud vaše schéma výhradně obsahuje skalární sloupce. Podpora je také rozšířena pro vnořené typy, jako jsou mapy, struktury a pole.
Připojení k jinému pracovnímu prostoru Databricks pomocí konektoru Databricks
Konektor Azure Databricks umožňuje připojit se k výpočetním prostředkům nakonfigurovaným v jiném pracovním prostoru a vrátit výsledky do aktuálního pracovního prostoru Azure Databricks. Ovladač Azure Databricks JDBC je teď součástí databricks Runtime. Vizte Použití konektoru Databricks pro připojení k jinému pracovnímu prostoru.
Další možnosti Kafka pro strukturované streamování se sdíleným clusterem v katalogu Unity
Teď můžete použít nastavení kakfa.ssl.truststore.location a kafak.ssl.keystore.location ukládat certifikáty Kafka do externích umístění spravovaných katalogem Unity při použití strukturovaného streamování v clusterech se sdíleným přístupem. Umístění v rámci kořenového adresáře DBFS nelze použít.
Vyloučit úpravy tabulek Delta ve strukturovaném streamování
Nyní můžete použít skipChangeCommits k ignorování změn dat potvrzení do tabulky Delta pro UPDATE, MERGE a DELETE operace. Tím nahradí ignoreChanges, které je nyní zastaralé. Viz Zpracování změn zdrojových tabulek Delta Lake.
Funkce CREATE TABLE LIKE pro tabulky Delta
CREATE TABLE LIKE se teď podporuje při používání tabulek Delta.
Nová pole sloupců metadat označující začátek a délku bloku souboru
Teď můžete získat následující informace o metadatech pro vstupní soubory se sloupcem _metadata : file_block_start a file_block_length. Další informace najdete ve sloupci Metadata souboru.
Nové geoprostorové funkce H3
Nové výrazy h3_coverash3 a h3_coverash3string jsou k dispozici pro geoprostorové zpracování, když je povolená funkce Photon. Viz H3 geoprostorové funkce.
Nové integrované funkce SQL
Byly přidány následující funkce:
-
array_insert(array, index, elem) Vrátí rozšířený
array, kdeelemje vloženo na poziciindex. -
luhn_check(numStr) Vrátí
true, pokudnumStrprojde testem algoritmu Luhn.
%sql v Pythonovských poznámkových blocích
Všechny neprázdné výsledky v poznámkových blocích Pythonu jsou nyní přístupné pomocí systému ukládání výstupu do mezipaměti %sql nebo pomocí IPythonu. To zjednodušuje použití výsledku objektu DataFrame v Pythonu. Jedná se o změnu chování oproti starším verzím Databricks Runtime, protože dříve _sqldf nebylo vždy znovu přiřazeno.
_sqldf není znovu přiřazena u výsledku buňky, pokud byla buňka spuštěna pomocí %sql.
%pip se automaticky nerestartuje Python
Po spuštění příkazů %pip uvnitř Python poznámkových bloků, které upravují virtualEnv, databricks už automaticky nerestartuje proces Python. Pokud chcete proces Python restartovat, zavolejte dbutils.library.restartPython(). Při této změně se příkazy %pip na Databricks chovají podobně jako poznámkové bloky Jupyter a jsou konzistentní s příkazy !pip a %sh pip. Databricks doporučuje %pip místo !pip nebo %sh pip.
Knihovny Python s oborem clusteru se instalují pomocí uživatele bez kořenového adresáře.
Knihovny se teď instalují pomocí uživatele, který není kořenovým uživatelem, který zodpovídá za instalace knihoven. Pokud chcete nakonfigurovat chování instalace pip ve inicializačních skriptech, použijte [soubor https://pip.pypa.io/en/stable/topics/configuration/#configuration-filesglobální úrovně).
Opravy chyb
- V
%shpříkazech byly provedeny následující opravy:- Výstup obsahující jiné znaky než UTF-8 se teď podporuje.
- Po zrušení příkazu se teď přeruší podprocesy.
Upgrady knihoven
- Upgradované knihovny Python:
- asttokens od 2.0.5 do 2.2.1
- černá od 22.3.0 do 22.6.0
- boto3 od 1.21.32 do 1.24.28
- botocore od 1.24.32 do 1.27.28
- certifi od 8.10.2021 do 14.9.2022
- cffi od 1.15.0 do 1.15.1
- kryptografie od 3.4.8 do 37.0.1
- Cython od 0.29.28 do 0.29.32
- dbus-python od 1.2.16 do 1.2.18
- docstring-to-markdown od 0.11 do 0.12
- provádění od 0.8.3 do 1.2.0
- přehled-facetů od verze 1.0.0 do verze 1.0.2
- fastjsonschema od 2.16.2 do 2.16.3
- filelock od verze 3.9.0 do verze 3.10.7
- ipykernel od 6.15.3 do 6.17.1
- ipython od 8.5.0 do 8.10.0
- joblib od 1.1.1 do 1.2.0
- jsonschema od 4.4.0 do 4.16.0
- jupyter-client od 6.1.12 do 7.3.4
- kiwisolver z verze 1.3.2 na 1.4.2
- matplotlib od 3.5.1 do 3.5.2
- matplotlib-inline od 0.1.2 do 0.1.6
- nbformat od 5.3.0 do 5.5.0
- poznámkový blok od 6.4.8 do 6.4.12
- pandas od 1.4.2 do 1.4.4
- Polštář od 9.0.1 do 9.2.0
- pip od 21.2.4 do 22.2.2
- platformdirs z verze 2.6.2 na verzi 2.5.2
- vykreslovat od 5.6.0 do 5.9.0
- prometheus-client od 0.13.1 do 0.14.1
- prompt-toolkit z verze 3.0.20 na 3.0.36
- psutil od 5.8.0 do 5.9.0
- pyflakes od 2.5.0 do 3.0.1
- PyGObject od 3.36.0 do 3.42.1
- pyparsing od 3.0.4 do 3.0.9
- pyright od 1.1.283 do 1.1.294
- python-lsp-server od 1.6.0 do 1.7.1
- pytz od 2021.3 do 2022.1
- pyzmq od 22.3.0 do 23.2.0
- žádosti od 2.27.1 do 2.28.1
- lano od 0.22.0 do 1.7.0
- s3transfer od verze 0.5.0 do verze 0.6.0
- scikit-learn od 1.0.2 do 1.1.1
- scipy od 1.7.3 do 1.9.1
- instalační nástroje od 61.2.0 do 63.4.1
- ssh-import-id od 5.10 do 5.11
- stack-data od 0.2.0 do 0.6.2
- testpath od verze 0.5.0 na verzi 0.6.0
- tomli od 1.2.2 do 2.0.1
- ujson od 5.1.0 do 5.4.0
- urllib3 od 1.26.9 do 1.26.11
- virtualenv od 20.8.0 do 20.16.3
- whatthepatch z verze 1.0.4 na verzi 1.0.2
- kolo od 0.37.0 do 0.37.1
- Upgradované knihovny jazyka R:
- šipka od 10.0.0 do 10.0.1
- bit od 4.0.4 do 4.0.5
- broom z verze 1.0.1 na 1.0.3
- bslib od 0.4.1 do 0.4.2
- chron od 2.3-58 do 2.3-59
- cli z verze 3.4.1 na 3.6.0
- barevný prostor od 2.0-3 do 2.1-0
- curl od 4.3.3 do 5.0.0
- data.table od 1.14.4 do 1.14.6
- dbplyr od 2.2.1 do 2.3.0
- Konsolidace verze z 0.6.30 na 0.6.31
- Aktualizace dplyr z verze 1.0.10 do verze 1.1.0
- e1071 od 1.7-12 do 1.7-13
- vyhodnocení z 0.18 na 0.20
- fansi od 1.0.3 do 1.0.4
- fontawesome od 0.4.0 do 0.5.0
- forcats od 0.5.2 do 1.0.0
- fs od 1.5.2 do 1.6.1
- verze od 1.29.0 do 1.31.0
- gargle od verze 1.2.1 do verze 1.3.0
- gert z verze 1.9.1 na verzi 1.9.2
- glmnet od 4.1-4 do 4.1-6
- verze globals z 0.16.1 na 0.16.2
- gower verze od 1.0.0 do 1.0.1
- vyšší z 0.9 na 0.10
- htmltools od 0.5.3 do 0.5.4
- htmlwidgets – aktualizace z verze 1.5.4 na verzi 1.6.1
- httpuv od 1.6.6 do 1.6.8
- isoband od 0.2.6 do 0.2.7
- Jsonlite od 1.8.3 do 1.8.4
- knitr od 1.40 do 1.42
- láva od 1.7.0 do 1.7.1
- listenv od 0.8.0 do 0.9.0
- Přechod lubridate z verze 1.9.0 na verzi 1.9.1.
- markdown od 1.3 do 1.5
- modelr od 0.1.9 do 0.1.10
- openssl od 2.0.4 do 2.0.5
- paralelně od 1.32.1 do 1.34.0
- pkgbuild od 1.3.1 do 1.4.0
- pkgdown z verze 2.0.6 na verzi 2.0.7
- pkgload od 1.3.1 do 1.3.2
- plyr od 1.8.7 do 1.8.8
- progressr od 0.11.0 do 0.13.0
- purrr od 0.3.5 do 1.0.1
- Aktualizace ragg z verze 1.2.4 na verzi 1.2.5
- Rcpp od 1.0.9 do 1.0.10
- readxl od 1.4.1 do 1.4.2
- recepty od 1.0.3 do 1.0.4
- rmarkdown od 2.18 do 2.20
- RODBC od 1.3-19 do 1.3-20
- roxygen2 od 7.2.1 do 7.2.3
- RSQLite od 2.2.18 do 2.2.20
- sass od 0.4.2 do 0.4.5
- lesklý od 1.7.3 do 1.7.4
- sourcetools od 0.1.7 do 0.1.7-1
- sparklyr od 1.7.8 do 1.7.9
- SparkR od 3.3.2 do 3.4.0
- prostorová od 7.3-11 do 7.3-15
- stringi od 1.7.8 do 1.7.12
- stringr od verze 1.4.1 do 1.5.0
- přežití od 3,4-0 do 3,5-3
- testthat z verze 3.1.5 na verzi 3.1.6
- tidyr od 1.2.1 do 1.3.0
- časový interval od 0.1.1 do 0.2.0
- časové datum od 4021.106 do 4022.108
- tinytex od 0,42 do 0,44
- utf8 od 1.2.2 do 1.2.3
- vctrs od 0.5.0 do 0.5.2
- vroom od 1.6.0 do 1.6.1
- whisker z verze 0.4 na verzi 0.4.1
- xfun od 0.34 do 0.37
- yaml - verze od 2.3.6 do 2.3.7
- Upgradované knihovny Java:
- com.amazonaws.aws-java-sdk-autoscaling z verze 1.12.189 na verzi 1.12.390
- com.amazonaws.aws-java-sdk-cloudformation od 1.12.189 do 1.12.390
- com.amazonaws.aws-java-sdk-cloudfront od 1.12.189 do 1.12.390
- com.amazonaws.aws-java-sdk-cloudhsm od 1.12.189 do 1.12.390
- com.amazonaws.aws-java-sdk-cloudsearch od 1.12.189 do 1.12.390
- com.amazonaws.aws-java-sdk-cloudtrail od 1.12.189 do 1.12.390
- com.amazonaws.aws-java-sdk-cloudwatch od 1.12.189 do 1.12.390
- com.amazonaws.aws-java-sdk-cloudwatchmetrics od 1.12.189 do 1.12.390
- com.amazonaws.aws-java-sdk-codedeploy od 1.12.189 do 1.12.390
- com.amazonaws.aws-java-sdk-cognitoidentity od 1.12.189 do 1.12.390
- com.amazonaws.aws-java-sdk-cognitosync od 1.12.189 do 1.12.390
- com.amazonaws.aws-java-sdk-config od 1.12.189 do 1.12.390
- com.amazonaws.aws-java-sdk-core od 1.12.189 do 1.12.390
- com.amazonaws.aws-java-sdk-datapipeline od 1.12.189 do 1.12.390
- com.amazonaws.aws-java-sdk-directconnect od 1.12.189 do 1.12.390
- com.amazonaws.aws-java-sdk-directory od 1.12.189 do 1.12.390
- com.amazonaws.aws-java-sdk-dynamodb od 1.12.189 do 1.12.390
- com.amazonaws.aws-java-sdk-ec2 od 1.12.189 do 1.12.390
- com.amazonaws.aws-java-sdk-ecs od 1.12.189 do 1.12.390
- com.amazonaws.aws-java-sdk-efs od 1.12.189 do 1.12.390
- com.amazonaws.aws-java-sdk-elasticache od 1.12.189 do 1.12.390
- com.amazonaws.aws-java-sdk-elasticbeanstalk od 1.12.189 do 1.12.390
- com.amazonaws.aws-java-sdk-elasticloadbalancing od 1.12.189 do 1.12.390
- Balíček com.amazonaws.aws-java-sdk-elastictranscoder byl aktualizován z verze 1.12.189 na verzi 1.12.390.
- com.amazonaws.aws-java-sdk-emr od 1.12.189 do 1.12.390
- com.amazonaws.aws-java-sdk-glacier – aktualizace z verze 1.12.189 na verzi 1.12.390
- com.amazonaws.aws-java-sdk-glue od 1.12.189 do 1.12.390
- com.amazonaws.aws-java-sdk-iam od 1.12.189 do 1.12.390
- com.amazonaws.aws-java-sdk-importexport od 1.12.189 do 1.12.390
- com.amazonaws.aws-java-sdk-kinesis od 1.12.189 do 1.12.390
- com.amazonaws.aws-java-sdk-kms od 1.12.189 do 1.12.390
- com.amazonaws.aws-java-sdk-lambda od 1.12.189 do 1.12.390
- com.amazonaws.aws-java-sdk-logs od 1.12.189 do 1.12.390
- com.amazonaws.aws-java-sdk-machinelearning od 1.12.189 do 1.12.390
- com.amazonaws.aws-java-sdk-opsworks od 1.12.189 do 1.12.390
- com.amazonaws.aws-java-sdk-rds od 1.12.189 do 1.12.390
- com.amazonaws.aws-java-sdk-redshift od 1.12.189 do 1.12.390
- com.amazonaws.aws-java-sdk-route53 od 1.12.189 do 1.12.390
- com.amazonaws.aws-java-sdk-s3 od 1.12.189 do 1.12.390
- com.amazonaws.aws-java-sdk-ses od 1.12.189 do 1.12.390
- com.amazonaws.aws-java-sdk-simpledb od 1.12.189 do 1.12.390
- com.amazonaws.aws-java-sdk-simpleworkflow od 1.12.189 do 1.12.390
- com.amazonaws.aws-java-sdk-sns od 1.12.189 do 1.12.390
- com.amazonaws.aws-java-sdk-sqs od 1.12.189 do 1.12.390
- com.amazonaws.aws-java-sdk-ssm od 1.12.189 do 1.12.390
- com.amazonaws.aws-java-sdk-storagegateway od 1.12.189 do 1.12.390
- com.amazonaws.aws-java-sdk-sts od 1.12.189 do 1.12.390
- com.amazonaws.aws-java-sdk-support od 1.12.189 do 1.12.390
- com.amazonaws.aws-java-sdk-workspaces od 1.12.189 do 1.12.390
- com.amazonaws.jmespath-java od 1.12.189 do 1.12.390
- com.fasterxml.jackson.core.jackson-annotations z verze 2.13.4 na verzi 2.14.2
- com.fasterxml.jackson.core.jackson-core od 2.13.4 do 2.14.2
- com.fasterxml.jackson.core.jackson-databind od 2.13.4.2 do 2.14.2
- com.fasterxml.jackson.dataformat.jackson-dataformat-cbor od 2.13.4 do 2.14.2
- com.fasterxml.jackson.datatype.jackson-datatype-joda od 2.13.4 do 2.14.2
- com.fasterxml.jackson.module.jackson-module-paranamer od 2.13.4 do 2.14.2
- com.fasterxml.jackson.module.jackson-module-scala_2.12 od 2.13.4 do 2.14.2
- com.github.luben.zstd-jni od 1.5.2-1 do 1.5.2-5
- com.google.code.gson.gson od 2.8.6 do 2.8.9
- com.google.crypto.tink.tink od 1.6.1 do 1.7.0
- com.h2database.h2 od 2.0.204 do 2.1.214
- com.jcraft.jsch od 0.1.50 do 0.1.55
- com.ning.compress-lzf od 1.1 do 1.1.2
- commons-fileupload.commons-fileupload verze od 1.3.3 do 1.5
- dev.ludovic.netlib.arpack od 2.2.1 do 3.0.3
- dev.ludovic.netlib.blas od 2.2.1 do 3.0.3
- dev.ludovic.netlib.lapack od 2.2.1 do 3.0.3
- io.delta.delta-sharing-spark_2.12 od 0.6.9 do 0.6.3
- io.dropwizard.metrics.metrics-core z verze 4.1.1 na verzi 4.2.10
- io.dropwizard.metrics.metrics-graphite od 4.1.1 do 4.2.10
- io.dropwizard.metrics.metrics-healthchecks z 4.1.1 na 4.2.10
- io.dropwizard.metrics.metrics-jetty9 od 4.1.1 do 4.2.10
- io.dropwizard.metrics.metrics-jmx od 4.1.1 do 4.2.10
- io.dropwizard.metrics.metrics-json verze od 4.1.1 do 4.2.10
- io.dropwizard.metrics.metrics-jvm od 4.1.1 do 4.2.10
- io.dropwizard.metrics.metrics-servlets aktualizace z verze 4.1.1 na 4.2.10
- io.netty.netty-all od 4.1.74.Final do 4.1.87.Final
- io.netty.netty-buffer od 4.1.74.Final do 4.1.87.Final
- io.netty.netty-codec aktualizace z verze 4.1.74.Final na verzi 4.1.87.Final
- io.netty.netty-common z verze 4.1.74.Final na verzi 4.1.87.Final
- io.netty.netty-handler z verze 4.1.74.Final na verzi 4.1.87.Final
- io.netty.netty-resolver od 4.1.74.Final do 4.1.87.Final
- io.netty.netty-transport od verze 4.1.74.Final na verzi 4.1.87.Final
- io.netty.netty-transport-classes-epoll od 4.1.74.Final do 4.1.87.Final
- io.netty.netty-transport-classes-kqueue - aktualizace z verze 4.1.74.Final na verzi 4.1.87.Final
- io.netty.netty-transport-native-unix-common od 4.1.74.Final do 4.1.87.Final
- joda-time.joda-time od 2.10.13 do 2.12.1
- net.razorvine.pickle od 1.2 do 1.3
- net.snowflake.snowflake-jdbc od 3.13.29 do 3.13.22
- org.antlr.antlr4-runtime od 4.8 do 4.9.3
- org.apache.ant.ant od 1.9.2 do 1.9.16
- org.apache.ant.ant-jsch od 1.9.2 do 1.9.16
- org.apache.ant.ant-launcher od 1.9.2 do 1.9.16
- org.apache.arrow.arrow-format od verze 7.0.0 k verzi 11.0.0
- Aktualizace org.apache.arrow.arrow-memory-core z verze 7.0.0 na verzi 11.0.0
- org.apache.arrow.arrow-memory-netty od 7.0.0 do 11.0.0
- org.apache.arrow.arrow-vector od 7.0.0 do 11.0.0
- org.apache.avro.avro od 1.11.0 do 1.11.1
- org.apache.avro.avro-ipc od 1.11.0 do 1.11.1
- org.apache.avro.avro-mapred od 1.11.0 do 1.11.1
- "org.apache.httpcomponents.httpclient" od 4.5.13 do 4.5.14
- org.apache.httpcomponents.httpcore od 4.4.14 do 4.4.16
- org.apache.logging.log4j.log4j-1.2-api od 2.18.0 do 2.19.0
- org.apache.logging.log4j.log4j-api od 2.18.0 do 2.19.0
- org.apache.logging.log4j.log4j-core od 2.18.0 do 2.19.0
- org.apache.orc.orc-core od 1.7.8 do 1.8.2-shaded-protobuf
- org.apache.orc.orc-mapreduce od 1.7.8 do 1.8.2-shaded-protobuf
- org.apache.orc.orc-shims od 1.7.8 do 1.8.2
- org.apache.xbean.xbean-asm9-shaded od 4.20 do 4.22
- org.apache.zookeeper.zookeeper od 3.6.2 do 3.6.3
- org.apache.zookeeper.zookeeper-jute od 3.6.2 do 3.6.3
- org.eclipse.jetty.jetty-client od 9.4.46.v20220331 do 9.4.50.v20221201
- org.eclipse.jetty.jetty-pokračování z 9.4.46.v20220331 až 9.4.50.v20221201
- org.eclipse.jetty.jetty-http od 9.4.46.v20220331 do 9.4.50.v20221201
- org.eclipse.jetty.jetty-io od 9.4.46.v20220331 do 9.4.50.v20221201
- org.eclipse.jetty.jetty-jndi od 9.4.46.v20220331 do 9.4.50.v20221201
- org.eclipse.jetty.jetty-plus od 9.4.46.v20220331 do 9.4.50.v20221201
- org.eclipse.jetty.jetty-proxy od 9.4.46.v20220331 do 9.4.50.v20221201
- org.eclipse.jetty.jetty-security od 9.4.46.v20220331 do 9.4.50.v20221201
- org.eclipse.jetty.jetty-server od 9.4.46.v20220331 do 9.4.50.v20221201
- org.eclipse.jetty.jetty-servlet od 9.4.46.v20220331 do 9.4.50.v20221201
- org.eclipse.jetty.jetty-servlets z verze 9.4.46.v20220331 na 9.4.50.v20221201
- org.eclipse.jetty.jetty-util od 9.4.46.v20220331 do 9.4.50.v20221201
- org.eclipse.jetty.jetty-util-ajax od 9.4.46.v20220331 do 9.4.50.v20221201
- org.eclipse.jetty.jetty-webapp od 9.4.46.v20220331 do 9.4.50.v20221201
- org.eclipse.jetty.jetty-xml z 9.4.46.v20220331 až 9.4.50.v20221201
- org.eclipse.jetty.websocket.websocket-api od 9.4.46.v20220331 do 9.4.50.v20221201
- org.eclipse.jetty.websocket.websocket-client od 9.4.46.v20220331 do 9.4.50.v20221201
- org.eclipse.jetty.websocket.websocket-common od 9.4.46.v20220331 do 9.4.50.v20221201
- org.eclipse.jetty.websocket.websocket-server od 9.4.46.v20220331 do 9.4.50.v20221201
- org.eclipse.jetty.websocket.websocket-servlet z 9.4.46.v20220331 na 9.4.50.v20221201
- org.hibernate.validator.hibernate-validator od 6.1.0.Final do 6.1.7.Final
- org.mlflow.mlflow-spark od 2.1.1 do 2.2.0
- org.postgresql.postgresql od 42.3.3 do 42.3.8
- org.roaringbitmap.RoaringBitmap od 0.9.25 do 0.9.39
- org.roaringbitmap.shims od 0.9.25 do 0.9.39
- org.rocksdb.rocksdbjni od 6.28.2 do 7.8.3
- org.scala-lang.scala-compiler_2.12 od 2.12.14 do 2.12.15
- org.scala-lang.scala-library_2.12 od 2.12.14 do 2.12.15
- org.scala-lang.scala-reflect_2.12 od 2.12.14 do 2.12.15
- org.scalanlp.breeze-macros_2.12 od 1.2 do 2.1.0
- org.scalanlp.breeze_2.12 od verze 1.2 do verze 2.1.0
- org.slf4j.jcl-over-slf4j od 1.7.36 do 2.0.6
- org.slf4j.jul-to-slf4j od 1.7.36 do 2.0.6
- org.slf4j.slf4j-api od 1.7.36 do 2.0.6
- org.threeten.threeten-extra od 1.5.0 do 1.7.1
- org.wildfly.openssl.wildfly-openssl od verze 1.0.7. Final na verzi 1.1.3. Final
- org.yaml.snakeyaml od 1.24 do 1.33
Apache Spark
Databricks Runtime 13.0 zahrnuje Apache Spark 3.4.0.
- Spark SQL
- Spark Core
- Strukturované streamování
- Spark Connect
- PySpark
- MLLIB
- SparkR
- Služba živého uživatelského rozhraní a serveru historie
- Sestavit
Spark SQL
Features
- Implementace podpory výchozích hodnot pro sloupce v tabulkách (SPARK-38334)
- Přidejte Dataset.as(StructType) (SPARK-39625)
- Podpora parametrizovaného SQL (SPARK-41271, SPARK-42702)
- Přidat unpivot / meltování (SPARK-38864, SPARK-39876)
- Podpora odkazů na aliasy laterálních sloupců (SPARK-27561)
- Klauzule posunu výsledku podpory (SPARK-28330, SPARK-39159)
- Podpora datového typu časového razítka bez časového pásma (SPARK-35662)
- Podpora skalárních poddotazů v časovém cestování (SPARK-39306)
- Zajištění kompatibility rozhraní API katalogu s 3vrstvým oborem názvů (SPARK-39235)
- Podpora časového razítka v sekundách pro TimeTravel pomocí možností DataFrame (SPARK-39633)
- Přidání SparkSession.config(Mapa) (SPARK-40163)
- Podpora změny výchozí databáze katalogu relací (SPARK-35242)
- Podpora Protobuf pro Spark – from_protobuf AND to_protobuf (SPARK-40654)
- Přidání klauzule WHEN NOT MATCHED BY SOURCE do MERGE INTO (SPARK-40921)
- Uvolnit omezení na řazení pro možnosti sloupců CREATE TABLE (SPARK-40944)
- Ekvivalent SQL pro příkaz přepsání datového rámce (SPARK-40956)
- Podpora generování, které nevyžaduje podřízený výstup pro hostování vnějších referencí (SPARK-41441)
- ORDER BY VŠE (SPARK-41637)
- GROUP BY VŠE (SPARK-41635)
- Přidejte flatMapSortedGroups a cogroupSorted (SPARK-38591)
- Podpora poddotazů s korelovanými nerovnostními predikáty (SPARK-36114)
- Podpora poddotazů s korelací prostřednictvím UNION/INTERSECT/EXCEPT (SPARK-36124)
Dodržování předpisů ANSI
- Režim ANSI SQL: Vždy vrátit hodnotu null při neplatném přístupu ke sloupci mapy (SPARK-40066)
- Podpora identifikátorů uzavřených v dvojitých uvozovkách (SPARK-40585)
- Režim ANSI SQL: Round/Bround by měl vracet chybu při přetečení hodnoty celého čísla (SPARK-42045)
- Podpora přetypování integrálů do intervalů ANSI (SPARK-40008)
- Podpora převodu desetinných čísel na intervaly ANSI (SPARK-40014)
- Vrácení širších typů intervalů ANSI z percentilových funkcí (SPARK-40151)
- Podpora přetypování intervalů ANSI na desetinná místa (SPARK-39470)
- Podpora intervalů přetypování na integrály v režimu ANSI (SPARK-39451)
- Posílení využití SQLSTATE pro třídy chyb (SPARK-41994)
Functions
- Podpora funkcí generátoru s hodnotami tabulky v klauzuli FROM (SPARK-41594)
- Podpora agregační funkce ANSI: REGR_SXY (SPARK-37681)
- Podpora agregační funkce ANSI: REGR_R2 (SPARK-37641)
- Podpora agregační funkce ANSI: REGR_SXX (SPARK-37672)
- Podpora agregační funkce ANSI: REGR_SYY (SPARK-37702)
- Podpora agregační funkce ANSI: REGR_SLOPE (SPARK-39230)
- Podpora agregační funkce ANSI: REGR_INTERCEPT (SPARK-37623)
- Podpora agregační funkce ANSI PERCENTILE_CONT jako funkce okna (SPARK-38219)
- Podpora agregační funkce ANSI: PERCENTILE_DISC (SPARK-37691)
- Podpora SPLIT_PART funkce (SPARK-38063)
- Podpora funkce TRY_AVG (SPARK-38589)
- Podpora funkce TRY_TO_BINARY (SPARK-38590)
- Podpora TO_NUMBER a TRY_TO_NUMBER funkcí SQL podle nové specifikace (SPARK-38796)
- Podpora specifikace a funkce obecné hodnoty ANSI – USER (SPARK-39138)
- Podpora funkcí TO_CHAR a TRY_TO_CHAR pro formátování desetinných hodnot jako řetězců (SPARK-28516)
- Podpora ANY_VALUE agregační funkce (SPARK-39213)
- Podpora funkce EQUAL_NUL (SPARK-39305)
- Podpora agregační funkce MEDIAN (SPARK-39320)
- Podpora funkce REGEXP_COUNT (SPARK-39618)
- Podpora REGEXP_INSTR funkce (SPARK-39744)
- Podpora funkce REGEXP_SUBSTR (SPARK-39695)
- Podpora funkce UNPIVOT (SPARK-39876)
- Podpora funkce TRY_TO_TIMESTAMP (SPARK-39795)
- Podpora kódování a dekódování adres URL jako vestavěných funkcí a úpravy funkcí týkajících se adres URL (SPARK-39741)
- Podpora režimu agregační funkce (SPARK-39808)
- Podpora funkce GET (SPARK-40109)
- Přidání aliasů funkcí: LEN, DATEPART, DATEADD, DATE_DIFF, CURDATE (SPARK-40352)
- Vylepšení funkce TO_BINARY (SPARK-40112)
- Podpora CURRENT_SCHEMA (SPARK-41323)
- Podpora vestavěné funkce maskování dat MASK (SPARK-40687)
- Podpora vysoce řádové funkce: ARRAY_COMPACT (SPARK-41235)
- Podpora funkce ARRAY_APPEND (SPARK-41232)
- Podpora ARRAY_INSERT funkce (SPARK-41234)
- Podpora funkce LUHN_CHECK (SPARK-42191)
- Podpora ARRAY_SORT(sloupec, komparátor) (SPARK-39925)
Zdroje dat
- Statistiky sloupců podpory v DS v2 (SPARK-41378)
- Úložiště s dělenými propojeními (SPJ) v DS v2 (SPARK-37375)
- Operace na úrovni řádků v DS v2 (SPARK-35801)
- Přidání kombinace SupportsReportOrdering v rozhraní pro nástroj DS v2 Scan (SPARK-38647)
- Odvození typu DATE pro zjišťování schématu CSV (SPARK-39469)
- Podpora metrik ovladačů v rozhraní API pro vlastní metriky DS v2 (SPARK-39635)
- Podpora funkce distribuce a řazení DS v2 při zapisování (SPARK-39607)
- StringEndsWith/Contains podporuje optimalizaci v Parquet, abychom mohli využít filtr slovníku (SPARK-39002)
- Podpora UDT v vektorizované čtečce Spark Parquet (SPARK-39086)
- Rozšíření sloupce METADATa pro podporu indexů řádků pro soubory Parquet (SPARK-37980)
- Podpora čtení typu parquet FIXED_LEN_BYTE_ARRAY (SPARK-41096)
- Optimalizace pořadí predikátů filtrování (SPARK-40045)
- Podpora dotazů CTE a dočasných tabulek pomocí MSSQL JDBC (SPARK-37259)
- Podpora ignoreCorruptFiles a ignoreMissingFiles v možnostech zdroje dat (SPARK-38767)
- Vyjmout zápis v1 do WriteFiles (SPARK-41407)
- Přidejte char padding na čtecí straně pro zakrytí externích datových souborů (SPARK-40697)
Optimalizace dotazů
- Sloučení nesouvisených skalárních poddotazů (SPARK-34079)
- Povolte spojení pomocí Bloomova filtru ve výchozím nastavení (SPARK-38841)
- Odebrání nepotřebných jedinečných položek v agregačním výrazu pomocí distinctKeys (SPARK-38832)
- Podpora propagace predikátu a ořezání sloupců pro odstraněné duplikáty CTE (SPARK-37670)
- Odeberte vnější spojení, pokud jsou agregační funkce necitlivé na duplicity na streamované straně (SPARK-38886)
- Odstraňte levé/pravé vnější spojení, pokud jsou vybrány pouze sloupce z levé/pravé strany a klíče spojení na opačné straně jsou jedinečné (SPARK-39172)
- Optimalizace celkového řazení na repartitionByExpression (SPARK-39911)
- Optimalizace pravidla TransposeWindow (SPARK-38034)
- Vylepšení funkce EliminateSorts na podporu odstraňování řazení prostřednictvím LocalLimit (SPARK-40050)
- Pokud je podmínka spojení prázdná (SPARK-40040), posuňte místní limit na obě strany.
- Přidání PushProjectionThroughLimit pro optimalizátor (SPARK-40501)
- Podpora PIVOT/UNPIVOT s propojením dětí (SPARK-41195)
- Podpora vyřazování sloupců s několika nedeterministickými filtry (SPARK-41017)
- Vylepšení dělení a řazení výstupu pomocí mezipaměti AQE (SPARK-41048)
- Zlepšení výkonu pro více operací podobnosti vytvořením vyváženého predikátu stromu výrazů (SPARK-41167)
- Odeberte řazení, pokud se jedná o podřízenou položku RepartitionByExpression (SPARK-36703).
- Použití dostupných statistik sloupců z dokončených fází dotazů (SPARK-39991)
- Opakované použití výrazů ve WindowsSpecDefinition (SPARK-41805)
- Vylepšení AliasAwareOutputPartitioning a AliasAwareQueryOutputOrdering, aby se zohlednily všechny aliasy (SPARK-40086, SPARK-42049)
- Posunutí limitu pomocí uživatelsky definovaných funkcí Pythonu (SPARK-42115)
Generování kódu a spouštění dotazů
- Nastavit spuštění defaultJoin v BroadcastNestedLoopJoinExec paralelně (SPARK-40487)
- Podpora Codegenu pro HiveGenericUDF (SPARK-42051)
- Zavedení náhodného náhodného prohazování u singlepartition (SPARK-41986)
- Podpora DPP na straně vyřazování má Union (SPARK-39217)
Další významné změny
- Podpora automatizovaného shromažďování statistik pro partice (SPARK-38573)
- Formátování chybových zpráv na serveru Thrift (SPARK-40098)
- Přidejte rozhraní API pro rozšíření, které slouží k normalizaci plánů pro ukládání do mezipaměti (SPARK-41183)
- Přeuspořádání typů v Sparku zavedením fyzických typů (SPARK-41226)
- Podpora a rekurzivní kontroly jednoho pole (SPARK-41396)
- Centralizace logiky řešení sloupců (SPARK-41405)
- Vylepšení ověřování změn plánu (SPARK-42081)
- Představení SparkPath pro bezpečnost typů (SPARK-41970)
- Vyvolání výjimky pro db_name.view_name při vytváření dočasného zobrazení podle rozhraní API datové sady (SPARK-41090)
- Změna výchozí hodnoty argumentu funkce Mask z -1 na NULL (SPARK-42070)
Spark Core
Vyřadit z provozu
- Vyhněte se opakovanému spuštění nepotřebných úloh při ztrátě vyřazených exekutorů, pokud došlo k přesunu dat (SPARK-41469)
- Ignorovat chybu načtení fáze generovanou vyřazeným vykonavatelem (SPARK-40481)
- Povolte spark.storage.decommission.(rdd|shuffle)Blocks.enabled ve výchozím nastavení (SPARK-40198)
- Přidat podporu pro vyřazení YARN, když je ESS vypnutý (SPARK-30835)
Plánovač
- Umožněte rozvrhování fází podporovat režim místního clusteru (SPARK-41949)
- Profil prostředků úloh na úrovni fáze podpory pro samostatný cluster, pokud je dynamické přidělení zakázané (SPARK-39853)
- Zpoždění funkce onDisconnected, aby mohl driver přijímat ExecutorExitCode (SPARK-39957)
- Zlepšit predikci prostřednictvím metrik fázových úloh (SPARK-32170)
- Přidání podpory plánování prostředků na úrovni fáze pro samostatný cluster (SPARK-39062)
- Vylepšení procesu LaunchTask, aby se zabránilo selháním fáze způsobeným neúspěšným odesláním zpráv LaunchTask (SPARK-39955)
Zamíchat
- Přidání metrik čtení na straně klienta pro Push Based Shuffle (SPARK-36620)
- Metriky přeskládání na straně serveru pro přeskládání založené na push metodě (SPARK-33573)
- Ujistěte se, že mergedShuffleCleaner byl vypnut dříve, než ukončíte databázi (SPARK-40186).
- Přidání podpory RocksDB pro úložiště stavu služby shuffle (SPARK-38888)
- Zapouzdření LevelDB použité k ukládání vzdáleného nebo externího stavu náhodného prohazování jako databáze (SPARK-38909)
- Povolení spark.dynamicAllocation.shuffleTracking.enabled ve výchozím nastavení (SPARK-3984)
- Povolení služby náhodného prohazování na základě nabízených oznámení pro ukládání stavu v databázi na úrovni NM pro zachování práce (SPARK-33236)
- Odstranit bloky přeskupování pomocí služby přeskupování pro uvolněné vykonavatele (SPARK-37618)
Další významné změny
- Podpora prostředí jen s protokolem IPv6 (SPARK-39457)
- Povolení spark.kryo.unsafe ve výchozím nastavení (SPARK-42137)
- Zakázat libovolnou vlastní classpath s proxy uživatelem v režimu clusteru (SPARK-41958)
- Pokud dojde ke ztrátě exekutoru (SPARK-41360), vyhněte se opětovné registraci nástroje BlockManager.
- Odstraňte omezení, aby jednotlivý výsledek úkolu nepředstavoval 2 GB (SPARK-40622).
- Odebrání podpory zastaralých konfigurací spark.akka.* (SPARK-40401)
- Změna výchozího protokolování na stderr tak, aby odpovídalo chování log4j (SPARK-40406)
- Vyloučení metadat DirectTaskResult při výpočtu velikosti výsledku (SPARK-40261)
- Povolit přizpůsobení počátečního čísla oddílů v chování take() (SPARK-40211)
- Místo synchronizace v Executor.updateDependencies() (SPARK-40235) použijte přerušitelný zámek.
- Selhání úlohy by mělo vždy aktivovat posluchače selhání úloh (SPARK-40106)
- Přidání možnosti selektivního zakázání sledování nebo dotazování (SPARK-36462)
- Nezachovávejte neserializované vztahy vysílání na ovladači (SPARK-39983)
- Oprava zablokování mezi TaskMemoryManager a UnsafeExternalSorter.SpillableIterator (SPARK-39283)
- Zveřejnění oddílů čísel ve fázi pro TaskContext (SPARK-38679)
- Nastavení konfigurovatelného faktoru režie paměti (SPARK-38194)
- Nepoužívejte bash -c v ShellBasedGroupsMappingProvider (SPARK-38992)
Strukturované streamování
Hlavní funkce
- Asynchronní sledování postupu (SPARK-39591)
- Python libovolné stavové zpracování ve strukturovaném streamování (SPARK-40434)
- Podpora Protobuf ve strukturovaném streamování (SPARK-40653)
- Oprava filtrování zpožděných záznamů pro podporu řetězení stavových operátorů (SPARK-40925)
Další významné změny
- Představení správce souborů kontrolních bodů pro streaming založeného na rozhraní Abortable systému Hadoop (SPARK-40039)
- Vyřazení Trigger.Once a zvýšení úrovně Trigger.AvailableNow (SPARK-39805)
- Zpřístupnit informace z katalogové tabulky logickému plánu ve streamovacím dotazu (SPARK-39564)
- Podpora shromažďování metrik ze streamovacích úložišť (SPARK-38564)
- Vyřazení rozhraní API DStream (SPARK-42075)
- Překlopit výchozí hodnotu nastavení načítání offsetu Kafka (SPARK-40844)
- Poskytnutí klonované relace Sparku v datovém rámci v uživatelské funkci pro jímku foreachBatch v PySparku (SPARK-41379)
Spark Connect
klient Python
- Implementace rozhraní DATAFrame API (SPARK-41279)
- Implementace rozhraní API sloupců (SPARK-41282)
- Implementace rozhraní API služby Functions (SPARK-41283)
- Implementace rozhraní SparkSession API (SPARK-41281)
- Implementace rozhraní API pro vstupně-výstupní operace (SPARK-41284)
- Implementace rozhraní API katalogu (SPARK-41289)
- Podpora uživatelem definovaných funkcí v Python (SPARK-41661)
- Podpora rozhraní API funkcí Pandas/Arrow (SPARK-42393)
- Podpora konfigurace SQL modulu runtime (SPARK-42499)
- Sestavení, balíček a infrastruktura pro Spark Connect (SPARK-41286)
- Psaní poznámek pro klienta Python Spark Connect (SPARK-40451)
Klient Scala
- Implementace základního klienta Scala (SPARK-41534, SPARK-42133, SPARK-42043, SPARK-41822)
- Implementace rozhraní SparkSession API (SPARK-42639, SPARK-42581, SPARK-42564, SPARK-42544, SPARK-42631)
- Implementace rozhraní API datového rámce (SPARK-42440, SPARK-42559, SPARK-42558, SPARK-42556, SPARK-42468, SPARK-42529, SPARK-42561, SPARK-42894, SPARK-41874, SPARK-42691, SPARK-42692, SPARK-42481, SPARK-42541, SPARK-42542, SPARK-42520, SPARK-41823)
- Implementace rozhraní API sloupců (SPARK-42441, SPARK-42560)
- Implementace rozhraní API pro funkce (SPARK-42461, SPARK-42579, SPARK-42527, SPARK-42531, SPARK-42495, SPARK-42557)
- Implementovat V/V API (SPARK-42457, SPARK-42555, SPARK-42690, SPARK-42878, SPARK-42757, SPARK-42482, SPARK-42733, SPARK-42518)
- Implementace konfigurace SQL modulu runtime (SPARK-42586)
- Podpora základní uživatelem definované funkce (SPARK-42283, SPARK-42653, SPARK-42543)
- Podpora základního rozhraní API typu (SPARK-42580, SPARK-42605)
- Testovací infrastruktura pro Spark Connect (SPARK-42172, SPARK-42377, SPARK-42599)
- Implementace podpory REPL (SPARK-42656, SPARK-42884)
PySpark
Rozhraní Pandas API na Sparku
- Významné zlepšení
- Python libovolné stavové zpracování ve strukturovaném streamování (SPARK-40434)
- Implementace chybějících parametrů rozhraní PANDAs API (SPARK-42883)
- Podpora Pandas 1.5 (SPARK-40576)
- Hlavní funkce
- Implementace Series.searchsorted (SPARK-40330)
- Implementujte Series.autocorr (SPARK-38774)
- Implementovat DataFrame.mode (SPARK-40138)
- Implementovat DataFrame.boxplot a DataFrame.plot.box (SPARK-38993)
- Implementace DataFrame.corrwith (SPARK-38907)
- Implementace prvku DataFrame.resample a Series.resample (SPARK-39081)
- Implementace prvku DataFrame.interpolate a Series.interpolate (SPARK-38844)
- Implementace prvku DataFrame.ewm a Series.ewm (SPARK-38785)
- Implementovat GroupBy.prod (SPARK-40334)
- Implementovat GroupBy.nth (SPARK-40333)
- Zavedení GroupBy.quantile (SPARK-40332)
- Implementovat GroupBy.sem (SPARK-40305)
- Implementovat GroupBy.mad (SPARK-39284)
- Implementace GroupBy.skew (SPARK-39246)
- Implementujte GroupBy.ewm (SPARK-39129)
- Podpora pozičního indexování pomocí GroupBy (SPARK-38947)
Další významné změny
- Hlavní vylepšení
- Poskytnutí profileru paměti pro uživatelem definované funkce PySpark (SPARK-40281)
- Zajištění kompatibility rozhraní API katalogu s 3vrstvým oborem názvů (SPARK-39235)
- Podpora vstupu NumPy v PySparku (SPARK-39405)
- Vylepšení chyb PySpark (SPARK-41597)
- Hlavní funkce
- Podpora parametrizovaného SQL v PySparku (SPARK-41666)
- Implementujte funkci 'medián' (SPARK-40003)
- Implementace funkce mode (SPARK-40007)
- Implementace funkce unpivot/melt (SPARK-39877)
- Podpora Varcharu v PySparku (SPARK-39760)
- Podpora typu CharType v PySpark (SPARK-39809)
MLLIB
- Implementace distributoru PyTorch (SPARK-41589)
- Sjednocení ověření dat (SPARK-38584)
- Zmenšení rozsahu přerozdělování dat v ALS (SPARK-40476, SPARK-40745)
- Odstranění duplicit v isotonické regresi (SPARK-41008)
- KMeans blokují vstupní vektory (SPARK-30661)
- Přidání skóre relevance pro vyhodnocení nDCG (SPARK-39446)
SparkR
- Přidání funkcí unpivot/reshape (SPARK-41267)
- Přidejte array_sort(sloupec, porovnávač) (SPARK-40167)
- Podpora více poklesů sloupce v jazyce R (SPARK-40087)
- Podpora Arrow 9.0.0 ve SparkR (SPARK-40114)
- Udělat rozhraní API katalogu kompatibilní s 3vrstvým oborem názvů (SPARK-39579, SPARK-39646, SPARK-39645, SPARK-39236, SPARK-39716, SPARK-39719)
- Podpora R 4.2.0 (SPARK-39372)
Služba živého uživatelského rozhraní a serveru historie
- Lepší škálovatelnost uživatelského rozhraní Sparku a stabilita ovladačů pro velké aplikace (SPARK-41053)
- Ve výchozím nastavení použít RocksDB pro spark.history.store.hybridStore.diskBackend (SPARK-42277)
- Seskupte vnořená spuštění pod kořenové spuštění (SPARK-41752)
- Zobrazení vlastností metrik na kartě prostředí (SPARK-39110)
- Oprava zobrazení velikosti vstupu/záznamů na StagePage, které se nezobrazují, když jsou záznamy větší než nula (SPARK-34777)
- Vylepšení výkonu protokolování událostí JsonProtocol pomocí Jacksona místo Json4s (SPARK-39489)
- Podpora spark.history.fs.update.batchSize (SPARK-39225)
Build
- Aktualizace cloudpickle na v2.2.0 (SPARK-40991)
- Ukončení podpory Python 3.7 (SPARK-39861)
- Podpora Python 3.11 (SPARK-41454)
- Aktualizace souboru dev.ludovic.netlib na verzi 3.0.2 (SPARK-40251)
- Aktualizace na Breeze 2.0 (SPARK-39616)
- Aktualizace verze slf4j na verzi 2.0.6 (SPARK-41561)
- Aktualizace verze klienta Kubernetes na verzi 6.4.1 (SPARK-42362)
- Aktualizace rocksdbjni na 7.9.2 ( SPARK-42129)
- Aktualizace Apache Arrow na verzi 11.0.0 (SPARK-42161)
- Upgrade Apache Kafka na verzi 3.3.2 (SPARK-42109)
Aktualizace údržby
Podívejte se na aktualizace údržby pro Databricks Runtime 13.0.
Systémové prostředí
- Operační systém: Ubuntu 22.04.2 LTS
- Java: Zulu 8.68.0.21-CA-linux64
- Scala: 2.12.15
- Python: 3.10.6
- R: 4.2.2
- Delta Lake: 2.3.0
Nainstalované knihovny Python
| Knihovna | Version | Knihovna | Version | Knihovna | Version |
|---|---|---|---|---|---|
| adresáře aplikací | 1.4.4 | argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 |
| asttokens | 2.2.1 | attrs | 21.4.0 | zpětný hovor | 0.2.0 |
| BeautifulSoup4 | 4.11.1 | černý | 22.6.0 | bělidlo | 4.1.0 |
| blikač | 1.4 | boto3 | 1.24.28 | botocore | 1.27.28 |
| certifikát | 2022.9.14 | cffi | 1.15.1 | chardet | 4.0.0 |
| nástroj pro normalizaci znakové sady | 2.0.4 | klikni | 8.0.4 | kryptografie | 37.0.1 |
| cyklista | 0.11.0 | Cython | 0.29.32 | dbus-python | 1.2.18 |
| debugpy | 1.5.1 | dekoratér | 5.1.1 | defusedxml | 0.7.1 |
| distlib | 0.3.6 | převod docstringu do formátu markdown | 0.12 | vstupní body | 0,4 |
| provedení | 1.2.0 | přehled aspektů | 1.0.2 | fastjsonschema | 2.16.3 |
| filelock | 3.10.7 | nástroje pro písma | 4.25.0 | googleapis-common-protos | 1.56.4 |
| grpcio | 1.48.1 | grpcio-status | 1.48.1 | httplib2 | 0.20.2 |
| IDNA | 3.3 | importlib-metadata | 4.6.4 | ipykernel | 6.17.1 |
| ipython | 8.10.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| Jedi | 0.18.1 | Jeepney (typický veřejný dopravní prostředek na Filipínách) | 0.7.1 | Jinja2 | 2.11.3 |
| jmespath | 0.10.0 | joblib | 1.2.0 | jsonschema | 4.16.0 |
| klient Jupyter | 7.3.4 | jupyter_core | 4.11.2 | jupyterlab-pygments | 0.1.2 |
| JupyterLab widgets | 1.0.0 | klíčenka | 23.5.0 | kiwisolver | 1.4.2 |
| launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 |
| MarkupSafe | 2.0.1 | matplotlib | 3.5.2 | matplotlib-inline | 0.1.6 |
| Mccabe | 0.7.0 | špatné naladění | 0.8.4 | more-itertools | 8.10.0 |
| mypy-extensions | 0.4.3 | nbclient | 0.5.13 | nbconvert | 6.4.4 |
| nbformat | 5.5.0 | nest-asyncio | 1.5.5 | nodeenv | 1.7.0 |
| poznámkový blok | 6.4.12 | numpy (knihovna pro numerické výpočty v Pythonu) | 1.21.5 | oauthlib | 3.2.0 |
| balení | 21.3 | pandas | 1.4.4 | pandocfilters | 1.5.0 |
| parso | 0.8.3 | pathspec | 0.9.0 | bábovka | 0.5.2 |
| pexpect | 4.8.0 | PickleShare | 0.7.5 | Polštář | 9.2.0 |
| pip | 22.2.2 | platformdirs | 2.5.2 | plotly | 5.9.0 |
| Pluggy (nástroj pro správu pluginů v Pythonu) | 1.0.0 | prometheus-client | 0.14.1 | nástroj "prompt-toolkit" | 3.0.36 |
| protobuf | 3.19.4 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pure-eval | 0.2.2 | pyarrow | 7.0.0 |
| pycparser | 2.21 | pyflakes | 3.0.1 | Pygments | 2.11.2 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | pyodbc | 4.0.32 |
| pyparsing | 3.0.9 | pyright | 1.1.294 | pyrsistent | 0.18.0 |
| python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.0.0 | python-lsp-server | 1.7.1 |
| Pytoolconfig | 1.2.2 | knihovna pytz pro zpracování časových zón v Pythonu | 2022.1 | pyzmq | 23.2.0 |
| požadavky | 2.28.1 | lano | 1.7.0 | s3transfer | 0.6.0 |
| scikit-learn | 1.1.1 | SciPy | 1.9.1 | narozený v moři | 0.11.2 |
| SecretStorage | 3.3.1 | Send2Trash | 1.8.0 | setuptools (nástroj pro vytváření a distribuci Python projektů) | 63.4.1 |
| Šest | 1.16.0 | sítko na polévku | 2.3.1 | ssh-import-id | 5.11 |
| datová hromádka | 0.6.2 | statsmodels | 0.13.2 | houževnatost | 8.0.1 |
| dokončeno | 0.13.1 | testovací cesta | 0.6.0 | threadpoolctl | 2.2.0 |
| tokenize-rt | 4.2.1 | tomli | 2.0.1 | tornádo | 6.1 |
| traitlets | 5.1.1 | ujson | 5.4.0 | bezobslužné aktualizace | 0,1 |
| urllib3 | 1.26.11 | virtualenv | 20.16.3 | wadllib | 1.3.6 |
| wcwidth (šířka znaků) | 0.2.5 | webová kódování | 0.5.1 | whatthepatch | 1.0.2 |
| wheel | 0.37.1 | widgetsnbextension | 3.6.1 | yapf | 0.31.0 |
| zipový uzávěr | 1.0.0 |
Nainstalované knihovny jazyka R
Knihovny R se instalují ze snímku Microsoft CRAN z 2023-02-10.
| Knihovna | Version | Knihovna | Version | Knihovna | Version |
|---|---|---|---|---|---|
| šíp | 10.0.1 | žádost o heslo | 1.1 | ověřit, že | 0.2.1 |
| zpětné portování | 1.4.1 | báze | 4.2.2 | base64enc | 0,1-3 |
| bit | 4.0.5 | 64bit | 4.0.5 | objekt blob | 1.2.3 |
| bootování | 1.3-28 | připravovat nápoje | 1.0-8 | elán | 1.1.3 |
| koště | 1.0.3 | bslib | 0.4.2 | kašmír | 1.0.6 |
| volající | 3.7.3 | caret | 6.0-93 | cellranger | 1.1.0 |
| cron | 2.3-59 | třída | 7.3-21 | CLI | 3.6.0 |
| Clipr | 0.8.0 | hodiny | 0.6.1 | cluster | 2.1.4 |
| codetools | 0.2-19 | barevný prostor | 2.1-0 | commonmark | 1.8.1 |
| kompilátor | 4.2.2 | config | 0.3.1 | cpp11 | 0.4.3 |
| pastelka | 1.5.2 | přihlašovací údaje | 1.3.2 | kroucení | 5.0.0 |
| datová tabulka | 1.14.6 | datové sady | 4.2.2 | DBI | 1.1.3 |
| dbplyr | 2.3.0 | Popis | 1.4.2 | devtools | 2.4.5 |
| diffobj | 0.3.5 | hodnota hash | 0.6.31 | dolní osvětlení | 0.4.2 |
| dplyr | 1.1.0 | dtplyr | 1.2.2 | e1071 | 1.7-13 |
| tři tečky | 0.3.2 | hodnotit | 0,20 | fanoušci | 1.0.4 |
| barvy | 2.1.1 | Fastmap (rychlé mapování) | 1.1.0 | fontawesome | 0.5.0 |
| pro kočky | 1.0.0 | foreach | 1.5.2 | zahraničí | 0,8-82 |
| kovárna | 0.2.0 | fs | 1.6.1 | budoucnost | 1.31.0 |
| budoucnost.použít | 1.10.0 | kloktání | 1.3.0 | obecné typy | 0.1.3 |
| Gert | 1.9.2 | ggplot2 | 3.4.0 | gh | 1.3.1 |
| gitcreds | 0.1.2 | glmnet | 4.1-6 | globální | 0.16.2 |
| lepidlo | 1.6.2 | googledrive | 2.0.0 | googlesheets4 | 1.0.1 |
| Gower | 1.0.1 | Grafika | 4.2.2 | grDevices | 4.2.2 |
| mřížka | 4.2.2 | gridExtra | 2.3 | gsubfn | 0.7 |
| gtable | 0.3.1 | ochranná přilba | 1.2.0 | útočiště | 2.5.1 |
| vyšší | 0.10 | HMS | 1.1.2 | htmlové nástroje | 0.5.4 |
| htmlwidgets (interaktivní HTML prvky) | 1.6.1 | httpuv | 1.6.8 | httr | 1.4.4 |
| identifikátory | 1.0.1 | ini | 0.3.1 | ipred | 0.9-13 |
| isoband | 0.2.7 | Iterátory | 1.0.14 | jquerylib | 0.1.4 |
| jsonlite | 1.8.4 | KernSmooth | 2,23–20 | knitr | 1.42 |
| značení | 0.4.2 | později | 1.3.0 | mřížka | 0.20-45 |
| láva | 1.7.1 | životní cyklus | 1.0.3 | poslouchej | 0.9.0 |
| lubridate | 1.9.1 | magrittr | 2.0.3 | Markdown | 1.5 |
| Hmotnost | 7.3-58.2 | *Matrix* | 1.5-1 | zapamatujte si | 2.0.1 |
| metody | 4.2.2 | mgcv | 1.8-41 | mim | 0.12 |
| miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelář | 0.1.10 |
| munsell | 0.5.0 | nlme | 3.1-162 | nnet (neuronová síť) | 7.3-18 |
| numDeriv (Numerická derivace) | 2016.8 - 1.1 | OpenSSL | 2.0.5 | rovnoběžný | 4.2.2 |
| paralelně | 1.34.0 | pilíř | 1.8.1 | pkgbuild | 1.4.0 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.2 |
| plogr | 0.2.0 | plyr | 1.8.8 | pochvala | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.18.0 | processx | 3.8.0 |
| prodlim | 2019.11.13 | profvis | 0.3.7 | pokrok | 1.2.2 |
| progressr | 0.13.0 | promisy | 1.2.0.1 | proto | 1.0.0 |
| proxy | 0,4-27 | p.s. | 1.7.2 | purrr | 1.0.1 |
| r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.5 |
| "randomForest" | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-3 | Rcpp | 1.0.10 | RcppEigen | 0.3.3.9.3 |
| čtenář | 2.1.3 | readxl | 1.4.2 | recepty | 1.0.4 |
| odvetný zápas | 1.0.1 | odvetný zápas 2 | 2.1.2 | dálková ovládání | 2.4.2 |
| reprodukovatelný příklad | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.0.6 |
| rmarkdown | 2,20 | RODBC | 1.3-20 | roxygen2 | 7.2.3 |
| rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-12 |
| RSQLite | 2.2.20 | rstudioapi | 0,14 | rversions | 2.1.2 |
| rvest | 1.0.3 | Sass | 0.4.5 | škálování | 1.2.1 |
| selektor | 0.4-2 | informace o sezení | 1.2.2 | obrazec | 1.4.6 |
| lesklý | 1.7.4 | sourcetools | 0.1.7-1 | sparklyr | 1.7.9 |
| SparkR | 3.4.0 | prostorový | 7.3-15 | spline | 4.2.2 |
| sqldf | 0.4-11 | SQUAREM | 2021.1 | statistické údaje | 4.2.2 |
| Stats4 | 4.2.2 | řetězce | 1.7.12 | stringr | 1.5.0 |
| přežití | 3.5-3 | sys | 3.4.1 | systemfonts | 1.0.4 |
| tcltk | 4.2.2 | testthat (nástroj pro testování) | 3.1.6 | formátování textu | 0.3.6 |
| tibble | 3.1.8 | tidyr | 1.3.0 | tidyselect | 1.2.0 |
| tidyverse | 1.3.2 | změna času | 0.2.0 | datum a čas | 4022.108 |
| tinytex | 0.44 | nářadí | 4.2.2 | tzdb | 0.3.0 |
| ověřovač URL | 1.0.1 | použij tohle | 2.1.6 | utf8 | 1.2.3 |
| pomocné funkce | 4.2.2 | Univerzální jednoznačný identifikátor (UUID) | 1.1-0 | vctrs | 0.5.2 |
| viridisLite | 0.4.1 | vrrrm | 1.6.1 | Waldo | 0.4.0 |
| hmatový chlup | 0.4.1 | (v případě, že je možné poskytnout smysl slova "withr", by bylo možné ho přeložit) | 2.5.0 | xfun | 0,37 |
| xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.7 | komprimovaný soubor zip | 2.2.2 |
Nainstalované Java a knihovny Scala (verze clusteru Scala 2.12)
| ID skupiny | Identifikátor artefaktu | Version |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client (klient Amazon Kinesis) | 1.12.0 |
| com.amazonaws | aws-java-sdk Automatické škálování | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.390 |
| com.amazonaws | „aws-java-sdk-cloudsearch“ | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.390 |
| com.amazonaws | aws-java-sdk-codedeploy (Balíček AWS SDK pro Java - CodeDeploy) | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.390 |
| com.amazonaws | aws-java-sdk-config (konfigurace balíčku SDK pro Javu od AWS) | 1.12.390 |
| com.amazonaws | aws-java-sdk-core | 1.12.390 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.390 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.390 |
| com.amazonaws | aws-java-sdk-directory | 1.12.390 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.390 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.390 |
| com.amazonaws | aws-java-sdk-efs | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.390 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.390 |
| com.amazonaws | aws-java-sdk-emr | 1.12.390 |
| com.amazonaws | aws-java-sdk-glacier (AWS Java SDK pro Glacier) | 1.12.390 |
| com.amazonaws | aws-java-sdk-glue (balíček pro vývoj softwaru v Java od AWS, určený pro Glue služby) | 1.12.390 |
| com.amazonaws | aws-java-sdk-iam | 1.12.390 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.390 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.390 |
| com.amazonaws | aws-java-sdk-kms | 1.12.390 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.390 |
| com.amazonaws | aws-java-sdk-logs | 1.12.390 |
| com.amazonaws | aws-java-sdk-strojové učení | 1.12.390 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.390 |
| com.amazonaws | aws-java-sdk-rds | 1.12.390 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.390 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.390 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ses | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.390 |
| com.amazonaws | aws-java-sdk-sns | 1.12.390 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.390 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.390 |
| com.amazonaws | aws-java-sdk-storagegateway (balíček nástrojů pro přístup k AWS Storage Gateway) | 1.12.390 |
| com.amazonaws | aws-java-sdk-sts | 1.12.390 |
| com.amazonaws | podpora AWS Java SDK | 1.12.390 |
| com.amazonaws | knihovny AWS Java SDK SWF | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.390 |
| com.amazonaws | jmespath-java | 1.12.390 |
| com.clearspring.analytics | datový proud | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | technologie kryo-stínění | 4.0.2 |
| com.esotericsoftware | Minlog | 1.3.0 |
| com.fasterxml | spolužák | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations (poznámky Jackson) | 2.14.2 |
| com.fasterxml.jackson.core | jackson-core | 2.14.2 |
| com.fasterxml.jackson.core | Jackson-databind | 2.14.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.14.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.14.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.14.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.14.2 |
| com.github.ben-manes.kofein | kofein | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | Nativní odkaz pro Javu | 1.1 |
| com.github.fommil.netlib | Nativní odkaz pro Javu | Verze 1.1 pro místní uživatele |
| com.github.fommil.netlib | nativní_systém-java | 1.1 |
| com.github.fommil.netlib | nativní_systém-java | Verze 1.1 pro místní uživatele |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | Verze 1.1 pro místní uživatele |
| com.github.fommil.netlib | netlib-nativní_systém-linux-x86_64 | Verze 1.1 pro místní uživatele |
| com.github.luben | zstd-jni | 1.5.2-5 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | Gson | 2.8.9 |
| com.google.crypto.tink | Cink | 1.7.0 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guave | 15,0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 2.1.214 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.VYDÁNÍ |
| com.lihaoyi | zdrojový_kód_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk (software development kit pro úložiště dat Azure Data Lake) | 2.3.9 |
| com.ning | compress-lzf (komprimační algoritmus LZF) | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | JSON | 1.8 |
| com.thoughtworks.paranamer | Paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app-2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.0 |
| com.univocity | univocity-parsers (nástroj pro analýzu dat) | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.15 |
| společné sbírky | společné sbírky | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| Nahrávání souborů v Commons | Nahrávání souborů v Commons | 1.5 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.11.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging (nástroj pro záznamy) | commons-logging (nástroj pro záznamy) | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.3 |
| dev.ludovic.netlib | Blas | 3.0.3 |
| dev.ludovic.netlib | LAPACK | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | vzduchový kompresor | 0.21 |
| io.delta | delta-sharing-spark_2.12 | 0.6.3 |
| io.dropwizard.metrics | jádro metrik | 4.2.10 |
| io.dropwizard.metrics | metrics-graphite | 4.2.10 |
| io.dropwizard.metrics | metriky – kontroly stavu | 4.2.10 |
| io.dropwizard.metrics | metrics-jetty9 | 4.2.10 |
| io.dropwizard.metrics | Metrics-JMX | 4.2.10 |
| io.dropwizard.metrics | Metriky-json | 4.2.10 |
| io.dropwizard.metrics | metriky pro JVM | 4.2.10 |
| io.dropwizard.metrics | metrikové servlety | 4.2.10 |
| io.netty | netty-all | 4.1.87.Final |
| io.netty | netty-buffer | 4.1.87.Final |
| io.netty | netty-codec | 4.1.87.Final |
| io.netty | netty-codec-http | 4.1.87.Final |
| io.netty | netty-codec-http2 | 4.1.87.Final |
| io.netty | netty-codec-socks | 4.1.87.Final |
| io.netty | netty-common | 4.1.87.Final |
| io.netty | netty-handler | 4.1.87.Final |
| io.netty | Netty-handler-proxy | 4.1.87.Final |
| io.netty | netty-resolver | 4.1.87.Final |
| io.netty | netty-transport | 4.1.87.Final |
| io.netty | netty-transport-classes-epoll | 4.1.87.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.87.Final |
| io.netty | netty-transport-native-epoll | 4.1.87.Final |
| io.netty | netty-transport-native-epoll | 4.1.87.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.87.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.87.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.87.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.1.87.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleklient_obecný | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | kolektor | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | aktivace | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | API pro transakce | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| Javolution | Javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | nakládačka | 1.3 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| síť.sněhová vločka | snowflake-ingest-sdk | 0.9.6 |
| síť.sněhová vločka | snowflake-jdbc | 3.13.22 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.9.3 |
| org.antlr | StringTemplate | 3.2.1 |
| org.apache.ant | mravenec | 1.9.16 |
| org.apache.ant | ant-jsch | 1.9.16 |
| org.apache.ant | Ant launcher | 1.9.16 |
| org.apache.arrow | šipkový formát | 11.0.0 |
| org.apache.arrow | jádro šipkové paměti | 11.0.0 |
| org.apache.arrow | šipka-paměť-netty | 11.0.0 |
| org.apache.arrow | šipkový vektor | 11.0.0 |
| org.apache.avro | Avro | 1.11.1 |
| org.apache.avro | avro-ipc | 1.11.1 |
| org.apache.avro | avro-mapred | 1.11.1 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress (softwarová knihovna pro kompresi dat) | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | Commons-text (textové nástroje) | 1.10.0 |
| org.apache.kurátor | kurátor-klient | 2.13.0 |
| org.apache.kurátor | kurátorský rámec | 2.13.0 |
| org.apache.kurátor | kurátorovy recepty | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | datasketches-paměť | 2.0.0 |
| org.apache.derby | fotbalové derby | 10.14.2.0 |
| org.apache.hadoop | běhové prostředí klienta Hadoop | 3.3.4 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc (JDBC ovladač pro Apache Hive) | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | Hive-shims | 2.3.9 |
| org.apache.hive | rozhraní pro úložiště Hive | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | plánovač hive-shims | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | břečťan | 2.5.1 |
| org.apache.logging.log4j | log4j-1.2-api | 2.19.0 |
| org.apache.logging.log4j | log4j-api | 2.19.0 |
| org.apache.logging.log4j | log4j-core | 2.19.0 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.19.0 |
| org.apache.mesos | Mesos | 1.11.0-shaded-protobuf |
| org.apache.orc | orc-core | 1.8.2-shaded-protobuf |
| org.apache.orc | orc-mapreduce | 1.8.2-shaded-protobuf |
| org.apache.orc | orčí podložky | 1.8.2 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.22 |
| org.apache.yetus | poznámky pro publikum | 0.13.0 |
| org.apache.zookeeper | ošetřovatel zvířat v zoo | 3.6.3 |
| org.apache.zookeeper | zookeeper-jute | 3.6.3 |
| org.checkerframework | checker-qual | 3.5.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | společný kompilátor | 3.0.16 |
| org.codehaus.janino | Janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms (framework pro práci s relačními databázemi) | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.50.v20221201 |
| org.eclipse.jetty | pokračování Jetty | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-http | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-io | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-jndi | 9.4.50.v20221201 |
| org.eclipse.jetty | Jetty-plus | 9.4.50.v20221201 |
| org.eclipse.jetty | proxy pro službu Jetty | 9.4.50.v20221201 |
| org.eclipse.jetty | bezpečnost Jetty | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-server | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-servlet | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-servlets | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-util | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.50.v20221201 |
| org.eclipse.jetty | Jetty-webová aplikace | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-xml | 9.4.50.v20221201 |
| org.eclipse.jetty.websocket | WebSocket API | 9.4.50.v20221201 |
| org.eclipse.jetty.websocket | websocket-klient | 9.4.50.v20221201 |
| org.eclipse.jetty.websocket | websocket – běžné | 9.4.50.v20221201 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.50.v20221201 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.50.v20221201 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-lokátor | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | Vyhledávač zdrojů OSGi | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-přebaleno | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject (pokud je to potřeba, přidejte vysvětlení nebo typický český termín v závorce) | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet (nástroj pro zpracování požadavků v Java EE) | 2.36 |
| org.glassfish.jersey.containers | jersey-container-servlet-jádro | 2.36 |
| org.glassfish.jersey.core | jersey-client | 2.36 |
| org.glassfish.jersey.core | společný dres | 2.36 |
| org.glassfish.jersey.core | Jersey-server (aplikační server frameworku Jersey) | 2.36 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.36 |
| org.hibernate.validator | Hibernate Validator | 6.1.7.Final |
| org.javassist | Javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | anotace | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | MariaDB Java klient | 2.7.4 |
| org.mlflow | mlflow-spark | 2.2.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.3.8 |
| org.roaringbitmap | RoaringBitmap | 0.9.39 |
| org.roaringbitmap | vymezovací pásky | 0.9.39 |
| org.rocksdb | rocksdbjni | 7.8.3 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | testovací rozhraní | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 2.0.6 |
| org.slf4j | jul-to-slf4j | 2.0.6 |
| org.slf4j | slf4j-api | 2.0.6 |
| org.threeten | threeten-extra | 1.7.1 |
| org.tukaani | xz | 1,9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.1.3.Finální |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1.33 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| Stax | stax-api | 1.0.1 |