Share via

Databricks Runtime 13.0 (nepodporované)

  • Článek

Následující poznámky k verzi obsahují informace o modulu Databricks Runtime 13.0, který využívá Apache Spark 3.4.0.

Databricks vydala tyto image v dubnu 2023.

Nové funkce a vylepšení

Výrazy H3 teď podporují lineární geografické oblasti.

h3_coverash3string Funkce h3_coverash3 teď podporují lineární (linestringamultilinestring) zeměpisné oblasti. Funkce vytvářejí minimální zakrývající sadu buněk H3 v zadaném rozlišení. Viz h3_coverash3 a h3_coverash3string.

Ganglia nahrazena metrikami clusteru

Pro Databricks Runtime verze 13 a vyšší jsou metriky Ganglia nahrazeny metrikami clusteru Azure Databricks. Pro Databricks Runtime verze 12 a níže můžete dál používat metriky Ganglia. Pokud máte pracovní postup, který závisí na metrikách Ganglia, které nemůžou být s metrikami clusteru spokojeny, obraťte se na svůj tým účtů Azure Databricks. Viz Zobrazení výpočetních metrik.

Vydáno Spark 3.4.0

Apache Spark 3.4.0 je teď obecně dostupný. Viz Verze Sparku 3.4.0.

Photon vrátí chybu, pokud se soubor změní mezi plánováním a spuštěním dotazu.

Dotazy photon teď vrací chybu, pokud se soubor aktualizuje mezi plánováním dotazů a spuštěním. Před touto změnou by Photon přečetl soubor, i když se čas úprav mezi plánováním a spuštěním dotazu změnil, což by mohlo vést k nepředvídatelným výsledkům.

Nové funkce prediktivních vstupně-výstupních operací

Photon nyní podporuje posuvné rámečky pro režimy ŘÁDKY i ROZSAH pomocí {ROWS | RANGE} BETWEEN offset_start { PRECEDING | FOLLOWING } AND offset_stop { PRECEDING | FOLLOWING }.

Rozšířená podpora prediktivních vstupně-výstupních funkcí

Podpora rozšíření Photon pro CSV, AVRO, DataFrame ukládání zdrojů dat do mezipaměti, pokud schéma výhradně obsahuje skalární sloupce. Podpora je také rozšířena pro vnořené typy, jako jsou mapy, struktury a pole.

Připojení k jinému pracovnímu prostoru Databricks pomocí konektoru Databricks

Konektor Azure Databricks umožňuje připojit se k výpočetním prostředkům nakonfigurovaným v jiném pracovním prostoru a vrátit výsledky do aktuálního pracovního prostoru Azure Databricks. Ovladač Azure Databricks JDBC je teď součástí Databricks Runtime. Viz Použití konektoru Databricks pro připojení k jinému pracovnímu prostoru Databricks.

Další možnosti Kafka pro strukturované streamování se sdíleným clusterem v katalogu Unity

Teď můžete použít nastavení kakfa.ssl.truststore.location a kafak.ssl.keystore.location ukládat certifikáty Kafka do externích umístění spravovaných katalogem Unity při použití strukturovaného streamování v clusterech se sdíleným přístupem. Umístění v kořenovém adresáři DBFS nelze použít.

Přeskočit úpravy tabulek Delta se strukturovaným streamováním

Nyní můžete použít skipChangeCommits k ignorování změn dat potvrzení do tabulky Delta pro UPDATE, MERGEa DELETE operace. Tím se ignoreChangesnahradí , což je nyní zastaralé. Viz Ignorovat aktualizace a odstranění.

Funkce CREATE TABLE LIKE pro tabulky Delta

CREATE TABLE LIKE se teď podporuje při používání tabulek Delta.

Nová pole sloupců metadat označující začátek a délku bloku souboru

Teď můžete získat následující informace o metadatech pro vstupní soubory se sloupcem _metadata : file_block_start a file_block_length. Další informace najdete ve sloupci Metadata souboru.

Nové geoprostorové funkce H3

Nové výrazy h3_coverash3 a h3_coverash3string jsou k dispozici pro geoprostorové zpracování, když je povolená funkce Photon. Viz geoprostorové funkce H3.

Nové integrované funkce SQL

Byly přidány následující funkce:

%sql v poznámkových blocích Pythonu

Všechny neprázdné %sql výsledky v poznámkových blocích Pythonu jsou teď přístupné pomocí _sqldf výstupního systému ukládání do mezipaměti IPythonu. To zjednodušuje použití výsledku datového rámce v Pythonu. Jedná se o změnu chování ze starších verzí DBR, stejně jako dříve, _sqldf nebyla vždy znovu přiřazena.

_sqldfpokud byla buňka spuštěna pomocí paralelního spuštění buňky SQL, není znovu přiřazena %sql u výsledku buňky.

%pip nerestartuje Python automaticky.

Po spuštění %pip příkazů v poznámkových blocích Pythonu, které upravují virtualEnv, už Databricks automaticky nerestartuje proces Pythonu. Pokud chcete restartovat proces Pythonu, zavolejte dbutils.library.restartPython(). Při této změně %pip se příkazy v Databricks chovají podobně jako poznámkové bloky Jupyter a jsou konzistentní s !pip příkazy a %sh pip příkazy. Databricks místo %pip!pip nebo %sh pip.

Knihovny Pythonu s oborem clusteru se instalují pomocí uživatele, který není root.

Knihovny se teď instalují pomocí uživatele, který není kořenovým uživatelem, který zodpovídá za instalace knihoven. Pokud chcete nakonfigurovat chování instalace pip ve inicializačních skriptech, použijte [soubor https://pip.pypa.io/en/stable/topics/configuration/#configuration-filesglobální úrovně).

Opravy chyb

  • V %sh příkazech byly provedeny následující opravy:
    • Výstup obsahující jiné znaky než UTF-8 se teď podporuje.
    • Po zrušení příkazu se teď přeruší podprocesy.

Upgrady knihoven

  • Upgradované knihovny Pythonu:
    • asttokens od 2.0.5 do 2.2.1
    • černá od 22.3.0 do 22.6.0
    • boto3 od 1.21.32 do 1.24.28
    • botocore od 1.24.32 do 1.27.28
    • certifi from 2021.10.8 to 2022.9.14
    • cffi od 1.15.0 do 1.15.1
    • kryptografie od 3.4.8 do 37.0.1
    • Cython od 0.29.28 do 0.29.32
    • dbus-python od 1.2.16 do 1.2.18
    • docstring-to-markdown od 0.11 do 0.12
    • provádění od 0.8.3 do 1.2.0
    • facets-overview from 1.0.0 to 1.0.2
    • fastjsonschema od 2.16.2 do 2.16.3
    • filelock od 3.9.0 do 3.10.7
    • ipykernel od 6.15.3 do 6.17.1
    • ipython od 8.5.0 do 8.10.0
    • joblib od 1.1.1 do 1.2.0
    • jsonschema od 4.4.0 do 4.16.0
    • jupyter-client od 6.1.12 do 7.3.4
    • verizonsolver od 1.3.2 do 1.4.2
    • matplotlib od 3.5.1 do 3.5.2
    • matplotlib-inline od 0.1.2 do 0.1.6
    • nbformat od 5.3.0 do 5.5.0
    • poznámkový blok od 6.4.8 do 6.4.12
    • pandas od 1.4.2 do 1.4.4
    • Polštář od 9.0.1 do 9.2.0
    • pip od 21.2.4 do 22.2.2
    • platformdirs from 2.6.2 to 2.5.2
    • vykreslovat od 5.6.0 do 5.9.0
    • prometheus-client od 0.13.1 do 0.14.1
    • prompt-toolkit from 3.0.20 to 3.0.36
    • psutil od 5.8.0 do 5.9.0
    • pyflakes od 2.5.0 do 3.0.1
    • PyGObject od 3.36.0 do 3.42.1
    • pyparsing od 3.0.4 do 3.0.9
    • pyright od 1.1.283 do 1.1.294
    • python-lsp-server od 1.6.0 do 1.7.1
    • pytz od 2021.3 do 2022.1
    • pyzmq od 22.3.0 do 23.2.0
    • žádosti od 2.27.1 do 2.28.1
    • lano od 0.22.0 do 1.7.0
    • s3transfer from 0.5.0 to 0.6.0
    • scikit-learn od 1.0.2 do 1.1.1
    • scipy od 1.7.3 do 1.9.1
    • instalační nástroje od 61.2.0 do 63.4.1
    • ssh-import-ID od 5.10 do 5.11
    • stack-data od 0.2.0 do 0.6.2
    • testpath from 0.5.0 to 0.6.0
    • tomli od 1.2.2 do 2.0.1
    • ujson od 5.1.0 do 5.4.0
    • urllib3 od 1.26.9 do 1.26.11
    • virtualenv od 20.8.0 do 20.16.3
    • whatthepatch from 1.0.4 to 1.0.2
    • kolo od 0.37.0 do 0.37.1
  • Upgradované knihovny jazyka R:
    • šipka od 10.0.0 do 10.0.1
    • bit od 4.0.4 do 4.0.5
    • koště od 1.0.1 do 1.0.3
    • bslib od 0.4.1 do 0.4.2
    • chron od 2.3-58 do 2.3-59
    • cli from 3.4.1 to 3.6.0
    • barevný prostor od 2.0-3 do 2.1-0
    • curl od 4.3.3 do 5.0.0
    • data.table od 1.14.4 do 1.14.6
    • dbplyr od 2.2.1 do 2.3.0
    • digest od 0.6.30 do 0.6.31
    • dplyr od 1.0.10 do 1.1.0
    • e1071 od 1.7-12 do 1.7-13
    • vyhodnocení z 0.18 na 0.20
    • ventilátory od 1.0.3 do 1.0.4
    • fontawesome od 0.4.0 do 0.5.0
    • forcats od 0.5.2 do 1.0.0
    • fs od 1.5.2 do 1.6.1
    • budoucí od 1.29.0 do 1.31.0
    • gargle od 1.2.1 do 1.3.0
    • gert od 1.9.1 do 1.9.2
    • glmnet od 4.1-4 do 4.1-6
    • globals from 0.16.1 to 0.16.2
    • gower od 1.0.0 do 1.0.1
    • vysoký od 0,9 do 0,10
    • htmltools od 0.5.3 do 0.5.4
    • htmlwidgets from 1.5.4 to 1.6.1
    • httpuv od 1.6.6 do 1.6.8
    • isoband od 0.2.6 do 0.2.7
    • Jsonlite od 1.8.3 do 1.8.4
    • pletení od 1.40 do 1.42
    • láva od 1.7.0 do 1.7.1
    • listenv od 0.8.0 do 0.9.0
    • lubridate od 1.9.0 do 1.9.1
    • markdown od 1.3 do 1.5
    • modelr od 0.1.9 do 0.1.10
    • openssl od 2.0.4 do 2.0.5
    • paralelně od 1.32.1 do 1.34.0
    • pkgbuild od 1.3.1 do 1.4.0
    • pkgdown od 2.0.6 do 2.0.7
    • pkgload od 1.3.1 do 1.3.2
    • plyr od 1.8.7 do 1.8.8
    • progressr od 0.11.0 do 0.13.0
    • purrr od 0.3.5 do 1.0.1
    • ragg od 1.2.4 do 1.2.5
    • Rcpp od 1.0.9 do 1.0.10
    • readxl od 1.4.1 do 1.4.2
    • recepty od 1.0.3 do 1.0.4
    • rmarkdown od 2.18 do 2.20
    • RODBC od 1.3-19 do 1.3-20
    • roxygen2 od 7.2.1 do 7.2.3
    • RSQLite od 2.2.18 do 2.2.20
    • sass od 0.4.2 do 0.4.5
    • lesklý od 1.7.3 do 1.7.4
    • sourcetools from 0.1.7 to 0.1.7-1
    • sparklyr od 1.7.8 do 1.7.9
    • SparkR od 3.3.2 do 3.4.0
    • prostorová od 7.3-11 do 7.3-15
    • stringi od 1.7.8 do 1.7.12
    • Stringr od 1.4.1 do 1.5.0
    • přežití od 3.4-0 do 3,5-3
    • test ze 3.1.5 do 3.1.6
    • tidyr od 1.2.1 do 1.3.0
    • časový interval od 0.1.1 do 0.2.0
    • TimeDate from 4021.106 to 4022.108
    • tinytex od 0,42 do 0,44
    • utf8 od 1.2.2 do 1.2.3
    • vctrs od 0.5.0 do 0.5.2
    • vroom od 1.6.0 do 1.6.1
    • whisker od 0.4 do 0.4.1
    • xfun od 0.34 do 0.37
    • yaml od 2.3.6 do 2.3.7
  • Upgradované knihovny Java:
    • com.amazonaws.aws-java-sdk-autoscaling from 1.12.189 to 1.12.390
    • com.amazonaws.aws-java-sdk-cloudformation od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-cloudfront od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-cloudhsm od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-cloudsearch od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-cloudtrail od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-cloudwatch od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics from 1.12.189 to 1.12.390
    • com.amazonaws.aws-java-sdk-codedeploy od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-cognitoidentity od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-cognitosync od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-config od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-core od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-datapipeline od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-directconnect od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-directory od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-dynamodb od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-ec2 od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-ecs od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-efs od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-elasticache od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-elasticbeanstalk od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-elasticloadbalancing od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-elastictranscoder od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-emr od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-glacier od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-glue od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-iam od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-importexport od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-kinesis od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-kms od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-lambda od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-logs od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-machinelearning od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-opsworks od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-rds od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-redshift od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-route53 od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-s3 od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-ses od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-simpledb od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-simpleworkflow od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-sns od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-sqs od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-ssm od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-storagegateway od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-sts od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-support od 1.12.189 do 1.12.390
    • com.amazonaws.aws-java-sdk-workspaces od 1.12.189 do 1.12.390
    • com.amazonaws.jmespath-java od 1.12.189 do 1.12.390
    • com.fasterxml.jackson.core.jackson-annotations from 2.13.4 to 2.14.2
    • com.fasterxml.jackson.core.jackson-core od 2.13.4 do 2.14.2
    • com.fasterxml.jackson.core.jackson-databind od 2.13.4.2 do 2.14.2
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor od 2.13.4 do 2.14.2
    • com.fasterxml.jackson.datatype.jackson-datatype-joda od 2.13.4 do 2.14.2
    • com.fasterxml.jackson.module.jackson-module-paranamer od 2.13.4 do 2.14.2
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 od 2.13.4 do 2.14.2
    • com.github.luben.zstd-jni od 1.5.2-1 do 1.5.2-5
    • com.google.code.gson.gson od 2.8.6 do 2.8.9
    • com.google.crypto.tink.tink od 1.6.1 do 1.7.0
    • com.h2database.h2 od 2.0.204 do 2.1.214
    • com.jcraft.jsch od 0.1.50 do 0.1.55
    • com.ning.compress-lzf od 1.1 do 1.1.2
    • commons-fileupload.commons-fileupload od 1.3.3 do 1.5
    • dev.ludovic.netlib.arpack od 2.2.1 do 3.0.3
    • dev.ludovic.netlib.blas od 2.2.1 do 3.0.3
    • dev.ludovic.netlib.lapack od 2.2.1 do 3.0.3
    • io.dropwizard.metrics.metrics-core od 4.1.1 do 4.2.10
    • io.dropwizard.metrics.metrics-graphite od 4.1.1 do 4.2.10
    • io.dropwizard.metrics.metrics-healthchecks from 4.1.1 to 4.2.10
    • io.dropwizard.metrics.metrics-jetty9 od 4.1.1 do 4.2.10
    • io.dropwizard.metrics.metrics-jmx od 4.1.1 do 4.2.10
    • io.dropwizard.metrics.metrics-json od 4.1.1 do 4.2.10
    • io.dropwizard.metrics.metrics-jvm od 4.1.1 do 4.2.10
    • io.dropwizard.metrics.metrics-servlets from 4.1.1 to 4.2.10
    • io.netty.netty-all od 4.1.74.Final do 4.1.87.Final
    • io.netty.netty-buffer od 4.1.74.Final do 4.1.87.Final
    • io.netty.netty-codec od 4.1.74.Final do 4.1.87.Final
    • io.netty.netty-common od 4.1.74.Final do 4.1.87.Final
    • io.netty.netty-obslužná rutina z verze 4.1.74.Final do 4.1.87.Final
    • io.netty.netty-resolver od 4.1.74.Final do 4.1.87.Final
    • io.netty.netty-transport od 4.1.74.Final do 4.1.87.Final
    • io.netty.netty-transport-classes-epoll od 4.1.74.Final do 4.1.87.Final
    • io.netty.netty-transport-classes-kqueue od 4.1.74.Final do 4.1.87.Final
    • io.netty.netty-transport-native-unix-common od 4.1.74.Final do 4.1.87.Final
    • joda-time.joda-time od 2.10.13 do 2.12.1
    • net.razorvine.pickle od 1.2 do 1.3
    • org.antlr.antlr4-runtime od 4.8 do 4.9.3
    • org.apache.ant.ant. od 1.9.2 do 1.9.16
    • org.apache.ant.ant-jsch od 1.9.2 do 1.9.16
    • org.apache.ant.ant-launcher od 1.9.2 do 1.9.16
    • org.apache.arrow.arrow-format from 7.0.0 to 11.0.0
    • org.apache.arrow.arrow-memory-core od 7.0.0 do 11.0.0
    • org.apache.arrow.arrow-memory-netty od 7.0.0 do 11.0.0
    • org.apache.arrow.arrow-vector od 7.0.0 do 11.0.0
    • org.apache.avro.avro od 1.11.0 do 1.11.1
    • org.apache.avro.avro-ipc od 1.11.0 do 1.11.1
    • org.apache.avro.avro-mapred od 1.11.0 do 1.11.1
    • org.apache.httpcomponents.httpclient od 4.5.13 do 4.5.14
    • org.apache.httpcomponents.httpcore od 4.4.14 do 4.4.16
    • org.apache.ivy.ivy.ivy od 2.5.0 do 2.5.1
    • org.apache.logging.log4j.log4j-1.2-api od 2.18.0 do 2.19.0
    • org.apache.logging.log4j.log4j-api od 2.18.0 do 2.19.0
    • org.apache.logging.log4j.log4j-core od 2.18.0 do 2.19.0
    • org.apache.orc.orc-core od 1.7.6 do 1.8.2-shaded-protobuf
    • org.apache.orc.orc-mapreduce od 1.7.6 do 1.8.2-shaded-protobuf
    • org.apache.orc.orc-shims od 1.7.6 do 1.8.2
    • org.apache.xbean.xbean-asm9-shaded od 4.20 do 4.22
    • org.apache.zookeeper.zookeeper od 3.6.2 do 3.6.3
    • org.apache.zookeeper.zookeeper-jute od 3.6.2 do 3.6.3
    • org.eclipse.jetty.jetty-client od 9.4.46.v20220331 do 9.4.50.v20221201
    • org.eclipse.jetty.jetty-pokračování z 9.4.46.v20220331 až 9.4.50.v20221201
    • org.eclipse.jetty.jetty-http od 9.4.46.v20220331 do 9.4.50.v20221201
    • org.eclipse.jetty.jetty-io od 9.4.46.v20220331 do 9.4.50.v20221201
    • org.eclipse.jetty.jetty-jndi od 9.4.46.v20220331 do 9.4.50.v20221201
    • org.eclipse.jetty.jetty-plus od 9.4.46.v20220331 do 9.4.50.v20221201
    • org.eclipse.jetty.jetty-proxy od 9.4.46.v20220331 do 9.4.50.v20221201
    • org.eclipse.jetty.jetty-security od 9.4.46.v20220331 do 9.4.50.v20221201
    • org.eclipse.jetty.jetty-server od 9.4.46.v20220331 do 9.4.50.v20221201
    • org.eclipse.jetty.jetty-servlet od 9.4.46.v20220331 do 9.4.50.v20221201
    • org.eclipse.jetty.jetty-servlets from 9.4.46.v20220331 to 9.4.50.v20221201
    • org.eclipse.jetty.jetty-util od 9.4.46.v20220331 do 9.4.50.v20221201
    • org.eclipse.jetty.jetty-util-ajax od 9.4.46.v20220331 do 9.4.50.v20221201
    • org.eclipse.jetty.jetty-webapp from 9.4.46.v20220331 to 9.4.50.v20221201
    • org.eclipse.jetty.jetty-xml z 9.4.46.v20220331 až 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-api od 9.4.46.v20220331 do 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-client od 9.4.46.v20220331 do 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-common od 9.4.46.v20220331 do 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-server od 9.4.46.v20220331 do 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-servlet z 9.4.46.v20220331 až 9.4.50.v20221201
    • org.hibernate.validator.hibernate-validator od 6.1.0.Final do 6.1.7.Final
    • org.mlflow.mlflow-spark od 2.1.1 do 2.2.0
    • org.postgresql.postgresql od 42.3.3 do 42.3.8
    • org.roaringbitmap.RoaringBitmap od 0.9.25 do 0.9.39
    • org.roaringbitmap.shims od 0.9.25 do 0.9.39
    • org.rocksdb.rocksdbjni od 6.28.2 do 7.8.3
    • org.scala-lang.scala-compiler_2.12 od 2.12.14 do 2.12.15
    • org.scala-lang.scala-library_2.12 od 2.12.14 do 2.12.15
    • org.scala-lang.scala-reflect_2.12 od 2.12.14 do 2.12.15
    • org.scalanlp.breeze-macros_2.12 od 1.2 do 2.1.0
    • org.scalanlp.breeze_2.12 od 1.2 do 2.1.0
    • org.slf4j.jcl-over-slf4j od 1.7.36 do 2.0.6
    • org.slf4j.jul-to-slf4j od 1.7.36 do 2.0.6
    • org.slf4j.slf4j-api od 1.7.36 do 2.0.6
    • org.threeten.threeten-extra od 1.5.0 do 1.7.1
    • org.wildfly.openssl.wildfly-openssl od 1.0.7.Final do 1.1.3.Final
    • org.yaml.snakeyaml od 1.24 do 1.33

Apache Spark

Databricks Runtime 13.0 zahrnuje Apache Spark 3.4.0.

Spark SQL

Funkce

  • Implementace podpory výchozích hodnot pro sloupce v tabulkách (SPARK-38334)
  • Přidání Dataset.as(StructType) (SPARK-39625)
  • Podpora parametrizovaného SQL (SPARK-41271, SPARK-42702)
  • Přidání nepřekontání nebo roztavení (SPARK-38864, SPARK-39876)
  • Podpora odkazů na laterální aliasy sloupců (SPARK-27561)
  • Klauzule posunu výsledku podpory (SPARK-28330, SPARK-39159)
  • Časové razítko podpory bez datového typu časového pásma (SPARK-35662)
  • Podpora skalárních poddotazů v časovém cestování (SPARK-39306)
  • Zajištění kompatibility rozhraní API katalogu s 3vrstvým oborem názvů (SPARK-39235)
  • Časové razítko podpory v sekundách pro TimeTravel pomocí možností datového rámce (SPARK-39633)
  • Přidání SparkSession.config(Mapa) (SPARK-40163)
  • Podpora změny výchozí databáze katalogu relací (SPARK-35242)
  • Podpora Protobuf pro Spark – from_protobuf AND to_protobuf (SPARK-40654)
  • Přidání klauzule WHEN NOT MATCHED BY SOURCE pro MERGE INTO (SPARK-40921)
  • Uvolnění omezení řazení pro možnosti sloupce CREATE TABLE (SPARK-40944)
  • Ekvivalent SQL pro příkaz přepsání datového rámce (SPARK-40956)
  • Podpora generování bez požadovaného podřízeného výstupu pro hostování vnějších odkazů (SPARK-41441)
  • ORDER BY ALL (SPARK-41637)
  • GROUP BY ALL (SPARK-41635)
  • Přidání flatMapSortedGroups a cogroupSorted (SPARK-38591)
  • Podpora poddotazů s korelovanými predikáty bez rovnosti (SPARK-36114)
  • Podpora poddotazů s korelací prostřednictvím UNION/INTERSECT/EXCEPT (SPARK-36124)

Dodržování předpisů ANSI

  • Režim ANSI SQL: Vždy vrátit hodnotu null při neplatném přístupu ke sloupci mapy (SPARK-40066)
  • Podpora dvojitých uvozovacích identifikátorů (SPARK-40585)
  • Režim ANSI SQL: Round/Bround by měl vracet chybu při přetečení celého čísla (SPARK-42045)
  • Podpora přetypování integrálů do intervalů ANSI (SPARK-40008)
  • Podpora přetypování desetinných míst na intervaly ANSI (SPARK-40014)
  • Vrácení širších typů intervalů ANSI z percentilových funkcí (SPARK-40151)
  • Podpora přetypování intervalů ANSI na desetinná místa (SPARK-39470)
  • Podpora intervalů přetypování na integrály v režimu ANSI (SPARK-39451)
  • Posílení využití SQLSTATE pro třídy chyb (SPARK-41994)

Functions

  • Podpora funkcí generátoru s hodnotami tabulky v klauzuli FROM (SPARK-41594)
  • Podpora agregační funkce ANSI: REGR_SXY (SPARK-37681)
  • Podpora agregační funkce ANSI: REGR_R2 (SPARK-37641)
  • Podpora agregační funkce ANSI: REGR_SXX (SPARK-37672)
  • Podpora agregační funkce ANSI: REGR_SYY (SPARK-37702)
  • Podpora agregační funkce ANSI: REGR_SLOPE (SPARK-39230)
  • Podpora agregační funkce ANSI: REGR_INTERCEPT (SPARK-37623)
  • Podpora agregační funkce ANSI PERCENTILE_CONT jako funkce okna (SPARK-38219)
  • Podpora agregační funkce ANSI: PERCENTILE_DISC (SPARK-37691)
  • Podpora SPLIT_PART funkce (SPARK-38063)
  • Podpora TRY_AVG funkce (SPARK-38589)
  • Podpora TRY_TO_BINARY funkce (SPARK-38590)
  • Podpora TO_NUMBER a TRY_TO_NUMBER funkcí SQL podle nové specifikace (SPARK-38796)
  • Podpora specifikace a funkce obecné hodnoty ANSI – USER (SPARK-39138)
  • Podpora funkcí TO_CHAR a TRY_TO_CHAR pro formátování desetinných hodnot jako řetězců (SPARK-28516)
  • Podpora ANY_VALUE agregační funkce (SPARK-39213)
  • Podpora EQUAL_NUL funkce (SPARK-39305)
  • Podpora agregační funkce MEDIAN (SPARK-39320)
  • Podpora REGEXP_COUNT funkce (SPARK-39618)
  • Podpora REGEXP_INSTR funkce (SPARK-39744)
  • Podpora funkce REGEXP_SUBSTR (SPARK-39695)
  • Podpora funkce UNPIVOT (SPARK-39876)
  • Podpora TRY_TO_TIMESTAMP funkce (SPARK-39795)
  • Podpora kódování a dekódování adres URL jako předdefinovaných funkcí a funkcí souvisejících s adresou URL (SPARK-39741)
  • Podpora režimu agregační funkce (SPARK-39808)
  • Podpora funkce GET (SPARK-40109)
  • Přidání aliasů funkcí: DÉLKA, DATEPART, DATEADD, DATE_DIFF, CURDATE (SPARK-40352)
  • Vylepšení funkce TO_BINARY (SPARK-40112)
  • Podpora CURRENT_SCHEMA (SPARK-41323)
  • Podpora maskování dat předdefinované funkce MASKA (SPARK-40687)
  • Podpora funkce vysokého pořadí: ARRAY_COMPACT (SPARK-41235)
  • Podpora ARRAY_APPEND funkce (SPARK-41232)
  • Podpora ARRAY_INSERT funkce (SPARK-41234)
  • Podpora funkce LUHN_CHECK (SPARK-42191)
  • Podpora ARRAY_SORT(sloupec, srovnávací) (SPARK-39925)

Zdroje dat

  • Statistiky sloupců podpory v DS v2 (SPARK-41378)
  • Dělení úložiště (SPJ) v DS v2 (SPARK-37375)
  • Operace na úrovni řádků v DS v2 (SPARK-35801)
  • Přidání kombinace SupportsReportOrdering v rozhraní pro nástroj DS v2 Scan (SPARK-38647)
  • Odvození typu DATE pro odvozování schématu CSV (SPARK-39469)
  • Podpora metrik ovladačů v rozhraní API pro vlastní metriky DS v2 (SPARK-39635)
  • Podpora distribuce a řazení funkce DS v2 při psaní (SPARK-39607)
  • StringEndsWith/Contains podporuje nasdílení změn do Parquet, abychom mohli využít filtr slovníku (SPARK-39002)
  • Podpora UDT v vektorizované čtečce Spark Parquet (SPARK-39086)
  • Rozšíření sloupce METADATa pro podporu indexů řádků pro soubory Parquet (SPARK-37980)
  • Podpora čtení typu parquet FIXED_LEN_BYTE_ARRAY (SPARK-41096)
  • Optimalizace pořadí predikátů filtrování (SPARK-40045)
  • Podpora dotazů CTE a dočasných tabulek pomocí MSSQL JDBC (SPARK-37259)
  • Podpora ignoreCorruptFiles a ignoreMissingFiles v možnostech zdroje dat (SPARK-38767)
  • Stažení zápisu do writeFiles v1 (SPARK-41407)
  • Přidání odsazení znaků na straně čtení pro pokrytí externích datových souborů (SPARK-40697)

Optimalizace dotazů

  • Sloučení nesouvisených skalárních poddotazů (SPARK-34079)
  • Povolení spojení s filtry Bloom ve výchozím nastavení (SPARK-38841)
  • Odebrání nepotřebných jedinečných položek v agregačním výrazu pomocí distinctKeys (SPARK-38832)
  • Podpora vyřazení predikátu a vyřazení sloupců pro vyřazení zdvojené CTE (SPARK-37670)
  • Odebrání vnějšího spojení, pokud jsou agregační funkce duplicitní na streamované straně (SPARK-38886)
  • Odebrání levého/pravého vnějšího spojení, pokud jsou vybrány pouze sloupce na levé/pravé straně a klíče spojení na druhé straně jsou jedinečné (SPARK-39172)
  • Optimalizace globálního řazení na repartitionByExpression (SPARK-39911)
  • Optimalizace pravidla TranspoziceWindow (SPARK-38034)
  • Vylepšení funkce EliminateSorts na podporu odstraňování řazení prostřednictvím LocalLimit (SPARK-40050)
  • Pokud je podmínka spojení prázdná (SPARK-40040) na obou stranách, nasdílejte místní limit na obě strany.
  • Přidání PushProjectionThroughLimit pro optimalizátor (SPARK-40501)
  • Podpora PIVOTu nebo UNPIVOTu s podřízenými spoji (SPARK-41195)
  • Podpora vyřazování sloupců s několika nedeterministickými filtry (SPARK-41017)
  • Vylepšení dělení a řazení výstupu pomocí mezipaměti AQE (SPARK-41048)
  • Zlepšení výkonu s více likey vytvořením predikátu stromu s vyrovnáváním výrazu (SPARK-41167)
  • Odeberte řazení, pokud se jedná o podřízenou položku RepartitionByExpression (SPARK-36703).
  • Použití dostupných statistik sloupců z dokončených fází dotazů (SPARK-39991)
  • Opakované použití výrazů ve WindowsSpecDefinition (SPARK-41805)
  • Vylepšení AliasAwareOutputPartitioning a AliasAwareQueryOutputOrdering, aby se zohlednily všechny aliasy (SPARK-40086, SPARK-42049)
  • Nasdílení limitu dolů prostřednictvím definovaných funkcí Pythonu (SPARK-42115)

Generování kódu a spouštění dotazů

  • Nastavení výchozí úlohy ve BroadcastNestedLoopJoinExec spuštěné paralelně (SPARK-40487)
  • Podpora Codegenu pro HiveGenericUDF (SPARK-42051)
  • Zavedení náhodného náhodného prohazování u singlepartition (SPARK-41986)
  • Podpora DPP na straně vyřazování má Union (SPARK-39217)

Další velmi vhodné změny

  • Podpora shromažďování statistik automatického oddílu (SPARK-38573)
  • Formátování chybových zpráv na serveru Thrift (SPARK-40098)
  • Přidání rozhraní API rozšíření pro plánování normalizace pro ukládání do mezipaměti (SPARK-41183)
  • Refaktoring typů Sparku zavedením fyzických typů (SPARK-41226)
  • Podpora a rekurzivní kontroly jednoho pole (SPARK-41396)
  • Centralizace logiky překladu sloupců (SPARK-41405)
  • Vylepšení ověřování změn plánu (SPARK-42081)
  • Představení SparkPathu pro typy (SPARK-41970)
  • Vyvolání výjimky pro db_name.view_name při vytváření dočasného zobrazení podle rozhraní API datové sady (SPARK-41090)
  • Změna výchozí hodnoty argumentu funkce Mask z -1 na NULL (SPARK-42070)

Spark Core

Vyřazení

  • Vyhněte se opakovanému spuštění nepotřebných úloh při ztrátě vyřazených exekutorů při migraci dat náhodného prohazování (SPARK-41469)
  • Ignorovat selhání načtení fáze způsobené vyřazeným exekutorem (SPARK-40481)
  • Povolte spark.storage.decommission. (rdd|shuffle) Blocks.enabled ve výchozím nastavení (SPARK-40198)
  • Přidání podpory pro vyřazení YARN z provozu, když je ESS zakázaný (SPARK-30835)

Scheduler

  • Plánování fází podporuje režim místního clusteru (SPARK-41949)
  • Profil prostředků úloh na úrovni fáze podpory pro samostatný cluster, pokud je dynamické přidělení zakázané (SPARK-39853)
  • Zpoždění onDisconnected pro povolení driver receives ExecutorExitCode (SPARK-39957)
  • Vylepšení spekulací prostřednictvím metrik úloh fáze (SPARK-32170)
  • Přidání podpory plánování prostředků na úrovni fáze pro samostatný cluster (SPARK-39062)
  • Vylepšení procesu LaunchTask, aby se zabránilo selháním fáze způsobeným neúspěšným odesláním zpráv LaunchTask (SPARK-39955)

Shuffle

  • Přidání metrik čtení na straně klienta na straně nabízení (SPARK-36620)
  • Metriky náhodného prohazování na straně serveru pro náhodné prohazování založené na nabízených oznámeních (SPARK-33573)
  • Před ukončením databáze se ujistěte, že se před ukončením databáze (SPARK-40186) vypněte mergedShuffleCleaner.
  • Přidání podpory RocksDB pro úložiště stavu služby shuffle (SPARK-38888)
  • Zapouzdření LevelDB použité k ukládání vzdáleného nebo externího stavu náhodného prohazování jako databáze (SPARK-38909)
  • Povolení spark.dynamicAllocation.shuffleTracking.enabled ve výchozím nastavení (SPARK-3984)
  • Povolení služby náhodného prohazování na základě nabízených oznámení pro ukládání stavu v databázi na úrovni NM pro zachování práce (SPARK-33236)
  • Odebrání bloků náhodného prohazování pomocí služby náhodného prohazování pro vydané exekutory (SPARK-37618)

Další velmi vhodné změny

  • Podpora prostředí jen s protokolem IPv6 (SPARK-39457)
  • Povolení spark.kryo.unsafe ve výchozím nastavení (SPARK-42137)
  • Zakázat libovolnou vlastní cestu ke třídě s uživatelem proxy v režimu clusteru (SPARK-41958)
  • Pokud dojde ke ztrátě exekutoru (SPARK-41360), vyhněte se opětovné registraci nástroje BlockManager.
  • Odeberte omezení, které musí mít jeden výsledek úkolu ve velikosti 2 GB (SPARK-40622).
  • Odebrání podpory zastaralých konfigurací spark.akka.* (SPARK-40401)
  • Změna výchozího protokolování na stderr tak, aby odpovídalo chování log4j (SPARK-40406)
  • Vyloučení metadat DirectTaskResult při výpočtu velikosti výsledku (SPARK-40261)
  • Povolit přizpůsobení počátečního čísla oddílů v chování take() (SPARK-40211)
  • Místo synchronizace v Executor.updateDependencies() (SPARK-40235) použijte přerušitelný zámek.
  • Selhání úlohy by vždy mělo aktivovat naslouchací procesy selhání úloh (SPARK-40106)
  • Přidání možnosti selektivního zakázání sledování nebo dotazování (SPARK-36462)
  • Neulážejte vztahy neserializovaného vysílání na ovladači (SPARK-39983)
  • Oprava zablokování mezi TaskMemoryManager a UnsafeExternalSorter.SpillableIterator (SPARK-39283)
  • Zveřejnění oddílů čísel ve fázi pro TaskContext (SPARK-38679)
  • Nastavení konfigurovatelného faktoru režie paměti (SPARK-38194)
  • Nepoužívejte bash -c v ShellBasedGroupsMappingProvider (SPARK-38992)

Strukturované streamování

Hlavní funkce

  • Async Progress Tracking (SPARK-39591)
  • Libovolné stavové zpracování Pythonu ve strukturovaném streamování (SPARK-40434)
  • Podpora protobuf ve strukturovaném streamování (SPARK-40653)
  • Oprava filtrování zpožděných záznamů pro podporu řetězení stavových operátorů (SPARK-40925)

Další velmi vhodné změny

  • Představení správce souborů kontrolního bodu streamování založeného na rozhraní Abortable systému Hadoop (SPARK-40039)
  • Vyřazení Trigger.Once a zvýšení úrovně Trigger.AvailableNow (SPARK-39805)
  • Zveřejnění informací o tabulce katalogu logickému plánu v dotazu streamování (SPARK-39564)
  • Podpora shromažďování metrik z jímek streamování (SPARK-38564)
  • Vyřazení rozhraní API DStream (SPARK-42075)
  • Překlopení výchozí hodnoty konfigurace načítání posunu Kafka (SPARK-40844)
  • Poskytnutí klonované relace Sparku v datovém rámci v uživatelské funkci pro jímku foreachBatch v PySparku (SPARK-41379)

Spark Připojení

Klient Pythonu

  • Implementace rozhraní DATAFrame API (SPARK-41279)
  • Implementace rozhraní API sloupců (SPARK-41282)
  • Implementace rozhraní API služby Functions (SPARK-41283)
  • Implementace rozhraní SparkSession API (SPARK-41281)
  • Implementace rozhraní API pro vstupně-výstupní operace (SPARK-41284)
  • Implementace rozhraní API katalogu (SPARK-41289)
  • Podpora uživatelem definovaných funkcí v Pythonu (SPARK-41661)
  • Podpora rozhraní API funkcí Pandas/Šipka (SPARK-42393)
  • Podpora konfigurace SQL modulu runtime (SPARK-42499)
  • Sestavení, balení a infrastruktura pro Spark Připojení (SPARK-41286)
  • Psaní poznámek pro klienta Spark Připojení Pythonu (SPARK-40451)

Klient Scala

PySpark

Rozhraní Pandas API ve Sparku

Další velmi vhodné změny

  • Hlavní vylepšení
    • Poskytnutí profileru paměti pro uživatelem definované funkce PySpark (SPARK-40281)
    • Zajištění kompatibility rozhraní API katalogu s 3vrstvým oborem názvů (SPARK-39235)
    • Podpora vstupu NumPy v PySparku (SPARK-39405)
    • Vylepšení chyb PySpark (SPARK-41597)
  • Hlavní funkce

MLLIB

SparkR

Služba živého uživatelského rozhraní a serveru historie

  • Lepší škálovatelnost uživatelského rozhraní Sparku a stabilita ovladačů pro velké aplikace (SPARK-41053)
  • Použití RocksDB pro spark.history.store.hybridStore.diskBackend ve výchozím nastavení (SPARK-42277)
  • Seskupení vnořených spuštění pod kořenovým spouštěním (SPARK-41752)
  • Zobrazení vlastností metrik na kartě prostředí (SPARK-39110)
  • Oprava velikosti a záznamů vstupu StagePage se nezobrazuje, když jsou záznamy větší než nula (SPARK-34777)
  • Vylepšení výkonu protokolování událostí JsonProtocol pomocí Jacksona místo Json4s (SPARK-39489)
  • Podpora spark.history.fs.update.batchSize (SPARK-39225)

Sestavit

Aktualizace údržby

Viz aktualizace údržby Databricks Runtime 13.0.

Prostředí systému

  • Operační systém: Ubuntu 22.04.2 LTS
  • Java: Zulu 8.68.0.21-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.6
  • R: 4.2.2
  • Delta Lake: 2.3.0

Nainstalované knihovny Pythonu

Knihovna Verze Knihovna Verze Knihovna Verze
appdirs 1.4.4 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.2.1 attrs 21.4.0 backcall 0.2.0
krásnásoup4 4.11.1 Černé 22.6.0 Bělidla 4.1.0
blikač 1.4 boto3 1.24.28 botocore 1.27.28
Certifi 2022.9.14 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 kliknutí 8.0.4 Kryptografie 37.0.1
Cyklovač 0.11.0 Cython 0.29.32 dbus-python 1.2.18
ladění 1.5.1 Dekoratér 5.1.1 defusedxml 0.7.1
distlib 0.3.6 docstring-to-markdown 0.12 vstupní body 0,4
Provádění 1.2.0 přehled omezujících vlastností 1.0.2 fastjsonschema 2.16.3
filelock 3.10.7 fonttools 4.25.0 googleapis-common-protos 1.56.4
grpcio 1.48.1 grpcio-status 1.48.1 httplib2 0.20.2
idna 3.3 importlib-metadata 4.6.4 ipykernel 6.17.1
ipython 8.10.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
Jedi 0.18.1 Jeepney 0.7.1 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.16.0
jupyter-client 7.3.4 jupyter_core 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgety 1.0.0 Klíčenku 23.5.0 verizonsolver 1.4.2
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
Revize Sejf 2.0.1 matplotlib 3.5.2 matplotlib-inline 0.1.6
Mccabe 0.7.0 špatně zamyšlení 0.8.4 more-itertools 8.10.0
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.5.0 nest-asyncio 1.5.5 nodeenv 1.7.0
poznámkový blok 6.4.12 numpy 1.21.5 oauthlib 3.2.0
Obalu 21.3 pandas 1.4.4 pandocfilters 1.5.0
parso 0.8.3 pathspec 0.9.0 Patsy 0.5.2
pexpect 4.8.0 pickleshare 0.7.5 Polštář 9.2.0
Pip 22.2.2 platformdirs 2.5.2 plotly 5.9.0
pluggy 1.0.0 prometheus-client 0.14.1 prompt-toolkit 3.0.36
protobuf 3.19.4 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 čistý-eval 0.2.2 pyarrow 7.0.0
pycparser 2.21 pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1
pytoolconfig 1.2.2 pytz 2022.1 pyzmq 23.2.0
žádosti 2.28.1 Lano 1.7.0 s3transfer 0.6.0
scikit-learn 1.1.1 scipy 1.9.1 seaborn 0.11.2
SecretStorage 3.3.1 Send2Trash 1.8.0 setuptools 63.4.1
Šest 1.16.0 polévky 2.3.1 ssh-import-id 5,11
stack-data 0.6.2 statsmodels 0.13.2 Houževnatost 8.0.1
terminado 0.13.1 testpath 0.6.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 2.0.1 Tornádo 6.1
vlastnosti 5.1.1 ujson 5.4.0 bezobslužné upgrady 0,1
urllib3 1.26.11 virtualenv 20.16.3 wadllib 1.3.6
wcwidth 0.2.5 webencodings 0.5.1 whatthepatch 1.0.2
Kolo 0.37.1 widgetsnbextension 3.6.1 yapf 0.31.0
zipp 1.0.0

Nainstalované knihovny jazyka R

Knihovny R se instalují ze snímku Microsoft CRAN na 2023-02-10.

Knihovna Verze Knihovna Verze Knihovna Verze
šipka 10.0.1 askpass 1,1 assertthat 0.2.1
Backports 1.4.1 base 4.2.2 base64enc 0.1-3
bitové 4.0.5 bit64 4.0.5 blob 1.2.3
startování 1.3-28 Vařit 1.0-8 Brio 1.1.3
Koště 1.0.3 bslib 0.4.2 cachem 1.0.6
volající 3.7.3 caret 6.0-93 cellranger 1.1.0
chron 2.3-59 class 7.3-21 Rozhraní příkazového řádku 3.6.0
clipr 0.8.0 clock 0.6.1 cluster 2.1.4
codetools 0.2-19 barevný prostor 2.1-0 commonmark 1.8.1
– kompilátor 4.2.2 config 0.3.1 cpp11 0.4.3
Pastelka 1.5.2 přihlašovací údaje 1.3.2 Curl 5.0.0
data.table 1.14.6 Power BI 4.2.2 DBI 1.1.3
dbplyr 2.3.0 Desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 Digest 0.6.31 downlit 0.4.2
dplyr 1.1.0 dtplyr 1.2.2 e1071 1.7-13
tři tečky 0.3.2 evaluate 0,20 fanynky 1.0.4
farver 2.1.1 fastmap 1.1.0 fontawesome 0.5.0
forcats 1.0.0 foreach 1.5.2 Zahraniční 0.8-82
Forge 0.2.0 Fs 1.6.1 Budoucnosti 1.31.0
future.apply 1.10.0 Kloktadlo 1.3.0 Generik 0.1.3
Gert 1.9.2 ggplot2 3.4.0 Gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-6 Globals 0.16.2
Lepidlo 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
Gower 1.0.1 Grafika 4.2.2 grDevices 4.2.2
Mřížky 4.2.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.1 hardhat 1.2.0 Útočiště 2.5.1
highr 0.10 Hms 1.1.2 htmltools 0.5.4
htmlwidgets 1.6.1 httpuv 1.6.8 httr 1.4.4
Id 1.0.1 Ini 0.3.1 ipred 0.9-13
isoband 0.2.7 Iterátory 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 KernSmooth 2.23-20 pletení 1.42
Označování 0.4.2 Později 1.3.0 Mříže 0.20-45
Láva 1.7.1 lifecycle 1.0.3 listenv 0.9.0
lubridate 1.9.1 magrittr 2.0.3 Markdown 1.5
MASS 7.3-58.2 Matice 1.5-1 memoise 2.0.1
metody 4.2.2 mgcv 1.8-41 Mime 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.10
munsell 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.5 parallel 4.2.2
paralelně 1.34.0 Pilíř 1.8.1 pkgbuild 1.4.0
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2
plogr 0.2.0 plyr 1.8.8 Chvála 1.0.0
prettyunits 1.1.1 Proc 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 Průběh 1.2.2
progressr 0.13.0 Sliby 1.2.0.1 proto 1.0.0
Proxy 0.4-27 Ps 1.7.2 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 Analýza rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.10 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.2 recepty 1.0.4
Zápas 1.0.1 rematch2 2.1.2 vzdálená zařízení 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2,20 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.20 rstudioapi 0,14 rversions 2.1.2
rvest 1.0.3 Sass 0.4.5 Váhy 1.2.1
selektor 0.4-2 sessioninfo 1.2.2 Obrazec 1.4.6
Lesklé 1.7.4 sourcetools 0.1.7-1 sparklyr 1.7.9
SparkR 3.4.0 Prostorové 7.3-15 Křivky 4.2.2
sqldf 0.4-11 ČTVEREC 2021.1 Statistiky 4.2.2
Statistiky 4 4.2.2 stringi 1.7.12 stringr 1.5.0
Přežití 3.5-3 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.6 textshaping 0.3.6
tibble 3.1.8 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 1.3.2 časový interval 0.2.0 timeDate 4022.108
tinytex 0.44 tools 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.3
utils 4.2.2 Uuid 1.1-0 vctrs 0.5.2
viridisLite 0.4.1 vroom 1.6.1 Waldo 0.4.0
vousa 0.4.1 withr 2.5.0 xfun 0.37
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 Zip 2.2.2

Nainstalované knihovny Java a Scala (verze clusteru Scala 2.12)

ID skupiny ID artefaktu Verze
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws automatické škálování aws-java-sdk 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws podpora aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics datový proud 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware Kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Spolužák 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.14.2
com.fasterxml.jackson.core jackson-core 2.14.2
com.fasterxml.jackson.core jackson-databind 2.14.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.14.2
com.github.ben-manes.kofein Kofein 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java Nativní verze 1.1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java Nativní verze 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64 Nativní verze 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64 Nativní verze 1.1
com.github.luben zstd-jni 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.9
com.google.crypto.tink Tink 1.7.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.214
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.6.3
io.dropwizard.metrics metriky – jádro 4.2.10
io.dropwizard.metrics metrics-graphite 4.2.10
io.dropwizard.metrics metriky – kontroly stavu 4.2.10
io.dropwizard.metrics metrics-jetty9 4.2.10
io.dropwizard.metrics metrics-jmx 4.2.10
io.dropwizard.metrics metrics-json 4.2.10
io.dropwizard.metrics metrics-jvm 4.2.10
io.dropwizard.metrics metriky – servlety 4.2.10
io.netty netty-all 4.1.87.Final
io.netty netty-buffer 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty netty-codec-http 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-socks 4.1.87.Final
io.netty netty- common 4.1.87.Final
io.netty obslužná rutina netty 4.1.87.Final
io.netty netty-handler-proxy 4.1.87.Final
io.netty netty-resolver 4.1.87.Final
io.netty netty transport 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.87.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Kolekcí 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivace 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine Lák 1.3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 11.0.0
org.apache.arrow arrow-memory-core 11.0.0
org.apache.arrow arrow-memory-netty 11.0.0
org.apache.arrow arrow-vector 11.0.0
org.apache.avro Avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.kurátor kurátor-client 2.13.0
org.apache.kurátor kurátor-framework 2.13.0
org.apache.kurátor kurátor-recepty 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy Ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.8.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.8.2-shaded-protobuf
org.apache.orc orc-shims 1.8.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.22
org.apache.yetus cílové skupiny a poznámky 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.50.v20221201
org.eclipse.jetty pokračování jetty 9.4.50.v20221201
org.eclipse.jetty jetty-http 9.4.50.v20221201
org.eclipse.jetty jetty-io 9.4.50.v20221201
org.eclipse.jetty jetty-jndi 9.4.50.v20221201
org.eclipse.jetty jetty-plus 9.4.50.v20221201
org.eclipse.jetty jetty-proxy 9.4.50.v20221201
org.eclipse.jetty jetty-security 9.4.50.v20221201
org.eclipse.jetty jetty-server 9.4.50.v20221201
org.eclipse.jetty jetty-servlet 9.4.50.v20221201
org.eclipse.jetty jetty-servlets 9.4.50.v20221201
org.eclipse.jetty jetty-util 9.4.50.v20221201
org.eclipse.jetty jetty-util-ajax 9.4.50.v20221201
org.eclipse.jetty jetty-webapp 9.4.50.v20221201
org.eclipse.jetty jetty-xml 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-api 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-client 9.4.50.v20221201
org.eclipse.jetty.websocket websocket – společné 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-server 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-servlet 9.4.50.v20221201
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core žerzejové společné 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator Hibernate-validator 6.1.7.Final
org.javassist Javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Poznámky 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.8
org.roaringbitmap RoaringBitmap 0.9.39
org.roaringbitmap Podložky 0.9.39
org.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten threeten-extra 1.7.1
org.tukaani Xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel kočky-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.33
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1