Databricks Runtime 9.1 LTS

  • Artykuł

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 9.1 LTS i Databricks Runtime 9.1 LTS Photon obsługiwanym przez platformę Apache Spark 3.1.2. Usługa Databricks opublikowała te obrazy we wrześniu 2021 roku. Photon jest w publicznej wersji zapoznawczej.

Uwaga

LTS oznacza, że ta wersja jest objęta długoterminową pomocą techniczną. Zobacz Cykl życia wersji LTS środowiska Databricks Runtime.

Nowe funkcje i ulepszenia

Wskazówki schematu automatycznego modułu ładującego działają teraz z typami tablic i map

Typy tablic i map są obsługiwane w wnioskowaniu schematu zastępowania za pomocą wskazówek schematu dla modułu ładującego automatycznego.

Przykłady wskazówek schematu dla tablic:

  1. arr Array<TYPE> zmienia typ tablicy.
  2. arr.element TYPE zmienia typ tablicy (przy użyciu słowa kluczowego element ).
  3. arr.element.x TYPE zmienia typ zagnieżdżonego pola w tablicy struktur.

Dwa pierwsze przykłady to wskazówki dotyczące zmiany typu tablicy arr na TYPE, ale używają innej składni. W trzecim przykładzie arr jest tablicą struktur z polem x. W tym przykładzie pokazano, jak zmienić typ na xTYPE.

Przykłady wskazówek schematu dla map to:

  1. m Map<KEY-TYPE, VALUE-TYPE> zmienia typy klucz i wartość mapowania.
  2. m.key TYPE zmienia typ kluczy mapy.
  3. m.value TYPE zmienia typ wartości mapy.
  4. m.key.x TYPE zmienia typ pola w kluczu mapy.
  5. m.value.x TYPE zmienia typ pola wartości mapy.

Pierwszy przykład zmienia odpowiednio typy kluczy i wartości mapy m na KEY_TYPE i VALUE_TYPE . Drugie i trzecie przykłady mogą być używane, jeśli należy zmienić tylko typ klucza lub tylko typ wartości. W czwartych i piątych przykładach m jest mapa z kluczem i wartością typów struktury z polem x. W tym przykładzie pokazano, jak zmienić typ na xTYPE.

Obsługa plików Avro dla schematu scalania

Format pliku Avro obsługuje mergeSchema teraz opcję podczas odczytywania plików. Ustawienie mergeSchema wartości true podczas odczytywania plików Avro spowoduje wywnioskowania schematu z zestawu plików Avro, a nie z jednego pliku. Zwiększa to użyteczność przez wnioskowanie schematu, który może być w stanie odczytać wszystkie pliki, nawet jeśli poszczególne schematy różnią się. Zobacz Konfiguracja.

Obsługa listy przyrostowej automatycznego modułu ładującego (publiczna wersja zapoznawcza)

W przypadku plików wygenerowanych leksykograficznie co to jest automatyczne ładowanie? teraz wykorzystuje porządkowanie plików leksykalnych i istniejące zoptymalizowane interfejsy API, aby katalog był bardziej wydajny, wyświetlając listę wcześniej pozyskanych plików, a nie przez wyświetlenie całego katalogu. Automatycznie moduł ładujący automatycznie wykrywa, czy dany katalog jest domyślnie odpowiedni dla listy przyrostowej. Aby jawnie kontrolować to zachowanie, ustaw nową cloudFiles.useIncrementalListing opcję na włączone (), wyłączone (falsetrue) lub automatyczne (auto). Jeśli ustawisz to zachowanie na truewartość , możesz również ustawić opcję planowania cloudFiles.backfillInterval regularnych uzupełnień danych, aby upewnić się, że wszystkie dane są całkowicie pozyskiwane.

Funkcja Delta obsługuje teraz dowolne zastąpienieWhere

W połączeniu z trybem replaceWhere zastępowania można użyć opcji, aby jednocześnie zastąpić dane zgodne z predykatem zdefiniowanym w opcji. replaceWhere Wcześniej obsługiwane predykat tylko w kolumnach partycji, ale teraz może to być dowolne wyrażenie. Zobacz Zapisywanie w tabeli.

Automatyczne ładowanie w usłudze Google Cloud obsługuje teraz powiadomienia o plikach (publiczna wersja zapoznawcza)

Funkcja automatycznego ładowania obsługuje teraz tryb powiadomień dotyczących plików w chmurze Google. Ustaw .option("cloudFiles.useNotifications", "true") opcję zezwalania automatycznemu modułowi ładującego na automatyczne konfigurowanie zasobów Google Cloud Pub/Sub. W trybie powiadamiania plików nowe pliki są wykrywane i pozyskiwane po ich nadejściu bez wyświetlania katalogu wejściowego. Zobacz Co to jest tryb powiadomień pliku automatycznego ładowania?.

FUNKCJA CREATE OBSŁUGUJE teraz tworzenie funkcji tabeli

Oprócz utworzenia funkcji skalarnej zwracającej wartość skalarną można teraz utworzyć funkcję tabeli zwracającą zestaw wierszy. Zobacz CREATE FUNCTION (SQL i Python).

Źródło przesyłania strumieniowego platformy Kafka teraz raportuje estimatedTotalBytesBehindLatest metrykę

Źródło przesyłania strumieniowego platformy Kafka zgłasza teraz szacowanie liczby bajtów, które użytkownik znajduje się za najnowszym dostępnym bajtem po każdej partii. Tej metryki można użyć do śledzenia postępu strumienia. Zobacz Pobieranie metryk platformy Kafka.

Przykładowe dane wyjściowe metryk:

StreamingQueryProgress {
  "batchId": 0,
  .....
  "sources": [ {
    "description" : "KafkaV2[Subscribe[topic-0]]",
    "metrics":{
      "avgOffsetsBehindLatest" : "1.0",
      "estimatedTotalBytesBehindLatest" : "80.0", // new
      "maxOffsetsBehindLatest" : "1",
      "minOffsetsBehindLatest" : "1"
    } ],
  ....
 }

W przypadku struktur wewnątrz tablic funkcja Delta MERGE INTO rozpoznaje teraz pola struktury według nazwy i ewoluuje schematy struktury

Funkcja Delta MERGE INTO obsługuje teraz rozpoznawanie pól struktury według nazwy i automatycznej ewolucji schematu dla tablic struktur. Jeśli automatyczna ewolucja schematu jest włączona przez ustawienie spark.databricks.delta.schema.autoMerge.enabled true, UPDATE a INSERT klauzule rozpoznają pola struktury wewnątrz tablicy według nazwy, rzutując do odpowiedniego typu danych zdefiniowanego w tablicy docelowej i wypełniając dodatkowe lub brakujące pola w źródle lub obiekcie docelowym z wartościami null. Gdy automatyczna ewolucja schematu jest wyłączona, a INSERT klauzule rozpoznają pola struktury wewnątrz tablicy według nazwy, UPDATE ale nie będą mogły rozwijać dodatkowych pól. Zobacz Automatyczna ewolucja schematu dla tablic struktur.

Poprawki błędów

  • Naprawiono przeciek pamięci w łączniku Amazon S3, który mógł wystąpić w długotrwałych zadaniach lub usługach, co było spowodowane przez funkcję JVM DeleteOnExit .

Uaktualnienia biblioteki

  • Uaktualnione biblioteki języka Python:
    • wykres z wersji 4.14.3 do 5.1.0
  • Uaktualnione biblioteki języka R:
    • od 4.1.0 do 4.1.1
    • bslib z 0.2.5.1 do 0.3.0
    • pamięć podręczna z wersji 1.0.5 do 1.0.6
    • kompilator z wersji 4.1.0 do 4.1.1
    • zestawy danych z wersji 4.1.0 do 4.1.1
    • przyszłość od 1.21.0 do 1.22.1
    • gert z 1.3.1 do 1.3.2
    • grafika z wersji 4.1.0 do 4.1.1
    • grDevices z 4.1.0 do 4.1.1
    • siatka z wersji 4.1.0 do 4.1.1
  • Uaktualnione biblioteki Java:
    • org.eclipse.jetty z wersji 9.4.36.v20210114 do 9.4.42.v20210604

Apache Spark

Środowisko Databricks Runtime 9.1 LTS obejmuje platformę Apache Spark 3.1.2. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 9.0 (nieobsługiwane), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

  • [SPARK-36674][SQL] [CHERRY-PICK] Obsługa funkcji ILIKE — bez uwzględniania wielkości liter
  • [SPARK-36353][SQL] [3.1] RemoveNoopOperators powinny zachować schemat danych wyjściowych
  • [SPARK-35876][SQL] [3.1] TabliceZip powinny zachować nazwy pól, aby uniknąć ponownego zapisywania przez analizator/optymalizator
  • [SPARK-36398][SQL] Redact poufne informacje w dzienniku spark Thrift Server
  • [SPARK-36498][SQL] Zmień kolejność pól wewnętrznych zapytania wejściowego w zapisie byName v2
  • [SPARK-36614][CORE] [Interfejs użytkownika] Poprawna przyczyna utraty funkcji wykonawczej spowodowana likwidacją w interfejsie użytkownika
  • [SPARK-36012][SQL] Dodawanie flagi null w tabeli SHOW CREATE
  • [SPARK-36509][CORE] Rozwiązano problem polegający na tym, że funkcje wykonawcze nigdy nie są ponownie zaplanowane, jeśli proces roboczy zatrzymuje się z klastrem autonomicznym
  • [SPARK-36603][CORE] Używanie funkcji WeakReference nie softReference w bazie danych LevelDB
  • [SPARK-36564][CORE] Naprawiono wyjątek NullPointerException w pliku LiveRDDDistribution.toApi
  • [SPARK-36086][SQL] [3.1] Zwiń projekt Project Replace alias powinien używać nazwy kolumny pochodzenia
  • [SPARK-33527][SQL] Rozszerzanie funkcji dekodowania tak, aby była spójna z głównymi bazami danych
  • [SPARK-36400][SPARK-36398][SQL] [WEBUI] Wykonaj polecenie ThriftServer rozpoznaj spark.sql.redaction.string.regex
  • [SPARK-34054][CORE] BlockManagerDecommissioner — oczyszczanie kodu
  • [SPARK-36500][CORE] Naprawianie wycieku pliku temp_shuffle po przerwaniu zadania
  • [SPARK-36489][SQL] Funkcje agregujące bez kluczy grupowania, w tabelach z pojedynczym zasobnikiem, zwracają wiele wierszy
  • [SPARK-36464][CORE] Poprawka inicjowania zmiennej rozmiaru bazowego w ChunkedByteBufferOutputStream do zapisywania danych ponad 2 GB
  • [SPARK-36339][SQL] [3.0] Odwołania do grupowania, które nie są częścią agregacji, powinny zostać zastąpione
  • [SPARK-36354][CORE] EventLogFileReader powinien pominąć stopniowe katalogi dziennika zdarzeń bez dzienników
  • [SPARK-36242][CORE] [3.1] Upewnij się, że plik rozlania został zamknięty przed ustawieniem powodzenia = true w metodzie ExternalSorter.spillMemoryIteratorToDisk
  • [SPARK-36211][PYTHON] Poprawne wpisywanie wartości zwracanej udf
  • [SPARK-34222][SQL] Ulepszanie reguły uproszczenia logicznego
  • [SPARK-35027][CORE] Zamknij element inputStream w plikuAppender podczas zapisywania...
  • [SPARK-36269][SQL] Poprawka ustawiania tylko kolumn danych na konfigurację nazw kolumn hive
  • [SPARK-36213][SQL] Normalize PartitionSpec for Describe Table Command with PartitionSpec
  • [SPARK-36210][SQL] Zachowaj kolejność wstawiania kolumn w zestawie danych.withColumns
  • [SPARK-36079][SQL] Szacowanie filtru opartego na wartości null powinno zawsze znajdować się w zakresie [0, 1]
  • [SPARK-28266][SQL] convertToLogicalRelation nie powinna interpretować path właściwości podczas odczytywania tabel programu Hive

Aktualizacje konserwacyjne

Zobacz Aktualizacje konserwacji środowiska Databricks Runtime 9.1 LTS.

Środowisko systemu

  • System operacyjny: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.10
  • Python: 3.8.10
  • R: 4.1.1
  • Delta Lake: 1.0.0

Zainstalowane biblioteki języka Python

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
Antergos Linux 2015.10 (rolling ISO) appdirs 1.4.4 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 certifi 2020.12.5
chardet 4.0.0 Cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 Dekorator 5.0.6 distlib 0.3.2
dystrybucja informacji 0.23ubuntu1 aspekty — omówienie 1.0.0 filelock 3.0.12
Idna 2.10 ipykernel 5.3.4 Ipython 7.22.0
ipython-genutils 0.2.0 Jedi 0.17.2 jmespath 0.10.0
joblib 1.0.1 jupyter-client 6.1.12 jupyter-core 4.7.1
kiwisolver 1.3.1 Koale 1.8.1 matplotlib 3.4.2
Numpy 1.19.2 Pandas 1.2.4 parso 0.7.0
Patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
Poduszkę 8.2.0 Pip 21.0.1 kreślenie 5.1.0
prompt-toolkit 3.0.17 protobuf 3.17.2 psycopg2 2.8.5
ptyprocess 0.7.0 pyarrow 4.0.0 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 python-apt 2.0.0+ubuntu0.20.4.5
python-dateutil 2.8.1 pytz 2020.5 pyzmq 20.0.0
żądania 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
setuptools 52.0.0 Sześć 1.15.0 ssh-import-id 5.10
statsmodels 0.12.2 Wytrzymałość 8.0.1 threadpoolctl 2.1.0
Tornado 6.1 traitlety 5.0.5 nienadzorowane uaktualnienia 0.1
urllib3 1.25.11 Virtualenv 20.4.1 wcwidth 0.2.5
Koła 0.36.2

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki usługi Microsoft CRAN w wersji 2021-09-08.

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
askpass 1.1 assertthat 0.2.1 Backports 1.2.1
base 4.1.1 base64enc 0.1-3 bitowe 4.0.4
bit64 4.0.5 blob 1.2.2 rozruch 1.3-28
Napar 1.0-6 Brio 1.1.2 Miotła 0.7.9
bslib 0.3.0 cachem 1.0.6 obiekt wywołujący 3.7.0
caret 6.0-88 cellranger 1.1.0 chron 2.3-56
class 7.3-19 cli 3.0.1 clipr 0.7.1
cluster 2.1.2 codetools 0.2-18 Kolorów 2.0-2
commonmark 1,7 — kompilator 4.1.1 config 0.3.1
cpp11 0.3.1 Pastel 1.4.1 poświadczenia 1.3.1
Curl 4.3.2 data.table 1.14.0 usługi Power BI 4.1.1
DBI 1.1.1 dbplyr 2.1.1 Desc 1.3.0
devtools 2.4.2 diffobj 0.3.4 Szyfrowane 0.6.27
dplyr 1.0.7 dtplyr 1.1.0 wielokropek 0.3.2
evaluate 0,14 fani 0.5.0 farver 2.1.0
szybka mapa 1.1.0 forcats 0.5.1 foreach 1.5.1
Zagranicznych 0.8-81 Forge 0.2.0 Fs 1.5.0
Przyszłości 1.22.1 future.apply 1.8.1 Płukać 1.2.0
Generyczne 0.1.0 Gert 1.3.2 ggplot2 3.3.5
Gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-2
Globals 0.14.0 Kleju 1.4.2 googledrive 2.0.0
googlesheets4 1.0.0 Gower 0.2.2 grafika 4.1.1
grDevices 4.1.1 Siatki 4.1.1 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 Haven 2.4.3
wysoki 0,9 Hms 1.1.0 htmltools 0.5.2
htmlwidgets 1.5.3 httpuv 1.6.2 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 Identyfikatory 1.0.1
Ini 0.3.1 ipred 0.9-11 isoband 0.2.5
Iteratory 1.0.13 jquerylib 0.1.4 jsonlite 1.7.2
KernSmooth 2.23-20 knitr 1.33 Etykietowania 0.4.2
Później 1.3.0 Kraty 0.20-44 Lawy 1.6.10
cykl życia 1.0.0 nasłuchiwanie 0.8.0 lubridate 1.7.10
magrittr 2.0.1 Markdown 1.1 MASSACHUSETTS 7.3-54
Matryca 1.3-4 zapamiętywanie 2.0.0 metody 4.1.1
mgcv 1.8-36 Mime 0,11 Metryki modelu 1.2.2.2
modeler 0.1.8 munsell 0.5.0 nlme 3.1-152
nnet 7.3-16 numDeriv 2016.8-1.1 openssl 1.4.5
parallel 4.1.1 równolegle 1.27.0 Filar 1.6.2
pkgbuild 1.2.0 pkgconfig 2.0.3 pkgload 1.2.1
plogr 0.2.0 plyr 1.8.6 Pochwały 1.0.0
prettyunits 1.1.1 Proc 1.18.0 processx 3.5.2
prodlim 2019.11.13 Postęp 1.2.2 progressr 0.8.0
Obietnice 1.2.0.1 Proto 1.0.0 Ps 1.6.0
purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 rcmdcheck 1.3.3
RColorBrewer 1.1-2 Rcpp 1.0.7 readr 2.0.1
readxl 1.3.1 przepisy 0.1.16 Rewanżu 1.0.1
rewanż2 2.1.2 Piloty 2.4.0 reprex 2.0.1
zmień kształt2 1.4.4 rlang 0.4.11 rmarkdown 2.10
RODBC 1.3-18 roxygen2 7.1.1 rpart 4.1-15
rprojroot 2.0.2 Rserve 1.8-8 RSQLite 2.2.8
rstudioapi 0,13 rversions (rversions) 2.1.1 rvest 1.0.1
Sass 0.4.0 Skale 1.1.1 selektor 0.4-2
sessioninfo 1.1.1 Kształt 1.4.6 Błyszczące 1.6.0
sourcetools 0.1.7 sparklyr 1.7.1 SparkR 3.1.1
Przestrzennej 7.3-11 Splajnów 4.1.1 sqldf 0.4-11
KWADRAT 2021.1 Statystyki 4.1.1 stats4 4.1.1
stringi 1.7.4 stringr 1.4.0 Przetrwanie 3.2-13
sys 3.4 tcltk 4.1.1 NauczanieDemos 2.10
testthat 3.0.4 tibble 3.1.4 tidyr 1.1.3
tidyselect 1.1.1 tidyverse 1.3.1 timeDate 3043.102
tinytex 0.33 tools 4.1.1 tzdb 0.1.2
usethis 2.0.1 utf8 1.2.2 narzędzia 4.1.1
uuid 0.1-4 vctrs 0.3.8 viridisLite 0.4.0
Vroom 1.5.4 Waldo 0.3.0 wąs 0,4
withr 2.4.2 xfun 0.25 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 Yaml 2.2.1
Zip 2.2.0

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)

Identyfikator grupy Identyfikator artefaktu Wersja
Antlr Antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-klej 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-marketplacecommerceanalytics 1.11.655
com.amazonaws aws-java-sdk-marketplacemeteringservice 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-biblioteka-biblioteka 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics strumień 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-cieniowane 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Kolega 1.3.4
com.fasterxml.jackson.core adnotacje jackson 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.kofeina Kofeiny 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.crypto.tink Tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava Guawa 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity parsery jednowołciowości 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2,4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metryki —rdzeń 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics serwlety metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Kolektor 0.12.0
jakarta.adnotacja jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktywacja 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
Log4j apache-log4j-extras 1.2.17
Log4j Log4j 1.2.17
drzewa maven hive-2.3__hadoop-2.7 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pirolit 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant tat 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow format strzałki 2.0.0
org.apache.arrow strzałka-pamięć-rdzeń 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow wektor strzałki 2.0.0
org.apache.avro Avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1,20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3,10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator kurator-klient 2.7.1
org.apache.curator struktura kuratora 2.7.1
org.apache.curator przepisy kuratora 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop adnotacje hadoop 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive podkładki hive 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0 inkubacja
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy Bluszcz 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc podkładki orc-shim 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks9
org.apache.parquet parquet-common 1.10.1-databricks9
org.apache.parquet kodowanie parquet 1.10.1-databricks9
org.apache.parquet format parquet 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm7-cieniowany 4.15
org.apache.yetus adnotacje odbiorców 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.42.v20210604
org.eclipse.jetty jetty-kontynuacja 9.4.42.v20210604
org.eclipse.jetty jetty-http 9.4.42.v20210604
org.eclipse.jetty jetty-io 9.4.42.v20210604
org.eclipse.jetty jetty-jndi 9.4.42.v20210604
org.eclipse.jetty jetty-plus 9.4.42.v20210604
org.eclipse.jetty jetty-proxy 9.4.42.v20210604
org.eclipse.jetty jetty-security 9.4.42.v20210604
org.eclipse.jetty jetty-server 9.4.42.v20210604
org.eclipse.jetty jetty-servlet 9.4.42.v20210604
org.eclipse.jetty jetty-servlets 9.4.42.v20210604
org.eclipse.jetty jetty-util 9.4.42.v20210604
org.eclipse.jetty jetty-util-ajax 9.4.42.v20210604
org.eclipse.jetty jetty-webapp 9.4.42.v20210604
org.eclipse.jetty jetty-xml 9.4.42.v20210604
org.eclipse.jetty.websocket websocket-api 9.4.42.v20210604
org.eclipse.jetty.websocket websocket-client 9.4.42.v20210604
org.eclipse.jetty.websocket websocket —wspólne 9.4.42.v20210604
org.eclipse.jetty.websocket websocket-server 9.4.42.v20210604
org.eclipse.jetty.websocket websocket-servlet 9.4.42.v20210604
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 lokalizator hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator moduł sprawdzania poprawności hibernacji 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Podkładki 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interfejs testowy 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark.spark Nieużywane 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten trzydostępne dodatkowe 1.5.0
org.tukaani Xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
xmlenc xmlenc 0.52