Udostępnij za pośrednictwem

Databricks Runtime 7.4 (nieobsługiwane)

  • Artykuł

Usługa Databricks opublikowała ten obraz w listopadzie 2020 r.

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 7.4 obsługiwanym przez platformę Apache Spark 3.0.

Nowe funkcje

W tej sekcji:

Funkcje i ulepszenia usługi Delta Lake

Ta wersja zawiera następujące funkcje i ulepszenia usługi Delta Lake:

Nowy interfejs API umożliwia usłudze Delta Lake sprawdzenie, czy dane dodane do tabeli spełniają ograniczenia

Usługa Delta Lake obsługuje CHECK teraz ograniczenia. Po podaniu usługa Delta Lake automatycznie sprawdza, czy dane dodane do tabeli spełniają określone wyrażenie. Aby dodać CHECK ograniczenia, użyj ALTER TABLE ADD CONSTRAINTS polecenia . Aby uzyskać szczegółowe informacje, zobacz Ograniczenia dotyczące usługi Azure Databricks.

Nowy interfejs API umożliwia wycofanie tabeli delty do starszej wersji tabeli

Teraz możesz wycofać tabele delty do starszych wersji przy użyciu RESTORE polecenia :

SQL
RESTORE <table> TO VERSION AS OF n;
RESTORE <table> TO TIMESTAMP AS OF 'yyyy-MM-dd HH:mm:ss';
Python
from delta.tables import DeltaTable
DeltaTable.forPath(spark, path).restoreToVersion(n)
DeltaTable.forPath(spark, path).restoreToTimestamp('yyyy-MM-dd')
Scala
import io.delta.tables.DeltaTable
DeltaTable.forPath(spark, path).restoreToVersion(n)
DeltaTable.forPath(spark, path).restoreToTimestamp("yyyy-MM-dd")

RESTORE Tworzy nowe zatwierdzenie, które powoduje wycofanie wszystkich zmian wprowadzonych w tabeli od wersji, którą chcesz przywrócić. Wszystkie istniejące dane i metadane są przywracane, w tym schemat, ograniczenia, identyfikatory transakcji przesyłania strumieniowego, COPY INTO metadane i wersja protokołu tabeli. Aby uzyskać szczegółowe informacje, zobacz Przywracanie tabeli delty.

Nowa wersja początkowa umożliwia zwracanie tylko najnowszych zmian w źródle przesyłania strumieniowego usługi Delta Lake

Aby zwrócić tylko najnowsze zmiany, określ startingVersion wartość latest. Aby uzyskać szczegółowe informacje, zobacz Określanie pozycji początkowej.

Zwiększona stabilność OPTIMIZE

OPTIMIZE (bez żadnych predykatów partycji) można skalować do uruchamiania w tabelach z dziesiątkami milionów małych plików. Wcześniej sterownik platformy Apache Spark mógł zabraknąć pamięci i OPTIMIZE nie zostałby ukończony.OPTIMIZE teraz obsługuje bardzo duże tabele z dziesiątkami milionów plików.

Automatyczne ładowanie obsługuje teraz delegowanie zasobów powiadomień o plikach do administratorów

Nowy interfejs API języka Scala umożliwia administratorom konfigurowanie zasobów powiadomień dotyczących plików dla modułu ładującego automatycznego. Inżynierowie danych mogą teraz obsługiwać strumienie automatycznego modułu ładującego z mniejszą liczbą uprawnień, delegując początkową konfigurację zasobów do swoich administratorów. Zobacz Ręczne konfigurowanie zasobów powiadomień o plikach lub zarządzanie nimi.

Nowe USAGE uprawnienia zapewniają administratorom większą kontrolę nad uprawnieniami dostępu do danych

Aby wykonać akcję na obiekcie w bazie danych, należy teraz przyznać USAGE uprawnienie tej bazie danych oprócz uprawnień wymaganych do wykonania akcji. Uprawnienie USAGE jest przyznawane dla bazy danych lub wykazu. Wraz z wprowadzeniem USAGE uprawnień właściciel tabeli nie może już jednostronnie zdecydować się na udostępnienie go innemu użytkownikowi. Użytkownik musi również mieć USAGE uprawnienia do bazy danych zawierającej tabelę.

W obszarach roboczych z włączoną users kontrolą dostępu do tabel grupa automatycznie ma USAGE uprawnienia do katalogu głównego CATALOG.

Aby uzyskać szczegółowe informacje, zobacz UPRAWNIENIA UŻYCIA.

Funkcja DBFS FUSE jest teraz włączona dla klastrów z obsługą przekazywania

Teraz można odczytywać i zapisywać z systemu plików DBFS przy użyciu instalacji FUSE, /dbfs/ gdy używasz klastra o wysokiej współbieżności włączonego na potrzeby przekazywania poświadczeń. Regularne instalowanie jest obsługiwane. Instalacji, które wymagają poświadczeń przekazywania, nie są obsługiwane.

Ulepszenia

Język Spark SQL obsługuje IFF i CHARINDEX jako synonimy dla IF i POSITION

W środowisku Databricks Runtime IF() jest synonimem CASE WHEN <cond> THEN <expr1> ELSE <expr2> END

Środowisko Databricks Runtime obsługuje IFF() teraz jako synonim dla IF()

SELECT IFF(c1 = 1, 'Hello', 'World'), c1 FROM (VALUES (1), (2)) AS T(c1)
=> (Hello, 1)
(World, 2)

CHARINDEX to alternatywna nazwa POSITION funkcji. CHARINDEX znajduje pozycję pierwszego wystąpienia ciągu w innym ciągu z opcjonalnym indeksem początkowym.

VALUES(CHARINDEX('he', 'hello from hell', 2))
=> 12

Domyślnie dla notesów języka Python włączono wiele danych wyjściowych na komórkę

Środowisko Databricks Runtime 7.1 wprowadziło obsługę wielu danych wyjściowych na komórkę w notesach języka Python (i komórkach języka Python w notesach innych niż Python), ale trzeba było włączyć tę funkcję dla notesu. Ta funkcja jest domyślnie włączona w środowisku Databricks Runtime 7.4. Zobacz Wyświetlanie wielu danych wyjściowych na komórkę.

Ulepszenia autouzupełniania notesów języka Python

Autouzupełnianie dla języka Python zawiera dodatkowe informacje o typie generowane na podstawie statycznej analizy kodu przy użyciu biblioteki Jedi. Możesz nacisnąć klawisz Tab, aby wyświetlić listę opcji.

autocomplete-demo

Ulepszono display wektory spark ML w wersji zapoznawczej ramki danych platformy Spark

Format display zawiera teraz etykiety dla typu wektorów (rozrzednionych lub gęstych), długości, indeksów (dla wektorów rozrzednionych) i wartości.

Inne poprawki

  • Rozwiązano problem z picklingiem w collections.namedtuple notesach.
  • Rozwiązano problem z picklingiem z interakcyjnymi zdefiniowanymi klasami i metodami.
  • Usunięto usterkę powodującą niepowodzenie wywołań mlflow.start_run() w przypadku przekazywania lub klastrów z włączoną kontrolą dostępu do tabeli.

Uaktualnienia biblioteki

  • Uaktualnione biblioteki języka Python:
    • Narzędzie jedi zostało uaktualnione z wersji 0.14.1 do 0.17.2.
    • Program koalas został uaktualniony z wersji 1.2.0 do wersji 1.3.0.
    • Parso uaktualniono z wersji 0.5.2 do 0.7.0.
  • Uaktualniono kilka zainstalowanych bibliotek języka R. Zobacz Zainstalowane biblioteki języka R.

Apache Spark

Środowisko Databricks Runtime 7.4 zawiera platformę Apache Spark 3.0.1. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 7.3 LTS (nieobsługiwane), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

  • [SPARK-33170] [SQL] Dodawanie konfiguracji SQL w celu kontrolowania zachowania szybkiej awarii w pliku FileFormatWriter
  • [SPARK-33136] [SQL] Naprawiono błędnie zamieniony parametr w V2WriteCommand.outputResolved
  • [SPARK-33134] [SQL] Zwracanie częściowych wyników tylko dla głównych obiektów JSON
  • [SPARK-33038] [SQL] Połącz początkowe i bieżące plany AQE...
  • [SPARK-33118] [SQL] TWORZENIE TABELI TYMCZASOWEJ kończy się niepowodzeniem z lokalizacją
  • [SPARK-33101] [ML] Rozpropaguj konfigurację usługi Hadoop w formacie LibSVM z opcji DS do bazowego systemu plików HDFS
  • [SPARK-33035] [SQL] Aktualizacje przestarzałe wpisy mapowania atrybutów w poleceniu QueryPlan#transformUpWithNewOutput
  • [SPARK-33091] [SQL] Unikaj używania mapy zamiast foreach, aby uniknąć potencjalnego efektu ubocznego u wywołujących orcUtils.readCatalystSchema
  • [SPARK-33073] [PYTHON] Ulepszanie obsługi błędów w przypadku błędów konwersji biblioteki Pandas na strzałkę
  • [SPARK-33043] [ML] Obsługa obliczeń heurystycznych spark.driver.maxResultSize=0 w obliczeniach heurystycznych programu RowMatrix
  • [SPARK-29358] [SQL] Wprowadź wartość unionByName opcjonalnie wypełnij brakujące kolumny z wartościami null
  • [SPARK-32996] [WEB-UI] Obsługa pustych funkcji Wykonawczej w funkcji ExecutorMetricsJsonSerializer
  • [SPARK-32585] [SQL] Obsługa wyliczenia scala w języku Scala Emocje ion
  • [SPARK-33019] [CORE] Użyj polecenia spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version=1 domyślnie
  • [SPARK-33018] [SQL] Rozwiązywanie problemu ze statystykami szacowania, jeśli element podrzędny ma 0 bajtów
  • [SPARK-32901] [CORE] Nie przydzielaj pamięci podczas rozlania elementu UnsafeExternalSorter
  • [SPARK-33015] [SQL] Użyj parametru millisToDays() w regule ComputeCurrentTime
  • [SPARK-33015] [SQL] Obliczanie bieżącej daty tylko raz
  • [SPARK-32999] [SQL] Użyj polecenia Utils.getSimpleName, aby uniknąć naciśnięcia źle sformułowanej nazwy klasy w węźle TreeNode
  • [SPARK-32659] [SQL] Tablica emisji zamiast ustawiać w inSubqueryExec
  • [SPARK-32718] [SQL] Usuwanie niepotrzebnych słów kluczowych dla jednostek interwału
  • [SPARK-32886] [WEBUI] poprawka "niezdefiniowanego" linku w widoku osi czasu zdarzeń
  • [SPARK-32898] [CORE] Naprawianie nieprawidłowej funkcji wykonawczejRunTime, gdy zadanie zostało zabite przed rozpoczęciem rzeczywistym
  • [SPARK-32635] [SQL] Dodawanie nowego przypadku testowego w module katalizatora
  • [SPARK-32930] [CORE] Zastąp przestarzałe metody isFile/isDirectory
  • [SPARK-32906] [SQL] Nazwy pól struktury nie powinny zmieniać się po normalizacji zmiennoprzecinkowych
  • [SPARK-24994] [SQL] Dodawanie optymalizatora UnwrapCastInBinaryComparison w celu uproszczenia literału całkowitego
  • [SPARK-32635] [SQL] Naprawianie propagacji składanej
  • [SPARK-32738] [CORE] Jeśli wystąpi błąd krytyczny, należy zmniejszyć liczbę aktywnych wątków Inbox.process
  • [SPARK-32900] [CORE] Zezwalaj na rozlanie elementu UnsafeExternalSorter w przypadku wystąpienia wartości null
  • [SPARK-32897] [PYTHON] Nie pokazuj ostrzeżenia o wycofaniu w witrynie SparkSession.builder.getOrCreate
  • [SPARK-32715] [CORE] Naprawianie przecieku pamięci, gdy nie można przechowywać fragmentów emisji
  • [SPARK-32715] [CORE] Naprawianie przecieku pamięci, gdy nie można przechowywać fragmentów emisji
  • [SPARK-32872] [CORE] Zapobiegaj przekroczeniu progu wzrostu przez element BytesToBytesMap w MAX_CAPACITY
  • [SPARK-32876] [SQL] Zmień domyślne wersje rezerwowe na 3.0.1 i 2.4.7 w programie HiveExternalCatalogVersionsSuite
  • [SPARK-32840] [SQL] Nieprawidłowa wartość interwału może być po prostu klejem z jednostką
  • [SPARK-32819] [SQL] ignoreNullability parametr powinien być skuteczny rekursywnie
  • [SPARK-32832] [SS] Użyj opcji CaseInsensitiveMap dla opcji DataStreamReader/Writer
  • [SPARK-32794] [SS] Naprawiono rzadki błąd przypadku narożnego w a aparatze mikrosadowym z niektórymi zapytaniami stanowymi + brak partii danych i źródłami V1
  • [SPARK-32813] [SQL] Pobierz domyślną konfigurację czytnika ParquetSource wektoryzowanego, jeśli nie ma aktywnej platformy SparkSession
  • [SPARK-32823] [INTERNETOWY interfejs użytkownika] Naprawianie głównego raportowania zasobów interfejsu użytkownika
  • [SPARK-32824] [CORE] Popraw komunikat o błędzie, gdy użytkownik zapomni o wartości .amount w konfiguracji zasobu
  • [SPARK-32614] [SQL] Nie stosuj przetwarzania komentarzy, jeśli "komentarz" nie jest ustawiony dla pliku CSV
  • [SPARK-32638] [SQL] Poprawia odwołania podczas dodawania aliasów w WidenSetOperationTypes
  • [SPARK-32810] [SQL] Źródła danych CSV/JSON powinny unikać ścieżek globbingu podczas wnioskowania schematu
  • [SPARK-32815] [ML] Naprawienie błędu ładowania źródła danych LibSVM w ścieżkach plików za pomocą metacharactrów glob
  • [SPARK-32753] [SQL] Kopiowanie tagów tylko do węzła bez tagów
  • [SPARK-32785] [SQL] Interwał z zwisanymi częściami nie powinien powodować wartości null
  • [SPARK-32764] [SQL] -0.0 powinna być równa 0,0
  • [SPARK-32810] [SQL] Źródła danych CSV/JSON powinny unikać ścieżek globbingu podczas wnioskowania schematu
  • [SPARK-32779] [SQL] Unikaj używania zsynchronizowanego interfejsu API sesjiCatalog w przepływie klienta. Prowadzi to do zakleszczenia
  • [SPARK-32791] [SQL] Nie partycjonowana metryka tabeli nie powinna mieć dynamicznego czasu oczyszczania partycji
  • [SPARK-32767] [SQL] Sprzężenie zasobnika powinno działać, jeśli element spark.sql.shuffle.partitions większy niż numer zasobnika
  • [SPARK-32788] [SQL] Skanowanie tabeli bez partycji nie powinno mieć filtru partycji
  • [SPARK-32776] [SS] Nie należy optymalizować limitu przesyłania strumieniowego przez propagację PropeEmptyRelation
  • [SPARK-32624] [SQL] Naprawianie regresji w kodziegenContext.addReferenceObj w zagnieżdżonych typach Scala
  • [SPARK-32659] [SQL] Ulepszanie testu oczyszczania DPP dla typu niepodzielnego
  • [SPARK-31511] [SQL] Zabezpieczanie wątków przez iteratory BytesToBytesMap
  • [SPARK-32693] [SQL] Porównaj dwie ramki danych z tym samym schematem z wyjątkiem właściwości dopuszczanej do wartości null
  • [SPARK-28612] [SQL] Poprawny dokument metody DataFrameWriterV2.replace()

Aktualizacje konserwacyjne

Zobacz Aktualizacje konserwacji środowiska Databricks Runtime 7.4.

Środowisko systemu

  • System operacyjny: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.48.0.53-CA-linux64 (kompilacja 1.8.0_265-b11)
  • Scala: 2.12.10
  • Python: 3.7.5
  • R: R w wersji 3.6.3 (2020-02-29)
  • Delta Lake 0.7.0

Zainstalowane biblioteki języka Python

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
asn1crypto 1.3.0 backcall 0.1.0 boto3 1.12.0
botocore 1.15.0 certifi 2020.6.20 cffi 1.14.0
chardet 3.0.4 Kryptografii 2.8 Cycler 0.10.0
Cython 0.29.15 Dekorator 4.4.1 docutils 0.15.2
punkty wejścia 0.3 Idna 2.8 ipykernel 5.1.4
Ipython 7.12.0 ipython-genutils 0.2.0 Jedi 0.17.2
jmespath 0.10.0 joblib 0.14.1 jupyter-client 5.3.4
jupyter-core 4.6.1 kiwisolver 1.1.0 Koale 1.3.0
matplotlib 3.1.3 Numpy 1.18.1 Pandas 1.0.1
parso 0.7.0 Patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Pip 20.0.2 prompt-toolkit 3.0.3
psycopg2 2.8.4 ptyprocess 0.6.0 pyarrow 1.0.1
pycparser 2.19 Pygments 2.5.2 PyGObject 3.26.1
pyOpenSSL 19.1.0 pyparsing 2.4.6 PySocks 1.7.1
python-apt 1.6.5+ubuntu0.3 python-dateutil 2.8.1 pytz 2019.3
pyzmq 18.1.1 żądania 2.22.0 s3transfer 0.3.3
scikit-learn 0.22.1 scipy 1.4.1 seaborn 0.10.0
setuptools 45.2.0 Sześć 1.14.0 ssh-import-id 5.7
statsmodels 0.11.0 Tornado 6.0.3 traitlety 4.3.3
nienadzorowane uaktualnienia 0.1 urllib3 1.25.8 Virtualenv 16.7.10
wcwidth 0.1.8 Koła 0.34.2

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki CRAN firmy Microsoft w wersji XXXX-XX-XX.

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
askpass 1.1 assertthat 0.2.1 Backports 1.1.8
base 3.6.3 base64enc 0.1-3 BH 1.72.0-3
bitowe 1.1-15.2 bit64 0.9-7 blob 1.2.1
rozruch 1.3-25 Napar 1.0-6 Miotła 0.7.0
obiekt wywołujący 3.4.3 caret 6.0-86 cellranger 1.1.0
chron 2.3-55 class 7.3-17 cli 2.0.2
clipr 0.7.0 cluster 2.1.0 codetools 0.2-16
Kolorów 1.4-1 commonmark 1,7 — kompilator 3.6.3
config 0.3 covr 3.5.0 Pastel 1.3.4
Crosstalk 1.1.0.1 Curl 4.3 data.table 1.12.8
usługi Power BI 3.6.3 DBI 1.1.0 dbplyr 1.4.4
Desc 1.2.0 devtools 2.3.0 Szyfrowane 0.6.25
dplyr 0.8.5 DT 0,14 wielokropek 0.3.1
evaluate 0,14 fani 0.4.1 farver 2.0.3
szybka mapa 1.0.1 forcats 0.5.0 foreach 1.5.0
Zagranicznych 0.8-76 Forge 0.2.0 Fs 1.4.2
Generyczne 0.0.2 ggplot2 3.3.2 Gh 1.1.0
git2r 0.27.1 glmnet 3.0-2 Globals 0.12.5
Kleju 1.4.1 Gower 0.2.2 grafika 3.6.3
grDevices 3.6.3 Siatki 3.6.3 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 Haven 2.3.1
wysoki 0,8 Hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.1 httpuv 1.5.4 httr 1.4.1
hwriter 1.3.2 hwriterPlus 1.0-3 Ini 0.3.1
ipred 0.9-9 isoband 0.2.2 Iteratory 1.0.12
jsonlite 1.7.0 KernSmooth 2.23-17 knitr 1,29
Etykietowania 0.3 Później 1.1.0.1 Kraty 0.20-41
Lawy 1.6.7 opóźnienie 0.2.2 cykl życia 0.2.0
lubridate 1.7.9 magrittr 1.5 Markdown 1.1
MASSACHUSETTS 7.3-53 Matryca 1.2-18 zapamiętywanie 1.1.0
metody 3.6.3 mgcv 1.8-33 Mime 0,9
Metryki modelu 1.2.2.2 modeler 0.1.8 munsell 0.5.0
nlme 3.1-149 nnet 7.3-14 numDeriv 2016.8-1.1
openssl 1.4.2 parallel 3.6.3 Filar 1.4.6
pkgbuild 1.1.0 pkgconfig 2.0.3 pkgload 1.1.0
plogr 0.2.0 plyr 1.8.6 Pochwały 1.0.0
prettyunits 1.1.1 Proc 1.16.2 processx 3.4.3
prodlim 2019.11.13 Postęp 1.2.2 Obietnice 1.1.1
Proto 1.0.0 Ps 1.3.3 purrr 0.3.4
r2d3 0.2.3 R6 2.4.1 randomForest 4.6-14
rappdirs 0.3.1 rcmdcheck 1.3.3 RColorBrewer 1.1-2
Rcpp 1.0.5 readr 1.3.1 readxl 1.3.1
przepisy 0.1.13 Rewanżu 1.0.1 rewanż2 2.1.2
Piloty 2.1.1 reprex 0.3.0 zmień kształt2 1.4.4
rex 1.2.0 rjson 0.2.20 rlang 0.4.7
rmarkdown 2.3 RODBC 1.3-16 roxygen2 7.1.1
rpart 4.1-15 rprojroot 1.3-2 Rserve 1.8-7
RSQLite 2.2.0 rstudioapi 0,11 rversions (rversions) 2.0.2
rvest 0.3.5 Skale 1.1.1 selektor 0.4-2
sessioninfo 1.1.1 Kształt 1.4.4 Błyszczące 1.5.0
sourcetools 0.1.7 sparklyr 1.3.1 SparkR 3.0.0
Przestrzennej 7.3-11 Splajnów 3.6.3 sqldf 0.4-11
KWADRAT 2020.3 Statystyki 3.6.3 stats4 3.6.3
stringi 1.4.6 stringr 1.4.0 Przetrwanie 3.2-7
sys 3.3 tcltk 3.6.3 NauczanieDemos 2.10
testthat 2.3.2 tibble 3.0.3 tidyr 1.1.0
tidyselect 1.1.0 tidyverse 1.3.0 timeDate 3043.102
tinytex 0,24 tools 3.6.3 usethis 1.6.1
utf8 1.1.4 narzędzia 3.6.3 uuid 0.1-4
vctrs 0.3.1 viridisLite 0.3.0 wąs 0,4
withr 2.2.0 xfun 0,15 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 Yaml 2.2.1

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)

Identyfikator grupy Identyfikator artefaktu Wersja
Antlr Antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-biblioteka-biblioteka 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics strumień 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-cieniowane 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Kolega 1.3.4
com.fasterxml.jackson.core adnotacje jackson 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.kofeina Kofeiny 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.4-3
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava Guawa 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity parsery jednowołciowości 2.9.0
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2,4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.dropwizard.metrics metryki —rdzeń 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics serwlety metrics-servlets 4.1.1
io.netty netty-all 4.1.47.Final
jakarta.adnotacja jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktywacja 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
Log4j apache-log4j-extras 1.2.17
Log4j Log4j 1.2.17
net.razorvine pirolit 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.8
net.snowflake spark-snowflake_2.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.7.1
org.antlr stringtemplate 3.2.1
org.apache.ant tat 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow format strzałki 0.15.1
org.apache.arrow strzałka w pamięci 0.15.1
org.apache.arrow wektor strzałki 0.15.1
org.apache.avro Avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.8.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.9
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator kurator-klient 2.7.1
org.apache.curator struktura kuratora 2.7.1
org.apache.curator przepisy kuratora 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop adnotacje hadoop 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive podkładki hive 2.3.7
org.apache.hive hive-storage-api 2.7.1
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0 inkubacja
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy Bluszcz 2.4.0
org.apache.orc orc-core 1.5.10
org.apache.orc orc-mapreduce 1.5.10
org.apache.orc podkładki orc-shim 1.5.10
org.apache.parquet parquet-column 1.10.1-databricks6
org.apache.parquet parquet-common 1.10.1-databricks6
org.apache.parquet kodowanie parquet 1.10.1-databricks6
org.apache.parquet format parquet 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks6
org.apache.parquet parquet-jackson 1.10.1-databricks6
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity prędkość 1.5
org.apache.xbean xbean-asm7-cieniowany 4.15
org.apache.yetus adnotacje odbiorców 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.18.v20190429
org.eclipse.jetty jetty-kontynuacja 9.4.18.v20190429
org.eclipse.jetty jetty-http 9.4.18.v20190429
org.eclipse.jetty jetty-io 9.4.18.v20190429
org.eclipse.jetty jetty-jndi 9.4.18.v20190429
org.eclipse.jetty jetty-plus 9.4.18.v20190429
org.eclipse.jetty jetty-proxy 9.4.18.v20190429
org.eclipse.jetty jetty-security 9.4.18.v20190429
org.eclipse.jetty jetty-server 9.4.18.v20190429
org.eclipse.jetty jetty-servlet 9.4.18.v20190429
org.eclipse.jetty jetty-servlets 9.4.18.v20190429
org.eclipse.jetty jetty-util 9.4.18.v20190429
org.eclipse.jetty jetty-webapp 9.4.18.v20190429
org.eclipse.jetty jetty-xml 9.4.18.v20190429
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 lokalizator hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator moduł sprawdzania poprawności hibernacji 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.6.6
org.json4s json4s-core_2.12 3.6.6
org.json4s json4s-jackson_2.12 3.6.6
org.json4s json4s-scalap_2.12 3.6.6
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.7.45
org.roaringbitmap Podkładki 0.7.45
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interfejs testowy 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark.spark Nieużywane 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten trzydostępne dodatkowe 1.5.0
org.tukaani Xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.5
org.yaml snakeyaml 1.24
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
xmlenc xmlenc 0.52