Databricks Runtime 8.3 (nieobsługiwane)
Poniższe informacje o wersji zawierają informacje o środowiskach Databricks Runtime 8.3 i Databricks Runtime 8.3 Photon obsługiwanych przez platformę Apache Spark 3.1.1. Usługa Databricks opublikowała te obrazy w czerwcu 2021 roku. Photon jest w publicznej wersji zapoznawczej.
Nowe funkcje i ulepszenia
- Wygenerowane kolumny w tabelach delty (publiczna wersja zapoznawcza)
- Funkcje i ulepszenia automatycznego modułu ładującego
- Tworzenie tabel różnicowych przy użyciu nowych programowych interfejsów API (publiczna wersja zapoznawcza)
- Poprawne obliczanie rozmiarów tabel delty w języku SQL
ANALYZE - Szczegółowe metryki wydajności bazy danych RocksDB podczas korzystania z bazy danych RocksDBStateStore
- Automatyczne zoptymalizowane zapisy
- Włącz sprzężenia zasobnikowe, jeśli tylko jedna strona sprzężenia jest zasobnikowa
- Ulepszone zabezpieczenia podczas definiowania funkcji zdefiniowanych przez użytkownika platformy Spark (publiczna wersja zapoznawcza)
- Zmniejszona liczba żądań do rejestru schematów dla zapytań za pomocą polecenia
from_avro - Wiele wyników w języku R z listąResults (publiczna wersja zapoznawcza)
Wygenerowane kolumny w tabelach delty (publiczna wersja zapoznawcza)
Usługa Delta Lake obsługuje teraz wygenerowane kolumny, które są specjalnym typem kolumny, których wartości są generowane automatycznie na podstawie funkcji określonej przez użytkownika w innych kolumnach w tabeli delty. Większość wbudowanych funkcji SQL umożliwia generowanie wartości tych wygenerowanych kolumn. Na przykład możesz automatycznie wygenerować kolumnę daty (na potrzeby partycjonowania tabeli według daty) z kolumny znacznika czasu; wszystkie operacje zapisu w tabeli wymagają tylko określenia danych dla kolumny sygnatury czasowej. Tabele delty można tworzyć z wygenerowanymi kolumnami przy użyciu interfejsów API SQL, Scala, Java lub Python.
Aby uzyskać więcej informacji, zobacz Kolumny wygenerowane przez usługę Delta Lake.
Funkcje i ulepszenia automatycznego modułu ładującego
- Wnioskowanie schematu dla plików CSV w narzędziu do automatycznego ładowania
- Ulepszony czas uruchamiania strumieni automatycznego modułu ładującego
- Szybsze wyświetlanie listy katalogów w narzędziu do automatycznego ładowania
- Mniejsze obciążenie magazynu dla punktów kontrolnych automatycznego modułu ładującego
- Funkcja automatycznego ładowania zawiera ścieżkę pliku w uratowanych kolumnach danych, jeśli są dostępne
- Funkcja automatycznego ładowania obsługuje zmiany nazw plików w usłudze Azure Data Lake Storage Gen2 w trybie powiadamiania o plikach
Wnioskowanie schematu dla plików CSV w narzędziu do automatycznego ładowania
Funkcja automatycznego ładowania obsługuje teraz wnioskowanie schematu i ewolucję w plikach CSV. Moduł automatycznego ładowania zapewnia następujące możliwości w oparciu o istniejący analizator CSV na platformie Apache Spark:
- Scalanie schematu: moduł ładujący automatycznie może pozyskiwać pliki CSV, które mają różne schematy (różne liczby kolumn, różne kolejność kolumn) między plikami.
- Uratowana kolumna danych: możesz użyć uratowanych kolumn danych, aby uratować nieoczekiwane dane, które mogą pojawić się w plikach CSV. Obejmuje to dane, których nie można przeanalizować w oczekiwanym typie danych, kolumnach, które mają inną wielkość liter lub wartości null w nagłówku lub dodatkowe kolumny, które nie były częścią oczekiwanego schematu.
Aby uzyskać szczegółowe informacje, zobacz Konfigurowanie wnioskowania schematu i ewolucji w module automatycznego ładowania.
Ulepszony czas uruchamiania strumieni automatycznego modułu ładującego
Strumienie automatycznego modułu ładującego wykonują teraz wstępne wypełnianie strumienia asynchronicznie podczas uruchamiania po raz pierwszy, co prowadzi do znacznie szybszego uruchamiania strumienia. Może to umożliwić szybkie iterowanie kodu przy użyciu danych produkcyjnych, szczególnie w przypadku konieczności pozyskiwania danych z katalogów zawierających miliony lub miliardy plików.
Ponadto czas uruchamiania strumieni, które są uruchamiane ponownie, są również ulepszone, ponieważ zrównaliśmy pobieranie i przekazywanie plików RocksDB, które automatycznie ładujący wykorzystuje do zapewnienia dokładnie raz semantyki.
Szybsze wyświetlanie listy katalogów w narzędziu do automatycznego ładowania
Znacznie poprawiliśmy wydajność wyświetlania listy katalogów w narzędziu automatycznego ładowania. Efektem ubocznym tej poprawy wydajności jest to, że strumień może emitować więcej żądań listy do systemu magazynu, gdy nie ma nowych danych do przetworzenia, co może prowadzić do wzrostu opłat za żądanie listy. Ogólnie rzecz biorąc, usługa Databricks zaleca ustawienie rozsądnego interwału wyzwalacza dla potoków przesyłania strumieniowego w środowisku produkcyjnym. Zobacz Zagadnienia dotyczące produkcji przesyłania strumieniowego ze strukturą.
Mniejsze obciążenie magazynu dla punktów kontrolnych automatycznego modułu ładującego
Strumienie automatycznego modułu ładującego automatycznie czyszczą nieaktualne pliki w katalogu punktu kontrolnego asynchronicznie, aby zachować rozmiar katalogu punktu kontrolnego przed wzrostem na czas nieokreślony i zmniejszyć koszty magazynowania.
Funkcja automatycznego ładowania zawiera ścieżkę pliku w uratowanych kolumnach danych, jeśli są dostępne
Uratowana kolumna danych automatycznie udostępnia ścieżkę pliku uratowanych danych, jeśli ma zastosowanie w kolumnie o nazwie _file_ path. Może to pomóc w śledzeniu głównej przyczyny problemów z jakością danych. Kolumna nie jest uwzględniana, jeśli schemat danych zawiera kolumnę o nazwie _file_path. W razie potrzeby możesz użyć konfiguracji spark.databricks.sql.rescuedDataColumn.filePath.name SQL, aby zmienić nazwę kolumny.
Funkcja automatycznego ładowania obsługuje zmiany nazw plików w usłudze Azure Data Lake Storage Gen2 w trybie powiadamiania o plikach
Funkcja automatycznego ładowania obsługuje teraz zdarzenia BlobRenamed dla usługi Azure Data Lake Storage Gen2 podczas uruchamiania w trybie powiadomień plików. Aby przetworzyć pliki przekazane do kontenera usługi Azure Data Lake Storage Gen2 za pomocą operacji zmiany nazwy z powiadomieniami o plikach, uruchom nowy strumień z automatycznym modułem ładujący przy użyciu środowiska Databricks Runtime 8.3. Aby upewnić się, że plik jest przetwarzany dokładnie raz, upewnij się, że katalog źródłowy, z którego jest zmieniany plik, nie jest obserwowany przez moduł automatycznego ładowania.
Tworzenie tabel różnicowych przy użyciu nowych programowych interfejsów API (publiczna wersja zapoznawcza)
Teraz można programowo tworzyć nowe tabele delty (przy użyciu języków Scala, Java i Python) bez używania interfejsów API ramki danych. Nowe DeltaTableBuilder interfejsy DeltaColumnBuilder API umożliwiają określenie wszystkich szczegółów tabeli, które można określić przy użyciu języka SQL CREATE TABLE.
Aby uzyskać więcej informacji, zobacz Tworzenie tabeli.
Poprawne obliczanie rozmiarów tabel delty w języku SQL ANALYZE
Istniejąca logika analizy niepoprawnie oblicza rozmiar tabeli dla tabel delty i aktualizuje wykaz o nieprawidłowym rozmiarze. Poprawka polega na pobraniu rozmiaru tabeli delty z dziennika delty.
Szczegółowe metryki wydajności bazy danych RocksDB podczas korzystania z bazy danych RocksDBStateStore
Jeśli skonfigurowano zapytanie przesyłania strumieniowego ze strukturą do używania bazy danych RocksDB jako magazynu stanów, możesz teraz uzyskać lepszy wgląd w wydajność bazy danych RocksDB z szczegółowymi metrykami na temat opóźnień pobierania/umieszczania, opóźnień kompaktowania, trafień pamięci podręcznej itd. Te metryki są dostępne za pośrednictwem StreamingQueryProgress interfejsów API i StreamingQueryListener do monitorowania zapytania przesyłania strumieniowego.
Aby uzyskać więcej informacji, zobacz Configure RocksDB state store on Azure Databricks (Konfigurowanie magazynu stanów bazy danych RocksDB w usłudze Azure Databricks).
Automatyczne zoptymalizowane zapisy
Zoptymalizowane zapisy w partycjonowanych tabelach delty są teraz automatycznie włączone na potrzeby aktualizacji i usuwania zapytań zawierających podzapytania.
Włącz sprzężenia zasobnikowe, jeśli tylko jedna strona sprzężenia jest zasobnikowa
Nowa konfiguracja spark.databricks.sql.minBucketsForBucketedJoin umożliwia sprzężenia zasobnikowego, jeśli tylko jedna strona sprzężenia jest zasobnikowana, a liczba zasobników nie jest mniejsza niż ta wartość konfiguracji. Domyślnie ta wartość konfiguracji jest taka sama jak domyślna liczba partycji mieszania (200).
Ulepszone zabezpieczenia podczas definiowania funkcji zdefiniowanych przez użytkownika platformy Spark (publiczna wersja zapoznawcza)
Funkcje current_user informacji o użytkowniku i is_member nie mogą być już zastępowane przez funkcje tymczasowe, w tym Python spark.udf.register lub SQL create or replace temp function.
Zmniejszona liczba żądań do rejestru schematów dla zapytań za pomocą polecenia from_avro
Zapytania z obsługą from_avro rejestru schematów nie generują już tak wielu żądań do usługi rejestru schematów, co pozwala zaoszczędzić koszty operacyjne.
Wiele wyników w języku R z listąResults (publiczna wersja zapoznawcza)
Notesy języka R usługi Databricks obsługują teraz wiele wyników w każdej komórce. Wcześniej tylko jeden wynik został renderowany dla każdej komórki notesu. Obecnie wyniki pojedynczej komórki w notesach języka R są wyświetlane w następującej kolejności:
- RShiny URL
- Wykreślić
- dane wyjściowe displayHTML
- Tabele
- stdout
Uaktualnienia biblioteki
- Uaktualniona biblioteka języka Python:
- Program koalas został uaktualniony z wersji 1.7.0 do wersji 1.8.0.
- Biblioteka pandas została uaktualniona z wersji 1.1.3 do wersji 1.1.5.
- s3transfer uaktualniony z wersji 0.3.4 do 0.3.6.
- Uaktualniona biblioteka języka R:
- Usługa SparkR została uaktualniona z wersji 3.1.1 do wersji 3.1.2.
- Uaktualniona biblioteka Języka Java:
- mariadb-java-client z wersji 2.1.2 do 2.2.5.
- parquet-column z 1.10.1-databricks6 do 1.10.1-databricks9
- parquet-common from 1.10.1-databricks6 to 1.10.1-databricks9
- kodowanie parquet z 1.10.1-databricks6 do 1.10.1-databricks9
- parquet-hadoop z wersji 1.10.1-databricks6 do 1.10.1-databricks9
- parquet-jackson z 1.10.1-databricks6 do 1.10.1-databricks9
Apache Spark
Środowisko Databricks Runtime 8.3 obejmuje platformę Apache Spark 3.1.1. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 8.2 (nieobsługiwane), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:
- [SPARK-34614] [SQL] Tryb ANSI: Rzutowanie ciągu do wartości logicznej powinno zgłaszać wyjątek podczas analizowania błędu
- [SPARK-34246] [KONTYNUACJA] Zmień definicję "findTightestCommonT...
- [SPARK-35213] [SQL] Zachowaj poprawną kolejność zagnieżdżonych struktur w operacjach w łańcuchu za pomocą operacjiField
- [SPARK-35096] [SQL] SchematPruning powinien być zgodny z konfiguracją spark.sql.caseSensitive
- [SPARK-35227] [BUILD] Aktualizowanie narzędzia rozpoznawania pakietów spark w usłudze SparkSubmit
- [SPARK-35224] [SQL] Naprawianie przepełnienia buforu w
MutableProjectionSuite - [SPARK-34245] [CORE] Upewnij się, że wzorzec usuwa funkcje wykonawcze, których nie można wysłać stanu zakończenia
- [SPARK-34856] [SQL] Tryb ANSI: zezwalaj na rzutowanie złożonych typów jako typu ciągu
- [SPARK-34946] [SQL] Blokuj nieobsługiwane skorelowane podzapytywanie skalarne w agregacji
- [SPARK-35014] Naprawiono wzorzec physicalAggregation, aby nie przepisać wyrażeń składanych
- [SPARK-34769] [SQL] AnsiTypeCoercion: zwróć najbliższy con...
Środowisko systemu
- System operacyjny: Ubuntu 18.04.5 LTS
- Java: Zulu 8.52.0.23-CA-linux64 (kompilacja 1.8.0_282-b08)
- Scala: 2.12.10
- Python: 3.8.8
- R: R w wersji 4.0.4 (2021-02-15)
- Usługa Delta Lake 1.0.0
Zainstalowane biblioteki języka Python
| Biblioteka | Wersja | Biblioteka | Wersja | Biblioteka | Wersja |
|---|---|---|---|---|---|
| appdirs | 1.4.4 | asn1crypto | 1.4.0 | backcall | 0.2.0 |
| boto3 | 1.16.7 | botocore | 1.19.7 | brotlipy | 0.7.0 |
| certifi | 2020.12.5 | cffi | 1.14.3 | chardet | 3.0.4 |
| Kryptografii | 3.1.1 | Cycler | 0.10.0 | Cython | 0.29.21 |
| Dekorator | 4.4.2 | distlib | 0.3.1 | docutils | 0.15.2 |
| punkty wejścia | 0.3 | aspekty — omówienie | 1.0.0 | filelock | 3.0.12 |
| Idna | 2.10 | ipykernel | 5.3.4 | Ipython | 7.19.0 |
| ipython-genutils | 0.2.0 | Jedi | 0.17.2 | jmespath | 0.10.0 |
| joblib | 0.17.0 | jupyter-client | 6.1.7 | jupyter-core | 4.6.3 |
| kiwisolver | 1.3.0 | Koale | 1.8.0 | matplotlib | 3.2.2 |
| Numpy | 1.19.2 | Pandas | 1.1.5 | parso | 0.7.0 |
| Patsy | 0.5.1 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| Pip | 20.2.4 | kreślenie | 4.14.3 | prompt-toolkit | 3.0.8 |
| protobuf | 3.17.0 | psycopg2 | 2.8.5 | ptyprocess | 0.6.0 |
| pyarrow | 1.0.1 | pycparser | 2,20 | Pygments | 2.7.2 |
| pyOpenSSL | 19.1.0 | pyparsing | 2.4.7 | PySocks | 1.7.1 |
| python-dateutil | 2.8.1 | pytz | 2020.5 | pyzmq | 19.0.2 |
| żądania | 2.24.0 | Ponawianie | 1.3.3 | s3transfer | 0.3.6 |
| scikit-learn | 0.23.2 | scipy | 1.5.2 | seaborn | 0.10.0 |
| setuptools | 50.3.1 | Sześć | 1.15.0 | statsmodels | 0.12.0 |
| threadpoolctl | 2.1.0 | Tornado | 6.0.4 | traitlety | 5.0.5 |
| urllib3 | 1.25.11 | Virtualenv | 20.2.1 | wcwidth | 0.2.5 |
| Koła | 0.35.1 |
Zainstalowane biblioteki języka R
Biblioteki języka R są instalowane z migawki usługi Microsoft CRAN w dniach 2020-11-02.
| Biblioteka | Wersja | Biblioteka | Wersja | Biblioteka | Wersja |
|---|---|---|---|---|---|
| askpass | 1.1 | assertthat | 0.2.1 | Backports | 1.2.1 |
| base | 4.0.4 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| bitowe | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.1 |
| rozruch | 1.3-27 | Napar | 1.0-6 | Brio | 1.1.0 |
| Miotła | 0.7.2 | obiekt wywołujący | 3.5.1 | caret | 6.0-86 |
| cellranger | 1.1.0 | chron | 2.3-56 | class | 7.3-18 |
| cli | 2.2.0 | clipr | 0.7.1 | cluster | 2.1.1 |
| codetools | 0.2-18 | Kolorów | 2.0-0 | commonmark | 1,7 |
| — kompilator | 4.0.4 | config | 0.3 | covr | 3.5.1 |
| cpp11 | 0.2.4 | Pastel | 1.3.4 | poświadczenia | 1.3.0 |
| Crosstalk | 1.1.0.1 | Curl | 4.3 | data.table | 1.13.4 |
| usługi Power BI | 4.0.4 | DBI | 1.1.0 | dbplyr | 2.0.0 |
| Desc | 1.2.0 | devtools | 2.3.2 | diffobj | 0.3.2 |
| Szyfrowane | 0.6.27 | dplyr | 1.0.2 | DT | 0.16 |
| wielokropek | 0.3.1 | evaluate | 0,14 | fani | 0.4.1 |
| farver | 2.0.3 | szybka mapa | 1.0.1 | forcats | 0.5.0 |
| foreach | 1.5.1 | Zagranicznych | 0.8-81 | Forge | 0.2.0 |
| Fs | 1.5.0 | Przyszłości | 1.21.0 | Generyczne | 0.1.0 |
| Gert | 1.0.2 | ggplot2 | 3.3.2 | Gh | 1.2.0 |
| gitcreds | 0.1.1 | glmnet | 4.0-2 | Globals | 0.14.0 |
| Kleju | 1.4.2 | Gower | 0.2.2 | grafika | 4.0.4 |
| grDevices | 4.0.4 | Siatki | 4.0.4 | gridExtra | 2.3 |
| gsubfn | 0,7 | gtable | 0.3.0 | Haven | 2.3.1 |
| wysoki | 0,8 | Hms | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets | 1.5.3 | httpuv | 1.5.4 | httr | 1.4.2 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | Ini | 0.3.1 |
| ipred | 0.9-9 | isoband | 0.2.3 | Iteratory | 1.0.13 |
| jsonlite | 1.7.2 | KernSmooth | 2.23-18 | knitr | 1,30 |
| Etykietowania | 0.4.2 | Później | 1.1.0.1 | Kraty | 0.20-41 |
| Lawy | 1.6.8.1 | opóźnienie | 0.2.2 | cykl życia | 0.2.0 |
| nasłuchiwanie | 0.8.0 | lubridate | 1.7.9.2 | magrittr | 2.0.1 |
| Markdown | 1.1 | MASSACHUSETTS | 7.3-53.1 | Macierz | 1.3-2 |
| zapamiętywanie | 1.1.0 | metody | 4.0.4 | mgcv | 1.8-33 |
| Mime | 0,9 | Metryki modelu | 1.2.2.2 | modeler | 0.1.8 |
| munsell | 0.5.0 | nlme | 3.1-152 | nnet | 7.3-15 |
| numDeriv | 2016.8-1.1 | openssl | 1.4.3 | parallel | 4.0.4 |
| równolegle | 1.22.0 | Filar | 1.4.7 | pkgbuild | 1.1.0 |
| pkgconfig | 2.0.3 | pkgload | 1.1.0 | plogr | 0.2.0 |
| plyr | 1.8.6 | Pochwały | 1.0.0 | prettyunits | 1.1.1 |
| Proc | 1.16.2 | processx | 3.4.5 | prodlim | 2019.11.13 |
| Postęp | 1.2.2 | Obietnice | 1.1.1 | Proto | 1.0.0 |
| Ps | 1.5.0 | purrr | 0.3.4 | r2d3 | 0.2.3 |
| R6 | 2.5.0 | randomForest | 4.6-14 | rappdirs | 0.3.1 |
| rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 | Rcpp | 1.0.5 |
| readr | 1.4.0 | readxl | 1.3.1 | przepisy | 0.1.15 |
| Rewanżu | 1.0.1 | rewanż2 | 2.1.2 | Piloty | 2.2.0 |
| reprex | 0.3.0 | zmień kształt2 | 1.4.4 | rex | 1.2.0 |
| rlang | 0.4.9 | rmarkdown | 2.6 | RODBC | 1.3-17 |
| roxygen2 | 7.1.1 | rpart | 4.1-15 | rprojroot | 2.0.2 |
| Rserve | 1.8-7 | RSQLite | 2.2.1 | rstudioapi | 0,13 |
| rversions (rversions) | 2.0.2 | rvest | 0.3.6 | Skale | 1.1.1 |
| selektor | 0.4-2 | sessioninfo | 1.1.1 | Kształt | 1.4.5 |
| Błyszczące | 1.5.0 | sourcetools | 0.1.7 | sparklyr | 1.5.2 |
| SparkR | 3.1.2 | Przestrzennej | 7.3-11 | Splajnów | 4.0.4 |
| sqldf | 0.4-11 | KWADRAT | 2020.5 | Statystyki | 4.0.4 |
| stats4 | 4.0.4 | stringi | 1.5.3 | stringr | 1.4.0 |
| Przetrwanie | 3.2-7 | sys | 3.4 | tcltk | 4.0.4 |
| NauczanieDemos | 2.10 | testthat | 3.0.0 | tibble | 3.0.4 |
| tidyr | 1.1.2 | tidyselect | 1.1.0 | tidyverse | 1.3.0 |
| timeDate | 3043.102 | tinytex | 0,28 | tools | 4.0.4 |
| usethis | 2.0.0 | utf8 | 1.1.4 | narzędzia | 4.0.4 |
| uuid | 0.1-4 | vctrs | 0.3.5 | viridisLite | 0.3.0 |
| Waldo | 0.2.3 | wąs | 0,4 | withr | 2.3.0 |
| xfun | 0.19 | xml2 | 1.3.2 | xopen | 1.0.0 |
| xtable | 1.8-4 | Yaml | 2.2.1 | Zip | 2.1.1 |
Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)
| Identyfikator grupy | Identyfikator artefaktu | Wersja |
|---|---|---|
| Antlr | Antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-biblioteka-biblioteka | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | strumień | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-cieniowane | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | Kolega | 1.3.4 |
| com.fasterxml.jackson.core | adnotacje jackson | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.kofeina | Kofeiny | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.8-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | Guawa | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | Profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | parsery jednowołciowości | 2.9.1 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2,4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| hive-2.3__hadoop-2.7 | jets3t-0.7 | liball_deps_2.12 |
| hive-2.3__hadoop-2.7 | zookeeper-3.4 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metryki —rdzeń | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | serwlety metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.51.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | Kolektor | 0.12.0 |
| jakarta.adnotacja | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | aktywacja | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| Log4j | apache-log4j-extras | 1.2.17 |
| Log4j | Log4j | 1.2.17 |
| drzewa maven | hive-2.3__hadoop-2.7 | liball_deps_2.12 |
| net.razorvine | pirolit | 4.30 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.3 |
| net.snowflake | spark-snowflake_2.12 | 2.9.0-spark_3.1 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8-1 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | tat | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | format strzałki | 2.0.0 |
| org.apache.arrow | strzałka-pamięć-rdzeń | 2.0.0 |
| org.apache.arrow | arrow-memory-netty | 2.0.0 |
| org.apache.arrow | wektor strzałki | 2.0.0 |
| org.apache.avro | Avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1,20 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3,10 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | kurator-klient | 2.7.1 |
| org.apache.curator | struktura kuratora | 2.7.1 |
| org.apache.curator | przepisy kuratora | 2.7.1 |
| org.apache.derby | Derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | adnotacje hadoop | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-common | 2.3.7 |
| org.apache.hive | hive-exec-core | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | hive-metastore | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | podkładki hive | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive | hive-vector-code-gen | 2.3.7 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0 inkubacja |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | Bluszcz | 2.4.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.5.12 |
| org.apache.orc | orc-mapreduce | 1.5.12 |
| org.apache.orc | podkładki orc-shim | 1.5.12 |
| org.apache.parquet | parquet-column | 1.10.1-databricks9 |
| org.apache.parquet | parquet-common | 1.10.1-databricks9 |
| org.apache.parquet | kodowanie parquet | 1.10.1-databricks9 |
| org.apache.parquet | format parquet | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks9 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks9 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.velocity | prędkość | 1.5 |
| org.apache.xbean | xbean-asm7-cieniowany | 4.15 |
| org.apache.yetus | adnotacje odbiorców | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-kontynuacja | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-http | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-io | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-jndi | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-plus | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-proxy | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-security | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-server | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlet | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlets | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-webapp | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-xml | 9.4.36.v20210114 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | lokalizator hk2 | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | jersey-common | 2.30 |
| org.glassfish.jersey.core | jersey-server | 2.30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | moduł sprawdzania poprawności hibernacji | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M5 |
| org.json4s | json4s-core_2.12 | 3.7.0-M5 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M5 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M5 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.2.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.9.0 |
| org.roaringbitmap | Podkładki | 0.9.0 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | interfejs testowy | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark.spark | Nieużywane | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.threeten | trzydostępne dodatkowe | 1.5.0 |
| org.tukaani | Xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.2 |
| org.yaml | snakeyaml | 1.24 |
| Oro | Oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| Stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |