Udostępnij za pośrednictwem

Databricks Runtime 11.0 (EoS)

Uwaga / Notatka

Obsługa tej wersji środowiska Databricks Runtime została zakończona. Aby zapoznać się z datą zakończenia wsparcia, zobacz End-of-support and end-of-life history (Koniec wsparcia technicznego i historia zakończenia życia). Wszystkie obsługiwane wersje środowiska Databricks Runtime można znaleźć w sekcji Notatki o wersjach i zgodności środowiska Databricks Runtime.

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 11.0 obsługiwanym przez platformę Apache Spark 3.3.0. Usługa Databricks wydała tę wersję w czerwcu 2022 r.

Nowe funkcje i ulepszenia

Nowa wersja platformy Apache Spark

Środowisko Databricks Runtime 11.0 i Databricks Runtime 11.0 Photon zawierają silnik Apache Spark 3.3.0. Aby uzyskać szczegółowe informacje, zobacz Apache Spark.

Python notesy używają teraz jądra IPython

W środowisku Databricks Runtime 11.0 lub nowszym Python notesy używają jądra IPython do wykonywania kodu Python. Zobacz IPython kernel.

Obsługa ipywidgets

Teraz możesz użyć funkcji ipywidgets, aby udostępnić notesy usługi Databricks Python. Zobacz ipywidgets.

Łącznik usługi Synapse zapisuje teraz dane Parquet w nowoczesnym trybie

Łącznik Azure Synapse zapisuje teraz dane Parquet w trybie nie starszym. Zachowuje format znacznika INT96 czasu podczas korzystania z PolyBase i COPY poleceń zarówno dla obciążeń wsadowych, jak i obciążeń strumieniowych.

Schemat HTTPS jest teraz wymuszany, gdy klient ABFS używa tokenu SAS

Gdy klient systemu plików obiektów blob Azure (ABFS) używa tokenu sygnatury dostępu współdzielonego (SAS), wymuszane jest stosowanie schematu HTTPS.

SQL: DESC jest teraz aliasem DESCRIBE

Teraz możesz użyć DESC jako aliasu dla DESCRIBE podczas opisywania zewnętrznych lokalizacji lub danych logowania do magazynu. Przykład:

-- Describe an external location.
DESC EXTERNAL LOCATION location_name;

-- Describe a storage credential.
DESC STORAGE CREDENTIAL credential_name;

SQL: Nowa funkcja current_version zwraca szczegóły wersji

Nowa current_version funkcja zwraca bieżącą wersję środowiska Databricks Runtime, jeśli jest dostępna, bieżącą wersję SQL usługi Databricks, jeśli jest dostępna, oraz inne powiązane szczegóły wersji. Ta nowa funkcja umożliwia wykonywanie zapytań o informacje dotyczące wersji. Zobacz current_version funkcję.

Porzucanie brakującego ograniczenia tabeli delty powoduje teraz wystąpienie błędu

Jeśli teraz spróbujesz usunąć ograniczenie tabeli delty według nazwy, a to ograniczenie nie istnieje, zostanie wyświetlony błąd. Aby uzyskać poprzednie zachowanie, które nie zgłasza błędu, jeśli ograniczenie nie istnieje, należy teraz użyć instrukcji IF EXISTS. Zobacz: ALTER TABLE.

SQL: Nowa klauzula EXCEPT w poleceniu SELECT wyklucza kolumny z wyboru

SELECT instrukcje obsługują teraz klauzulę EXCEPT, aby wykluczyć kolumny z wybierania. Na przykład SELECT * EXCEPT (x) FROM table zwraca wszystkie kolumny z tablewyjątkiem x. Kolumny zagnieżdżone są również dozwolone. Na przykład SELECT * EXCEPT (x.a) FROM table zwraca wszystkie tablekolumny, ale pomija pole a z struktury x.

Obsługa usuwania kolumn w tabelach delty (publiczna wersja zapoznawcza)

Możesz użyć ALTER TABLE <table-name> DROP COLUMN [IF EXISTS] <column-name> lub ALTER TABLE <table-name> DROP COLUMNS [IF EXISTS] (<column-name>, *), aby usunąć kolumnę lub listę kolumn odpowiednio z tabeli delty jako operację tylko dla metadanych. Kolumny są skutecznie "miękko usuwane", ponieważ nadal znajdują się w leżących u podstaw plikach Parquet, ale nie są już widoczne dla tabeli Delta.

Można użyć REORG TABLE <table-name> APPLY (PURGE), aby wyzwolić ponowne zapisywanie pliku w plikach, które zawierają wszelkie dane usunięte nietrwale, takie jak porzucone kolumny.

Możesz użyć VACUUM, aby usunąć usunięte pliki z magazynu fizycznego, w tym stare pliki zawierające porzucone kolumny i zostały przepisane przez REORG TABLE.

COPY INTO Ulepszenia

Teraz możesz utworzyć puste tabele zastępcze Delta, aby schemat został później wywnioskowany podczas polecenia COPY INTO.

CREATE TABLE IF NOT EXISTS my_table
[COMMENT <table-description>]
[TBLPROPERTIES (<table-properties>)];

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true');

Poprzednia instrukcja SQL jest idempotentna i można zaplanować jej uruchomienie w celu jednokrotnego pobrania danych do tabeli Delta.

Uwaga / Notatka

Pusta tabela delty nie nadaje się do użycia poza COPY INTO. Nie można używać INSERT INTO i MERGE INTO do zapisywania danych w tabelach Delta bez schematu. Po wstawieniu danych do tabeli przy użyciu COPY INTOmożna wykonywać zapytania dotyczące tabeli.

Jeśli nie można odczytać danych z powodu problemu z ich uszkodzeniem, możesz pominąć uszkodzone pliki, ustawiając ignoreCorruptFiles na true w FORMAT_OPTIONS.

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('ignoreCorruptFiles' = 'true')

Polecenie COPY INTO zwraca liczbę pominiętych plików z powodu uszkodzenia w kolumnie num_skipped_corrupt_files. Ta metryka jest również wyświetlana w kolumnie operationMetrics pod numSkippedCorruptFiles po uruchomieniu DESCRIBE HISTORY w tabeli Delta.

Uszkodzone pliki nie są śledzone przez COPY INTOprogram , więc można je ponownie załadować w kolejnym uruchomieniu, jeśli uszkodzenie zostanie naprawione. Możesz zobaczyć, które pliki są uszkodzone, uruchamiając polecenie COPY INTO w VALIDATE trybie.

CONVERT TO DELTA jest teraz obsługiwane w środowiskach, w których dostępny jest katalog Unity (publiczna wersja zapoznawcza)

W środowiskachUnity-Catalog z obsługą można teraz:

  • Przekonwertuj pliki Parquet w lokalizacjach zewnętrznych na usługę Delta Lake.
  • Konwertowanie tabel zewnętrznych Parquet na tabele Delta.

Zmiany zachowania

SQL: Funkcje lpad i rpad teraz obsługują sekwencje bajtów

Funkcje lpad i rpad zostały zaktualizowane w celu dodania obsługi sekwencji bajtów oprócz ciągów.

Formatowanie ciągu w format_string i printf nie jest już dozwolone %0$

Określenie formatu %0$ w funkcjach format_string i printf zgłasza teraz błąd domyślnie. Ta zmiana polega na zachowaniu oczekiwanego zachowania przy użyciu poprzednich wersji środowiska Databricks Runtime i typowych baz danych innych firm. Pierwszy argument powinien zawsze odwoływać się do %1$, gdy używasz indeksu argumentu, aby wskazać jego pozycję na liście argumentów.

Wartości null w plikach CSV są teraz zapisywane jako puste ciągi bez cudzysłów domyślnie

Wartości null w plikach CSV zostały wcześniej zapisane jako cytowane puste ciągi. W tej wersji wartości null w plikach CSV są domyślnie zapisywane jako puste ciągi bez cudzysłów. Aby powrócić do poprzedniego zachowania, ustaw opcję nullValue na "" dla operacji zapisu.

Właściwość tabeli external jest teraz zarezerwowana

Właściwość external jest teraz domyślnie zarezerwowaną właściwością tabeli. Wyjątki są teraz zgłaszane, gdy podczas używania external właściwości korzystasz z klauzul CREATE TABLE ... TBLPROPERTIES i ALTER TABLE ... SET TBLPROPERTIES.

Usługa Log4j została uaktualniona z wersji Log4j 1 do usługi Log4j 2

Program Log4j 1 jest uaktualniany do wersji Log4j 2. Starsze zależności wersji Log4j 1 są usuwane.

Jeśli zależysz od klas Log4j 1, które zostały wcześniej uwzględnione w środowisku Databricks Runtime, te klasy już nie istnieją. Powinieneś uaktualnić zależności do Log4j 2.

Jeśli masz niestandardowe wtyczki lub pliki konfiguracji, które zależą od usługi Log4j 2, mogą już nie działać z wersją log4j 2 w tej wersji. Aby uzyskać pomoc, skontaktuj się z zespołem ds. kont Azure Databricks.

Biblioteki zainstalowane z narzędzia Maven są teraz domyślnie rozpoznawane na platformie obliczeniowej.

Biblioteki Maven są teraz domyślnie dostępne na płaszczyźnie obliczeniowej podczas instalowania bibliotek w klastrze. Klaster musi mieć dostęp do usługi Maven Central. Alternatywnie możesz przywrócić poprzednie zachowanie, ustawiając właściwość konfiguracji platformy Spark:

spark.databricks.libraries.enableMavenResolution false

Poprawki błędów

  • Zgodność binarna dla LeafNode, UnaryNode i BinaryNode między Apache Spark a środowiskiem Databricks Runtime została ustabilizowana, a klasy są teraz zgodne z Apache Spark 3.3.0 lub nowszą wersją. Jeśli wystąpi następujący lub podobny komunikat podczas korzystania z pakietu innej firmy w środowisku Databricks Runtime, ponownie skompiluj pakiet za pomocą platformy Apache Spark 3.3.0 lub nowszej: Found interface org.apache.spark.sql.catalyst.plans.logical.UnaryNode, but class was expected.

Uaktualnienia biblioteki

  • Uaktualnione biblioteki Python:
    • platformdirs z wersji 2.5.1 do 2.5.2
    • protobuf z 3.20.0 do 3.20.1
  • Uaktualnione biblioteki języka R:
    • blob z 1.2.2 do 1.2.3
    • broom od wersji 0.7.12 do 0.8.0
    • wersja od 6.0-91 do 6.0-92
    • interfejs wiersza polecenia z wersji 3.2.0 do 3.3.0
    • dplyr z wersji 1.0.8 do 1.0.9
    • przyszłość z wersji 1.24.0 do 1.25.0
    • future.apply z wersji 1.8.1 do 1.9.0
    • gert z 1.5.0 do 1.6.0
    • ggplot2 z wersji 3.3.5 do 3.3.6
    • glmnet z 4.1-3 do 4.1-4
    • haven od 2.4.3 do 2.5.0
    • httr z 1.4.2 do 1.4.3
    • knitr z 1.38 do 1.39
    • magrittr z wersji 2.0.2 do 2.0.3
    • równolegle aktualizacja z wersji 1.30.0 do 1.31.1
    • ps od 1.6.0 do 1.7.0
    • RColorBrewer od 1.1-2 do 1.1-3
    • RcppEigen z 0.3.3.9.1 do 0.3.3.9.2
    • readxl z wersji 1.3.1 do 1.4.0
    • rmarkdown z wersji 2.13 do 2.14
    • rprojroot z wersji 2.0.2 do 2.0.3
    • RSQLite z wersji 2.2.11 do 2.2.13
    • skaluje z wersji 1.1.1 do 1.2.0
    • testthat z 3.1.2 do 3.1.4
    • tibble z 3.1.6 do 3.1.7
    • tinytex z wersji 0.37 do wersji 0.38
    • tzdb z 0.2.0 do 0.3.0
    • uuid z 1.0-4 do 1.1-0
    • vctrs z 0.3.8 do 0.4.1
  • Uaktualnione biblioteki Java:
    • com.fasterxml.jackson.core.jackson-annotations z wersji 2.13.0 do 2.13.3
    • com.fasterxml.jackson.core.jackson-core z wersji 2.13.0 do 2.13.3
    • com.fasterxml.jackson.core.jackson-databind z 2.13.0 do 2.13.3
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor od wersji 2.13.0 do wersji 2.13.3
    • com.fasterxml.jackson.datatype.jackson-datatype-joda z 2.13.0 do 2.13.3
    • com.fasterxml.jackson.module.jackson-module-paranamer od 2.13.0 do 2.13.3
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 z wersji 2.13.0 do 2.13.3
    • com.google.crypto.tink.tink z 1.6.0 do 1.6.1
    • com.ning.compress-lzf z 1.0.3 do 1.1
    • dev.ludovic.netlib.arpack od 2.2.0 do 2.2.1
    • dev.ludovic.netlib.blas z 2.2.0 do 2.2.1
    • dev.ludovic.netlib.lapack od 2.2.0 do 2.2.1
    • io.netty.netty-all z 4.1.73.Final do 4.1.74.Final
    • io.netty.netty-buffer z wersji 4.1.73.Final do 4.1.74.Final
    • io.netty.netty-codec z wersji 4.1.73.Final do 4.1.74.Final
    • io.netty.netty-common z 4.1.73.Final do 4.1.74.Final
    • io.netty.netty-handler z 4.1.73.Final do 4.1.74.Final
    • Aktualizacja io.netty.netty-resolver z wersji 4.1.73.Final do 4.1.74.Final
    • io.netty.netty-tcnative-classes z wersji 2.0.46.Final do wersji 2.0.48.Final
    • io.netty.netty-transport z wersji 4.1.73.Final do wersji 4.1.74.Final
    • io.netty.netty-transport-classes-epoll z 4.1.73.Final do 4.1.74.Final
    • io.netty.netty-transport-classes-kqueue z 4.1.73.Final na 4.1.74.Final
    • io.netty.netty-transport-native-epoll-linux-aarch_64 z wersji 4.1.73.Final do wersji 4.1.74.Final
    • io.netty.netty-transport-native-epoll-linux-x86_64 z wersji 4.1.73.Final do wersji 4.1.74.Final
    • io.netty.netty-transport-native-kqueue-osx-aarch_64 z 4.1.73.Final do 4.1.74.Final
    • Pakiet io.netty.netty-transport-native-kqueue-osx-x86_64 z wersji 4.1.73.Final do wersji 4.1.74.Final
    • io.netty.netty-transport-native-unix-common z 4.1.73.Final do 4.1.74.Final
    • joda-time.joda-time: od 2.10.12 do 2.10.13
    • org.apache.commons.commons-math3 z 3.4.1 do 3.6.1
    • org.apache.httpcomponents.httpcore z wersji 4.4.12 do 4.4.14
    • org.apache.orc.orc-core z wersji 1.7.3 na 1.7.4
    • org.apache.orc.orc-mapreduce z wersji 1.7.3 do wersji 1.7.4
    • org.apache.orc.orc-shims z wersji 1.7.3 do 1.7.4
    • org.eclipse.jetty.jetty-client od wersji 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.jetty-continuation z wersji 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.jetty-http od 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.jetty-io z wersji 9.4.43.v20210629 do 9.4.46.v2022031
    • org.eclipse.jetty.jetty-jndi z 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.jetty-plus z wersji 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.jetty-proxy z wersji 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.jetty-security od 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.jetty-server from 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.jetty-servlet z wersji 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.jetty-servlets od 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.jetty-util z wersji 9.4.43.v20210629 do 9.4.46.v2022031
    • org.eclipse.jetty.jetty-util-ajax from 9.4.43.v20210629 to 9.4.46.v2020331
    • org.eclipse.jetty.jetty-webapp z wersji 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.jetty-xml z 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-api z wersji 9.4.43.v20210629 do 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-client from 9.4.43.v20210629 to 9.4.46.v2020331
    • org.eclipse.jetty.websocket.websocket-common from 9.4.43.v20210629 to 9.4.46.v2020331
    • org.eclipse.jetty.websocket.websocket-server from 9.4.43.v20210629 to 9.4.46.v2020331
    • org.eclipse.jetty.websocket.websocket-servlet z 9.4.43.v20210629 do 9.4.46.v20220331
    • org.mariadb.jdbc.mariadb-java-client z wersji 2.2.5 do 2.7.4
    • org.postgresql.postgresql z 42.2.19 do 42.3.3.3
    • org.roaringbitmap.RoaringBitmap z wersji 0.9.23 na 0.9.25
    • org.roaringbitmap.shims od 0.9.23 do 0.9.25
    • org.rocksdb.rocksdbjni z 6.20.3 do 6.24.2
    • org.slf4j.jcl-over-slf4j z 1.7.32 do 1.7.36
    • org.slf4j.jul-to-slf4j z 1.7.32 do 1.7.36
    • org.slf4j.slf4j-api od 1.7.30 do 1.7.36

Apache Spark

Środowisko Databricks Runtime 11.0 obejmuje platformę Apache Spark 3.3.0.

W tej sekcji:

Spark SQL i Core

Tryb ANSI

  • Nowe jawne reguły składni rzutowania w trybie ANSI (SPARK-33354)
  • Funkcja Elt() powinna zwracać wartość null, jeśli indeks ma wartość null w trybie ANSI (SPARK-38304)
  • Opcjonalnie zwróć wynik null, jeśli element nie istnieje w tablicy/mapie (SPARK-37750)
  • Zezwalaj na rzutowanie między typem liczbowym a typem znacznika czasu (SPARK-37714)
  • Domyślnie wyłącz zastrzeżone słowa kluczowe ANSI (SPARK-37724)
  • Użyj reguł przypisania magazynu do rozpoznawania wywołania funkcji (SPARK-37438)
  • Dodaj konfigurację, aby zezwolić na rzutowanie między wartościami typu Datetime i Numeric (SPARK-37179)
  • Dodaj konfigurację, aby opcjonalnie wymusić zastrzeżone słowa kluczowe ANSI (SPARK-37133)
  • Nie zezwalaj na operacje binarne między literałem interwału i ciągu (SPARK-36508)

Ulepszenia funkcji

  • Obsługa typów INTERWAŁów ANSI SQL (SPARK-27790)
  • Ulepszenia komunikatów o błędach (SPARK-38781)
  • Obsługa metadanych dotyczących ukrytych plików w Spark SQL (SPARK-37273)
  • Obsługa nieprzetworzonego literału ciągu (SPARK-36371)
  • Klasa Pomocnika dla usługi Batch Dataset.observe() (SPARK-34806)
  • Obsługa określania początkowego numeru partycji dla ponownego równoważenia (SPARK-38410)
  • Wspieranie trybu kaskadowego dla API dropNamespace (SPARK-37929)
  • Zezwalaj na przypisywanie, magazynowanie i niejawne rzutowanie pomiędzy typami datetime (SPARK-37707)
  • Funkcja collect, first i last powinny być deterministycznymi funkcjami agregującymi (SPARK-32940)
  • Dodaj ExpressionBuilder dla funkcji ze złożonymi przeciążeniami (SPARK-37164)
  • Dodaj obsługę tablic do union według nazwy (SPARK-36546)
  • Dodaj df.withMetadata: cukier składniowy w celu zaktualizowania metadanych ramki danych (SPARK-36642)
  • Obsługa nieprzetworzonego literału ciągu (SPARK-36371)
  • Użyj funkcji CAST w analizowaniu dat/sygnatur czasowych ze wzorcem domyślnym (SPARK-36418)
  • Obsługa klasy wartości w schemacie zagnieżdżonym dla zestawu danych (SPARK-20384)
  • Dodano obsługę składni AS OF (SPARK-37219)
  • Dodaj REPEATABLE w TABLESAMPLE, aby określić ziarno (SPARK-37165)
  • Dodaj składnię ANSI set catalog xxx, aby zmienić bieżący katalog (SPARK-36841)
  • Obsługa ILIKE (WSZYSTKIE | DOWOLNA | NIEKTÓRE) — bez uwzględniania wielkości liter JAK (SPARK-36674, SPARK-36736, SPARK-36778)
  • Etap obsługi zapytania pokazuje statystyki czasu wykonania w sformatowanym trybie wyjaśnienia (SPARK-38322)
  • Dodaj metryki rozmiaru rozlania dla łączenia przez sortowanie i scalanie (SPARK-37726)
  • Aktualizowanie składni SQL SHOW FUNCTIONS (SPARK-37777)
  • Obsługa składni DROP COLUMN [IF EXISTS] (SPARK-38939)
  • Nowe wbudowane funkcje i ich rozszerzenia (SPARK-38783)
    • Znacznik czasu
    • Funkcje AES (SPARK-12567)
      • Dodawanie funkcji wbudowanych aes_encrypt i aes_decrypt (SPARK-12567)
      • Obsługa trybu GCM przez aes\_encrypt()/aes\_decrypt() (SPARK-37591)
      • Ustaw GCM jako tryb domyślny w aes\_encrypt()/aes\_decrypt() (SPARK-37666)
      • Dodaj argumenty mode i padding do aes\_encrypt()/aes\_decrypt() (SPARK-37586)
    • Funkcja agregacji ANSI (SPARK-37671)
    • Zbiory
    • Formatowanie
    • Ciąg/plik binarny
      • Dodawanie funkcji ciągu CONTAINS() (SPARK-37508)
      • Dodaj funkcje ciągów startswith() i endswith() (SPARK-37520)
      • Dodawanie funkcji lpad i rpad dla ciągów binarnych (SPARK-37047)
      • Obsługa funkcji split_part (SPARK-38063)
    • Dodawanie parametru skalowania do funkcji podłogowych i ceil (SPARK-37475)
    • Nowe funkcje SQL: try_subtract i try_multiply (SPARK-38164)
    • Implementuje funkcję agregacji histogram_numeric, która obsługuje agregację częściową (SPARK-16280)
    • Dodaj max_by/min_by do funkcji sql.functions (SPARK-36963)
    • Dodawanie nowych wbudowanych funkcji SQL: SEC i CSC (SPARK-36683)
    • array_intersect obsługuje zduplikowane wartości Double.NaN i Float.NaN (SPARK-36754)
    • Dodaj cot jako funkcje Scala i Python (SPARK-36660)

Ulepszenia wydajności

  • Generowanie kodu pełnoetapowego
    • Dodawanie modułu code-gen do sortowania agregacji bez kluczy grupowania (SPARK-37564)
    • Dodaj kod-gen do pełnego sprzężenia scalania sortowania zewnętrznego (SPARK-35352)
    • Dodaj generowanie kodu do pełnego zewnętrznego sprzężenia haszującego z mieszaniem (SPARK-32567)
    • Dodawanie generowania kodu dla sort merge join (SPARK-37316)
  • Wypychanie (filtry)
    • Wypychanie filtrów do części ponownej równoważenia (SPARK-37828)
    • Przesuwanie w dół filtru kolumn boolowskich (SPARK-36644)
    • Obniżenie limitu 1 dla prawostronnego półsprzężenia/antysprzężenia lewego przy pustym warunku sprzężenia (SPARK-37917)
    • Tłumaczenie bardziej standardowych funkcji agregujących na potrzeby wypychania (SPARK-37527)
    • Obsługa propagacji pustej relacji za pomocą agregacji/unii (SPARK-35442)
    • Filtrowanie środowiska uruchomieniowego na poziomie wiersza (SPARK-32268)
    • Obsługa lewego sprzężenia częściowego w filtrach środowiska uruchomieniowego na poziomie wiersza (SPARK-38565)
    • Obsługa optymalizacji predykatu i przycinania kolumn dla zduplikowanych CTE (SPARK-37670)
  • Wektoryzacja
    • Implementowanie obiektu ConstantColumnVector i poprawianie wydajności ukrytych metadanych pliku (SPARK-37896)
    • Włączanie wektoryzowanego odczytu dla vectorizedPlainValuesReader.readBooleans (SPARK-35867)
  • Łączenie/usuwanie/zastępowanie węzłów
    • Połącz związki, jeśli istnieje projekt między nimi (SPARK-37915)
    • Połącz w jeden rzut, jeśli możemy bezpiecznie rzutować dwa rzutowania (SPARK-37922)
    • Usuń sortowanie, jeśli jest elementem podrzędnym repartitionByExpression (SPARK-36703)
    • Usuwa sprzężenie zewnętrzne, gdy po stronie strumieniowej występuje tylko DISTINCT z aliasem (SPARK-37292)
    • Zamień hasz na sortowanie zbiorcze, jeśli element podrzędny jest już posortowany (SPARK-37455)
    • Zwijaj projekty tylko wtedy, gdy nie duplikujemy kosztownych wyrażeń (SPARK-36718)
    • Usuń nadmiarowe aliasy po RewritePredicateSubquery (SPARK-36280)
    • Scalanie niepowiązanych podzapytań skalarnych (SPARK-34079)
  • Partycjonowanie
    • Nie należy dodawać oczyszczania partycji dynamicznej, jeśli istnieje statyczne oczyszczanie partycji (SPARK-38148)
    • Ulepsz RebalancePartitions w regułach optymalizatora (SPARK-37904)
    • Dodawanie małego współczynnika partycji dla partycji ponownego równoważenia (SPARK-37357)
  • Dołączyć
    • Dostrajanie logiki obniżania sprzężenia skrótu emisji w funkcji DynamicJoinSelection (SPARK-37753)
    • Ignoruj zduplikowane klucze sprzężenia podczas kompilowania relacji sprzężenia skrótu SEMI/ANTI (SPARK-36794)
    • Obsługa zoptymalizowania niesymetrycznego łączenia, nawet jeśli wymaga to dodatkowego mieszania (SPARK-33832)
  • AQE
    • Obsługa eliminowania limitów w optymalizatorze AQE (SPARK-36424)
    • Optymalizowanie planu jednego wiersza w normalnych i optymalizatorach AQE (SPARK-38162)
  • Funkcja Aggregate.groupOnly obsługuje wyrażenia złożone (SPARK-38489)
  • Metoda arrayEquals z ByteArrayMethods powinna szybko pominąć sprawdzanie zgodności z platformą niewyrównaną (SPARK-37796)
  • Dodaj przycinanie wzorca drzewa w regule CTESubstitution (SPARK-37379)
  • Dodaj więcej uproszczeń operatorów (SPARK-36665)
  • Obsługa BooleanType w unwrapCastInBinaryComparison (SPARK-36607)
  • Porzucenie wszystkich wyrażeń po pierwszym wyrażeniu, które nie jest wartością null (SPARK-36359)
  • Dodać wizytatora planu logicznego do propagowania unikatowych atrybutów (SPARK-36194)

Ulepszenia wbudowanego łącznika

  • Ogólne
    • Łagodna serializacja daty/godziny ze źródła danych (SPARK-38437)
    • Traktuj lokalizację tabeli jako bezwzględną, gdy pierwsza litera ścieżki jest ukośnikiem w tabeli create/alter (SPARK-38236)
    • Usuwanie zer wiodących z pustej partycji typu liczb statycznych (SPARK-35561)
    • Wsparcie opcji ignoreCorruptFiles i ignoreMissingFiles w źródle danych (SPARK-38767)
    • Dodaj polecenie SHOW CATALOGS (SPARK-35973)
  • Parquet
    • Włącz dopasowywanie nazw kolumn w schemacie po identyfikatorach pól (SPARK-38094)
    • Usuń nazwę pola wyboru podczas odczytywania/zapisywania danych w Parquet (SPARK-27442)
    • Umożliwia wektoryzowane odczytywanie wartości logicznych z użyciem kodowania RLE w Parquet DataPage V2 (SPARK-37864)
    • Obsługa kodowania strony danych Parquet w wersji 2 (DELTA_BINARY_PACKED) dla ścieżki wektoryzowanej (SPARK-36879)
    • Ponowne tworzenie sygnatur czasowych w strefie czasowej sesji zapisane w metadanych Parquet/Avro (SPARK-37705)
    • Przesunięcie w dół grupy według kolumny partycji dla agregacji (SPARK-36646)
    • Przenoszenie agregacji (min/max/liczba) dla Parquet (SPARK-36645)
    • Parquet: włączanie pasujących kolumn schematu według identyfikatora pola (SPARK-38094)
    • Zmniejsz domyślny rozmiar strony o LONG_ARRAY_OFFSET, jeśli są używane G1GC i ON_HEAP (SPARK-37593)
    • Implementowanie wektoryzowanych kodowań DELTA_BYTE_ARRAY i DELTA_LENGTH_BYTE_ARRAY dla obsługi parquet v2 (SPARK-37974)
    • Obsługa typów złożonych dla czytnika wektoryzowanego Parquet (SPARK-34863)
  • ORC
    • Usuń nazwę pola wyboru podczas odczytywania/zapisywania istniejących danych w orc (SPARK-37965)
    • Wypychanie agregacji dla ORC (SPARK-34960)
    • Obsługa odczytywania i zapisywania interwałów ANSI ze źródeł danych ORC (SPARK-36931)
    • Obsługa nazw kolumn składających się wyłącznie z liczb w źródłach danych ORC (SPARK-36663)
  • JSON
    • Respect allowNonNumericNumbers podczas analizowania cytowanych wartości NaN i Infinity w czytniku JSON (SPARK-38060)
    • Domyślnie użyj funkcji CAST dla daty/godziny w formacie CSV/JSON (SPARK-36536)
    • Wyrównanie komunikatu o błędzie dla nieobsługiwanych typów kluczy w MapType w czytniku JSON (SPARK-35320)
  • CSV
    • Poprawka odwołująca się do uszkodzonej kolumny rekordu z pliku CSV (SPARK-38534)
    • Wartości null należy zapisać jako nic zamiast cytowanych pustych ciągów "" domyślnie (SPARK-37575)
  • JDBC
    • Dodaj instrukcję IMMEDIATE do implementacji obcinania dialektu DB2 (SPARK-30062)
  • Hive
    • Obsługa zapisywania tabeli zasobnikowej Hive (formaty plików Hive z hashem Hive) (SPARK-32712)
    • Używanie wyrażeń do filtrowania partycji Hive po stronie klienta (SPARK-35437)
    • Obsługa oczyszczania partycji dynamicznej dla programu HiveTableScanExec (SPARK-36876)
    • InsertIntoHiveDir powinien korzystać ze źródła danych, jeśli można go przekonwertować (SPARK-38215)
    • Obsługa zapisu wiadrowanej tabeli Hive (format Parquet/ORC z hashem Hive) (SPARK-32709)

Wycofanie węzła

  • FallbackStorage nie powinien podejmować próby rozpoznania dowolnej nazwy hosta "zdalnego" (SPARK-38062)
  • Funkcja ExecutorMonitor.onExecutorRemoved powinna traktować ExecutorDecommission jako zakończony (SPARK-38023)

Inne istotne zmiany

  • Dodaj precyzyjne blokady do modułu BlockInfoManager (SPARK-37356)
  • Obsługa mapowania typów zasobów GPU/FPGA platformy Spark na niestandardowy typ zasobu YARN (SPARK-37208)
  • Zgłoś dokładny rozmiar bloku mieszania, jeśli jest przechylony (SPARK-36967)
  • Obsługa rejestrowania Netty w warstwie sieciowej (SPARK-36719)

Przesyłanie strumieniowe ze strukturą

Główne funkcje

  • Wprowadzenie Trigger.AvailableNow do uruchamiania zapytań przesyłania strumieniowego, takich jak Trigger.Once w wielu porcjach (SPARK-36533)

Inne istotne zmiany

  • Użyj statefulOpClusteredDistribution dla operatorów stanowych z uwzględnieniem zgodności z poprzednimi wersjami (SPARK-38204)
  • Popraw limit czasu flatMapGroupsWithState w partii przy użyciu danych dla klucza (SPARK-38320)
  • Rozwiązano problem z poprawnością w połączeniu zewnętrznym strumień-strumień za pomocą dostawcy magazynu stanów RocksDB (SPARK-38684)
  • Support Trigger.AvailableNow w źródle danych platformy Kafka (SPARK-36649)
  • Optymalizowanie ścieżki zapisu u dostawcy magazynu stanów bazy danych RocksDB (SPARK-37224)
  • Wprowadź nowe źródło danych w celu zapewnienia spójnego zestawu wierszy na mikropartię (SPARK-37062)
  • Użyj HashClusteredDistribution dla operatorów stanowych przy uwzględnieniu zgodności z poprzednimi wersjami (SPARK-38204)

PySpark

API Pandas na platformie Apache Spark

Główne ulepszenia
  • Optymalizacja indeksu "sekwencji rozproszonej" jako domyślna (SPARK-36559, SPARK-36338)
    • Obsługa określania typu indeksu i nazwy w interfejsie API biblioteki pandas na platformie Spark (SPARK-36709)
    • Pokaż domyślny typ indeksu w planach SQL dla interfejsu API biblioteki Pandas na platformie Spark (SPARK-38654)
Główne funkcje
  • Zaimplementować natywną SparkSQL ps.merge_asof (SPARK-36813)
  • Obsługa TimedeltaIndex w API pandas na platformie Spark (SPARK-37525)
  • Obsługa klasy 'timedelta' w Pythonie (SPARK-37275, SPARK-37510)
  • Implementacja funkcji w CategoricalAccessor/CategoricalIndex (SPARK-36185)
  • Używa standardowego formatera ciągów Python dla interfejsu API SQL w interfejsie API biblioteki pandas na platformie Spark (SPARK-37436)
  • Obsługa podstawowych operacji dla serii/indeksu typu timedelta (SPARK-37510)
  • Obsługa ps.MultiIndex.dtypes (SPARK-36930)
  • Implementowanie pliku Index.map (SPARK-36469)
  • Zaimplementuj serię.xor i seria.rxor (SPARK-36653)
  • Implementowanie jednoargumentowego operatora invert całkowitego ps. Seria/indeks (SPARK-36003)
  • Implementacja DataFrame.cov (SPARK-36396)
  • Obsługa str i znacznika czasu dla (Seria|DataFrame).describe() (SPARK-37657)
  • Obsługa parametru lambda column (DataFrame.renameSPARK-38763)

Inne istotne zmiany

Zmiany przełomowe
  • Usuwanie odwołań do obsługi Python 3.6 w dokumentach i python/docs (SPARK-36977)
  • Usuń hack związany z namedtuple, zastępując wbudowaną funkcję pickle funkcją cloudpickle (SPARK-32079)
  • Bump minimalna wersja biblioteki pandas do wersji 1.0.5 (SPARK-37465)
  • Główne ulepszenia
    • Podaj profiler dla Python/Pandas UDF (SPARK-37443)
    • Używa standardowego formatera ciągów Python dla interfejsu API SQL w programie PySpark (SPARK-37516)
    • Uwidacznianie stanu i klasy błędów SQL w wyjątkach PySpark (SPARK-36953)
    • Spróbuj przechwycić błąd, gdy proces roboczy Python ulega awarii (SPARK-36062)
Główne funkcje
  • Zaimplementuj element DataFrame.mapInArrow w Python (SPARK-37228)
  • Używa standardowego formatera ciągów Python dla interfejsu API SQL w programie PySpark (SPARK-37516)
  • Dodaj df.withMetadata API Pyspark (SPARK-36642)
  • Obsługa typu timedelta języka Python (SPARK-37275)
  • Udostępnij tableExists w pyspark.sql.catalog (SPARK-36176)
  • Uwidaczniaj element databaseExists w katalogu pyspark.sql.catalog (SPARK-36207)
  • Ujawnianie funkcji functionExists w katalogu SQL pyspark (SPARK-36258)
  • Dodawanie elementu Dataframe.observation do programu PySpark (SPARK-36263)
  • Dodawanie interfejsu API max_by/min_by do programu PySpark (SPARK-36972)
  • Obsługa wnioskowania zagnieżdżonego słownika jako struktury podczas tworzenia ramki danych (SPARK-35929)
  • Dodaj interfejsy API bit/octet_length do języka Scala, Python i R (SPARK-36751)
  • Obsługa interfejsu API ILIKE w Python (SPARK-36882)
  • Dodaj metodę isEmpty dla API Python DataFrame (SPARK-37207)
  • Dodawanie obsługi dla wielu kolumn (SPARK-35173)
  • Dodawanie elementu SparkContext.addArchive w PySpark (SPARK-38278)
  • Umożliw wykonywalność reprezentacji typu SQL (SPARK-18621)
  • Wskazówki dotyczące typów wbudowanych dla fpm.py w języku Python/pyspark/mllib (SPARK-37396)
  • Implementacja parametru dropnaSeriesGroupBy.value_counts (SPARK-38837)

MLLIB

Główne funkcje

  • Dodaj parametr distanceMeasure do trainKMeansModel (SPARK-37118)
  • Uwidacznianie elementu LogisticsRegression.setInitialModel, na przykład KMeans et al do (SPARK-36481)
  • Obsługiwanie modelu CrossValidatorModel pozwala na uzyskanie odchylenia standardowego metryk dla każdej paramMap (SPARK-36425)

Główne ulepszenia

  • Optymalizacja niektórych treeAggregates w MLlib poprzez opóźnienie alokacji (SPARK-35848)
  • Przepisz _shared_params_code_gen.py, aby zawrzeć wbudowane podpowiedzi typu dla ml/param/shared.py (SPARK-37419)

Inne istotne zmiany

SparkR

  • Migrowanie dokumentów platformy SparkR do narzędzia pkgdown (SPARK-37474)
  • Uwidacznianie wyrażenia make_date w języku R (SPARK-37108)
  • Dodawanie interfejsu API max_by/min_by do usługi SparkR (SPARK-36976)
  • Obsługa interfejsu API ILIKE w języku R (SPARK-36899)
  • Dodawanie s i csc jako funkcji języka R (SPARK-36824)
  • Dodaj interfejsy API bit/octet_length do języka Scala, Python i R (SPARK-36751)
  • Dodaj funkcję cot w języku R (SPARK-36688)

interfejs użytkownika

  • Podsumowanie metryk spekulacyjnych na poziomie etapu (SPARK-36038)
  • Ujednolicony czas mieszania bloku odczytu w celu przetasowania czasu oczekiwania na pobieranie odczytu w programie StagePage (SPARK-37469)
  • Dodawanie zmodyfikowanych konfiguracji na potrzeby wykonywania sql w interfejsie użytkownika (SPARK-34735)
  • Spraw, aby ThriftServer rozpoznawał spark.sql.redaction.string.regex (SPARK-36400)
  • Załącz i uruchom obsługiwacz po uruchomieniu aplikacji w interfejsie użytkownika (SPARK-36237)
  • Dodaj czas trwania zatwierdzenia do węzła grafu zakładki SQL (SPARK-34399)
  • Obsługa zaplecza bazy danych RocksDB na serwerze historii platformy Spark (SPARK-37680)
  • Pokaż opcje API Pandas w Spark w interfejsie użytkownika (SPARK-38656)
  • Zmień nazwę "SQL" na "SQL/ DataFrame" na stronie interfejsu użytkownika SQL (SPARK-38657)

Build

Aktualizacje konserwacji

Zobacz Databricks Runtime 11.0.

Środowisko systemu

  • System operacyjny: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.1.3
  • Delta Lake: 1.2.1

Zainstalowane biblioteki Python

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
Antergos Linux 2015.10 (ISO w trybie ciągłym) argon2-cffi 20.1.0 generator asynchroniczny 1.10
attrs 21.2.0 Wezwanie zwrotne 0.2.0 backports.ustawienia-punktów-wejścia 1.1.1
wybielacz 4.0.0 boto3 1.21.18 botocore 1.24.18
certyfikat 2021.10.8 cffi 1.14.6 chardet 4.0.0
normalizator zestawu znaków 2.0.4 rowerzysta 0.10.0 Cython 0.29.24
dbus-python 1.2.16 debugpy 1.4.1 dekorator 5.1.0
defusedxml (biblioteka zabezpieczająca przetwarzanie XML) 0.7.1 distlib 0.3.4 informacje o dystrybucji 0.23ubuntu1
punkty wejścia 0,3 aspekty — omówienie 1.0.0 blokada plików 3.6.0
IDNA 3.2 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 Jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
jsonschema 3.2.0 jupyter-client 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 Widżety JupyterLab 1.0.0 kiwisolver 1.3.1
MarkupSafe 2.0.1 matplotlib 3.4.3 matplotlib-inline 0.1.2
Mistune 0.8.4 NBClient 0.5.3 nbconvert - narzędzie do konwersji plików Jupyter Notebook 6.1.0
nbformat 5.1.3 nest-asyncio 1.5.1 notes 6.4.5
numpy 1.20.3 opakowanie 21,0 Pandas 1.3.4
pandocfilters 1.4.3 parso 0.8.2 ofiara 0.5.2
pexpect 4.8.0 pickleshare (jeśli to nazwa własna, nie trzeba tłumaczyć) 0.7.5 Poduszka 8.4.0
pip 21.2.4 platformdirs 2.5.2 kreślenie 5.6.0
prometheus-client 0.11.0 zestaw narzędzi prompt 3.0.20 Protobuf (w skrócie od Protocol Buffers) 3.20.1
psutil (biblioteka Pythona do monitorowania systemów i procesów) 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pyarrow 7.0.0 pycparser 2,20 Pygments 2.10.0
PyGObject 3.36.0 pyodbc 4.0.31 pyparsing – biblioteka do przetwarzania tekstu w Pythonie 3.0.4
pyrsistent 0.18.0 python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil (biblioteka Pythona do zarządzania datami) 2.8.2
pytz (biblioteka Pythona do obliczeń stref czasowych) 2021.3 pyzmq 22.2.1 żądania 2.26.0
requests-unixsocket 0.2.0 s3transfer 0.5.2 scikit-learn 0.24.2
scipy (biblioteka naukowa dla Pythona) 1.7.1 urodzony na morzu 0.11.2 Send2Trash 1.8.0
setuptools 58.0.4 sześć 1.16.0 ssh-import-id (narzędzie do importowania kluczy SSH) 5.10
statsmodels - biblioteka do modelowania statystycznego 0.12.2 Wytrzymałość 8.0.1 zakończony 0.9.4
ścieżka testowa 0.5.0 threadpoolctl 2.2.0 tornado 6.1
traitlets 5.1.0 nienadzorowane uaktualnienia 0.1 urllib3 1.26.7
virtualenv 20.8.0 szerokość(wcwidth) 0.2.5 kodowania webowe 0.5.1
wheel 0.37.0 widgetsnbextension 3.6.0

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki Microsoft CRAN w wersji 2022-05-06.

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
askpass 1.1 potwierdzić to 0.2.1 porty wsteczne 1.4.1
baza 4.1.3 base64enc 0.1-3 bit 4.0.4
bit-64 4.0.5 blob 1.2.3 rozruch systemu 1.3-28
warzyć (piwo) / parzyć (kawę, herbatę) 1.0-7 Brio 1.1.3 miotła 0.8.0
bslib 0.3.1 kaszmir 1.0.6 dzwoniący 3.7.0
karetka 6.0-92 cellranger 1.1.0 Chroń 2.3-56
klasa 7.3-20 CLI 3.3.0 clipr 0.8.0
klaster 2.1.3 codetools 0.2-18 przestrzeń kolorów 2.0-3
commonmark 1.8.0 kompilator 4.1.3 konfig 0.3.1
cpp11 0.4.2 kredka 1.5.1 dane logowania 1.3.2
skręt 4.3.2 tabela danych 1.14.2 zbiory danych 4.1.3
DBI 1.1.2 dbplyr 2.1.1 Opis 1.4.1
devtools 2.4.3 diffobj 0.3.5 skrót 0.6.29
dplyr 1.0.9 dtplyr 1.2.1 e1071 1.7-9
wielokropek 0.3.2 ocenić 0.15 fani 1.0.3
kolory 2.1.0 szybka mapa 1.1.0 Font Awesome 0.2.2
dla kotów 0.5.1 foreach 1.5.2 zagraniczny 0.8-82
kuźnia 0.2.0 fs 1.5.2 przyszłość 1.25.0
wprowadź przyszłość 1.9.0 płukać gardło 1.2.0 typy ogólne 0.1.2
Gert 1.6.0 ggplot2 3.3.6 Gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-4 globalne 0.14.0
klej 1.6.2 googledrive 2.0.0 googlesheets4 1.0.0
Gower 1.0.0 grafika 4.1.3 grDevices 4.1.3
siatka 4.1.3 gridExtra 2.3 gsubfn 0.7
gtabela 0.3.0 hełm ochronny 0.2.0 przystań 2.5.0
wyżej 0,9 HMS 1.1.1 htmltools – narzędzie do tworzenia stron internetowych 0.5.2
widżety HTML 1.5.4 httpuv 1.6.5 httr 1.4.3
Identyfikatory 1.0.1 ini 0.3.1 ipred 0.9-12
isoband 0.2.5 Iteratory 1.0.14 jquerylib 0.1.4
jsonlite 1.8.0 KernSmooth 2.23-20 knitr (narzędzie do generowania dynamicznych raportów w R) 1.39
etykietowanie 0.4.2 później 1.3.0 siatka 0.20-45
lawa 1.6.10 cykl życia 1.0.1 nasłuchiwanie 0.8.0
lubridate 1.8.0 magrittr 2.0.3 Markdown 1.1
MASA 7.3-56 Matrix 1.4-1 zapamiętywanie 2.0.1
Metody 4.1.3 mgcv 1.8-40 pantomima 0,12
Metryki modelu 1.2.2.2 modelr 0.1.8 munsell 0.5.0
nlme 3.1-157 sieć neuronowa (nnet) 7.3-17 numDeriv 2016.8-1.1
openssl 2.0.0 równoległy 4.1.3 równolegle 1.31.1
kolumna 1.7.0 pkgbuild 1.3.1 pkgconfig 2.0.3
pkgload 1.2.4 plogr 0.2.0 plyr 1.8.7
uznanie 1.0.0 prettyunits 1.1.1 pROC 1.18.0
Procesx 3.5.3 prodlim 2019.11.13 postęp 1.2.2
progressr 0.10.0 Obietnice 1.2.0.1 Prototyp 1.0.0
serwer proxy 0.4-26 PS 1.7.0 mruczenie 0.3.4
r2d3 0.2.6 R6 2.5.1 "randomForest" 4.7-1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.8.3 RcppEigen 0.3.3.9.2 czytnik 2.1.2
readxl (biblioteka do odczytu plików Excel) 1.4.0 przepisy 0.2.0 rewanż 1.0.1
rematch2 2.1.2 urządzenia zdalne 2.4.2 przykład powtarzalny 2.0.1
zmień kształt2 1.4.4 rlang 1.0.2 rmarkdown (narzędzie do tworzenia dokumentów w R) 2.14
RODBC 1.3-19 roxygen2 7.1.2 rpart 4.1.16
rprojroot 2.0.3 Rserve 1.8-10 RSQLite 2.2.13
rstudioapi 0,13 rversions 2.1.1 rvest 1.0.2
Sass 0.4.1 waga 1.2.0 selektor 0.4-2
Informacje o sesji 1.2.2 kształt 1.4.6 błyszczący 1.7.1
sourcetools 0.1.7 sparklyr 1.7.5 SparkR 3.3.0
przestrzenny 7.3-11 Splajnów 4.1.3 sqldf 0.4-11
SQUAREM 2021.1 Statystyki 4.1.3 statystyki4 4.1.3
łańcuchy 1.7.6 stringr 1.4.0 przetrwanie 3.2-13
sys 3.4 tcltk 4.1.3 testthat 3.1.4
tibble 3.1.7 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 czasData 3043.102 tinytex 0.38
Narzędzia 4.1.3 Baza Danych Stref Czasowych (tzdb) 0.3.0 użyj tego 2.1.5
utf8 1.2.2 narzędzia 4.1.3 UUID (Uniwersalny Unikalny Identyfikator) 1.1-0
vctrs (biblioteka R do przetwarzania danych wektorowych) 0.4.1 viridisLite 0.4.0 Vroom 1.5.7
Waldo 0.4.0 włosek czuciowy 0,4 Withr 2.5.0
xfun 0,30 xml2 1.3.3 xopen 1.0.0
Xtable 1.8-4 yaml 2.3.5 zip 2.2.0

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)

Identyfikator grupy Identyfikator artefaktu Wersja
antlr antlr 2.7.7
com.amazonaws Klient Amazon Kinesis 1.12.0
com.amazonaws aws-java-sdk-automatyczne-skalowanie 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm (zestaw narzędzi Java dla usługi CloudHSM) 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy (biblioteka do zarządzania wdrażaniem kodu w AWS) 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config (konfiguracja aws-java-sdk) 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect (pakiet narzędzi programistycznych dla Java do współpracy z AWS Direct Connect) 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr (biblioteka SDK Java dla usługi Amazon EMR) 1.12.189
com.amazonaws AWS Java SDK dla Glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws AWS-Java-SDK-ImportExport 1.12.189
com.amazonaws AWS SDK dla Javy - Kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-uczenie-maszynowe 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds (pakiet programistyczny Java dla AWS RDS) 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts (pakiet programistyczny Java dla AWS STS) 1.12.189
com.amazonaws wsparcie dla aws-java-sdk 1.12.189
com.amazonaws aws-java-sdk-swf-biblioteki 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics odtwarzać strumieniowo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kriogenicznie cieniowany 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml kolega z klasy 1.3.4
com.fasterxml.jackson.core Jackson - adnotacje 2.13.3
com.fasterxml.jackson.core jackson-core 2.13.3
com.fasterxml.jackson.core jackson-databind 2.13.3
com.fasterxml.jackson.dataformat Jackson-format-danych-CBOR 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.3
com.fasterxml.jackson.module jackson-module-paranamer 2.13.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.3
com.github.ben-manes.kofeina kofeina 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib rdzeń 1.1.2
com.github.fommil.netlib natywne_odniesienie-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib system natywny-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib "netlib-native_system-linux-x86_64-natives" 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava owoc guawy 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.WYDANIE
com.lihaoyi kodźródłowy_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (SDK do przechowywania danych Azure Data Lake) 2.3.9
com.ning compress-lzf (biblioteka do kompresji danych) 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning JSON 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses soczewki_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe konfig 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity parsery jednoznaczności 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
Zbiory Commons Zbiory Commons 3.2.2
commons-dbcp commons-dbcp 1.4
wspólne przesyłanie plików wspólne przesyłanie plików 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib Blask 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift kompresor powietrza 0.21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metryki —rdzeń 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics wskaźniki-kontrole zdrowia 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metryki w formacie JSON 4.1.1
io.dropwizard.metrics metryki-JVM 4.1.1
io.dropwizard.metrics serwlety metryczne 4.1.1
io.netty netty-all 4.1.74.Final
io.netty Netty-buffer 4.1.74.Final
io.netty Netty-Codec 4.1.74.Final
io.netty netty-common (element wspólny) 4.1.74.Final
io.netty Netty Handler 4.1.74.Final
io.netty rozwiązywacz netty 4.1.74.Final
io.netty Klasy netty-tcnative 2.0.48.Final
io.netty Netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx moduł zbierający 0.12.0
jakarta.adnotacja jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
\ jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktywacja 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction interfejs programistyczny transakcji 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine kiszonka 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake SDK do pobierania danych Snowflake 0.9.6
net.snowflake snowflake-jdbc 3.13.14
net.snowflake spark-snowflake_2.12 2.10.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea (pakiet oprogramowania) remotetea-oncrpc (niedostępne w lokalnym języku) 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr Szablon łańcucha 3.2.1
org.apache.ant mrówka 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant program uruchamiający Ant 1.9.2
org.apache.arrow format strzałki 7.0.0
org.apache.arrow strzałka-pamięć-rdzeń 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow wektor strzałki 7.0.0
org.apache.avro Avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons tekst wspólny 1,9
org.apache.curator kurator-klient 2.13.0
org.apache.curator Framework kuratora 2.13.0
org.apache.curator przepisy wyselekcjonowane przez kuratora 2.13.0
org.apache.derby mecz derbowy 10.14.2.0
org.apache.hadoop API klienta Hadoop 3.3.2-databricks
org.apache.hadoop środowisko uruchomieniowe klienta Hadoop 3.3.2
org.apache.hive hive-beeline (narzędzie do interakcji z bazą danych Hive) 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive Klient hive-llap 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde (biblioteka do serializacji i deserializacji w Apache Hive) 2.3.9
org.apache.hive podkładki hive 2.3.9
org.apache.hive hive-storage-api (interfejs do przechowywania danych hive) 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims harmonogram osłon/imitacji ula 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy bluszcz 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.17.2
org.apache.logging.log4j log4j-api 2.17.2
org.apache.logging.log4j log4j-core 2.17.2
org.apache.logging.log4j log4j-slf4j-impl 2.17.2
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.4
org.apache.orc orc-mapreduce 1.7.4
org.apache.orc podkładki ORC 1.7.4
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet parquet-encoding 1.12.0-databricks-0004
org.apache.parquet parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4,20
org.apache.yetus adnotacje dla widowni 0.5.0
org.apache.zookeeper - system do zarządzania konfiguracją i synchronizacją dla aplikacji rozproszonych. opiekun zoo 3.6.2
org.apache.zookeeper - system do zarządzania konfiguracją i synchronizacją dla aplikacji rozproszonych. zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapujący-ASL 1.9.13
org.codehaus.janino commons-kompilator 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-kontynuacja 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty Jetty-plus 9.4.46.v20220331
org.eclipse.jetty serwer pośredniczący Jetty 9.4.46.v20220331
org.eclipse.jetty moduł bezpieczeństwa Jetty 9.4.46.v20220331
org.eclipse.jetty serwer aplikacji Jetty 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util (biblioteka narzędziowa Jetty) 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty Jetty-aplikacja internetowa 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket WebSocket API 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-klient 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket serwer WebSocket 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 lokalizator hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-lokalizator-zasobów 1.0.3
org.glassfish.hk2.external aopalliance-zapakowane ponownie 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers serwlet kontenerowy Jersey 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core dzianina-zwykła 2.34
org.glassfish.jersey.core serwer jersey 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator moduł sprawdzania poprawności hibernacji 6.1.0 Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging (narzędzie do rejestrowania zdarzeń w JBoss) 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Adnotacje 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap shims 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interfejs testowy 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark Nieużywane 1.0.0
org.threeten ThreeTen Extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
oprogramowanie.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
  • Last updated on