Udostępnij przez

Databricks Runtime 11.3 LTS (EoS)

Uwaga / Notatka

Obsługa tej wersji środowiska Databricks Runtime została zakończona. Aby uzyskać datę zakończenia pomocy technicznej, zobacz Historia zakończenia pomocy technicznej. Wszystkie obsługiwane wersje środowiska Databricks Runtime można znaleźć w sekcji Notatki o wersjach i zgodności środowiska Databricks Runtime.

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 11.3 LTS obsługiwanym przez platformę Apache Spark 3.3.0. Usługa Databricks wydała tę wersję w październiku 2022 r.

Uwaga / Notatka

LTS oznacza, że ta wersja jest objęta długoterminową pomocą techniczną. Zobacz Cykl życia wersji LTS środowiska Databricks Runtime.

Zmiany zachowania

[Zmiana powodująca niezgodność] Nowa wersja języka Python wymaga aktualizacji klientów Databricks Connect V1 dla języka Python.

Uwaga / Notatka

Kolejna aktualizacja przenosi wersję języka Python w środowisku Databricks Runtime 11.3 LTS do wersji 3.9.21. Wersja 3.9.21 nie wprowadza żadnych zmian behawioralnych.

Aby zastosować wymagane poprawki zabezpieczeń, wersja języka Python w środowisku Databricks Runtime 11.3 LTS jest aktualizowana z wersji 3.9.5 do 3.9.19. Ponieważ te zmiany mogą powodować błędy w klientach korzystających z określonych funkcji PySpark, wszyscy klienci korzystający z programu Databricks Connect V1 dla języka Python z usługą Databricks Runtime 11.3 LTS muszą zostać zaktualizowani do języka Python w wersji 3.9.7 lub nowszej.

Nowe funkcje i ulepszenia

Język Python został uaktualniony z wersji 3.9.19 do wersji 3.9.21

Wersja języka Python w środowisku Databricks Runtime 11.3 LTS jest aktualizowana z wersji 3.9.19 do 3.9.21.

Jednorazowy wyzwalacz strumieniowego przesyłania danych ze strukturą jest przestarzały

Ustawienie Trigger.Once zostało przestarzałe. Usługa Databricks zaleca użycie Trigger.AvailableNow. Zobacz Konfigurowanie interwałów wyzwalania strukturalnego przesyłania strumieniowego.

Zmiana ścieżki źródłowej dla Auto Loader

Teraz możesz zmienić ścieżkę wejściową katalogu dla automatycznego modułu ładującego skonfigurowanego z trybem listy katalogów bez konieczności wybierania nowego katalogu punktów kontrolnych. Zobacz Zmienianie ścieżki źródłowej dla modułu ładującego automatycznego.

Łącznik Kinesis w usłudze Databricks obsługuje teraz odczytywanie strumieni danych z Kinesis w trybie EFO.

Teraz możesz użyć źródła przesyłania strumieniowego ze strukturą usługi Databricks Kinesis w środowisku Databricks Runtime 11.3 LTS, aby uruchamiać zapytania odczytujące ze strumieni danych Kinesis w rozszerzonym trybie fan-out. Umożliwia to dedykowaną przepływność na fragment, na konsumenta i przekazywanie rekordów w trybie push.

Nowe funkcje geoprzestrzenne H3 i dodano obsługę funkcji Photon dla wszystkich funkcji H3

Przedstawiamy 4 nowe funkcje H3: h3_maxchild, h3_minchild, h3_pointash3 i h3_pointash3string. Te funkcje są dostępne w języku SQL, Scala i Python. Wszystkie wyrażenia H3 są teraz obsługiwane w aplikacji Photon. Zobacz H3 funkcje geoprzestrzenne.

Nowe funkcje predykcyjne we/wy

Aplikacja Photon obsługuje tryb zakresu na potrzeby uruchamiania ramek przy użyciu polecenia RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW. Aplikacja Photon obsługuje również tryb zakresu dla rosnących ramek przy użyciu polecenia RANGE BETWEEN UNBOUNDED PRECEDING AND offset_stop { PRECEDING | FOLLOWING }.

Zwiększanie początkowych partycji do skanowania pod kątem zapytań selektywnych

Wartość początkowych partycji do skanowania została zwiększona do 10 na potrzeby selektywnego wykonywania zapytań w klastrach z włączoną technologią Photon take/tail/limit oraz w usłudze Databricks SQL LIMIT. Dzięki 10 partycjom można uniknąć obciążeń związanych z uruchamianiem wielu małych zadań i powolnym skalowaniem w górę. Można to również skonfigurować za pomocą programu spark.sql.limit.selectiveInitialNumPartitions.

Wizualizacja nowych wersji planu AQE

Wprowadzenie wersji planów AQE pozwala na wizualizację aktualizacji planów wykonania w czasie rzeczywistym wynikających z adaptacyjnego wykonywania zapytań (AQE).

Nowe tryby śledzenia postępu asynchronicznego i przeczyszczania dzienników

Wprowadzenie trybów strumieniowania strukturalnego: asynchroniczne śledzenie postępu i asynchroniczne czyszczenie dzienników. Tryb przeczyszczania dziennika asynchronicznego zmniejsza opóźnienie zapytań przesyłanych strumieniowo przez usunięcie dzienników używanych do śledzenia postępu w tle.

Strukturalne przesyłanie strumieniowe w Unity Catalog teraz obsługuje display()

Teraz możesz użyć display() podczas korzystania z przesyłania strumieniowego w strukturze do pracy z tabelami zarejestrowanymi w Unity Catalog.

Zdarzenia pipeline są teraz rejestrowane w formacie JSON

Usługa Azure Databricks zapisuje teraz zdarzenia potoku w dzienniku sterownika w formacie JSON. Chociaż każde zdarzenie będzie możliwe do analizowania w formacie JSON, duże zdarzenia mogą nie zawierać wszystkich pól lub pola mogą zostać obcięte. Każde zdarzenie jest rejestrowane w jednym wierszu z prefiksem Event received: . Poniżej przedstawiono przykładowe zdarzenie.

Event received: {"id":"some-event-id","origin":{"pipeline_id":"some-pipeline-id","cluster_id":"some-cluster id"},"message":"simple [truncated] message","level":"WARN"}

Dowolne przetwarzanie stanowe w strumieniu ustrukturyzowanym przy użyciu języka Python

applyInPandasWithState Wprowadzenie funkcji, która może służyć do wykonywania dowolnego przetwarzania stanowego w PySpark. Jest to odpowiednik flatMapGroupsWithState funkcji w interfejsie API języka Java.

Wnioskowanie daty w plikach CSV

Wprowadzenie ulepszonego wnioskowania kolumn typu daty w plikach CSV. Gdy format daty jest spójny w rekordach dla kolumny, te kolumny można wywnioskować jako DateType. Można również mieć kombinację formatów dat w różnych kolumnach. Usługa Azure Databricks może automatycznie wywnioskować format daty dla każdej kolumny. Kolumny z datami w plikach CSV, przed wydaniem Databricks Runtime 11.3 LTS, są pozostawiane jako StringType.

Obsługa klonowania tabel Apache Parquet i Apache Iceberg (publiczna wersja zapoznawcza)

Klon można teraz używać do tworzenia i przyrostowego aktualizowania tabel delty, które odwzorowują tabele Apache Parquet i Apache Iceberg. Możesz zaktualizować źródłową tabelę Parquet i przyrostowo zastosować zmiany do sklonowanej tabeli delty za pomocą polecenia klonowania. Zobacz Przyrostowe klonowanie tabel Parquet i Apache Iceberg do Delta Lake.

Użyj SQL do określenia lokalizacji przechowywania na poziomie schematu i katalogu dla tabel zarządzanych przez Unity Catalog.

Teraz możesz użyć MANAGED LOCATION polecenia SQL, aby określić lokalizację magazynu w chmurze dla zarządzanych tabel na poziomach katalogu i schematu. Zobacz CREATE CATALOG i CREATE SCHEMA.

Zmiany zachowania

Databricks Connect 11.3.2

Aktualizacja klienta programu Databricks Connect 11.3.2 jest teraz obsługiwana. Zobacz Informacje o wersji programu Databricks Connect i Databricks Connect.

Zaktualizowano łącznik usługi Azure Databricks Snowflake

Łącznik Snowflake usługi Azure Databricks został zaktualizowany do najnowszej wersji kodu z repozytorium open source Snowflake Data Source dla platformy Apache Spark. Jest ona teraz w pełni zgodna ze środowiskiem Databricks Runtime 11.3 LTS, łącznie z wypychaniem predykatów i planów zapytań, z zachowaniem wszystkich funkcji wersji open source.

Pamięć podręczna hadoop dla usługi S3A jest teraz wyłączona

Pamięć podręczna Hadoop (interfejs FileSystem API Apache Hadoop Main 3.3.4) dla S3A jest teraz wyłączona. Aby dostosować się do innych łączników usług magazynowania w chmurze. W przypadku obciążeń korzystających z buforowania systemu plików upewnij się, że nowo utworzone systemy plików są dostarczane z odpowiednimi konfiguracjami usługi Hadoop, w tym dostawcami poświadczeń.

Schemat kolekcji statystyk usługi Delta Lake odpowiada teraz kolejności kolumn w definicji schematu tabeli

Ta zmiana dotyczy błędu w protokole usługi Delta Lake, w którym statystyki nie zostały zebrane dla kolumn z powodu niezgodności w ramce danych i porządkoweniu kolumn tabeli. W niektórych przypadkach może wystąpić spadek wydajności zapisu ze względu na zbieranie statystyk z wcześniej nieśledzonych pól. Zobacz Pomijanie danych dla Delta Lake.

applyInPandasWithState zgłasza błąd, jeśli zapytanie ma operację przetasowania po operatorze

Operator applyInPandasWithState zgłasza błąd, jeśli zapytanie ma shuffle po operatorze. Dzieje się tak, gdy użytkownik dodaje shuffle po operacji, lub gdy optymalizator albo ujście niejawnie dodaje shuffle.

Uaktualnienia biblioteki

  • Uaktualnione biblioteki języka Python:
    • distlib z 0.3.5 do 0.3.6
  • Uaktualnione biblioteki języka R:
    • broom od 1.0.0 do 1.0.1
    • callr od 3.7.1 do 3.7.2
    • dplyr z wersji 1.0.9 do 1.0.10
    • dtplyr z wersji 1.2.1 do 1.2.2
    • forcats z 0.5.1 do 0.5.2
    • przyszłość z wersji 1.27.0 do 1.28.0
    • future.apply z wersji 1.9.0 do 1.9.1
    • gert z 1.7.0 do 1.8.0
    • globals w wersji od 0.16.0 do 0.16.1
    • gtable z wersji 0.3.0 do wersji 0.3.1
    • haven z wersji 2.5.0 na 2.5.1
    • hms od 1.1.1 do 1.1.2
    • httr z 1.4.3 do 1.4.4
    • knitr z 1.39 do 1.40
    • modelr od 0.1.8 do 0.1.9
    • filar od 1.8.0 do 1.8.1
    • progressr z 0.10.1 do 0.11.0
    • readxl z wersji 1.4.0 do 1.4.1
    • reprex z 2.0.1 do 2.0.2
    • rlang z wersji 1.0.4 do 1.0.5
    • rmarkdown z 2.14 do 2.16
    • RSQLite z wersji 2.2.15 do 2.2.16
    • rstudioapi z 0.13 do 0.14
    • rversions z 2.1.1 do 2.1.2
    • rvest z 1.0.2 do 1.0.3
    • skaluje z wersji 1.2.0 do 1.2.1
    • sparklyr z 1.7.7 do 1.7.8
    • stringr z 1.4.0 do 1.4.1
    • przetrwanie z 3.2-13 do 3.4-0
    • tinytex z 0.40 do 0.41
    • viridisLite z wersji 0.4.0 do 0.4.1
  • Uaktualnione biblioteki Java:
    • com.fasterxml.jackson.core.jackson-adnotacje z wersji 2.13.3 do 2.13.4
    • com.fasterxml.jackson.core.jackson-core z wersji 2.13.3 do 2.13.4
    • com.fasterxml.jackson.core.jackson-databind z wersji 2.13.3 do 2.13.4
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor z wersji 2.13.3 do 2.13.4
    • com.fasterxml.jackson.datatype.jackson-datatype-joda z 2.13.3 do 2.13.4
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 z wersji 2.13.3 do 2.13.4
    • com.fasterxml.jackson.module.jackson-module-paranamer od 2.13.3 do 2.13.4
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 z wersji 2.13.3 do 2.13.4
    • org.apache.hadoop.hadoop-client-api z wersji 3.3.2-databricks do 3.3.4-databricks
    • org.apache.hadoop.hadoop-client-runtime z wersji 3.3.2 do wersji 3.3.4
    • org.apache.orc.orc-core z wersji 1.7.5 do 1.7.6
    • org.apache.orc.orc-mapreduce z wersji 1.7.5 do 1.7.6
    • org.apache.orc.orc-shims od 1.7.5 do 1.7.6
    • org.apache.parquet.parquet-column from 1.12.0-databricks-0004 to 1.12.0-databricks-0007
    • org.apache.parquet.parquet-common od 1.12.0-databricks-0004 do 1.12.0-databricks-0007
    • org.apache.parquet.parquet-encoding from 1.12.0-databricks-0004 to 1.12.0-databricks-0007
    • org.apache.parquet.parquet-format-structures from 1.12.0-databricks-0004 do 1.12.0-databricks-0007
    • org.apache.parquet.parquet-hadoop z 1.12.0-databricks-0004 do 1.12.0-databricks-0007
    • org.apache.parquet.parquet-jackson z wersji 1.12.0-databricks-0004 do wersji 1.12.0-databricks-0007
    • org.glassfish.jersey.containers.jersey-container-servlet z 2.34 do 2.36
    • org.glassfish.jersey.containers.jersey-container-servlet-core od 2.34 do 2.36
    • org.glassfish.jersey.core.jersey-client od 2.34 do 2.36
    • org.glassfish.jersey.core.jersey-common od 2.34 do 2.36
    • org.glassfish.jersey.core.jersey-server od 2.34 do 2.36
    • org.glassfish.jersey.inject.jersey-hk2 z 2.34 do 2.36

Apache Spark

Środowisko Databricks Runtime 11.3 LTS obejmuje platformę Apache Spark 3.3.0. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 11.2 (EoS), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

  • [SPARK-39957] [ WARMFIX][sc-111425][CORE] Opóźnienie onDisconnected, aby umożliwić sterownikowi otrzymanie ExecutorExitCode
  • [SPARK-39955] [ WARMFIX][sc-111424][CORE] Ulepsz proces LaunchTask w celu uniknięcia błędów etapu spowodowanych nieudanym wysłaniem komunikatów LaunchTask
  • [SPARK-40474] [ SC-106248][cherry-pick] Poprawne zachowanie wnioskowania schematu CSV dla kolumn daty/godziny i wprowadzanie automatycznego wykrywania pól daty
  • [SPARK-40535] [SC-111243][sql] Napraw błąd, że bufor AggregatingAccumulator nie zostanie utworzony, jeśli wiersze wejściowe są puste
  • [SPARK-40434] [SC-111125][sc-111144][SC-111138][spark-40435][11.3][ss][PYTHON] Implement applyInPandasWithState w PySpark
  • [SPARK-40460] [SC-110832][ss] Napraw metryki przesyłania strumieniowego podczas wybierania _metadata
  • [SPARK-40324] [ SC-109943][sql] Podaj kontekst zapytania ParseException
  • [SPARK-40466] [SC-110899][ss] Ulepszanie komunikatu o błędzie, gdy DSv2 jest wyłączony, gdy usługa DSv1 jest niedostępna
  • [SPARK-40456] [ SC-110848][sql] PartitionIterator.hasNext powinno umożliwiać wielokrotne wywołania przy niskim koszcie zasobów.
  • [SPARK-40169] [ SC-110772][sql] Nie wypychaj filtrów Parquet bez odwołania do schematu danych
  • [SPARK-40467] [SC-110759][ss] Podziel FlatMapGroupsWithState na wiele zestawów testowych
  • [SPARK-40468] [ SC-110813][sql] Napraw oczyszczanie kolumn w pliku CSV po wybraniu _corrupt_record
  • [SPARK-40291] [ SC-110085][sql] Poprawić komunikat dla kolumny, która nie znajduje się w klauzuli GROUP BY
  • [SPARK-40398] [SC-110762][core][SQL] Użyj pętli zamiast API Arrays.stream
  • [SPARK-40433] [SC-110684][ss][PYTHON] Dodaj toJVMRow w PythonSQLUtils, aby przekonwertować zapakowany w pickle obiekt PySpark Row na JVM Row
  • [SPARK-40414] [SC-110568][sql][PYTHON] Bardziej ogólny typ PythonArrowInput i PythonArrowOutput
  • [SPARK-40352] [ SC-109945][sql] Dodawanie aliasów funkcji: len, datepart, dateadd, date_diff i curdate
  • [SPARK-40470] [ SC-110761][sql] Obsługa operacji GetArrayStructFields i GetMapValue w funkcji "arrays_zip"
  • [SPARK-40387] [SC-110685][sql] Ulepszenie implementacji liczby dziesiętnej Spark
  • [SPARK-40429] [ SC-110675][sql] Ustaw KeyGroupedPartitioning tylko wtedy, gdy odwoływana kolumna znajduje się w danych wyjściowych
  • [SPARK-40432] [SC-110716][ss][PYTHON] Wprowadzenie GroupStateImpl i GroupStateTimeout w PySpark
  • [SPARK-39915] [ SC-110496][sql] Upewnij się, że partycjonowanie danych wyjściowych jest określone przez użytkownika w AQE
  • [SPARK-29260] [ SQL] Obsługa ALTER DATABASE SET LOCATION , jeśli system HMS obsługuje
  • [SPARK-40185] [ SC-110056][sql] Usuń sugestię kolumny, gdy lista kandydatów jest pusta
  • [SPARK-40362] [SC-110401][sql] Naprawiłem kanonizację BinaryComparison
  • [SPARK-40411] [ SC-110381][ss] Przebudowa FlatMapGroupsWithStateExec, aby mieć interfejs nadrzędny
  • [SPARK-40293] [ SC-110084][sql] Wprowadź bardziej zrozumiały komunikat o błędzie tabeli V2
  • [SPARK-38734] [SC-110383][sql] Usuń klasę błędów INDEX_OUT_OF_BOUNDS
  • [SPARK-40292] [SC-110300][sql] Napraw nazwy kolumn w funkcji "arrays_zip", kiedy odwołania do tablic pochodzą z zagnieżdżonych struktur
  • [SPARK-40276] [SC-109674][core] Zmniejsz rozmiar wyniku RDD.takeOrdered
  • [SPARK-40197] [ SC-109176][sql] Zastąp plan zapytania kontekstem dla MULTI_VALUE_SUBQUERY_ERROR
  • [SPARK-40300] [SC-109942][sql] Migrate to the DATATYPE_MISMATCH error class (Migrowanie do klasy błędów)
  • [SPARK-40149] [ SC-110055][sql] Propagacja kolumn metadanych za pomocą programu Project
  • [SPARK-40280] [SC-110146][sql] Dodaj obsługę wypychania dla parquet dla typów int i long
  • [SPARK-40220] [ SC-110143][sc-109175][SQL] Nie wyświetlaj pustej mapy parametrów komunikatu o błędzie
  • [SPARK-40295] [SC-110070][sql] Zezwalaj na funkcje v2 z argumentami literałów w dystrybucji/porządkowaniu zapisu
  • [SPARK-40156] [ SC-109264][sql] url_decode() powinna zwracać klasę błędu
  • [SPARK-39195] [ SQL] Spark OutputCommitCoordinator powinien przerwać etap, gdy zatwierdzony plik nie jest zgodny ze stanem zadania
  • [SPARK-40260] [ SC-109424][sql] Użyj klas błędów w błędach GROUP BY kompilacji pozycji
  • [SPARK-40205] [SC-110144][sc-109082][SQL] Podaj kontekst zapytania ELEMENT_AT_BY_INDEX_ZERO
  • [SPARK-40112] [ SC-109676][sql] Ulepszanie funkcji TO_BINARY()
  • [SPARK-40209] [ SC-109081][sql] Nie zmieniaj wartości interwału liczby dziesiętnej w changePrecision() przypadku błędów
  • [SPARK-40319] [SC-109873][sql] Usuń zduplikowaną metodę błędu wykonywania zapytania dla PARSE_DATETIME_BY_NEW_PARSER
  • [SPARK-40222] [SC-109209][sql] Numeryczne try_add/try_divide/try_subtract/try_multiply powinny zgłaszać błędy wychodzące od ich elementów podrzędnych
  • [SPARK-40183] [ SC-108907][sql] Użyj klasy błędów NUMERIC_VALUE_OUT_OF_RANGE dla przepełnienia w konwersji dziesiętnej
  • [SPARK-40180] [ SC-109069][sql] Formatowanie komunikatów o błędach przez spark-sql
  • [SPARK-40153] [ SC-109165][sql] Ujednolicenie funkcji rozpoznawania i funkcji wartości tabeli
  • [SPARK-40308] [SC-109880][sql] Zezwól na argumenty separatora nieskładalne dla funkcji str_to_map
  • [SPARK-40219] [ SC-110052][sc-109663][SQL] Rozwiązany plan logiczny widoku powinien zawierać schemat, aby uniknąć nadmiarowego wyszukiwania
  • [SPARK-40098] [ SC-109939][sc-108693][SQL] Format komunikatów o błędach na serwerze Thrift
  • [SPARK-39917] [ SC-109038][sql] Użyj różnych klas błędów dla przepełnienia arytmetycznego liczbowego/interwałowego
  • [SPARK-40033] [SC-109875][sql] Obsługa przycinania zagnieżdżonych schematów za pomocą element_at
  • [SPARK-40194] [ SC-109660][sql] Funkcja SPLIT dla pustego wyrażenia regularnego powinna usuwać końcowy pusty ciąg.
  • [SPARK-40228] [ SC-109835][sql] Nie upraszczaj funkcji multiLike, jeśli element podrzędny nie jest tanim wyrażeniem
  • [SPARK-40039] [SC-109896][sc-109260][SS] Wprowadzenie nowego menedżera plików punktu kontrolnego do przesyłania strumieniowego opartego na interfejsie Abortable platformy Hadoop
  • [SPARK-40285] [ SC-109679][sql] Upraszczenie roundTo[Numeric] dla Spark Decimal
  • [SPARK-39896] [ SC-109658][sql] UnwrapCastInBinaryComparison powinna działać, gdy literał in/InSet downcast nie powiódł się
  • [SPARK-40040] [SC-109662][sql] Przesuwanie limitu lokalnego na obie strony, jeśli warunek sprzężenia jest pusty
  • [SPARK-40055] [ SC-109075][sql] listCatalogs powinny również zwracać spark_catalog nawet wtedy, gdy implementacja spark_catalog jest domyślnaSessionCatalog
  • [SPARK-39915] [ SC-109391][sql] Dataset.repartition(N) może nie tworzyć N partycji innych niż AQE
  • [SPARK-40207] [ SC-109401][sql] Określ nazwę kolumny, gdy typ danych nie jest obsługiwany przez źródło danych
  • [SPARK-40245] [ SC-109295][sql] Poprawka sprawdzania równości FileScan, gdy kolumny partycji lub filtru danych nie są odczytywane
  • [SPARK-40113] [SC-109405][sql] Implementacje interfejsu DataSourceV2 w Reactor ParquetScanBuilder
  • [SPARK-40211] [ SC-109226][core][SQL] Zezwalaj na dostosowywanie liczby partycji początkowych w funkcji take()
  • [SPARK-40252] [SC-109379][sql] Zastąp Stream.collect(Collectors.joining) elementem API StringJoiner
  • [SPARK-40247] [SC-109272][sql] Naprawa sprawdzania równości BitSet
  • [SPARK-40067] [ SQL] Użyj polecenia Table#name() zamiast Scan#name(), aby wypełnić nazwę tabeli w węźle BatchScan w usłudze SparkUI
  • [SPARK-39966] [ SQL] Użyj filtru V2 w obszarze SupportsDelete
  • [SPARK-39607] [ SC-109268][sql][DSV2] Obsługa funkcji dystrybucji i sortowania V2 w zapisach
  • [SPARK-40224] [SC-109271][sql] ObjectHashAggregateExec szybko zwalnia pamięć przy przejściu na tryb sortowania.
  • [SPARK-40013] [ SQL] Wyrażenia DS v2 powinny mieć wartość domyślną toString
  • [SPARK-40214] [SC-109079][python][SQL] dodano "get" do funkcji
  • [SPARK-40192] [SC-109089][sql][ML] Usuń zbędną funkcję groupby
  • [SPARK-40146] [ SC-108694][sql] Po prostu kodgen pobierania wartości mapy
  • [SPARK-40109] [ SQL] Nowa funkcja SQL: get()
  • [SPARK-39929] [ SQL] DS V2 obsługuje funkcje ciągów znakowych z przeniesieniem obliczeń w dół (nie ANSI)
  • [SPARK-39819] [SQL] Wypychanie agregujące DS w wersji 2 może współdziałać z górnym N lub stronicowaniem (sortuj przy użyciu wyrażeń)
  • [SPARK-40213] [ SC-109077][sql] Obsługa konwersji wartości ASCII dla znaków łacińskich-1
  • [SPARK-39887] [SQL] RemoveRedundantAliases powinny zachować aliasy, które sprawiają, że dane wyjściowe węzłów projekcji są unikatowe
  • [SPARK-39764] [SQL] Utwórz element PhysicalOperation tak samo jak ScanOperation
  • [SPARK-39964] [SQL] Optymalizacja DS V2 powinna ujednolicić ścieżkę przetwarzania tłumaczenia
  • [SPARK-39528] [ SQL] Użyj filtru V2 w funkcji SupportsRuntimeFiltering
  • [SPARK-40066] [ SQL] Tryb ANSI: zawsze zwraca wartość null dla nieprawidłowego dostępu do kolumny mapy
  • [SPARK-39912] [SPARK-39828][sql] Refine CatalogImpl
  • [SPARK-39833] [ SC-108736][sql] Wyłącz indeks kolumn Parquet w DSv1, aby rozwiązać problem z poprawnością w przypadku nakładania się kolumn partycji i danych
  • [SPARK-39880] [SQL] V2 SHOW FUNCTIONS polecenie powinno drukować kwalifikowaną nazwę funkcji jak w wersji 1.
  • [SPARK-39767] [SQL] Usunięcie UnresolvedDBObjectName i dodanie UnresolvedIdentifier
  • [SPARK-40163] [SC-108740][sql] funkcja: SparkSession.config(Map)
  • [SPARK-40136] [SQL] Naprawianie fragmentu kontekstów zapytań SQL
  • [SPARK-40107] [SC-108689][sql] Wycofaj konwersję empty2null z fileFormatWriter
  • [SPARK-40121] [ PYTHON][sql] Inicjowanie projekcji używanej dla funkcji UDF języka Python
  • [SPARK-40128] [SQL] VectorizedColumnReader uznaje DELTA_LENGTH_BYTE_ARRAY jako autonomiczne kodowanie kolumny
  • [SPARK-40132] [ML] Przywróć rawPredictionCol w MultilayerPerceptronClassifier.setParams
  • [SPARK-40050] [ SC-108696][sql] Ulepszenie EliminateSorts do obsługi usuwania sortowań za pomocą LocalLimit
  • [SPARK-39629] [SQL] Obsługa wersji 2 SHOW FUNCTIONS
  • [SPARK-39925] [SC-108734][sql] Dodawanie przeciążenia array_sort(kolumna, komparator) do operacji ramki danych
  • [SPARK-40117] [PYTHON][sql] Konwersja warunku na Javę w funkcji DataFrameWriterV2.overwrite
  • [SPARK-40105] [SQL] Poprawa podziału na partycje w ReplaceCTERefWithRepartition
  • [SPARK-39503] [SQL] Dodawanie nazwy wykazu sesji dla tabeli i funkcji bazy danych w wersji 1
  • [SPARK-39889] [ SQL] Użyj różnych klas błędów dla liczb/interwałów podzielonych przez 0
  • [SPARK-39741] [ SQL] Obsługa kodowania/dekodowania adresu URL jako wbudowanej funkcji i porządkowania funkcji związanych z adresem URL
  • [SPARK-40102] [SQL] Użyj SparkException zamiast IllegalStateException w SparkPlan
  • [SPARK-40014] [SQL] Obsługa rzutowania dziesiętnych na interwały ANSI
  • [SPARK-39776] [ SQL][follow] Aktualizacja UT of PlanStabilitySuite w trybie ANSI
  • [SPARK-39963] [SQL] Upraszczanie SimplifyCasts.isWiderCast

Aktualizacje konserwacyjne

Zobacz Aktualizacje konserwacji środowiska Databricks Runtime 11.3.

Środowisko systemu

  • System operacyjny: Ubuntu 20.04.5 LTS
    • Uwaga: jest to wersja systemu Ubuntu używana przez kontenery środowiska Databricks Runtime. Kontenery DBR działają na maszynach wirtualnych dostawcy usług w chmurze, które mogą używać innej wersji systemu Ubuntu lub dystrybucji systemu Linux.
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.21
  • R: 4.1.3
  • Delta Lake: 2.1.0

Zainstalowane biblioteki języka Python

Biblioteka wersja Biblioteka wersja Biblioteka wersja
argon2-cffi 20.1.0 generator asynchroniczny 1.10 attrs 21.2.0
Wezwanie zwrotne 0.2.0 backports.ustawienia-punktów-wejścia 1.1.1 czarny 22.3.0
wybielacz 4.0.0 boto3 1.21.18 botocore 1.24.18
certyfikat 2021.10.8 cffi 1.14.6 chardet 4.0.0
normalizator zestawu znaków 2.0.4 kliknij 8.0.3 kryptografia 3.4.8
rowerzysta 0.10.0 Cython 0.29.24 dbus-python 1.2.16
debugpy 1.4.1 dekorator 5.1.0 defusedxml (biblioteka zabezpieczająca przetwarzanie XML) 0.7.1
distlib 0.3.6 punkty wejścia 0,3 aspekty — omówienie 1.0.0
blokada plików 3.8.0 IDNA 3.2 ipykernel 6.12.1
ipython 7.32.0 ipython-genutils 0.2.0 ipywidgets 7.7.0
Jedi 0.18.0 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.0.1 jsonschema 3.2.0 jupyter-client 6.1.12
jupyter-core 4.8.1 jupyterlab-pygments 0.1.2 Widżety JupyterLab 1.0.0
kiwisolver 1.3.1 MarkupSafe 2.0.1 matplotlib 3.4.3
matplotlib-inline 0.1.2 Mistune 0.8.4 mypy-extensions 0.4.3
NBClient 0.5.3 nbconvert - narzędzie do konwersji plików Jupyter Notebook 6.1.0 nbformat 5.1.3
nest-asyncio 1.5.1 notes 6.4.5 numpy 1.20.3
opakowanie 21,0 Pandas 1.3.4 pandocfilters 1.4.3
parso 0.8.2 specyfikacja ścieżki 0.9.0 ofiara 0.5.2
pexpect 4.8.0 pickleshare (jeśli to nazwa własna, nie trzeba tłumaczyć) 0.7.5 Poduszka 8.4.0
pip (menedżer pakietów Pythona) 21.2.4 platformdirs 2.5.2 kreślenie 5.9.0
prometheus-client 0.11.0 zestaw narzędzi prompt 3.0.20 Protobuf (w skrócie od Protocol Buffers) 4.21.5
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pyarrow 7.0.0 pycparser 2,20 Pygments 2.10.0
PyGObject 3.36.0 pyodbc 4.0.31 pyparsing – biblioteka do przetwarzania tekstu w Pythonie 3.0.4
pirstent 0.18.0 python-dateutil (biblioteka Pythona do zarządzania datami) 2.8.2 pytz (biblioteka Pythona do obliczeń stref czasowych) 2021.3
pyzmq 22.2.1 żądania 2.26.0 requests-unixsocket 0.2.0
s3transfer 0.5.2 scikit-learn 0.24.2 scipy (biblioteka naukowa dla Pythona) 1.7.1
urodzony na morzu 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
sześć 1.16.0 ssh-import-id (narzędzie do importowania kluczy SSH) 5.10 statsmodels - biblioteka do modelowania statystycznego 0.12.2
Wytrzymałość 8.0.1 zakończony 0.9.4 ścieżka testowa 0.5.0
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlets 5.1.0 wpisywanie rozszerzeń 3.10.0.2
nienadzorowane uaktualnienia 0.1 urllib3 1.26.7 virtualenv 20.8.0
szerokość(wcwidth) 0.2.5 kodowania webowe 0.5.1 wheel 0.37.0
widgetsnbextension 3.6.0

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki CRAN z dnia 8 września 2022 roku. Migawka nie jest już dostępna.

Biblioteka wersja Biblioteka wersja Biblioteka wersja
askpass 1.1 potwierdzić to 0.2.1 porty wsteczne 1.4.1
baza 4.1.3 base64enc 0.1-3 bit 4.0.4
bit-64 4.0.5 blob 1.2.3 rozruch systemu 1.3-28
warzyć (piwo) / parzyć (kawę, herbatę) 1.0-7 Brio 1.1.3 miotła 1.0.1
bslib 0.4.0 kaszmir 1.0.6 dzwoniący 3.7.2
karetka 6.0-93 cellranger 1.1.0 Chroń 2.3-57
klasa 7.3-20 CLI 3.3.0 clipr 0.8.0
klaster 2.1.3 codetools 0.2-18 przestrzeń kolorów 2.0-3
commonmark 1.8.0 kompilator 4.1.3 konfig 0.3.1
cpp11 0.4.2 crayon 1.5.1 dane logowania 1.3.2
skręt 4.3.2 tabela danych 1.14.2 zbiory danych 4.1.3
DBI 1.1.3 dbplyr 2.2.1 Opis 1.4.1
devtools 2.4.4 diffobj 0.3.5 skrót 0.6.29
przyciemnione oświetlenie 0.4.2 dplyr 1.0.10 dtplyr 1.2.2
e1071 1.7-11 wielokropek 0.3.2 ocenić 0.16
fani 1.0.3 kolory 2.1.1 szybka mapa 1.1.0
Font Awesome 0.3.0 dla kotów 0.5.2 foreach 1.5.2
zagraniczny 0.8-82 kuźnia 0.2.0 fs 1.5.2
przyszłość 1.28.0 wprowadź przyszłość 1.9.1 płukać 1.2.0
typy ogólne 0.1.3 gert 1.8.0 ggplot2 3.3.6
gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-4
globalne 0.16.1 klej 1.6.2 googledrive 2.0.0
googlesheets4 1.0.1 Gower 1.0.0 grafika 4.1.3
grDevices 4.1.3 siatka 4.1.3 gridExtra 2.3
gsubfn 0.7 gtabela 0.3.1 hełm ochronny 1.2.0
przystań 2.5.1 wyżej 0,9 HMS 1.1.2
htmltools – narzędzie do tworzenia stron internetowych 0.5.3 widżety HTML 1.5.4 httpuv 1.6.5
httr 1.4.4 Numery identyfikacyjne 1.0.1 ini 0.3.1
ipred 0.9-13 isoband 0.2.5 Obiekty iterujące 1.0.14
jquerylib 0.1.4 jsonlite 1.8.0 KernSmooth 2.23-20
knitr (narzędzie do generowania dynamicznych raportów w R) 1.40 etykietowanie 0.4.2 później 1.3.0
siatka 0.20-45 lawa 1.6.10 cykl życia 1.0.1
nasłuchiwanie 0.8.0 lubridate 1.8.0 magrittr 2.0.3
Markdown 1.1 MASA 7.3-56 Matrix 1.4-1
zapamiętywanie 2.0.1 metody 4.1.3 mgcv 1.8-40
pantomima 0,12 miniUI (interfejs użytkownika) 0.1.1.1 Metryki modelowe 1.2.2.2
modelr 0.1.9 munsell 0.5.0 nlme 3.1-157
sieć neuronowa (nnet) 7.3-17 numDeriv 2016.8-1.1 openssl 2.0.2
równoległy 4.1.3 równolegle 1.32.1 kolumna 1.8.1
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgdown 2.0.6
pkgload 1.3.0 plogr 0.2.0 plyr 1.8.7
pochwała 1.0.0 prettyunits 1.1.1 pROC 1.18.0
Procesx 3.7.0 prodlim 2019.11.13 profvis 0.3.7
postęp 1.2.2 progressr 0.11.0 Obietnice 1.2.0.1
Prototyp 1.0.0 serwer proxy 0.4-27 Postscriptum 1.7.1
mruczenie 0.3.4 r2d3 0.2.6 R6 2.5.1
ragg 1.2.2 "randomForest" 4.7-1.1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.0.9
RcppEigen 0.3.3.9.2 czytnik 2.1.2 readxl (biblioteka do odczytu plików Excel) 1.4.1
przepisy 1.0.1 rewanż 1.0.1 rematch2 2.1.2
Zdalne sterowanie 2.4.2 przykład powtarzalny 2.0.2 zmień kształt2 1.4.4
rlang 1.0.5 rmarkdown (narzędzie do tworzenia dokumentów w R) 2.16 RODBC 1.3-19
roxygen2 7.2.1 rpart 4.1.16 rprojroot 2.0.3
Rserve 1.8-11 RSQLite 2.2.16 rstudioapi 0,14
rversions 2.1.2 rvest 1.0.3 Sass 0.4.2
waga (urządzenie) 1.2.1 selektor 0.4-2 Informacje o sesji 1.2.2
kształt 1.4.6 błyszczący 1.7.2 sourcetools 0.1.7
sparklyr 1.7.8 SparkR 3.3.0 przestrzenny 7.3-11
Splatiny 4.1.3 sqldf 0.4-11 SQUAREM 2021.1
Statystyki 4.1.3 statystyki4 4.1.3 łańcuchy 1.7.8
stringr 1.4.1 przetrwanie 3.4-0 sys 3.4
systemfonts 1.0.4 tcltk 4.1.3 testthat 3.1.4
kształtowanie tekstu 0.3.6 tibble 3.1.8 tidyr 1.2.0
tidyselect 1.1.2 tidyverse 1.3.2 czasData 4021.104
tinytex 0.41 narzędzia 4.1.3 Baza Danych Stref Czasowych (tzdb) 0.3.0
sprawdzacz URL 1.0.1 użyj tego 2.1.6 utf8 1.2.2
oprogramowanie użytkowe 4.1.3 UUID (Uniwersalnie Unikalny Identyfikator) 1.1-0 vctrs 0.4.1
viridisLite 0.4.1 Vroom 1.5.7 Waldo 0.4.0
włosek czuciowy 0,4 Withr 2.5.0 xfun 0.32
xml2 1.3.3 xopen 1.0.0 Xtable 1.8-4
yaml 2.3.5 zip 2.2.0

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)

Identyfikator grupy Identyfikator artefaktu wersja
antlr antlr 2.7.7
com.amazonaws Klient Amazon Kinesis 1.12.0
com.amazonaws aws-java-sdk-automatyczne-skalowanie 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm (zestaw narzędzi Java dla usługi CloudHSM) 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy (biblioteka do zarządzania wdrażaniem kodu w AWS) 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config (konfiguracja aws-java-sdk) 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect (pakiet narzędzi programistycznych dla Java do współpracy z AWS Direct Connect) 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr (biblioteka SDK Java dla usługi Amazon EMR) 1.12.189
com.amazonaws AWS Java SDK dla Glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws AWS-Java-SDK-ImportExport 1.12.189
com.amazonaws AWS SDK dla Javy - Kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-uczenie-maszynowe 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds (pakiet programistyczny Java dla AWS RDS) 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts (pakiet programistyczny Java dla AWS STS) 1.12.189
com.amazonaws wsparcie dla aws-java-sdk 1.12.189
com.amazonaws aws-java-sdk-swf-biblioteki 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics odtwarzać strumieniowo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kriogenicznie cieniowany 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml kolega z klasy 1.3.4
com.fasterxml.jackson.core Jackson - adnotacje 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4
com.fasterxml.jackson.dataformat Jackson-format-danych-CBOR 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.kofeina kofeina 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib rdzeń 1.1.2
com.github.fommil.netlib natywne_odniesienie-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib natywny_system java 1.1
com.github.fommil.netlib system natywny-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib "netlib-native_system-linux-x86_64-natives" 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava owoc guawy 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.WYDANIE
com.lihaoyi kodźródłowy_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (SDK do przechowywania danych Azure Data Lake) 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf (biblioteka do kompresji danych) 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning JSON 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses soczewki_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe konfig 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity parsery jednoznaczności 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
Zbiory Commons Zbiory Commons 3.2.2
commons-dbcp commons-dbcp 1.4
wspólne przesyłanie plików wspólne przesyłanie plików 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib Blask 2.2.1
dev.ludovic.netlib lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift kompresor powietrza 0.21
io.delta delta-sharing-spark_2.12 0.5.1
io.dropwizard.metrics metryki —rdzeń 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics wskaźniki-kontrole zdrowia 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metryki w formacie JSON 4.1.1
io.dropwizard.metrics metryki-JVM 4.1.1
io.dropwizard.metrics serwlety metryczne 4.1.1
io.netty netty-all 4.1.74.Final
io.netty Netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common (element wspólny) 4.1.74.Final
io.netty "netty-handler" 4.1.74.Final
io.netty rozwiązywacz netty 4.1.74.Final
io.netty Klasy netty-tcnative 2.0.48.Final
io.netty Netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx moduł zbierający 0.12.0
jakarta.adnotacja jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
\ jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktywacja 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction interfejs programistyczny transakcji 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine kiszonka 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake SDK do pobierania danych Snowflake 0.9.6
net.snowflake snowflake-jdbc 3.13.14
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea (pakiet oprogramowania) remotetea-oncrpc (niedostępne w lokalnym języku) 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr Szablon łańcucha 3.2.1
org.apache.ant mrówka 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant program uruchamiający Ant 1.9.2
org.apache.arrow format strzałki 7.0.0
org.apache.arrow strzałka-pamięć-rdzeń 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow wektor strzałki 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons tekst wspólny 1.9
org.apache.curator kurator-klient 2.13.0
org.apache.curator Framework kuratora 2.13.0
org.apache.curator przepisy wyselekcjonowane przez kuratora 2.13.0
org.apache.derby mecz derbowy 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-databricks
org.apache.hadoop środowisko uruchomieniowe klienta Hadoop 3.3.4
org.apache.hive hive-beeline (narzędzie do interakcji z bazą danych Hive) 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive Klient hive-llap 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive podkładki hive 2.3.9
org.apache.hive hive-storage-api (interfejs do przechowywania danych hive) 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims harmonogram osłon/imitacji ula 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy bluszcz 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc podkładki ORC 1.7.6
org.apache.parquet parquet-column 1.12.0-databricks-0007
org.apache.parquet parquet-common 1.12.0-databricks-0007
org.apache.parquet parquet-encoding 1.12.0-databricks-0007
org.apache.parquet parquet-format-structures 1.12.0-databricks-0007
org.apache.parquet parquet-hadoop 1.12.0-databricks-0007
org.apache.parquet parquet-jackson 1.12.0-databricks-0007
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus adnotacje dla widowni 0.5.0
org.apache.zookeeper - system do zarządzania konfiguracją i synchronizacją dla aplikacji rozproszonych. opiekun zoo 3.6.2
org.apache.zookeeper - system do zarządzania konfiguracją i synchronizacją dla aplikacji rozproszonych. zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapujący-ASL 1.9.13
org.codehaus.janino commons-kompilator 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-kontynuacja 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty Jetty-plus 9.4.46.v20220331
org.eclipse.jetty serwer pośredniczący Jetty 9.4.46.v20220331
org.eclipse.jetty moduł bezpieczeństwa Jetty 9.4.46.v20220331
org.eclipse.jetty serwer aplikacji Jetty 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty Jetty-aplikacja internetowa 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket WebSocket API 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-klient 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket serwer WebSocket 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 lokalizator hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-lokalizator-zasobów 1.0.3
org.glassfish.hk2.external aopalliance-zapakowane ponownie 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers serwlet kontenerowy Jersey 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core dzianina-zwykła 2.36
org.glassfish.jersey.core serwer jersey 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator moduł sprawdzania poprawności hibernacji 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging (narzędzie do rejestrowania zdarzeń w JBoss) 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Adnotacje 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap podkładki regulacyjne 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interfejs testowy 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark.spark Nieużywane 1.0.0
org.threeten ThreeTen Extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
oprogramowanie.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
  • Last updated on