Udostępnij przez

Databricks Runtime 16.0 (EoS)

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 16.0 obsługiwanym przez platformę Apache Spark 3.5.0.

Usługa Databricks wydała tę wersję w listopadzie 2024 r.

Uwaga / Notatka

Obsługa tej wersji środowiska Databricks Runtime została zakończona. Aby uzyskać datę zakończenia pomocy technicznej, zobacz Historia zakończenia pomocy technicznej. Wszystkie obsługiwane wersje środowiska Databricks Runtime można znaleźć w sekcji Notatki o wersjach i zgodności środowiska Databricks Runtime.

Zmiany zachowania

Zmiana przełomowa: JDK 17 jest teraz domyślny

W środowisku Databricks Runtime 16.0 lub nowszym domyślna wersja zestawu JDK jest przełączana z zestawu JDK 8 do zestawu JDK 17. Ta zmiana jest wprowadzana z powodu planowanego wycofania i zakończenia wsparcia dla zestawu JDK 8. Ma to wpływ na następujące kwestie:

  • Kod Java uruchomiony w obliczeniach usługi Azure Databricks musi być zgodny z językiem Java 17.
  • Kod języka Scala uruchomiony w notesach lub obliczeniach usługi Azure Databricks musi być zgodny z językiem Java 17.
  • Biblioteki Java i Scala zainstalowane na obliczeniach muszą być zgodne z językiem Java 17.
  • Wersje klienta magazynu metadanych Apache Hive poniżej wersji 2.x. Ustawienie konfiguracji spark.sql.hive.metastore.version platformy Spark na wersję niższą niż 2.x spowoduje problemy ze zgodnością z językiem Java 17 i błędami połączenia z magazynem metadanych Hive. Usługa Databricks zaleca uaktualnienie programu Hive do wersji nowszej niż 2.0.0.

Jeśli chcesz przywrócić środowisko Java 8, dodaj następujące elementy do zmiennych środowiskowych platformy Spark podczas konfigurowania obliczeń usługi Azure Databricks:

JNAME=zulu8-ca-amd64

Jeśli używasz instancji ARM, użyj następujących opcji:

JNAME=zulu8-ca-arm64

Aby dowiedzieć się więcej na temat określania wersji zestawu JDK za pomocą obliczeń usługi Azure Databricks, zobacz Tworzenie klastra z określoną wersją zestawu JDK.

Aby uzyskać pomoc dotyczącą migrowania kodu z środowiska Java 8, zobacz następujące przewodniki:

Zmiana powodująca niezgodność: Hostowana aplikacja RStudio jest zakończona

W tej wersji program RStudio Server hostowany przez Databricks osiąga koniec cyklu życia i jest niedostępny w dowolnym obszarze roboczym usługi Azure Databricks z uruchomionym środowiskiem Databricks Runtime 16.0 lub nowszym. Aby dowiedzieć się więcej i zapoznać się z listą alternatyw dla programu RStudio, zobacz Connect to a Databricks-hosted RStudio Server (Łączenie z serwerem RStudio hostowanym w usłudze Databricks).

Zmiana wprowadzająca niezgodność: Usunięcie obsługi zmiany typów byte, short, int i long na szersze typy

W środowisku Databricks Runtime 15.4.3 lub nowszym następujące zmiany typu danych nie mogą być już stosowane do tabel z włączoną funkcją rozszerzania typu:

  • byte short, inti long do decimal.
  • byte, shorti int do double.

Ta zmiana jest wprowadzana w celu zapewnienia spójnego zachowania w tabelach Delta i Apache Iceberg. Aby dowiedzieć się więcej na temat rozszerzania typów, zobacz Rozszerzanie typu.

Poprawne analizowanie wzorców wyrażeń regularnych z negacją w zagnieżdżonym grupowaniu znaków

Ta wersja zawiera zmianę w celu wsparcia poprawnego parsowania wzorców wyrażeń regularnych z negacją w grupowaniu zagnieżdżonych znaków. Na przykład [^[abc]] zostanie przeanalizowany jako "dowolny znak, który nie jest jednym z "abc".

Ponadto zachowanie aplikacji Photon było niespójne z platformą Spark dla klas znaków zagnieżdżonych. Wzorce wyrażeń regularnych zawierające zagnieżdżone klasy znaków nie będą już korzystać z systemu Photon i zamiast tego będą korzystać z platformy Spark. Zagnieżdżona klasa znaków to dowolny wzorzec zawierający nawiasy kwadratowe w obrębie innych nawiasów kwadratowych, takich jak [[a-c][1-3]].

Ulepszanie wykrywania zduplikowanych dopasowań w usłudze Delta Lake MERGE

W środowisku Databricks Runtime 15.4 LTS i wcześniejszych wersjach, operacje MERGE kończą się niepowodzeniem, jeśli więcej niż jeden wiersz w tabeli źródłowej pasuje do tego samego wiersza w tabeli docelowej, na podstawie warunku MERGE określonego w klauzuli ON. W środowisku Databricks Runtime 16.0 lub nowszym MERGE uwzględnia również warunki określone w klauzuli WHEN MATCHED . Zobacz Upsert do tabeli Delta Lake przy użyciu operacji MERGE.

Nie można już zastąpić metody instalacji biblioteki klastra

Konfiguracje spark.databricks.libraries.enableSparkPyPI, spark.databricks.libraries.enableMavenResolution i spark.databricks.libraries.enableCRANResolutionnow mają teraz domyślną wartość true i nie można ich zmienić.

Domyślny dwugodzinny limit czasu na instalacje biblioteki w zakresie klastra

W środowisku Databricks Runtime 16.0 lub nowszym instalacja biblioteki przypisanej do klastra ma domyślny limit czasu wynoszący dwie godziny. Instalacje bibliotek, które przekroczą ten czas, zakończą się niepowodzeniem. Podczas konfigurowania klastra można zmienić limit czasu przy użyciu konfiguracji spark.databricks.driver.clusterLibraryInstallationTimeoutSecplatformy Spark.

Instalowanie bibliotek z systemu plików DBFS i ustawienia konfiguracji Spark spark.databricks.driver.dbfsLibraryInstallationAllowed są wyłączone.

W środowisku Databricks Runtime 16.0 lub nowszym instalowanie bibliotek z systemu plików DBFS jest w pełni wyłączone. Ta zmiana jest wprowadzana w celu zwiększenia bezpieczeństwa bibliotek w obszarze roboczym usługi Databricks. Ponadto w środowisku Databricks Runtime 16.0 lub nowszym nie można już używać konfiguracji platformy Spark spark.databricks.driver.dbfsLibraryInstallationAllowed.

Funkcje addArtifact() są teraz spójne w różnych typach obliczeniowych

W ramach tej aktualizacji archiwum jest automatycznie rozpakowywane, gdy używasz addArtifact(archive = True) do dodania zależności do współdzielonych lub bezserwerowych zasobów obliczeniowych Azure Databricks. Ta zmiana sprawia, że działanie addArtifact(archive = True) na tych typach obliczeniowych jest spójne z dedykowanymi obliczeniami (dawniej obliczeniami pojedynczego użytkownika), które już obsługują automatyczne rozpakowywanie archiwów.

Reguła użycia backticks jest prawidłowo wymuszana dla głównych identyfikatorów ze znakami specjalnymi

W tej wersji identyfikatory główne ze znakami specjalnymi w GRANT, DENY, i REVOKE będą teraz zgłaszać błąd, jeśli nie są ujęte w odwrotne cudzysłowy.

Nowe funkcje i ulepszenia

Bardziej niezawodne ponowne ładowanie zmodyfikowanych modułów języka Python dzięki ulepszeniom autoreload

W środowisku Databricks Runtime 16.0 lub nowszym aktualizacje autoreload rozszerzenia zwiększają bezpieczeństwo i niezawodność ponownego ładowania zmodyfikowanych modułów języka Python zaimportowanych z plików obszaru roboczego. Dzięki tym zmianom autoreload, jeśli to możliwe, ponownie załaduje tylko część modułu, która uległa zmianie zamiast całego modułu. Ponadto usługa Azure Databricks automatycznie sugeruje użycie rozszerzenia autoreload, jeśli moduł uległ zmianie od czasu ostatniego importu. Zobacz Autoreload dla modułów języka Python.

Obsługa Avro dla rekursywnego schematu

Teraz możesz użyć opcji recursiveFieldMaxDepth za pomocą funkcji from_avro i źródła danych avro. Ta opcja ustawia maksymalną głębokość rekursji schematu w źródle danych Avro. Zobacz Odczytywanie i zapisywanie przesyłanych strumieniowo danych Avro.

funkcje to_avro i from_avro

Funkcje to_avro i from_avro umożliwiają konwersję typów SQL na dane binarne Avro i z powrotem.

Rozszerzona obsługa rejestru schematów platformy Confluent dla avro

Usługa Azure Databricks obsługuje teraz referencje schematów Avro z rejestrem schematów platformy Confluent. Zobacz Uwierzytelnij się w zewnętrznym „Confluent Schema Registry”.

Wymuszanie ponownego klastrowania tabel przy użyciu "liquid clustering"

W środowisku Databricks Runtime 16.0 lub nowszym można użyć składni OPTIMIZE FULL, aby wymusić ponowne klastrowanie wszystkich rekordów w tabeli z włączonym klastrowaniem dynamicznym. Zobacz Wymuszanie ponownego klastrowania wszystkich rekordów.

Interfejsy API delty dla języków Python i Scala obsługują teraz kolumny tożsamości

Teraz możesz używać interfejsów API delty dla języków Python i Scala do tworzenia tabel z kolumnami tożsamości. Zobacz Korzystanie z kolumn tożsamości w Delta Lake.

Szczegółowa kontrola dostępu do dedykowanych zasobów obliczeniowych (dawniej zasoby obliczeniowe jednego użytkownika) jest dostępna ogólnie.

W środowisku Databricks Runtime 16.0 lub nowszym szczegółowa kontrola dostępu do dedykowanych zasobów obliczeniowych jest ogólnie dostępna. W obszarach roboczych z włączoną obsługą obliczeń bezserwerowych, jeśli zapytanie jest uruchamiane na obsługiwanych obliczeniach, takich jak dedykowane obliczenia, a zapytanie uzyskuje dostęp do dowolnego z następujących obiektów, zasób obliczeniowy przekazuje zapytanie do bezserwerowych zasobów obliczeniowych w celu uruchomienia filtrowania danych:

  • Widoki zdefiniowane dla tabel, do których użytkownik nie ma przywilejów SELECT.
  • Widoki dynamiczne.
  • Tabele z zastosowanymi filtrami wierszy lub maskami kolumn.
  • Zmaterializowane widoki i tabele przesyłania strumieniowego

Twórz płynne tabele klastrowe podczas zapisów przesyłanych strumieniowo

Teraz możesz użyć clusterBy, aby włączyć dynamiczne klastrowanie podczas tworzenia nowych tabel za pomocą zapisów w trybie Structured Streaming. Zobacz Włączanie klastrowania cieczy.

Obsługa klauzuli OPTIMIZE FULL

Środowisko Databricks Runtime 16.0 obsługuje klauzulę OPTIMIZE FULL. Ta klauzula optymalizuje wszystkie rekordy w tabeli, która korzysta z klastrowania cieczy, w tym danych, które mogły wcześniej zostać klastrowane.

Obsługa specyfikacji opcji WITH w INSERT i odniesieniu do tabeli

Środowisko Databricks Runtime 16.0 obsługuje specyfikację opcji dla odwołań do tabel i nazw tabel INSERT związanych z instrukcją, która może służyć do kontrolowania zachowania źródeł danych.

Nowe funkcje SQL

Następujące funkcje SQL są dodawane w środowisku Databricks Runtime 16.0:

  • spróbuj_rozszyfrować_URL

    Ta funkcja jest wersją url_decode odporną na błędy. Ta funkcja zwraca NULL, jeśli dane wejściowe nie są prawidłowym ciągiem znaków zakodowanym w formacie URL.

  • zeroifnull

    Jeśli wyrażenie zeroifnull() wejściowe funkcji to NULL, funkcja zwraca wartość 0. W przeciwnym razie zwracana jest wartość wyrażenia wejściowego.

  • nullifzero

    Zwraca NULL, jeśli dane wejściowe wynoszą 0, lub dane wejściowe, jeśli nie wynoszą 0. Jeśli wyrażenie nullifzero() wejściowe funkcji wynosi 0, funkcja zwraca wartość NULL. Jeśli wyrażenie wejściowe nie ma wartości 0, zwracana jest wartość wyrażenia wejściowego

Włączanie automatycznej ewolucji schematu podczas scalania danych z tabelą delty

Klasa withSchemaEvolution() została rozszerzona o obsługę członka DeltaMergeBuilder. Użyj withSchemaEvolution() do włączenia automatycznej ewolucji schematu podczas operacji MERGE. Na przykład mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}.

Inne zmiany

Usługa SparkR jest teraz przestarzała

W środowisku Databricks Runtime 16.0 lub nowszym usługa SparkR w usłudze Databricks jest oznaczona do wycofania w ramach przygotowania do wycofania usługi SparkR w nadchodzącej wersji platformy Spark 4. Zobacz wątek Przestarzały SparkR w Apache Spark.

Databricks zaleca zamiast tego używanie sparklyr.

Środowisko Databricks Runtime 16.0 nie jest obsługiwane z PVC

Środowisko Databricks Runtime 16.0 nie jest obsługiwane przez prywatną chmurę wirtualną usługi Databricks (PVC). Musisz użyć środowiska Databricks Runtime 15.4 lub nowszego ze wszystkimi wersjami PVC.

Poprawki błędów

Moduł automatycznego ładowania teraz przywraca typy rekordów Avro z pustymi schematami

Podczas ładowania pliku Avro do tabeli delty przy użyciu modułu automatycznego ładowania typy w pliku, które mają pusty schemat, record są teraz dodawane do uratowanej kolumny danych. Ponieważ nie można wprowadzać pustych złożonych typów danych do tabeli Delta, rozwiązuje to problem z ładowaniem niektórych plików Avro. Aby dowiedzieć się więcej na temat uratowanych danych, zobacz Co to jest uratowana kolumna danych?.

Poprawka błędu podczas zapisywania sygnatur czasowych ze strefami czasowymi zawierającymi drugie przesunięcie.

W tej wersji naprawiono usterkę wpływającą na znaczniki czasu ze strefami czasowymi zawierającymi drugie przesunięcie. Ta usterka powoduje pominięcie sekund podczas zapisywania w formacie JSON, XML lub CSV, co prowadzi do nieprawidłowych wartości znacznika czasu.

Aby powrócić do poprzedniego zachowania, użyj następującej opcji podczas zapisywania w jednym z formatów, których dotyczy problem: .option("yyyy-MM-dd'T'HH:mm:ss[.SSS][XXX]").

Uaktualnienia biblioteki

  • Uaktualnione biblioteki języka Python:
    • azure-core z wersji 1.30.2 do 1.31.0
    • azure-storage-blob z wersji 12.19.1 do 12.23.0
    • azure-storage-file-datalake z wersji 12.14.0 do 12.17.0
    • czarny od 23.3.0 do 24.4.2
    • migacz z wersji 1.4 do 1.7.0
    • boto3 z 1.34.39 do 1.34.69
    • botocore z wersji 1.34.39 do 1.34.69
    • certyfikat od 22.07.2023 do 02.06.2024
    • cffi z 1.15.1 do 1.16.0
    • kliknij z wersji 8.0.4 do 8.1.7
    • comm od 0.1.2 do 0.2.1
    • contourpy z 1.0.5 do 1.2.0
    • Kryptografia z wersji 41.0.3 do 42.0.5
    • Cython od 0.29.32 do 3.0.11
    • databricks-sdk z wersji 0.20.0 do 0.30.0
    • dbus-python z wersji 1.2.18 do 1.3.2
    • filelock z wersji 3.13.4 do 3.15.4
    • fonttools z 4.25.0 do 4.51.0
    • GitPython z wersji 3.1.43 do 3.1.37
    • google-api-core z wersji 2.18.0 do 2.20.0
    • google-auth z wersji 2.31.0 do 2.35.0
    • google-cloud-storage z wersji 2.17.0 do 2.18.2
    • google-crc32c z 1.5.0 do 1.6.0
    • google-resumable-media z 2.7.1 do 2.7.2
    • googleapis-common-protos z 1.63.2 do 1.65.0
    • httplib2 z 0.20.2 do 0.20.4
    • idna z 3.4 do 3.7
    • ipykernel z wersji 6.25.1 do wersji 6.28.0
    • ipython z 8.15.0 do 8.25.0
    • jedi z wersji 0.18.1 do 0.19.1
    • jmespath z 0.10.0 do 1.0.1
    • joblib z wersji 1.2.0 do 1.4.2
    • jupyter_client z wersji 7.4.9 do 8.6.0
    • jupyter_core z wersji 5.3.0 do 5.7.2
    • launchpadlib z wersji 1.10.16 do 1.11.0
    • lazr.restfulclient z wersji 0.14.4 do wersji 0.14.6
    • matplotlib z wersji 3.7.2 do 3.8.4
    • mlflow-skinny z 2.11.4 do 2.15.1
    • more-itertools z 8.10.0 do 10.3.0
    • mypy-extensions od wersji 0.4.3 do 1.0.0
    • nest-asyncio z wersji 1.5.6 do 1.6.0
    • numpy z wersji 1.23.5 do 1.26.4
    • oauthlib z wersji 3.2.0 do 3.2.2
    • opakowania od 23.2 do 24.1
    • patsy z 0.5.3 do 0.5.6
    • z 23.2.1 do 24.2
    • wykres z 5.9.0 do 5.22.0
    • prompt-toolkit z wersji 3.0.36 do 3.0.43
    • pyarrow z 14.0.1 do 15.0.2
    • pydantic z 1.10.6 do 2.8.2
    • PyGObject z wersji 3.42.1 do 3.48.2
    • PyJWT z wersji 2.3.0 do 2.7.0
    • pyodbc z wersji 4.0.38 do 5.0.1
    • python-dateutil z wersji 2.8.2 do 2.9.0.post0
    • python-lsp-jsonrpc z wersji 1.1.1 do 1.1.2
    • pytz od 2022.7 do 2024.1
    • PyYAML z 6.0 do 6.0.1
    • pyzmq z 23.2.0 do 25.1.2
    • żądania z wersji 2.31.0 do 2.32.2
    • scikit-learn z wersji 1.3.0 do 1.4.2
    • scipy z 1.11.1 do 1.13.1
    • seaborn od 0.12.2 do 0.13.2
    • Aktualizacja setuptools z wersji 68.0.0 do 74.0.0
    • smmap z 5.0.1 do 5.0.0
    • sqlparse z 0.5.0 do 0.5.1
    • statsmodels z 0.14.0 do 0.14.2
    • tornado z 6.3.2 do 6.4.1
    • traitlets od 5.7.1 do 5.14.3
    • typing_extensions z wersji 4.10.0 do 4.11.0
    • ujson zaktualizowano z wersji 5.4.0 do 5.10.0
    • virtualenv z wersji 20.24.2 do 20.26.2
    • od 0.38.4 do 0.43.0
    • zipp z 3.11.0 do 3.17.0
  • Uaktualnione biblioteki języka R:
    • strzałka od 14.0.0.2 do 16.1.0
    • Wsteczna kompatybilność z wersji 1.4.1 do 1.5.0
    • od 4.3.2 do 4.4.0
    • bitops z wersji 1.0-7 do 1.0-8
    • aktualizacja z wersji 1.3-28 do 1.3-30
    • brio od 1.1.4 do 1.1.5
    • broom od 1.0.5 do 1.0.6
    • bslib z 0.6.1 do 0.8.0
    • pamięć podręczna z wersji 1.0.8 do 1.1.0
    • callr, wersja od 3.7.3 do 3.7.6
    • interfejs wiersza polecenia z wersji 3.6.2 do 3.6.3
    • zegar od 0.7.0 do 0.7.1
    • klaster z wersji 2.1.4 do 2.1.6
    • codetools od 0.2-19 do 0.2-20
    • przestrzeń barw od 2.1-0 do 2.1-1
    • kompilator z wersji 4.3.2 do 4.4.0
    • kredka z 1.5.2 do 1.5.3
    • Aktualizacja curl z wersji 5.2.0 do 5.2.1
    • data.table z wersji 1.15.0 do 1.15.4
    • zestawy danych z wersji 4.3.2 do 4.4.0
    • DBI z wersji 1.2.1 na 1.2.3
    • dbplyr z wersji 2.4.0 do 2.5.0
    • zmiana z 0.6.34 na 0.6.36
    • zaktualizowano z wersji 0.4.3 do 0.4.4
    • oceniaj od 0,23 do 0,24.0
    • farver od 2.1.1 do 2.1.2
    • fastmap z wersji 1.1.1 do 1.2.0
    • zagraniczne od 0,8-85 do 0,8-86
    • fs z 1.6.3 do 1.6.4
    • przyszłość z wersji 1.33.1 do 1.34.0
    • future.apply z wersji 1.11.1 do 1.11.2
    • gert z 2.0.1 do 2.1.0
    • ggplot2 z wersji 3.4.4 do 3.5.1
    • gh z 1.4.0 do 1.4.1
    • globals z 0.16.2 do 0.16.3
    • grafika z wersji 4.3.2 do 4.4.0
    • grDevices z wersji 4.3.2 do 4.4.0
    • siatka z 4.3.2 do 4.4.0
    • gt od 0.10.1 do 0.11.0
    • gtable z wersji 0.3.4 do 0.3.5
    • hardhat z 1.3.1 do 1.4.0
    • wyższy z 0.10 do 0.11
    • htmltools z 0.5.7 do 0.5.8.1
    • httpuv z wersji 1.6.14 do 1.6.15
    • httr2 z 1.0.0 do 1.0.2
    • ipred z 0.9-14 do 0.9-15
    • KernSmooth z 2.23-21 do 2.23-22
    • knitr aktualizacja z wersji 1.45 do 1.48
    • lattice z 0.21-8 do 0.22-5
    • lawa z 1.7.3 do 1.8.0
    • markdown od 1.12 do 1.13
    • MASA z 7.3-60 do 7.3-60.0.1
    • Macierz z zakresu 1.5-4.1 do 1.6-5
    • metody z wersji 4.3.2 do 4.4.0
    • mgcv z 1.8-42 do 1.9-1
    • mlflow z 2.10.0 do 2.14.1
    • munsell z 0.5.0 do 0.5.1
    • nlme z 3.1-163 do 3.1-165
    • openssl z 2.1.1 do 2.2.0
    • aktualizacja z wersji 4.3.2 do 4.4.0
    • równolegle z wersji 1.36.0 do wersji 1.38.0
    • pkgbuild z 1.4.3 do 1.4.4
    • Aktualizacja pkgdown z wersji 2.0.7 do 2.1.0
    • pkgload z wersji 1.3.4 do 1.4.0
    • processx z wersji 3.8.3 do 3.8.4
    • prodlim od 2023.08.28 do 2024.06.25
    • obietnice z 1.2.1 do 1.3.0
    • ps od 1.7.6 do 1.7.7
    • Aktualizacja ragg z wersji 1.2.7 do 1.3.2
    • Program Rcpp z wersji 1.0.12 do 1.0.13
    • RcppEigen z 0.3.3.9.4 do 0.3.4.0.0
    • reactR od wersji 0.5.0 do wersji 0.6.0
    • przepisy od 1.0.9 do 1.1.0
    • zdalne z wersji 2.4.2.1 do 2.5.0
    • reprex z 2.1.0 do 2.1.1
    • rlang z wersji 1.1.3 do 1.1.4
    • rmarkdown z 2.25 do 2.27
    • roxygen2 z 7.3.1 do 7.3.2
    • rpart z 4.1.21 do 4.1.23
    • RSQLite z wersji 2.3.5 do 2.3.7
    • rstudioapi z 0.15.0 do 0.16.0
    • rvest z 1.0.3 do 1.0.4
    • sass z wersji 0.4.8 do 0.4.9
    • kształt z wersji 1.4.6 do 1.4.6.1
    • błyszczące od 1.8.0 do 1.9.1
    • sparklyr z 1.8.4 do 1.8.6
    • przestrzenne od 7.3-15 do 7.3-17
    • linie od 4.3.2 do 4.4.0
    • statystyki z 4.3.2 do 4.4.0
    • stats4 z 4.3.2 do 4.4.0
    • stringi z wersji 1.8.3 do 1.8.4
    • przeżywalność od 3,5-5 do 3,6-4
    • Swagger z wersji 3.33.1 do 5.17.14.1
    • systemfonts z 1.0.5 do 1.1.0
    • tcltk z wersji 4.3.2 do 4.4.0
    • testthat z wersji 3.2.1 do wersji 3.2.1.1
    • Aktualizacja textshaping z wersji 0.3.7 do 0.4.0
    • tidyselect z wersji 1.2.0 do 1.2.1
    • tinytex z 0.49 do 0.52
    • narzędzia z wersji 4.3.2 do 4.4.0
    • usethis z 2.2.2 do 3.0.0
    • Narzędzia z wersji 4.3.2 do 4.4.0
    • uuid z 1.2-0 do 1.2-1
    • V8 z 4.4.1 do 4.4.2
    • withr z 3.0.0 do 3.0.1
    • xfun z 0.41 do 0.46
    • xopen z 1.0.0 do 1.0.1
    • yaml z wersji 2.3.8 do wersji 2.3.10
  • Uaktualnione biblioteki Java:
    • com.amazonaws.aws-java-sdk-autoscaling z wersji 1.12.610 do 1.12.638
    • com.amazonaws.aws-java-sdk-cloudformation z wersji 1.12.610 do 1.12.638
    • com.amazonaws.aws-java-sdk-cloudfront od 1.12.610 do 1.12.638
    • com.amazonaws.aws-java-sdk-cloudhsm od 1.12.610 do 1.12.638
    • com.amazonaws.aws-java-sdk-cloudsearch z wersji 1.12.610 do 1.12.638
    • com.amazonaws.aws-java-sdk-cloudtrail od 1.12.610 do 1.12.638
    • com.amazonaws.aws-java-sdk-cloudwatch z wersji 1.12.610 do 1.12.638
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics od 1.12.610 do 1.12.638
    • com.amazonaws.aws-java-sdk-codedeploy z wersji 1.12.610 do 1.12.638
    • com.amazonaws.aws-java-sdk-cognitoidentity od 1.12.610 do 1.12.638
    • com.amazonaws.aws-java-sdk-cognitosync z wersji 1.12.610 do 1.12.638
    • com.amazonaws.aws-java-sdk-config z wersji 1.12.610 do 1.12.638
    • com.amazonaws.aws-java-sdk-core z wersji 1.12.610 do 1.12.638
    • com.amazonaws.aws-java-sdk-datapipeline od 1.12.610 do 1.12.638
    • com.amazonaws.aws-java-sdk-directconnect z wersji 1.12.610 do 1.12.638
    • com.amazonaws.aws-java-sdk-directory z wersji 1.12.610 do 1.12.638
    • com.amazonaws.aws-java-sdk-dynamodb z 1.12.610 do 1.12.638
    • com.amazonaws.aws-java-sdk-ec2 z wersji 1.12.610 do 1.12.638
    • com.amazonaws.aws-java-sdk-ecs z wersji 1.12.610 do 1.12.638
    • com.amazonaws.aws-java-sdk-efs z wersji 1.12.610 do 1.12.638
    • com.amazonaws.aws-java-sdk-elasticache z wersji 1.12.610 do 1.12.638
    • com.amazonaws.aws-java-sdk-elasticbeanstalk z wersji 1.12.610 do 1.12.638
    • com.amazonaws.aws-java-sdk-elasticloadbalancing z wersji 1.12.610 do 1.12.638
    • com.amazonaws.aws-java-sdk-elastictranscoder z wersji 1.12.610 do 1.12.638
    • com.amazonaws.aws-java-sdk-emr z wersji 1.12.610 do 1.12.638
    • com.amazonaws.aws-java-sdk-glacier od 1.12.610 do 1.12.638
    • com.amazonaws.aws-java-sdk-glue z wersji 1.12.610 do 1.12.638
    • com.amazonaws.aws-java-sdk-iam od 1.12.610 do 1.12.638
    • com.amazonaws.aws-java-sdk-importexport z wersji 1.12.610 do 1.12.638
    • com.amazonaws.aws-java-sdk-kinesis od 1.12.610 do 1.12.638
    • com.amazonaws.aws-java-sdk-kms od 1.12.610 do 1.12.638
    • com.amazonaws.aws-java-sdk-lambda z wersji 1.12.610 do 1.12.638
    • com.amazonaws.aws-java-sdk-logs z wersji 1.12.610 do 1.12.638
    • Aktualizacja wersji com.amazonaws.aws-java-sdk-machinelearning z 1.12.610 na 1.12.638
    • com.amazonaws.aws-java-sdk-opsworks z wersji 1.12.610 do 1.12.638
    • com.amazonaws.aws-java-sdk-rds z wersji 1.12.610 do 1.12.638
    • com.amazonaws.aws-java-sdk-redshift z wersji 1.12.610 do 1.12.638
    • com.amazonaws.aws-java-sdk-route53 z 1.12.610 do 1.12.638
    • com.amazonaws.aws-java-sdk-s3 z wersji 1.12.610 do 1.12.638
    • com.amazonaws.aws-java-sdk-ses z wersji 1.12.610 do 1.12.638
    • com.amazonaws.aws-java-sdk-simpledb z wersji 1.12.610 do 1.12.638
    • com.amazonaws.aws-java-sdk-simpleworkflow z wersji 1.12.610 do 1.12.638
    • com.amazonaws.aws-java-sdk-sns z wersji 1.12.610 do 1.12.638
    • com.amazonaws.aws-java-sdk-sqs z 1.12.610 do 1.12.638
    • com.amazonaws.aws-java-sdk-ssm z wersji 1.12.610 do 1.12.638
    • com.amazonaws.aws-java-sdk-storagegateway od 1.12.610 do 1.12.638
    • com.amazonaws.aws-java-sdk-sts z wersji 1.12.610 do 1.12.638
    • com.amazonaws.aws-java-sdk-support z 1.12.610 do 1.12.638
    • com.amazonaws.aws-java-sdk-workspaces od 1.12.610 do 1.12.638
    • com.amazonaws.jmespath-java od 1.12.610 do 1.12.638
    • com.google.protobuf.protobuf-java z wersji 2.6.1 do 3.25.1
    • io.airlift.aircompressor od 0.25 do 0.27
    • io.delta.delta-sharing-client_2.12 z wersji 1.1.3 do 1.2.0
    • io.netty.netty-all z 4.1.96.Final do 4.1.108.Final
    • Aktualizacja io.netty.netty-buffer z wersji 4.1.96.Final do wersji 4.1.108.Final
    • io.netty.netty-codec z wersji 4.1.96.Final do 4.1.108.Final
    • io.netty.netty-codec-http z wersji 4.1.96.Final do 4.1.108.Final
    • io.netty.netty-codec-http2 z wersji 4.1.96.Final do 4.1.108.Final
    • io.netty.netty-codec-socks z wersji 4.1.96.Final do 4.1.108.Final
    • io.netty.netty-common z 4.1.96.Final do 4.1.108.Final
    • io.netty.netty-handler z wersji 4.1.96.Final do wersji 4.1.108.Final
    • io.netty.netty-handler-proxy z wersji 4.1.96.Final do wersji 4.1.108.Final
    • io.netty.netty-resolver z wersji 4.1.96.Final do 4.1.108.Final
    • io.netty.netty-transport z wersji 4.1.96.Final do wersji 4.1.108.Final
    • io.netty.netty-transport-classes-epoll from 4.1.96.Final to 4.1.1.108.Final
    • io.netty.netty-transport-classes-kqueue from 4.1.96.Final to 4.1.1.108.Final
    • io.netty.netty-transport-native-epoll z 4.1.96.Final-linux-x86_64 na 4.1.108.Final-linux-x86_64
    • io.netty.netty-transport-native-kqueue od 4.1.96.Final-osx-x86_64 do 4.1.108.Final-osx-x86_64
    • io.netty.netty-transport-native-unix-common from 4.1.96.Final to 4.1.1.108.Final
    • org.apache.ivy.ivy z wersji 2.5.1 do 2.5.2
    • org.apache.zookeeper.zookeeper od 3.6.3 do 3.9.2
    • org.apache.zookeeper.zookeeper-jute od 3.6.3 do 3.9.2
    • org.rocksdb.rocksdbjni z wersji 8.11.4 do 9.2.1
    • org.scalactic.scalactic_2.12 z wersji 3.2.15 do 3.2.16
    • org.scalatest.scalatest-zgodny z wersją 3.2.15 do 3.2.16
    • org.scalatest.scalatest-core_2.12 z wersji 3.2.15 do 3.2.16
    • org.scalatest.scalatest-diagrams_2.12 z wersji 3.2.15 do 3.2.16
    • org.scalatest.scalatest-featurespec_2.12 z wersji 3.2.15 do 3.2.16
    • org.scalatest.scalatest-flatspec_2.12 z wersji 3.2.15 do 3.2.16
    • org.scalatest.scalatest-freespec_2.12 z wersji 3.2.15 do 3.2.16
    • org.scalatest.scalatest-funspec_2.12 od wersji 3.2.15 do wersji 3.2.16
    • org.scalatest.scalatest-funsuite_2.12 z wersji 3.2.15 na 3.2.16
    • org.scalatest.scalatest-matchers-core_2.12 z 3.2.15 do 3.2.16
    • org.scalatest.scalatest-mustmatchers_2.12 z wersji 3.2.15 do 3.2.16
    • org.scalatest.scalatest-propspec_2.12 z wersji 3.2.15 do 3.2.16
    • org.scalatest.scalatest-refspec_2.12 z wersji 3.2.15 do 3.2.16
    • org.scalatest.scalatest-shouldmatchers_2.12 od wersji 3.2.15 do wersji 3.2.16
    • org.scalatest.scalatest-wordspec_2.12 z wersji 3.2.15 do 3.2.16
    • org.scalatest.scalatest_2.12 z wersji 3.2.15 do 3.2.16

Apache Spark

Środowisko Databricks Runtime 16.0 obejmuje platformę Apache Spark 3.5.0. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 15.4 LTS, a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

  • [SPARK-49093] [DBRRM-1371] Revert "[SC-172958][sql] GROUP BY with MapType nes...
  • [SPARK-49898] [ DBRRM-1282][sc-178410] Poprawiono dokumentację i ustawienie domyślne dla flagi rejestrowania metryk dziennika zdarzeń z platformy SPARK-42204
  • [SPARK-49743] [ES-1260022][behave-157][SC-177475][sql] OptimizeCsvJsonExpr nie należy zmieniać pól schematu podczas oczyszczania pól GetArrayStructFields
  • [SPARK-49816] [SC-177896][sql] Należy aktualizować tylko liczbę referencji wychodzących dla zewnętrznych relacji CTE.
  • [SPARK-48939] [SC-177022][sc-172766][AVRO] Wspieranie odczytywania Avro z rekursywnym odniesieniem do schematu
  • [SPARK-49688] [SC-177468][es-1242349][CONNECT] Naprawianie wyścigu danych między przerwaniem a wykonaniem planu
  • [SPARK-49771] [SC-177466][python] Poprawa komunikatu błędu dla Pandas Scalar Iter UDF, gdy liczba wierszy wyjściowych przekracza liczbę wierszy wejściowych
  • [SPARK-48866] [SC-170772][sql] Poprawiono komunikaty dotyczące prawidłowego zestawu znaków w komunikacie o błędzie INVALID_PARAMETER_VALUE.CHARSET
  • [SPARK-48195] [FIXFORWARD][sc-177267][CORE] Zapisywanie i ponowne używanie RDD/Broadcast utworzonych przez SparkPlan
  • [SPARK-49585] [CONNECT] Zastąpienie mapowania wykonań w SessionHolder zestawem operationID
  • [SPARK-49211] [SC-174257][sql] Katalog V2 może również obsługiwać wbudowane źródła danych
  • [SPARK-49684] Zminimalizowanie okresu istnienia blokady przywracania sesji
  • [SPARK-48059] [SPARK-48145][spark-48134][SPARK-48182][spark-48209][SPARK-48291] Struktura dziennika strukturalnego po stronie języka Java
  • [SPARK-48857] [SC-170661][sql] Ogranicz zestawy znaków w CSVOptions
  • [SPARK-49152] [SC-173690][sql] V2SessionCatalog powinien używać polecenia V2Command
  • [SPARK-42846] [SC-176588][sql] Usuń warunek błędu _LEGACY_ERROR_TEMP_2011
  • [SPARK-48195] [ SC-177267][core] Zapisywanie i ponowne używanie RDD/Broadcast utworzonych przez SparkPlan
  • [SPARK-49630] [ SC-177379][ss] Dodaj opcję spłaszczania do przetwarzania typów kolekcji za pomocą czytnika źródła danych ze stanem.
  • [SPARK-49699] [SC-177154][ss] Disable PruneFilters dla obciążeń przesyłanych strumieniowo
  • [SPARK-48781] [SC-175282][sql] Dodaj interfejsy API katalogów do ładowania procedur składowanych
  • [SPARK-49667] [SC-177068][sql] Nie zezwalaj porządkującym CS_AI z wyrażeniami używającymi StringSearch
  • [SPARK-49737] [SC-177207][sql] Wyłączenie segmentacji dla zgrupowanych kolumn w typach złożonych
  • [SPARK-48712] [ SC-169794][sql] Ulepszenie wydajności kodowania z pustymi wartościami lub zestawem znaków UTF-8
  • [SPARK-49038] [ SC-173933][sql] SQLMetric powinna zgłosić nieprzetworzoną wartość w zdarzeniu aktualizacji akumulatora
  • [SPARK-48541] [ SC-169066][core] Dodaj nowy kod zakończenia dla wykonawców zabitych przez TaskReaper
  • [SPARK-48774] [SC-170138][sql] Używanie platformy SparkSession w programie SQLImplicits
  • [SPARK-49719] [SC-177139][sql] Spraw, aby UUID i SHUFFLE akceptowały liczbę całkowitą seed
  • [SPARK-49713] [SC-177135][python][CONNECT] Funkcja Make count_min_sketch akceptuje argumenty liczbowe
  • [SPARK-47601] [ SC-162499][graphx] Graphx: Migrowanie dzienników ze zmiennymi do struktury rejestrowania strukturalnego
  • [SPARK-49738] [SC-177219][sql] Poprawka błędu Endswith
  • [SPARK-48623] [SC-170822][core] Migracje rejestrowania strukturalnego [część 3]
  • [SPARK-49677] [ SC-177148][ss] Upewnij się, że pliki dziennika zmian są zapisywane w momencie zatwierdzenia, a flaga forceSnapshot jest również resetowana
  • [SPARK-49684] [SC-177040][connect] Usuń globalne blokady z menedżerów sesji i menedżerów wykonania
  • [SPARK-48302] [ SC-168814][python] Zachowaj wartości null w kolumnach mapy w tabelach PyArrow
  • [SPARK-48601] [ SC-169025][sql] Podaj bardziej przyjazny dla użytkownika komunikat o błędzie podczas ustawiania wartości null dla opcji JDBC
  • [SPARK-48635] [ SC-169263][sql] Przypisywanie klas do błędów związanych z typem sprzężenia i błędu sprzężenia as-of
  • [SPARK-49673] [ SC-177032][connect] Zwiększ CONNECT_GRPC_ARROW_MAX_BATCH_SIZE do 0,7 * CONNECT_GRPC_MAX_MESSAGE_SIZE
  • [SPARK-49693] [ SC-177071][python][CONNECT] Uściślij reprezentację ciągu timedelta
  • [SPARK-49687] [SC-176901][sql] Opóźnij sortowanie w validateAndMaybeEvolveStateSchema
  • [SPARK-49718] [SC-177112][ps] Przełączanie Scatter wykresu na próbkowane dane
  • [SPARK-48472] [SC-169044][sql] Włącz wyrażenia reflect za pomocą ciągów uporządkowanych
  • [SPARK-48484] [SC-167484][sql] Poprawka: V2Write używa tego samego identyfikatora TaskAttemptId dla różnych prób zadań
  • [SPARK-48341] [ SC-166560][connect] Zezwalaj wtyczkom na używanie narzędzia QueryTest w testach
  • [SPARK-42252] [ SC-168723][core] Dodaj spark.shuffle.localDisk.file.output.buffer i wycofaj spark.shuffle.unsafe.file.output.buffer
  • [SPARK-48314] [SC-166565][ss] Nie dubluj plików pamięci podręcznej dla źródła FileStreamSource przy użyciu Trigger.AvailableNow
  • [SPARK-49567] [SC-176241][python] Użyj zamiast classic z vanilla bazy kodu PySpark
  • [SPARK-48374] [SC-167596][python] Obsługa dodatkowych typów kolumn tabeli PyArrow
  • [SPARK-48300] [SC-166481][sql] Obsługa codegenów from_xml
  • [SPARK-49412] [SC-177059][ps] Oblicz wszystkie metryki wykresu pudełkowego w jednym zadaniu
  • [SPARK-49692] [ SC-177031][python][CONNECT] Uściślij reprezentację ciągu daty literału i daty/godziny
  • [SPARK-49392] [ES-1130351][sc-176705][SQL] Przechwytywanie błędów przy niepowodzeniu zapisu do zewnętrznego źródła danych
  • [SPARK-48306] [SC-166241][sql] Ulepszanie funkcji UDT w komunikacie o błędzie
  • [SPARK-44924] [SC-166379][ss] Dodawanie konfiguracji dla plików buforowanych FileStreamSource
  • [SPARK-48176] [SC-165644][sql] Dostosować nazwę warunku błędu FIELD_ALREADY_EXISTS
  • [SPARK-49691] [ SC-176988][python][CONNECT] Funkcja substring powinna akceptować nazwy kolumn
  • [SPARK-49502] [SC-176077][core] Unikaj NPE w SparkEnv.get.shuffleManager.unregisterShuffle
  • [SPARK-49244] [SC-176703][sql] Dalsze ulepszenia wyjątku analizatora/interpretera
  • [SPARK-48355] [SC-176684][sql] Obsługa instrukcji CASE
  • [SPARK-49355] [ SC-175121][sql] levenshtein powinien sprawdzić, czy collation wartości wszystkich typów parametrów są takie same
  • [SPARK-49640] [ SC-176953][ps] Zastosuj próbkowanie zbiorników w SampledPlotBase
  • [SPARK-49678] [SC-176857][core] Obsługa spark.test.master w SparkSubmitArguments
  • [SPARK-49680] [ SC-176856][python] Ogranicz Sphinx równoległość kompilacji do 4 domyślnie
  • [SPARK-49396] Przywróć "[SC-176030][sql] Modyfikowanie sprawdzania wartości null dla wyrażenia CaseWhen"
  • [SPARK-48419] [ SC-167443][sql] Propagacja zwijania z możliwością zwijania kolumny...
  • [SPARK-49556] [SC-176757][sql] Dodaj składnię potoku SQL dla operatora
  • [SPARK-49438] [SC-175237][sql] Poprawiono ładną nazwę wyrażenia FromAvro i ToAvro
  • [SPARK-49659] [SC-1229924][sql] Dodaj czytelny komunikat o błędzie dla użytkownika dla podzapytania skalarnego wewnątrz klauzuli VALUES
  • [SPARK-49646] [SC-176778][sql] naprawić odwzorowanie podzapytania dla operacji union/set, gdy parentOuterReferences zawiera odwołania niewystępujące w collectedChildOuterReferences.
  • [SPARK-49354] [ SC-175034][sql] split_part powinien sprawdzić, czy collation wartości wszystkich typów parametrów są takie same
  • [SPARK-49478] [SC-175914][connect] Obsługa zerowych metryk w ConnectProgressExecutionListener
  • [SPARK-48358] [SC-176374][sql] Obsługa instrukcji REPEAT
  • [SPARK-49183] [SC-173680][sql] V2SessionCatalog.createTable powinien uwzględniać PROP_IS_MANAGED_LOCATION
  • [SPARK-49611] [ SC-176791][sql] Wprowadzenie tvF collations() i usuwanie SHOW COLLATIONS polecenia
  • [SPARK-49261] [ SC-176589][sql] Nie zamieniaj literałów w wyrażeniach agregacji na wyrażenia grupowane według
  • [SPARK-49099] [ SC-173229][sql] CatalogManager.setCurrentNamespace powinien uwzględniać niestandardowy katalog sesji
  • [SPARK-49594] [SC-176569][ss] Dodawanie sprawdzania, czy rodziny kolumn zostały dodane lub usunięte do zapisu pliku StateSchemaV3
  • [SPARK-49578] [SC-176385][sql] Usuń sugestię ustawienia ANSI w CAST_INVALID_INPUT i CAST_OVERFLOW
  • [SPARK-48882] [SC-174256][ss] Przypisywanie nazw do klas błędów związanych z trybem wyjściowym przesyłania strumieniowego
  • [SPARK-49155] [ SC-176506][sql][SS] Użyj bardziej odpowiedniego typu parametru do konstruowania GenericArrayData
  • [SPARK-49519] [ SC-176388][sql] Opcje scalania tabeli i relacji podczas konstruowania elementu FileScanBuilder
  • [SPARK-49591] [SC-176587][sql] Dodaj kolumnę Typ logiczny do pliku readme wariantu
  • [SPARK-49596] [SC-176423][sql] Zwiększanie wydajności FormatString
  • [SPARK-49525] [SC-176044][ss][CONNECT] Drobna poprawa logów w słuchaczu Bus słuchacza dla zapytań transmisji strumieniowej po stronie serwera
  • [SPARK-49583] [SC-176272][sql] Zdefiniuj podwarunek błędu SECONDS_FRACTION dla nieprawidłowego wzorca ułamkowego sekund
  • [SPARK-49536] [SC-176242] Obsługa błędu przy wstępnym pobieraniu rekordów z źródła danych strumieniowych w Pythonie
  • [SPARK-49443] [SC-176273][sql][PYTHON] Zaimplementuj wyrażenie to_variant_object i spraw, aby wyrażenia schema_of_variant drukowały OBJECT dla obiektów wariantu
  • [SPARK-49544] [SASP-3990][sc-176557][CONNECT] Zastąp gruboziarniste blokowanie w SparkConnectExecutionManager za pomocą ConcurrentMap
  • [SPARK-49548] [SASP-3990][sc-176556][CONNECT] Zamień blokowanie zgrubne w SparkConnectSessionManager na ConcurrentMap
  • [SPARK-49551] [ SC-176218][ss] Ulepszanie dziennika Bazy danych RocksDB do ponownego odtwarzaniaChangelog
  • [SPARK-49595] [ SC-176396][connect][SQL] Fix DataFrame.unpivot/melt in Spark Connect Scala Client
  • [SPARK-49006] [SC-176162] Implementowanie przeczyszczania dla plików OperatorStateMetadataV2 i StateSchemaV3
  • [SPARK-49600] [ SC-176426][python] Usuń Python 3.6 and olderlogikę powiązaną z try_simplify_traceback
  • [SPARK-49303] [SC-176013][ss] Wdrożenie czasu wygaśnięcia dla ValueState w API transformWithStateInPandas
  • [SPARK-49191] [ SC-176243][ss] Dodano obsługę odczytywania zmiennych stanu mapy TransformWithState z czytnikiem źródła danych stanu
  • [SPARK-49593] [SC-176371][ss] Rzuć wyjątek RocksDB do wywołującego podczas zamykania bazy danych, jeśli wystąpi błąd.
  • [SPARK-49334] [ SC-174803][sql] str_to_map powinien sprawdzić, czy collation wartości wszystkich typów parametrów są takie same
  • [SPARK-42204] [ SC-176126][core] Dodaj opcję wyłączenia nadmiarowego rejestrowania wewnętrznych akumulatorów TaskMetrics w dziennikach zdarzeń
  • [SPARK-49575] [ SC-176256][ss] Dodaj logowanie dla zwolnienia blokady tylko wtedy, gdy acquiredThreadInfo nie jest nullem
  • [SPARK-49539] [SC-176250][ss] Zaktualizuj wewnętrzny identyfikator startowy rodzin kolumn na inny
  • [SPARK-49205] [ SC-173853][sql] KeyGroupedPartitioning powinna dziedziczyć element HashPartitioningLike
  • [SPARK-49396] [SC-176030][sql] Modyfikowanie sprawdzania wartości null dla wyrażenia CaseWhen
  • [SPARK-49476] [SC-175700][sql] Poprawka nullowalności funkcji base64
  • [SPARK-47262] [ SC-174829][sql] Przypisywanie nazw do warunków błędów konwersji parquet
  • [SPARK-47247] [ SC-158349][sql] Użyj mniejszego rozmiaru docelowego podczas scalania partycji z rozszerzającymi sprzężeniami
  • [SPARK-49501] [ SC-176166][sql] Poprawka podwójnego ucieczki lokalizacji tabeli
  • [SPARK-49083] [ SC-173214][connect] Zezwalaj from_xml i from_json na natywną pracę ze schematami json
  • [SPARK-49043] [ SC-174673][sql] Poprawka zinterpretowanej grupy ścieżki kodu według na mapie zawierającej ciągi sortowane
  • [SPARK-48986] [SC-172265][connect][SQL] Dodaj pośrednią reprezentację ColumnNode
  • [SPARK-49326] [ SC-176016][ss] Klasyfikuj klasę błędów dla błędu funkcji użytkownika ujścia foreach
  • [SPARK-48348] [SC-175950][spark-48376][SQL] Wprowadź instrukcje LEAVE i ITERATE
  • [SPARK-49523] [ SC-175949][connect] Zwiększ maksymalny czas oczekiwania na serwer Connect w celu umożliwienia testów
  • pl-PL: [SPARK-49000][BEHAVE-105][es-1194747][SQL] Poprawka "select count(distinct 1) from t", gdzie t jest pustą tabelą, rozszerzając RewriteDistinctAggregates — DBR w wersji 16.x
  • [SPARK-49311] [ SC-175038][sql] Zezwól na rzutowanie dużych wartości 'interval second' na wartości dziesiętne
  • [SPARK-49200] [SC-173699][sql] Poprawka wyjątku porządkowania typu null bez generowania kodu
  • [SPARK-49467] [SC-176051][ss] Dodaj wsparcie dla czytnika danych źródłowych stanu i listy stanów
  • [SPARK-47307] [ SC-170891][sql] Dodaj konfigurację do opcjonalnego dzielenia ciągów base64.
  • [SPARK-49391] [SC-176032][ps] Wykres skrzynkowy wybiera wartości odstające na podstawie odległości od granic wykresu.
  • [SPARK-49445] [ SC-175845][ui] Obsługa wyświetlania podpowiedzi na pasku postępu w interfejsie użytkownika
  • [SPARK-49451] [SC-175702] Zezwalaj na zduplikowane klucze w parse_json.
  • [SPARK-49275] [ SC-175701][sql] Poprawka dotycząca nullowalności typu zwracanego przez wyrażenie xpath
  • [SPARK-49021] [SC-175578][ss] Dodano obsługę odczytywania zmiennych stanu wartości transformWithState za pomocą czytnika źródła danych stanu
  • [SPARK-49474] [BEHAVE-143][sc-169253][SC-175933][ss] Klasyfikuj klasę błędów dla funkcji użytkownika FlatMapGroupsWithState
  • [SPARK-49408] [SC-175932][sql] Użyj IndexedSeq w ProjectingInternalRow
  • [SPARK-49509] [SC-175853][core] Użyj Platform.allocateDirectBuffer zamiast ByteBuffer.allocateDirect
  • [SPARK-49382] [SC-175013][ps] Prawidłowo renderuj wykres pudełkowy uwzględniając odległe punkty i odstające punkty
  • [SPARK-49002] [SC-172846][sql] Spójna obsługa nieprawidłowych lokalizacji w WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY
  • [SPARK-49480] [SC-175699][core] Naprawa NullPointerException z SparkThrowableHelper.isInternalError
  • [SPARK-49477] [ SC-175828][python] Ulepszanie błędu nieprawidłowego typu zwracanego typu biblioteki pandas udf
  • [SPARK-48693] [ SC-169492][sql] Upraszczanie i ujednolicenie ciągów wywołania i funkcji StaticInvoke
  • [SPARK-49441] [SC-175716][ml] StringIndexer sortuje tablice w egzekutorach
  • [SPARK-49347] [SC-175004][r] Oznaczyć SparkR jako przestarzałe
  • [SPARK-49357] [SC-175227][connect][PYTHON] Pionowo skrócić głęboko zagnieżdżony komunikat formatu protobuf
  • [SPARK-41982] [ SC-120604][sql] Partycje ciągu typu nie powinny być traktowane jako typy liczbowe
  • [SPARK-48776] [SC-170452][behave-72] Napraw formatowanie znaczników czasu dla json, xml i csv
  • [SPARK-49223] [ SC-174800][ml] Upraszczanie parametru StringIndexer.countByValue za pomocą wbudowanych funkcji
  • [SPARK-49016] Przywróć zachowanie "[SC-174663][sql] Przywróć zachowanie, które zapytania z nieprzetworzonych plików CSV są niedozwolone, gdy dołączona jest tylko kolumna z uszkodzonym rekordem i przypisz nazwę do _LEGACY_ERROR_TEMP_1285"
  • [SPARK-49041] [SC-172392][python][CONNECT] Zgłaszaj prawidłowy błąd dropDuplicates gdy podano niewłaściwy subset
  • [SPARK-49050] [SC-175235] Włączanie operatora deleteIfExists w TWS z Wirtualnymi Rodzinami Kolumn
  • [SPARK-49216] [ SC-173919][core]Poprawka, aby nie rejestrować kontekstu komunikatów przy jawnie skonstruowanym wpisie do logu, gdy ustawienia logowania strukturalnego są wyłączone
  • [SPARK-49252] [SC-175596][core] Uczyń TaskSetExcludeList i HeathTracker niezależnymi
  • [SPARK-49352] [SC-174971][sql] Unikaj nadmiarowego przekształcania tablicy dla identycznego wyrażenia
  • [SPARK-42307] [ SC-173863][sql] Przypisz nazwę błędu _LEGACY_ERROR_TEMP_2232
  • [SPARK-49197] [SC-173732][core] Redagować Spark Command dane wyjściowe w launcher module
  • [SPARK-48913] [SC-173934][sql] Implementacja IndentingXMLStreamWriter
  • [SPARK-49306] [SC-175363][python][SQL] Tworzenie aliasów funkcji SQL dla "zeroifnull" i "nullifzero"
  • [SPARK-48344] [SQL] Wykonywanie skryptów SQL (w tym Spark Connect)
  • [SPARK-49402] [SC-175122][python] Poprawka integracji narzędzia Binder w dokumentacji PySpark
  • [SPARK-49017] [ SC-174664][sql] Instrukcja Insert kończy się niepowodzeniem, gdy jest używanych wiele parametrów
  • [SPARK-49318] [SC-174733][sql] Zablokować błąd o niskim priorytecie na LCA aż do zakończenia analizy kontrolnej, aby poprawić jakość doświadczenia z błędami
  • pl-PL: [SPARK-49016] [SC-174663][sql] Przywracane jest zachowanie, w którym zapytania z nieprzetworzonych plików CSV są niedozwolone, gdy zawierają tylko kolumnę z uszkodzonym rekordem, i przypisanie nazwy do _LEGACY_ERROR_TEMP_1285
  • [SPARK-49387] [SC-175124][python] Poprawienie wskazówki dotyczącej typu w accuracy, percentile_approx i approx_percentile
  • [SPARK-49131] [SC-174666][ss] TransformWithState powinien poprawnie ustawić niejawne klucze grupowania nawet w przypadku leniwych iteratorów
  • [SPARK-49301] [ SC-174795][ss] Dane fragmentów strzałek przekazane do procesu roboczego Pythona
  • [SPARK-49039] [ SC-174651][ui] Resetuj pole wyboru, gdy metryki funkcji wykonawczej są ładowane na karcie Etapy
  • [SPARK-48428] [SC-169806][sql]: Napraw błąd IllegalStateException w NestedColumnAliasing
  • [SPARK-49353] [SC-174830][sql] Aktualizacja dokumentów związanych z UTF-32 kodowaniem/dekodowaniem
  • [SPARK-48613] [ SC-170966][sql] SPJ: Obsługa automatycznego tasowania po jednej stronie i mniejsza liczba kluczy sprzężenia niż kluczy partycji
  • [SPARK-47473] [SC-160450][behave-127][SQL] Napraw problem poprawności konwersji znaczników czasu postgres INFINITY
  • [SPARK-49142] [ SC-173658][connect][PYTHON] Postępuj zgodnie z instrukcjami, aby przywrócić koszt wydajności ciągu
  • [SPARK-49300] [ SC-175008][core] Poprawka wycieku tokenu delegowania usługi Hadoop, gdy nie ustawiono tokenRenewalInterval.
  • [SPARK-49367] [SC-175012][ps] Równoległe przetwarzanie obliczeń KDE dla wielu kolumn (zaplecze plotly)
  • [SPARK-49365] [SC-175011][ps] Uproszczenie agregacji kubełkowej na wykresie histogramowym
  • [SPARK-49372] [ SC-175003][ss] Upewnij się, że wartość latestSnapshot jest ustawiona na brak przy zamknięciu, aby uniknąć późniejszego użycia
  • [SPARK-49341] [SC-174785] Usuń connector/docker na rzecz Apache Spark Operator
  • [SPARK-49344] [SC-174894][ps] Obsługa json_normalize interfejsu API biblioteki Pandas na platformie Spark
  • [SPARK-49306] [SC-174794][sql] Tworzenie nowych funkcji SQL "zeroifnull" i "nullifzero"
  • [SPARK-48796] [SC-174668][ss] Załaduj identyfikator rodziny kolumn z RocksDBCheckpointMetadata dla VCF podczas ponownego uruchamiania
  • [SPARK-49342] [SC-174899][sql] Uczynić argument 'jsonFormatSchema' funkcji SQL TO_AVRO opcjonalnym
  • [SPARK-48628] [SC-174695][core] Dodaj metryki szczytowego użycia pamięci na stercie i poza stertą dla zadań
  • [SPARK-47407] [SC-159379][behave-126][SQL] Obsługa mapowania java.sql.Types.NULL na NullType
  • [SPARK-48628] [SC-173407][core] Dodawanie metryk pamięci sterty/wył.
  • [SPARK-49166] [SC-173987][sql] Obsługa OFFSET w skorelowanym podzapytaniu
  • [SPARK-49269] [ SC-174676][sql] Chętna ocena VALUES() na liście AstBuilder
  • [SPARK-49281] [SC-174782][sql] Optymalizacja binarnego getBytes dla formatu parquet przy użyciu getBytesUnsafe, aby uniknąć kosztów kopiowania
  • [SPARK-49113] [SC-174734] Nie zgłaszaj błędów tłumaczenia — dyskretnie obsługuj wyjątek.
  • [SPARK-49098] [SC-173253][sql] Dodaj opcje zapisu dla INSERT
  • [SPARK-48638] [SC-174694][follow][CONNECT] Popraw dokumentację dla ExecutionInfo
  • [SPARK-49250] [ES-1222826][sql] Popraw komunikat o błędzie dla zagnieżdżonych nierozwiązanych wyrażeń okna w checkAnalysis
  • [SPARK-48755] [SC-174258][ss][PYTHON] podstawowa implementacja transformWithState pyspark i obsługa ValueState
  • [SPARK-48966] [SC-174329][sql] Zwiększenie czytelności komunikatu o błędzie z nieprawidłowym niesprecyzowanym odniesieniem do kolumny w wywołaniu UDTF
  • [SPARK-46590] [ SC-154115][sql] Naprawić błąd funkcji coalesce z nieoczekiwanymi indeksami partycji
  • [SPARK-49235] [SC-174159][sql] Refaktoryzacja reguły ResolveInlineTables, aby nie przeszukiwała całego drzewa
  • [SPARK-49060] [SC-173107][connect] Uprzątnięcie reguł Mima dla sprawdzania zgodności binarnej SQL-Connect
  • [SPARK-48762] [SC-172525][sql] Wprowadzenie API DataFrameWriter dla języka Python
  • [SPARK-49207] [SC-173852][sql] Napraw błąd mapowania z jednego na wiele w funkcjach SplitPart i StringSplitSQL
  • [SPARK-49204] [SC-173850][sql] Naprawiono obsługę par zastępczych w metodach StringInstr i StringLocate
  • [SPARK-36680] [SC-170640][sql] Obsługuje dynamiczne opcje tabeli dla usługi Spark SQL
  • [SPARK-49204] [SC-173849][sql] Napraw obsługę par zastępczych w SubstringIndex
  • [SPARK-49204] [SC-173848][sql] Naprawiono obsługę par znaków zastępczych w StringTrim
  • [SPARK-48967] [SC-173993]Naprawiono test SparkConfigOwnershipSuite dla OPTIMIZE_INSERT_INTO_VALUES_PARSER
  • [SPARK-49204] [SC-173851][sql] Naprawianie obsługi par zastępczych w funkcji StringReplace
  • [SPARK-48967] [SC-173993][sql][16.x] Poprawa wydajności i zużycia pamięci dla „INSERT INTO ...” VALUES" — oświadczenia
  • [SPARK-49099] Przywróć "[SC-173229][sql] CatalogManager.setCurrent...
  • [SPARK-48347] [SC-173812][sql] Obsługa instrukcji WHILE
  • [SPARK-49128] [ SC-173344][core] Obsługa niestandardowego tytułu interfejsu użytkownika serwera historii
  • [SPARK-49146] [SC-173825][ss] Przeniesienie błędów związanych z brakiem watermarku w zapytaniach strumieniowych w trybie dołączania do systemu obsługi błędów
  • [SPARK-45787] [ SC-172197][sql] Obsługa Catalog.listColumns dla kolumn klastrowania
  • [SPARK-49099] [ SC-173229][sql] CatalogManager.setCurrentNamespace powinien uwzględniać niestandardowy katalog sesji
  • [SPARK-49138] [SC-173483][sql] Naprawa CollationTypeCasts kilku wyrażeń
  • [SPARK-49163] [ SC-173666][sql] Próba utworzenia tabeli na podstawie uszkodzonych danych partycji parquet powinna zwrócić błąd widoczny dla użytkownika
  • [SPARK-49201] [SC-173793][ps][PYTHON][connect] Ponowne zaimplementowanie wykresu za pomocą Spark SQL
  • [SPARK-49188] [SC-173682][sql] Wewnętrzny błąd wywołania concat_ws na tablicy tablic ciągów znaków
  • [SPARK-49137] [ SC-173677][sql] Gdy warunek logiczny w elemecie if statement jest nieprawidłowy, należy zgłosić wyjątek
  • [SPARK-49193] [ SC-173672][sql] Poprawa wydajności elementu RowSetUtils.toColumnBasedSet
  • [SPARK-49078] [SC-173078][sql] Obsługa pokazywania składni kolumn w tabeli w wersji 2
  • [SPARK-49141] [ SC-173388][sql] Oznacz wariant jako typ danych niezgodny z Hive
  • [SPARK-49059] [ Cherry-Pick][15.x][SC-172528][connect] Przenieść SessionHolder.forTesting(...) do pakietu testowego
  • [SPARK-49111] [ SC-173661][sql] Przenieś withProjectAndFilter do obiektu towarzyszącego DataSourceV2Strategy
  • [SPARK-49185] [SC-173688][ps][PYTHON][connect] Ponowne wdrożenie wykresu za pomocą Spark SQL
  • [SPARK-49178] [ SC-173673][sql] Optymalizacja wydajności Row#getSeq w celu osiągnięcia takiej samej wydajności jak podczas korzystania z platformy Spark 3.5 z językiem Scala 2.12
  • [SPARK-49093] [SC-172958][sql] GROUP BY z typem MapType zagnieżdżonym wewnątrz typu złożonego
  • [SPARK-49142] [SC-173469][connect][PYTHON] Obniżenie poziomu dziennika klienta Spark Connect do debugowania
  • [SPARK-48761] [SC-172048][sql] Wprowadzenie funkcji clusterBy w API DataFrameWriter dla Scala
  • [SPARK-48346] [SC-173083][sql] Obsługa instrukcji IF ELSE w skryptach SQL
  • [SPARK-48338] [SC-173112][sql] Poprawianie wyjątków zgłaszanych przez analizator/interpreter
  • [SPARK-48658] [SC-169474][sql] Funkcje kodowania/dekodowania zgłaszają błędy kodowania zamiast mojibake dla niemappingowalnych znaków
  • [SPARK-49071] [SC-172954][sql] Usuń cechę ArraySortLike
  • [SPARK-49107] Przywróć polecenie "Przywróć "[SC-173103][sql] ROUTINE_ALREADY_EXISTS obsługuje element RoutineType""
  • [SPARK-49070] [SC-172907][ss][SQL] TransformWithStateExec.initialState zostaje niepoprawnie przepisany, co prowadzi do utworzenia nieprawidłowego planu zapytania
  • [SPARK-49114] [SC-173217] Podkategoryzowanie nie może załadować błędów magazynu stanów
  • [SPARK-49107] Cofnięcie „[SC-173103][sql] ROUTINE_ALREADY_EXISTS obsługuje RoutineType”
  • [SPARK-49048] [SC-173223][ss] Dodaj obsługę odczytywania odpowiednich metadanych operatora na danym identyfikatorze partii
  • [SPARK-49094] [SC-173049][sql] Naprawiono brak działania funkcji ignoreCorruptFiles w implementacji Hive ORC przy wyłączonym mergeSchema
  • [SPARK-49108] [ SC-173102][przykład] Przykład dodawania submit_pi.sh interfejsu API REST
  • [SPARK-49107] [SC-173103][sql] ROUTINE_ALREADY_EXISTS obsługuje element RoutineType
  • [SPARK-48997] [SC-172484][ss] Implementowanie indywidualnych rozładowań dla awarii wątków w puli wątków konserwacyjnych
  • [SPARK-49063] [SC-173094][sql] Poprawka operacji BETWEEN z użyciem skalarnych zapytań podrzędnych
  • [SPARK-45891] [SC-172305][sql][PYTHON][variant] Dodaj obsługę typów interwałów w specyfikacji wariantu
  • [SPARK-49074][BEHAVE-110][sc-172815][SQL] Fix variant with df.cache()
  • [SPARK-49003] [ SC-172613][sql] Poprawiono interpretowane skróty ścieżki kodu, aby uwzględniać sortowanie
  • [SPARK-48740] [SC-172430][sql] Wczesne wykrywanie błędu braku specyfikacji okna
  • [SPARK-48999] [SC-172245][ss] Divide PythonStreamingDataSourceSimpleSuite
  • [SPARK-49031] [SC-172602] Implementowanie walidacji dla operatora TransformWithStateExec przy użyciu operatorStateMetadataV2
  • [SPARK-49053] [ SC-172494][python][ML] Umożliwienie funkcjom pomocniczym zapisywania/ładowania modelu akceptacji sesji Spark
  • [SPARK-49032] [Backport][15.x][SS] Dodaj ścieżkę schematu we wpisie tabeli metadanych, zweryfikuj oczekiwaną wersję i dodaj test powiązany z metadanymi operatora dla formatu metadanych operatora w wersji 2
  • [SPARK-49034] [SC-172306][core] Obsługa zamiany po stronie serwera w API przesyłania REST
  • [SPARK-48931] [ SC-171895][ss] Zmniejszenie kosztu korzystania z API do listowania sklepów w chmurze dla zadania utrzymania sklepu stanów
  • [SPARK-48849] [SC-172068][ss]Create OperatorStateMetadataV2 dla operatora TransformWithStateExec
  • [SPARK-49013] [SC-172322] Zmiana klucza w mapie sortowania dla typów Map i Array w Scala
  • [SPARK-48414] [ SC-171884][python] Poprawka powodująca niezgodność zmian w języku Python fromJson
  • [SPARK-48910] [ SC-171001][sql] Użyj funkcji HashSet/HashMap, aby uniknąć wyszukiwania liniowego w PreprocessTableCreation
  • [SPARK-49007] [ SC-172204][core] Ulepszyć MasterPage aby obsługiwać tytuł niestandardowy
  • [SPARK-49009] [SC-172263][sql][PYTHON] Umożliwienie interfejsom API kolumn i funkcjom akceptowania Enumów
  • [SPARK-49033] [ SC-172303][core] Obsługa zamiany po stronie environmentVariables serwera w interfejsie API przesyłania REST
  • [SPARK-48363] [SC-166470][sql] Oczyszczanie niektórych nadmiarowych kodów w from_xml
  • [SPARK-46743] [SC-170867][sql][BEHAVE-84] Usterka licznika po złożeniu ScalarSubquery, jeśli ma pustą relację
  • [SPARK-49040] [ SC-172351][sql] Fix doc sql-ref-syntax-aux-exec-imm.md
  • [SPARK-48998] [SC-172212][ml] Meta algorytmy zapisują/ładują model z SparkSession
  • [SPARK-48959] [ SC-171708][sql] Rozszerz NoSuchNamespaceException , NoSuchDatabaseException aby przywrócić obsługę wyjątków
  • [SPARK-48996] [SC-172130][sql][PYTHON] Zezwalaj na literały nagie dla ilub Kolumn
  • [SPARK-48990] [SC-171936] Dalsze działania dla #101759 — poprawka testowa
  • [SPARK-48338] [SC-171912][sql] Sprawdzanie deklaracji zmiennych
  • [SPARK-48990] [SC-171936][sql] Ujednolicona zmienna powiązana ze słowami kluczowymi składni SQL
  • [SPARK-48988] [SC-171915][ml] Umożliwienie DefaultParamsReader/Writer obsługi metadanych z użyciem sesji Spark
  • [SPARK-48974] [SC-171978][sql][SS][ml][MLLIB] Użyj SparkSession.implicits zamiast SQLContext.implicits
  • [SPARK-48760] [SC-170870][sql] Napraw problem w CatalogV2Util.applyClusterByChanges
  • [SPARK-48928] [SC-171956] Ostrzeżenie w dzienniku dotyczące wywoływania funkcji .unpersist() na lokalnie zcheckpointowanych RDD
  • [SPARK-48760] [ SC-170139][sql] Wprowadzenie ALTER TABLE ... CLUSTER BY Składnia SQL do zmiany kolumn klastrowania
  • [SPARK-48844] Przywróć „[SC-170669][sql] UŻYJ INVALID_EMPTY_LOCATION zamiast UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY, gdy ścieżka jest pusta”
  • [SPARK-48833] [SC-171914][sql][VARIANT] Obsługa wariantu w InMemoryTableScan
  • [SPARK-48975] [SC-171894][protobuf] Usuń niepotrzebną ScalaReflectionLock definicję z protobuf
  • [SPARK-48970] [SC-171800][python][ML] Unikaj korzystania z metody SparkSession.getActiveSession w module czytnika/zapisującego Spark ML.
  • [SPARK-48844] [SC-170669][sql] UŻYJ INVALID_EMPTY_LOCATION zamiast UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY, gdy ścieżka jest pusta
  • [SPARK-48714] [SC-170136] Naprawianie niepowodzeń testów df.mergeInto w PySpark i UC
  • [SPARK-48957] [SC-171797][ss] Zwraca podklasowaną klasę błędu przy ładowaniu magazynu stanów dla dostawców hdfs i rocksdb
  • [SPARK-48891] [Backport][15x][SC-171677][ss] Refactor StateSchemaCompatibilityChecker, aby ujednolicić wszystkie formaty schematu stanu
  • [SPARK-48972] [ SC-171795][python] Ujednolicenie obsługi literałów łańcuchowych w funkcjach
  • [SPARK-48388] [SC-171337][sql] Poprawiono działanie instrukcji dla skryptów SQL
  • [SPARK-48743] [SC-170552][sql][SS] MergingSessionIterator powinien lepiej obsługiwać sytuacje, gdy getStruct zwraca null
  • [SPARK-48623] [15.x][sc-171322][CORE] Migracja dzienników FileAppender na rejestrowanie strukturalne
  • [SPARK-36680] [DBRRM-1123] Przywróć “[SC-170640][sql] Obsługiwał dynamiczne opcje tabeli dla usługi Spark SQL”
  • [SPARK-48841] [SC-170868][behave-83][SQL] Uwzględnij collationName na sql() z Collate
  • [SPARK-48941] [SC-171703][python][ML] Zastępowanie wywołania interfejsu API odczytu/zapisu RDD za pomocą interfejsu API odczytu/zapisu ramki danych
  • [SPARK-48938] [SC-171577][python] Ulepszanie komunikatów o błędach podczas rejestrowania funkcji UDF języka Python
  • [SPARK-48350] [ SC-171040][sql] Wprowadzenie wyjątków niestandardowych dla skryptów SQL
  • [SPARK-48907] [SC-171158][sql] Napraw wartość explicitTypes w COLLATION_MISMATCH.EXPLICIT
  • [SPARK-48945] [SC-171658][python] Upraszczanie funkcji wyrażeń regularnych za pomocą polecenia lit
  • [SPARK-48944] [ SC-171576][connect] Ujednolicenie obsługi schematu w formacie JSON w programie Connect Server
  • [SPARK-48836] [SC-171569] Integrowanie schematu SQL ze schematem/metadanymi stanu
  • [SPARK-48946] [SC-171504][sql] NPE w funkcji redact, gdy sesja jest pusta
  • [SPARK-48921] [ SC-171412][sql] Enkodery ScalaUDF w podzapytaniu powinny zostać rozpoznane dla MergeInto
  • [SPARK-45155] [SC-171048][connect] Dodaj dokumentację API dla klienta Spark Connect JVM/Scala
  • [SPARK-48900] [SC-171319] Dodaj reason pole dla cancelJobGroup i cancelJobsWithTag
  • [SPARK-48865] [SC-171154][sql] Dodawanie funkcji try_url_decode
  • [SPARK-48851] [SC-170767][sql] Zmień wartość SCHEMA_NOT_FOUND z namespace na catalog.namespace
  • [SPARK-48510] [SC-170893][2/2] Obsługa interfejsu API UDAF toColumn w Spark Connect
  • [SPARK-45190] [SC-171055][spark-48897][PYTHON][connect] Umożliwienie from_xml obsługi schematu StructType
  • [SPARK-48930] [SC-171304][core] Ukryj awsAccessKeyId za pomocą wzorca accesskey
  • [SPARK-48909] [SC-171080][ml][MLLIB] Używa SparkSession zamiast SparkContext podczas pisania metadanych
  • [SPARK-48883] [ SC-171133][ml][R] Zastąpienie wywołania interfejsu API odczytu/zapisu RDD interfejsem API odczytu/zapisu ramek danych
  • [SPARK-48924] [SC-171313][ps] Dodaj funkcję pomocniczą podobną do pandasmake_interval
  • [SPARK-48884] [ SC-171051][python] Usuń nieużywaną funkcję pomocnika PythonSQLUtils.makeInterval
  • [SPARK-48817] [SC-170636][sql] Natychmiastowe wykonywanie wielu poleceń UNION razem
  • [SPARK-48896] [SC-171079][ml][MLLIB] Unikaj ponownego partycjonowania podczas zapisywania metadanych
  • [SPARK-48892] [SC-171127][ml] Unikaj odczytywania parametrów w poszczególnych wierszach Tokenizer
  • [SPARK-48927] [ SC-171227][core] Pokaż liczbę buforowanych RDD w StoragePage
  • [SPARK-48886] [15.x][backport][SC-171039][ss] Dodawanie informacji o wersji do dziennika zmian w wersji 2 w celu ułatwienia ewolucji
  • [SPARK-48903] [ SC-171136][ss] Poprawnie ustaw wersję ostatniej migawki RocksDB przy zdalnym ładowaniu
  • [SPARK-48742] [SC-170538][ss] Rodzina kolumn wirtualnych dla bazy danych RocksDB
  • [SPARK-48726] [15.x][sc-170753][SS] Utwórz format pliku StateSchemaV3 i zapisz go dla operatora TransformWithStateExec
  • [SPARK-48794] [SC-170882][connect][15.x] obsługa df.mergeInto w Spark Connect (Scala i Python)
  • [SPARK-48714] [SC-170136][python] Implement DataFrame.mergeInto in PySpark
  • [SPARK-48772] [SC-170642][ss][SQL] Tryb czytnika kanału zmian źródła danych stanu
  • [SPARK-48666] [ SC-170887][sql] Nie wypychaj filtru, jeśli zawiera on pliki PythonUDFs
  • [SPARK-48845] [SC-170889][sql] GenericUDF przechwytuje wyjątki z elementów podrzędnych
  • [SPARK-48880] [ SC-170974][core] Unikaj zgłaszania wyjątku NullPointerException, jeśli nie można zainicjować wtyczki sterownika
  • [SPARK-48888] [Backport][15x][SC-170973][ss] Usuń tworzenie migawki na podstawie rozmiaru operacji na dzienniku zmian
  • [SPARK-48871] [SC-170876] Napraw weryfikację INVALID_NON_DETERMINISTIC_EXPRESSIONS w...
  • [SPARK-48883] [SC-170894][ml][R] Zastąp wywołanie interfejsu API odczytu/zapisu RDD za pomocą interfejsu API odczytu/zapisu DataFrame
  • [SPARK-36680] [SC-170640][sql] Obsługuje dynamiczne opcje tabeli dla usługi Spark SQL
  • [SPARK-48804] [SC-170558][sql] Dodaj classIsLoadable i OutputCommitter.isAssignableFrom, aby sprawdzić konfiguracje klasy output committer
  • [SPARK-46738] [SC-170791][python] Ponowne włączenie grupy doctestów
  • [SPARK-48858] [SC-170756][python] Usuń użycie przestarzałej metody setDaemonThread w log_communication.py
  • [SPARK-48639] [SC-169801][connect][PYTHON] Dodaj Origin do RelationCommon
  • [SPARK-48863] [SC-170770][es-1133940][SQL] Fix ClassCastException podczas analizowania kodu JSON za pomocą polecenia "spark.sql.jsonwłączone .enablePartialResults"
  • [SPARK-48343] [SC-170450][sql] Wprowadzenie interpretera skryptów SQL
  • [SPARK-48529] [ SC-170755][sql] Wprowadzenie etykiet w skryptach SQL
  • [SPARK-45292] Cofnij “[SC-151609][sql][HIVE] Usuń Guava z klas udostępnionych z IsolatedClientLoader”
  • [SPARK-48037] [ SC-165330][core][3.5] Poprawka funkcji SortShuffleWriter nie ma metryk związanych z zapisem, co powoduje potencjalnie niedokładne dane
  • [SPARK-48720] [ SC-170551][sql] Wyrównaj polecenie ALTER TABLE ... UNSET TBLPROPERTIES ... w wersjach 1 i 2
  • [SPARK-48485] [SC-167825][connect][SS] Obsługa "interruptTag" i "interruptAll" w zapytaniach przesyłania strumieniowego
  • [SPARK-45292] [SC-151609][sql][HIVE] Usuń Guava z klas wspólnych z loadera IsolatedClientLoader
  • [SPARK-48668] [SC-169815][sql] Obsługa ALTER NAMESPACE ... WŁAŚCIWOŚCI NIEUSTAWIONE w v2
  • [SPARK-47914] [SC-165313][sql] Nie wyświetlaj parametru splits w zakresie
  • [SPARK-48807] [SC-170643][sql] Obsługa binarna źródła danych CSV
  • [SPARK-48220] [ SC-167592][python][15.X] Zezwalaj na przekazywanie tabeli PyArrow do createDataFrame()
  • [SPARK-48545] [SC-169543][sql] Tworzenie funkcji to_avro i from_avro SQL w celu dopasowania ich do odpowiedników ramek danych
  • [SPARK-47577] [SC-168875][spark-47579] Poprawa mylącego użycia klucza w logach TASK_ID

Obsługa sterowników ODBC/JDBC usługi Databricks

Usługa Databricks obsługuje sterowniki ODBC/JDBC wydane w ciągu ostatnich 2 lat. Pobierz ostatnio wydane sterowniki i uaktualnij (pobierz plik ODBC, pobierz plik JDBC).

Środowisko systemu

  • System operacyjny: Ubuntu 24.04.1 LTS
  • Java: Zulu17.50+19-CA
  • Scala: 2.12.15
  • Python: 3.12.3
  • R: 4.4.0
  • Delta Lake: 3.2.1

Zainstalowane biblioteki języka Python

Biblioteka wersja Biblioteka wersja Biblioteka wersja
typy z adnotacjami 0.7.0 asttokens 2.0.5 astunparse 1.6.3
autokomenda 2.2.2 azure-core 1.31.0 Azure Storage Blob 12.23.0
Usługa przechowywania w chmurze Azure (azure-storage-file-datalake) 12.17.0 backports.tarfile 1.2.0 czarny 24.4.2
kierunkowskaz 1.7.0 boto3 1.34.69 botocore 1.34.69
cachetools (narzędzia do zarządzania pamięcią podręczną) 5.3.3 certyfikat 2024.6.2 cffi 1.16.0
chardet 4.0.0 normalizator zestawu znaków 2.0.4 kliknij 8.1.7
cloudpickle (biblioteka Python do serializacji obiektów) 2.2.1 komunikacja 0.2.1 ContourPy 1.2.0
kryptografia 42.0.5 rowerzysta 0.11.0 Cython 3.0.11
databricks-sdk 0.30.0 dbus-python 1.3.2 debugpy 1.6.7
dekorator 5.1.1 Przestarzałe 1.2.14 distlib 0.3.8
Konwertowanie docstringów na markdown 0,11 punkty wejścia 0,4 wykonywanie 0.8.3
aspekty — omówienie 1.1.1 blokada plików 3.15.4 fonttools 4.51.0
gitdb (baza danych Git) 4.0.11 GitPython 3.1.37 google-api-core 2.20.0
google-auth (autoryzacja Google) 2.35.0 google-cloud-core 2.4.1 Google Cloud Storage (usługa przechowywania danych w chmurze od Google) 2.18.2
google-crc32c (biblioteka do obsługi algorytmu crc32c od Google) 1.6.0 Google Media z Możliwością Wznowienia 2.7.2 googleapis-common-protos 1.65.0
grpcio 1.60.0 stan grpcio 1.60.0 httplib2 0.20.4
IDNA 3.7 importlib-metadata 6.0.0 importlib_resources 6.4.0
odchylić 7.3.1 ipyflow-core 0.0.198 ipykernel 6.28.0
ipython 8.25.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jaraco.context 5.3.0 jaraco.functools 4.0.1
jaraco.text 3.12.1 Jedi 0.19.1 jmespath 1.0.1
joblib 1.4.2 jupyter_client 8.6.0 jupyter_core 5.7.2
kiwisolver 1.4.4 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 biblioteka matplotlib 3.8.4 moduł matplotlib-inline 0.1.6
Mccabe 0.7.0 mlflow-skinny 2.15.1 więcej itertools 10.3.0
mypy 1.10.0 mypy-extensions 1.0.0 nest-asyncio 1.6.0
nodeenv 1.9.1 numpy 1.26.4 oauthlib 3.2.2
opentelemetry-api 1.27.0 opentelemetry-sdk 1.27.0 opentelemetry-semantic-conventions (standardowe konwencje semantyczne w OpenTelemetry) 0.48b0
opakowanie 24.1 Pandas 1.5.3 parso 0.8.3
specyfikacja ścieżki 0.10.3 ofiara 0.5.6 pexpect 4.8.0
poduszka 10.3.0 pip (menedżer pakietów Pythona) 24,2 platformdirs 3.10.0
kreślenie 5.22.0 wtyczkowy 1.0.0 zestaw narzędzi prompt 3.0.43
proto-plus 1.24.0 Protobuf (w skrócie od Protocol Buffers) 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 15.0.2 pyasn1 0.4.8 pyasn1-modules 0.2.8
pyccolo 0.0.52 pycparser 2.21 pydantic (biblioteka Python do walidacji danych i zarządzania ustawieniami) 2.8.2
pydantic_core 2.20.1 pyflakes (narzędzie do analizy statycznej kodu Python) 3.2.0 Pygments 2.15.1
PyGObject 3.48.2 PyJWT 2.7.0 pyodbc 5.0.1
pyparsing – biblioteka do przetwarzania tekstu w Pythonie 3.0.9 pyright 1.1.294 python-dateutil (biblioteka Pythona do zarządzania datami) 2.9.0.post0
python-lsp-jsonrpc 1.1.2 python-lsp-server 1.10.0 pytoolconfig 1.2.6
pytz (biblioteka Pythona do obliczeń stref czasowych) 2024.1 PyYAML 6.0.1 pyzmq 25.1.2
żądania 2.32.2 lina 1.12.0 RSA 4.9
s3transfer 0.10.2 scikit-learn 1.4.2 scipy (biblioteka naukowa dla Pythona) 1.13.1
urodzony na morzu 0.13.2 setuptools 74.0.0 sześć 1.16.0
smmap 5.0.0 sqlparse 0.5.1 ssh-import-id (narzędzie do importowania kluczy SSH) 5.11
stos danych 0.2.0 statsmodels - biblioteka do modelowania statystycznego 0.14.2 Wytrzymałość 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.4.1 traitlety 5.14.3 osłona typów 4.3.0
types-protobuf 3.20.3 types-psutil 5.9.0 types-pytz 2023.3.1.1
types-PyYAML 6.0.0 typy-żądań 2.31.0.0 types-setuptools 68.0.0.0
typy-sześć 1.16.0 types-urllib3 1.26.25.14 moduł typing_extensions 4.11.0
ujson (szybka biblioteka do obsługi formatu JSON) 5.10.0 nienadzorowane uaktualnienia 0.1 urllib3 1.26.16
virtualenv 20.26.2 wadllib 1.3.6 szerokość(wcwidth) 0.2.5
czymjestłatka 1.0.2 wheel 0.43.0 zawinięty 1.14.1
yapf (Yet Another Python Formatter - Kolejny Formatator Pythona) 0.33.0 zamek błyskawiczny 3.17.0

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki CRAN Menedżera pakietów Posit z dnia 2024-08-04: https://packagemanager.posit.co/cran/2024-08-04/.

Biblioteka wersja Biblioteka wersja Biblioteka wersja
strzałka 16.1.0 askpass 1.2.0 potwierdzić to 0.2.1
porty wsteczne 1.5.0 baza 4.4.0 base64enc 0.1-3
bigD 0.2.0 odrobina 4.0.5 bit-64 4.0.5
bitops 1.0-8 blob 1.2.4 rozruch systemu 1.3-30
warzyć (piwo) / parzyć (kawę, herbatę) 1.0-10 Brio 1.1.5 miotła 1.0.6
bslib 0.8.0 kaszmir 1.1.0 dzwoniący 3.7.6
karetka 6.0-94 cellranger 1.1.0 Chroń 2.3-61
klasa 7.3-22 CLI 3.6.3 clipr 0.8.0
zegar 0.7.1 klaster 2.1.6 codetools 0.2-20
przestrzeń kolorów 2.1-1 commonmark 1.9.1 kompilator 4.4.0
konfig 0.3.2 zdezorientowany 1.2.0 cpp11 0.4.7
kredka 1.5.3 dane logowania 2.0.1 skręt 5.2.1
tabela danych 1.15.4 zbiory danych 4.4.0 DBI 1.2.3
dbplyr 2.5.0 Opis 1.4.3 devtools 2.4.5
schemat 1.6.5 diffobj 0.3.5 skrót 0.6.36
przyciemnione oświetlenie 0.4.4 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 wielokropek 0.3.2 ocenić 0.24.0
fani 1.0.6 kolory 2.1.2 szybka mapa 1.2.0
Font Awesome 0.5.2 dla kotów 1.0.0 foreach 1.5.2
zagraniczny 0.8-86 kuźnia 0.2.0 Fs 1.6.4
przyszłość 1.34.0 wprowadź przyszłość 1.11.2 płukać 1.5.2
typy ogólne 0.1.3 Gert 2.1.0 ggplot2 3.5.1
Gh 1.4.1 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globalne 0.16.3 klej 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
grafika 4.4.0 grDevices 4.4.0 siatka 4.4.0
gridExtra 2.3 gsubfn 0,7 Gt 0.11.0
gtabela 0.3.5 hełm ochronny 1.4.0 przystań 2.5.4
wyżej 0,11 HMS 1.1.3 htmltools – narzędzie do tworzenia stron internetowych 0.5.8.1
widżety HTML 1.6.4 httpuv 1.6.15 httr 1.4.7
httr2 1.0.2 Numery identyfikacyjne 1.0.1 ini 0.3.1
ipred 0.9-15 isoband 0.2.7 Obiekty iterujące 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 soczysty sok 0.1.0
KernSmooth 2.23–2.22 knitr (narzędzie do generowania dynamicznych raportów w R) 1.48 etykietowanie 0.4.3
później 1.3.2 siatka 0.22-5 lawa 1.8.0
cykl życia 1.0.4 nasłuchiwanie 0.9.1 lubridate 1.9.3
magrittr 2.0.3 Markdown 1.13 MASA 7.3-60.0.1
Matryca 1.6-5 zapamiętywanie 2.0.1 metody 4.4.0
mgcv 1.9-1 pantomima 0,12 miniUI (interfejs użytkownika) 0.1.1.1
mlflow 2.14.1 Metryki modelowe 1.2.2.2 modeler 0.1.11
munsell 0.5.1 nlme 3.1-165 sieć neuronowa (nnet) 7.3-19
numDeriv 2016.8-1.1 openssl 2.2.0 równoległy 4.4.0
równolegle 1.38.0 kolumna 1.9.0 pkgbuild 1.4.4
pkgconfig 2.0.3 pkgdown 2.1.0 pkgload 1.4.0
plogr 0.2.0 plyr 1.8.9 pochwała 1.0.0
prettyunits 1.2.0 Proc 1.18.5 Procesx 3.8.4
prodlim 2024.06.25 profvis 0.3.8 postęp 1.2.3
progressr 0.14.0 Obietnice 1.3.0 Prototyp 1.0.0
serwer proxy 0.4-27 Postscriptum 1.7.7 mruczenie 1.0.2
R6 2.5.1 ragg 1.3.2 "randomForest" 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.13 RcppEigen 0.3.4.0.0 reaktywny 0.4.4
ReactR 0.6.0 czytnik 2.1.5 readxl (biblioteka do odczytu plików Excel) 1.4.3
przepisy 1.1.0 rewanż 2.0.0 rewanż2 2.1.2
Zdalne sterowanie 2.5.0 przykład powtarzalny 2.1.1 zmień kształt2 1.4.4
rlang 1.1.4 rmarkdown (narzędzie do tworzenia dokumentów w R) 2.27 RODBC 1.3-23
roxygen2 7.3.2 rpart 4.1.23 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.7 rstudioapi 0.16.0
rversions (rversions) 2.1.2 rvest 1.0.4 Sass 0.4.9
waga (urządzenie) 1.3.0 selektor 0.4-2 Informacje o sesji 1.2.2
kształt 1.4.6.1 błyszczący 1.9.1 sourcetools 0.1.7-1
sparklyr 1.8.6 SparkR 3.5.0 przestrzenny 7.3-17
Splatiny 4.4.0 sqldf 0.4-1 KWADRAT 2021.1
Statystyki 4.4.0 statystyki4 4.4.0 łańcuchy 1.8.4
stringr 1.5.1 przetrwanie 3.6-4 pewność siebie 5.17.14.1
sys 3.4.2 systemfonts 1.1.0 tcltk 4.4.0
testthat 3.2.1.1 kształtowanie tekstu 0.4.0 tibble 3.2.1
tidyr 1.3.1 tidyselect 1.2.1 tidyverse 2.0.0
zmiana czasu 0.3.0 czasData 4032.109 tinytex 0.52
narzędzia 4.4.0 Baza Danych Stref Czasowych (tzdb) 0.4.0 sprawdzacz URL 1.0.1
użyj tego 3.0.0 utf8 1.2.4 oprogramowanie użytkowe 4.4.0
UUID (Uniwersalnie Unikalny Identyfikator) 1.2-1 Wersja 8 4.4.2 vctrs 0.6.5
viridisLite 0.4.2 Vroom 1.6.5 Waldo 0.5.2
włosek czuciowy 0.4.1 Withr 3.0.1 xfun 0,46
xml2 1.3.6 xopen 1.0.1 Xtable 1.8-4
yaml 2.3.10 zapał 0.1.0 zamek błyskawiczny 2.3.1

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)

Identyfikator grupy Identyfikator artefaktu wersja
antlr antlr 2.7.7
com.amazonaws Klient Amazon Kinesis 1.12.0
com.amazonaws aws-java-sdk-automatyczne-skalowanie 1.12.638
com.amazonaws aws-java-sdk-cloudformation 1.12.638
com.amazonaws aws-java-sdk-cloudfront 1.12.638
com.amazonaws aws-java-sdk-cloudhsm (zestaw narzędzi Java dla usługi CloudHSM) 1.12.638
com.amazonaws aws-java-sdk-cloudsearch 1.12.638
com.amazonaws aws-java-sdk-cloudtrail 1.12.638
com.amazonaws aws-java-sdk-cloudwatch 1.12.638
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.638
com.amazonaws aws-java-sdk-codedeploy (biblioteka do zarządzania wdrażaniem kodu w AWS) 1.12.638
com.amazonaws aws-java-sdk-cognitoidentity 1.12.638
com.amazonaws aws-java-sdk-cognitosync 1.12.638
com.amazonaws aws-java-sdk-config (konfiguracja aws-java-sdk) 1.12.638
com.amazonaws aws-java-sdk-core 1.12.638
com.amazonaws aws-java-sdk-datapipeline 1.12.638
com.amazonaws aws-java-sdk-directconnect (pakiet narzędzi programistycznych dla Java do współpracy z AWS Direct Connect) 1.12.638
com.amazonaws aws-java-sdk-directory 1.12.638
com.amazonaws aws-java-sdk-dynamodb 1.12.638
com.amazonaws aws-java-sdk-ec2 1.12.638
com.amazonaws aws-java-sdk-ecs 1.12.638
com.amazonaws aws-java-sdk-efs 1.12.638
com.amazonaws aws-java-sdk-elasticache 1.12.638
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.638
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.638
com.amazonaws aws-java-sdk-elastictranscoder 1.12.638
com.amazonaws aws-java-sdk-emr (biblioteka SDK Java dla usługi Amazon EMR) 1.12.638
com.amazonaws AWS Java SDK dla Glacier 1.12.638
com.amazonaws aws-java-sdk-klej 1.12.638
com.amazonaws aws-java-sdk-iam 1.12.638
com.amazonaws AWS-Java-SDK-ImportExport 1.12.638
com.amazonaws AWS SDK dla Javy - Kinesis 1.12.638
com.amazonaws aws-java-sdk-kms 1.12.638
com.amazonaws aws-java-sdk-lambda 1.12.638
com.amazonaws aws-java-sdk-logs 1.12.638
com.amazonaws aws-java-sdk-uczenie-maszynowe 1.12.638
com.amazonaws aws-java-sdk-opsworks 1.12.638
com.amazonaws aws-java-sdk-rds (pakiet programistyczny Java dla AWS RDS) 1.12.638
com.amazonaws aws-java-sdk-redshift 1.12.638
com.amazonaws aws-java-sdk-route53 1.12.638
com.amazonaws aws-java-sdk-s3 1.12.638
com.amazonaws aws-java-sdk-ses 1.12.638
com.amazonaws aws-java-sdk-simpledb 1.12.638
com.amazonaws aws-java-sdk-simpleworkflow 1.12.638
com.amazonaws aws-java-sdk-sns 1.12.638
com.amazonaws aws-java-sdk-sqs 1.12.638
com.amazonaws aws-java-sdk-ssm 1.12.638
com.amazonaws aws-java-sdk-storagegateway 1.12.638
com.amazonaws aws-java-sdk-sts (pakiet programistyczny Java dla AWS STS) 1.12.638
com.amazonaws wsparcie dla aws-java-sdk 1.12.638
com.amazonaws aws-java-sdk-swf-biblioteki 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.638
com.amazonaws jmespath-java 1.12.638
com.clearspring.analytics odtwarzać strumieniowo 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kriogenicznie cieniowany 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml kolega z klasy 1.3.4
com.fasterxml.jackson.core Jackson - adnotacje 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat Jackson-format-danych-CBOR 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.kofeina kofeina 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib natywne_odniesienie-java 1.1
com.github.fommil.netlib natywne_odniesienie-java 1.1-rodzimi
com.github.fommil.netlib natywny_system java 1.1
com.github.fommil.netlib natywny_system java 1.1-rodzimi
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-rodzimi
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-rodzimi
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tink 1.9.0
com.google.errorprone adnotacje podatne na błędy 2.10.0
com.google.flatbuffers flatbuffers-java 26.05.23
com.google.guava owoc guawy 15,0
com.google.protobuf protobuf-java 3.25.1
com.helger profiler 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.WYDANIE
com.lihaoyi kodźródłowy_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (SDK do przechowywania danych Azure Data Lake) 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf (biblioteka do kompresji danych) 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning JSON 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses soczewki_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe konfig 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity parsery jednoznaczności 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
Zbiory Commons Zbiory Commons 3.2.2
commons-dbcp commons-dbcp 1.4
wspólne przesyłanie plików wspólne przesyłanie plików 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blask 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift kompresor powietrza 0.27
io.delta delta-sharing-client_2.12 1.2.0
io.dropwizard.metrics adnotacja metryk 4.2.19
io.dropwizard.metrics metryki —rdzeń 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics wskaźniki-kontrole zdrowia 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metryki w formacie JSON 4.2.19
io.dropwizard.metrics metryki-JVM 4.2.19
io.dropwizard.metrics serwlety metryczne 4.2.19
io.netty netty-all 4.1.108.Final
io.netty Netty-buffer 4.1.108.Final
io.netty netty-codec 4.1.108.Final
io.netty netty-codec-http 4.1.108.Final
io.netty netty-codec-http2 4.1.108.Final
io.netty netty-codec-socks 4.1.108.Final
io.netty netty-common (element wspólny) 4.1.108.Final
io.netty "netty-handler" 4.1.108.Final
io.netty netty-handler-proxy 4.1.108.Final
io.netty rozwiązywacz netty 4.1.108.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty Klasy netty-tcnative 2.0.61.Final
io.netty Netty-transport 4.1.108.Final
io.netty netty-transport-classes-epoll 4.1.108.Final
io.netty netty-transport-classes-kqueue 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.108.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx moduł zbierający 0.12.0
jakarta.adnotacja jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
\ jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktywacja 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction interfejs programistyczny transakcji 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine kiszonka 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake SDK do pobierania danych Snowflake 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc (niedostępne w lokalnym języku) 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr Szablon łańcucha 3.2.1
org.apache.ant mrówka 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant program uruchamiający Ant 1.10.11
org.apache.arrow format strzałki 15.0.0
org.apache.arrow strzałka-pamięć-rdzeń 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow wektor strzałki 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons tekst wspólny 1.10.0
org.apache.curator kurator-klient 2.13.0
org.apache.curator Framework kuratora 2.13.0
org.apache.curator przepisy wyselekcjonowane przez kuratora 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-pamięć 2.0.0
org.apache.derby mecz derbowy 10.14.2.0
org.apache.hadoop środowisko uruchomieniowe klienta Hadoop 3.3.6
org.apache.hive hive-beeline (narzędzie do interakcji z bazą danych Hive) 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive Klient hive-llap 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive podkładki hive 2.3.9
org.apache.hive hive-storage-api (interfejs do przechowywania danych hive) 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims harmonogram osłon/imitacji ula 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy bluszcz 2.5.2
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j szablon układu log4j w formacie JSON 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc podkładki ORC 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-cieniowane 4.23
org.apache.yetus adnotacje dla widowni 0.13.0
org.apache.zookeeper - system do zarządzania konfiguracją i synchronizacją dla aplikacji rozproszonych. opiekun zoo 3.9.2
org.apache.zookeeper - system do zarządzania konfiguracją i synchronizacją dla aplikacji rozproszonych. jute dla zookeepera 3.9.2
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapujący-ASL 1.9.13
org.codehaus.janino commons-kompilator 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections Eclipse Collections 11.1.0
org.eclipse.collections API kolekcji Eclipse 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-kontynuacja 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty Jetty-plus 9.4.52.v20230823
org.eclipse.jetty serwer pośredniczący Jetty 9.4.52.v20230823
org.eclipse.jetty moduł bezpieczeństwa Jetty 9.4.52.v20230823
org.eclipse.jetty serwer aplikacji Jetty 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty Jetty-aplikacja internetowa 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket WebSocket API 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-klient 9.4.52.v20230823
org.eclipse.jetty.websocket websocket — wspólne komponenty 9.4.52.v20230823
org.eclipse.jetty.websocket serwer WebSocket 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 lokalizator hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-lokalizator-zasobów 1.0.3
org.glassfish.hk2.external aopalliance-zapakowane ponownie 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers serwlet kontenerowy Jersey 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core dzianina-zwykła 2.40
org.glassfish.jersey.core serwer jersey 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator moduł sprawdzania poprawności hibernacji 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging (narzędzie do rejestrowania zdarzeń w JBoss) 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Adnotacje 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap podkładki regulacyjne 0.9.45-databricks
org.rocksdb rocksdbjni 9.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-java8-compat_2.12 0.9.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interfejs testowy 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.16
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest zgodny ze standardem scalatest 3.2.16
org.scalatest scalatest-core_2.12 3.2.16
org.scalatest scalatest-diagrams_2.12 3.2.16
org.scalatest scalatest-featurespec_2.12 3.2.16
org.scalatest scalatest-flatspec_2.12 3.2.16
org.scalatest scalatest-freespec_2.12 3.2.16
org.scalatest scalatest-funspec_2.12 3.2.16
org.scalatest scalatest-funsuite_2.12 3.2.16
org.scalatest scalatest-matchers-core_2.12 3.2.16
org.scalatest scalatest-mustmatchers_2.12 3.2.16
org.scalatest scalatest-propspec_2.12 3.2.16
org.scalatest scalatest-refspec_2.12 3.2.16
org.scalatest scalatest-shouldmatchers_2.12 3.2.16
org.scalatest scalatest-wordspec_2.12 3.2.16
org.scalatest scalatest_2.12 3.2.16
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten ThreeTen Extra 1.7.1
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.2-linux-x86_64
Stax stax-api 1.0.1
  • Last updated on