Databricks Runtime 15.0

  • Artykuł

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 15.0 obsługiwanym przez platformę Apache Spark 3.5.0.

Usługa Databricks opublikowała te obrazy w marcu 2024 roku.

Zmiany powodujące niezgodność

Funkcja PySpark spark.sql() kończy się teraz niepowodzeniem dla nieprawidłowych typów argumentów

W środowisku Databricks Runtime 15.0 lub nowszym args parametr dla parametrów nazwanych lub pozycyjnych przekazywanych do spark.sql() funkcji musi być słownikiem lub listą. Jeśli zostanie przekazany jakikolwiek inny typ obiektu, zostanie zgłoszony następujący błąd: PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>.

Przechowywanie bibliotek w katalogu głównym systemu plików DBFS jest domyślnie przestarzałe i wyłączone

Aby zwiększyć bezpieczeństwo bibliotek w obszarze roboczym usługi Azure Databricks, przechowywanie plików bibliotek w katalogu głównym systemu plików DBFS jest domyślnie przestarzałe i wyłączone, począwszy od środowiska Databricks Runtime 15.0. Usługa Databricks zaleca przekazywanie wszystkich bibliotek, w tym bibliotek języka Python, plików JAR i łączników platformy Spark, do plików obszaru roboczego, woluminów wykazu aparatu Unity lub przy użyciu repozytorium pakietów. Aby przekazać biblioteki, zobacz Rekomendacje.

Aby ponownie włączyć przechowywanie bibliotek w katalogu głównym systemu plików DBFS, ustaw następujący parametr konfiguracji platformy Spark: spark.databricks.driver.dbfsLibraryInstallationAllowed true.

Domyślna wersja języka Python jest uaktualniana z wersji 3.10 do wersji 3.11

W przypadku środowiska Databricks Runtime 15.0 domyślna wersja języka Python to 3.11.0. Aby uzyskać listę uaktualnionych bibliotek języka Python, zobacz Uaktualnienia biblioteki.

Usunięto JDK 11

Jak wcześniej ogłoszono, zestaw JDK 11 zostanie usunięty z środowiska Databricks Runtime 15.0 lub nowszego. Usługa Databricks zaleca uaktualnienie do zestawu JDK 17 podczas uaktualniania do środowiska Databricks Runtime 15.0 lub nowszego. Zobacz Zestaw SDK usługi Databricks dla języka Java.

Środowisko REPL języka Python kończy się teraz bezpiecznie

W środowisku Databricks Runtime 15.0 proces REPL notesu kończy się teraz bezpiecznie po zakończeniu pracy. Powoduje to, że wszelkie haki atexit być honorowane. Na przykład w przepływie pracy z wieloma zadaniami notesu języka Python elementy atexit hooks zarejestrowane w pierwszym wykonaniu zadania podrzędnego przed uruchomieniem drugiego zadania notesu języka Python.

Nowe funkcje i ulepszenia

Klauzula * (gwiazda) jest teraz obsługiwana w klauzuli WHERE

Teraz możesz użyć klauzuli star () w klauzuli WHERE ,* aby odwołać się do wszystkich kolumn z SELECT listy. Na przykład SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

Konfiguracja spark.sql.json.enablePartialResults jest teraz domyślnie włączona

Konfiguracja spark.sql.json.enablePartialResults platformy Spark jest teraz domyślnie włączona, umożliwiając analizatorowi JSON poprawne obsługę błędów analizowania dla typów złożonych, takich jak struktura, mapa i tablica, bez porzucania pozostałych pól. Ta zmiana rozwiązuje problem ze spójnością źródeł danych JSON przy użyciu oczyszczania kolumn.

Biblioteki klastra obsługują teraz pliki requirements.txt

Biblioteki klastra można teraz zainstalować przy użyciu pliku przechowywanego requirements.txt w pliku obszaru roboczego lub woluminie wykazu aparatu Unity. W klastrach requirements.txt trybu pojedynczego użytkownika i dostępu współdzielonego plik może odwoływać się do innych plików. W przypadku klastrów trybu dostępu współdzielonego bez izolacji obsługiwane są tylko pakiety PyPI. Zobacz Biblioteki klastrów.

Interfejs wiersza polecenia usługi Databricks jest teraz dostępny w terminalu internetowym

Teraz możesz użyć interfejsu wiersza polecenia usługi Databricks z poziomu terminalu internetowego w notesie. Notes musi być dołączony do klastra w trybie dostępu współużytkowanego pojedynczego użytkownika lub Bez izolacji. Aby uzyskać szczegółowe informacje, zobacz Używanie terminalu internetowego i interfejsu wiersza polecenia usługi Databricks.

Dodawanie domyślnych repozytoriów języka Python do konfiguracji klastra

W środowisku Databricks Runtime 15.0 lub nowszym można skonfigurować konfigurację globalną pip index-url i extra-index-url parametry dla instalacji bibliotek klastra i biblioteki o zakresie notesu podczas konfigurowania klastra lub definiowania zasad klastra. W tym celu ustaw zmienne DATABRICKS_PIP_INDEX_URL środowiskowe i DATABRICKS_PIP_EXTRA_INDEX_URL.

Uaktualnienia biblioteki

  • Uaktualnione biblioteki języka Python:
    • czarny od 22.6.0 do 23.3.0
    • boto3 z 1.24.28 do 1.34.39
    • botocore z wersji 1.27.96 do 1.34.39
    • certifi od 2022.12.7 do 2023.7.22
    • Kryptografia z wersji 39.0.1 do 41.0.3
    • databricks-sdk z wersji 0.1.6 do 0.20.0
    • distlib z 0.3.7 do 0.3.8
    • googleapis-common-protos z 1.62.0 do 1.63.0
    • grpcio z 1.48.2 do 1.60.0
    • stan grpcio z 1.48.1 do 1.60.0
    • importlib-metadata z wersji 4.6.4 do 6.0.0
    • ipykernel z 6.25.0 do 6.25.1
    • ipython z 8.14.0 do 8.15.0
    • ipywidgets z 7.7.2 do 8.0.4
    • jupyter_core z wersji 5.2.0 do 5.3.0
    • jupyterlab-widgets z wersji 1.0.0 do 3.0.5
    • matplotlib z wersji 3.7.0 do 3.7.2
    • biblioteka pandas z wersji 1.5.3 do 2.0.3
    • pip z 22.3.1 do 23.2.1
    • platformdirs z wersji 2.5.2 do 3.10.0
    • protobuf z 4.24.0 do 4.24.1
    • pyarrow z 8.0.0 do 14.0.1
    • Pygments z 2.11.2 do 2.15.1
    • pyodbc z wersji 4.0.32 do 4.0.38
    • żądania z wersji 2.28.1 do 2.31.0
    • s3transfer z 0.6.2 do 0.10.0
    • scikit-learn z wersji 1.1.1 do 1.3.0
    • scipy z 1.10.0 do 1.11.1
    • setuptools z 65.6.3 do 68.0.0
    • statsmodels z 0.13.5 do 0.14.0
    • wytrwałość z zakresu od 8.1.0 do 8.2.2
    • tornado z 6.1 do 6.3.2
    • typing_extensions z wersji 4.4.0 do 4.7.1
    • urllib3 z 1.26.14 do 1.26.16
    • virtualenv z wersji 20.16.7 do 20.24.2
    • widgetsnbextension z 3.6.1 do 4.0.5
    • zipp z 1.0.0 do 3.11.0
  • Uaktualnione biblioteki języka R:
    • strzałka z 12.0.1 do 14.0.0.2
    • askpass z 1.1 do 1.2.0
    • od 4.3.1 do 4.3.2
    • warzenie od 1.0-8 do 1.0-10
    • brio z 1.1.3 do 1.1.4
    • bslib z 0.5.0 do 0.6.1
    • interfejs wiersza polecenia z wersji 3.6.1 do 3.6.2
    • commonmark od 1.9.0 do 1.9.1
    • kompilator z wersji 4.3.1 do 4.3.2
    • konfiguracja z wersji 0.3.1 do 0.3.2
    • cpp11 z 0.4.4 do 0.4.7
    • poświadczenia z wersji 1.3.2 do 2.0.1
    • curl z 5.0.1 do 5.2.0
    • data.table z wersji 1.14.8 do 1.15.0
    • zestawy danych z wersji 4.3.1 do 4.3.2
    • DbI z wersji 1.1.3 do 1.2.1
    • dbplyr z wersji 2.3.3 do 2.4.0
    • desc z 1.4.2 do 1.4.3
    • skrót z 0.6.33 do 0.6.34
    • dplyr z wersji 1.1.2 do 1.1.4
    • e1071 z 1.7-13 do 1.7-14
    • ocena z zakresu od 0,21 do 0,23
    • fani od 1.0.4 do 1.0.6
    • fontawesome z 0.5.1 do 0.5.2
    • fs z 1.6.2 do 1.6.3
    • przyszłość z wersji 1.33.0 do 1.33.1
    • future.apply z wersji 1.11.0 do 1.11.1
    • gargle z 1.5.1 do 1.5.2
    • gert z 1.9.2 do 2.0.1
    • ggplot2 z wersji 3.4.2 do 3.4.4
    • glmnet z 4.1-7 do 4.1-8
    • klej z 1.6.2 do 1.7.0
    • grafika z wersji 4.3.1 do 4.3.2
    • grDevices z wersji 4.3.1 do 4.3.2
    • siatka z 4.3.1 do 4.3.2
    • z wersji 0.3.3 do 0.3.4
    • hardhat z 1.3.0 do 1.3.1
    • przystanek od 2.5.3 do 2.5.4
    • htmltools z 0.5.5 do 0.5.7
    • htmlwidgets z wersji 1.6.2 do 1.6.4
    • httpuv z wersji 1.6.11 do 1.6.14
    • httr z 1.4.6 do 1.4.7
    • httr2 z 0.2.3 do 1.0.0
    • jsonlite z wersji 1.8.7 do 1.8.8
    • knitr z 1.43 do 1.45
    • etykietowanie z wersji 0.4.2 do 0.4.3
    • nowsze z wersji 1.3.1 do 1.3.2
    • lawa z 1.7.2.1 do 1.7.3
    • cykl życia od 1.0.3 do 1.0.4
    • od 0.9.0 do 0.9.1
    • lubridate from 1.9.2 to 1.9.3 (lubridate from 1.9.2 to 1.9.3)
    • markdown od 1.7 do 1.12
    • metody z wersji 4.3.1 do 4.3.2
    • openssl z 2.0.6 do 2.1.1
    • równoległe z wersji 4.3.1 do 4.3.2
    • pkgbuild z 1.4.2 do 1.4.3
    • pkgload z wersji 1.3.2.1 do 1.3.4
    • plyr od 1.8.8 do 1.8.9
    • prettyunits z 1.1.1 do 1.2.0
    • pROC z 1.18.4 do 1.18.5
    • processx z wersji 3.8.2 do 3.8.3
    • prodlim od 2023.03.31 do 2023.08.28
    • postęp z wersji 1.2.2 do 1.2.3
    • progressr z 0.13.0 do 0.14.0
    • obietnice z 1.2.0.1 do 1.2.1
    • ps z 1.7.5 do 1.7.6
    • purrr z wersji 1.0.1 do 1.0.2
    • ragg z 1.2.5 do 1.2.7
    • Program Rcpp z wersji 1.0.11 do 1.0.12
    • RcppEigen z 0.3.3.9.3 do 0.3.3.9.4
    • readr z wersji 2.1.4 do 2.1.5
    • przepisy od 1.0.6 do 1.0.9
    • rewanż z 1.0.1 do 2.0.0
    • zdalne z wersji 2.4.2 do 2.4.2.1
    • reprex z 2.0.2 do 2.1.0
    • rlang z wersji 1.1.1 do 1.1.3
    • rmarkdown z 2.23 do 2.25
    • RODBC od 1.3-20 do 1.3-23
    • roxygen2 z 7.2.3 do 7.3.1
    • rprojroot z wersji 2.0.3 do 2.0.4
    • Rserve z 1.8-11 do 1.8-13
    • RSQLite z wersji 2.3.1 do 2.3.5
    • sygnatury dostępu współdzielonego z wersji 0.4.6 do 0.4.8
    • skaluje z wersji 1.2.1 do 1.3.0
    • błyszczące z wersji 1.7.4.1 do 1.8.0
    • sparklyr z 1.8.1 do 1.8.4
    • linie od 4.3.1 do 4.3.2
    • statystyki z 4.3.1 do 4.3.2
    • stats4 z 4.3.1 do 4.3.2
    • stringi z wersji 1.7.12 do 1.8.3
    • stringr z wersji 1.5.0 do 1.5.1
    • systemfonts z 1.0.4 do 1.0.5
    • tcltk z wersji 4.3.1 do 4.3.2
    • testthat z 3.1.10 do 3.2.1
    • textshaping z 0.3.6 do 0.3.7
    • od 1.3.0 do 1.3.1
    • timechange z 0.2.0 do 0.3.0
    • timeDate z 4022.108 do 4032.109
    • tinytex z 0.45 do 0.49
    • narzędzia z wersji 4.3.1 do 4.3.2
    • utf8 z wersji 1.2.3 do 1.2.4
    • Narzędzia z wersji 4.3.1 do 4.3.2
    • uuid z 1.1-0 do 1.2-0
    • vctrs z 0.6.3 do 0.6.5
    • vroom od 1.6.3 do 1.6.5
    • waldo od 0.5.1 do 0.5.2
    • withr z 2.5.0 do 3.0.0
    • xfun od 0.39 do 0.41
    • xml2 z 1.3.5 do 1.3.6
    • yaml z wersji 2.3.7 do 2.3.8
    • zip z wersji 2.3.0 do 2.3.1
  • Uaktualnione biblioteki Java:
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 z wersji 2.15.1 do 2.16.0
    • com.google.flatbuffers.flatbuffers-java z wersji 1.12.0 do 23.5.26
    • com.typesafe.config z wersji 1.2.1 do 1.4.3
    • org.apache.ant.ant od 1.9.16 do 1.10.11
    • org.apache.ant.ant-jsch z wersji 1.9.16 do 1.10.11
    • org.apache.ant.ant-launcher z wersji 1.9.16 do 1.10.11
    • org.apache.arrow.arrow-format z zakresu od 12.0.1 do 15.0.0
    • org.apache.arrow.arrow-memory-core z 12.0.1 do 15.0.0
    • org.apache.arrow.arrow-memory-netty od 12.0.1 do 15.0.0
    • org.apache.arrow.arrow-vector z 12.0.1 do 15.0.0
    • org.apache.avro.avro z wersji 1.11.2 do 1.11.3
    • org.apache.avro.avro-ipc z wersji 1.11.2 do 1.11.3
    • org.apache.avro.avro-mapred z wersji 1.11.2 do 1.11.3
    • org.apache.logging.log4j.log4j-1.2-api z wersji 2.20.0 do 2.22.1
    • org.apache.logging.log4j.log4j-api z wersji 2.20.0 do 2.22.1
    • org.apache.logging.log4j.log4j-core z wersji 2.20.0 do 2.22.1
    • org.apache.logging.log4j.log4j-slf4j2-impl z wersji 2.20.0 do 2.22.1
    • org.postgresql.postgresql z 42.6.0 do 42.6.1

Apache Spark

Środowisko Databricks Runtime 15.0 obejmuje platformę Apache Spark 3.5.0. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 14.3 LTS, a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

  • [SPARK-45527] [DBRRM-805] [ES-1073714] Przywróć "[SC-151626][CORE] Użyj ułamka do obliczenia zasobu"
  • [SPARK-47102] [DBRRM-803] [SC-158253] [SQL] Dodawanie flagi COLLATION_ENABLED konfiguracji
  • [SPARK-46973] [SC-158140] [DBRRM-777] [SQL] Pomiń wyszukiwanie tabeli w wersji 2, gdy tabela znajduje się w pamięci podręcznej tabeli w wersji 1
  • [SPARK-46808] [SC-154113] [PYTHON] Uściślij klasy błędów w języku Python za pomocą funkcji automatycznego sortowania
  • [SPARK-47251] [SC-158291] [PYTHON] Blokuj nieprawidłowe typy z argumentu args dla sql polecenia
  • [SPARK-47251] [SC-158121] [PYTHON] Blokuj nieprawidłowe typy z argumentu args dla sql polecenia
  • [SPARK-47108] [SC-157204] [CORE] Ustaw derby.connection.requireAuthentication wartość jawnie false w interfejsach CLI
  • [SPARK-45599] [SC-157537] [CORE] Używanie równości obiektów w programie OpenHashSet
  • [SPARK-47099] [SC-157352] [SQL] Służy ordinalNumber do równomiernego ustawiania wartości paramIndex dla klasy błędów UNEXPECTED_INPUT_TYPE
  • [SPARK-46558] [SC-151363] [CONNECT] Wyodrębnianie funkcji pomocniczej w celu wyeliminowania zduplikowanego kodu pobieranego MessageParameters z ErrorParams elementu w GrpcExceptionConverter
  • [SPARK-43117] [SC-156177] [CONNECT] Tworzenie ProtoUtils.abbreviate obsługi powtarzających się pól
  • [SPARK-46342] [SC-150283] [SQL] Zastąp IllegalStateException element w SparkException.internalError języku sql
  • [SPARK-47123] [SC-157412] [CORE] JDBCRDD nie obsługuje poprawnie błędów w getQueryOutputSchema
  • [SPARK-47189] [SC-157667] [SQL] Dostosowywanie nazw błędów kolumn i tekstu
  • [SPARK-45789] [SC-157101] [SQL] Obsługa tabeli DESCRIBE dla kolumn klastrowania
  • [SPARK-43256] [SC-157699] [SQL] Usuwanie _LEGACY_ERROR_TEMP_2021 klasy błędów
  • [SPARK-47201] [SC-157782] [PYTHON] [CONNECT] sameSemantics sprawdza typy danych wejściowych
  • [SPARK-47183] [SC-157660] [PYTHON] Naprawianie klasy błędów dla elementu sameSemantics
  • [SPARK-47179] [SC-157663] [SQL] Ulepszanie komunikatu o błędzie z poziomu aplikacji SparkThrowableSuite w celu uzyskania lepszej możliwości debugowania
  • [SPARK-46965] [SC-155791] [CORE] Zaewidencjonuj logTypeUtils.getLog
  • [SPARK-46832] [SC-156774] [SQL] Wprowadzenie do wyrażeń sortowania i sortowania
  • [SPARK-46946] [SC-155721] [SQL] Obsługa emisji wielu kluczy filtrowania w funkcji DynamicPruning
  • [SPARK-47079] [VARIANT-22] [SC-157598] [PYTHON] [SQL] [CONNECT] Dodawanie informacji o typie wariantu do programu PySpark
  • [SPARK-47101] [SC-157360] [SQL] Zezwalaj na używanie przecinka w nazwach kolumn najwyższego poziomu i usuwanie zagnieżdżonej definicji typu w programie HiveExternalCatalog.verifyDataSchema
  • [SPARK-47173] [SC-157571] [SS] [Interfejs użytkownika] Naprawianie literówki w objaśnieniu interfejsu użytkownika przesyłania strumieniowego
  • [SPARK-47113] [SC-157348] [CORE] Przywracanie logiki naprawy punktu końcowego S3A platformy SPARK-35878
  • [SPARK-47130] [SC-157462] [CORE] Użyj funkcji listStatus, aby obejść informacje o lokalizacji bloku podczas czyszczenia dzienników sterowników
  • [SPARK-43259] [SC-157368] [SQL] Przypisywanie nazwy do klasy błędów _LEGACY_ERROR_TEMP_2024
  • [SPARK-47104] [SC-157355] [SQL] TakeOrderedAndProjectExec powinna zainicjować niebezpieczną projekcję
  • [SPARK-47137] [SC-157463] [PYTHON] [CONNECT] Dodawanie funkcji getAll do pliku spark.conf w celu uzyskania parzystości funkcji za pomocą języka Scala
  • [SPARK-46924] [SC-154905] [CORE] Przycisk Napraw Load New w interfejsie Master/HistoryServer użytkownika dziennika
  • [SPARK-47069] [SC-157370] [PYTHON] [CONNECT] Wprowadzenie spark.profile.show/dump do profilowania opartego na platformie SparkSession
  • [SPARK-46812] [SC-157075] [SQL] [PYTHON] Tworzenie mapInPandas/mapInArrow obsługi elementu ResourceProfile
  • [SPARK-46833] [SC-155866] [SQL] Sortowania — wprowadzenie do funkcji CollationFactory, która zapewnia porównanie i reguły tworzenia skrótów dla obsługiwanych sortowania
  • [SPARK-47057] [SC-157036] [PYTHON] Reeanble MyPy data test
  • [SPARK-46934] [SC-157084] [SQL] Odczyt/zapis dwukierunkowy dla typu struktury ze znakami specjalnymi z HMS
  • [SPARK-46727] [SC-153472] [SQL] Port classifyException() w dialektach JDBC w klasach błędów
  • [SPARK-46964] [SC-155740] [SQL] Zmień sygnaturę błędu wykonywania zapytania hllInvalidLgK, aby podjąć liczbę całkowitą jako 4 argument
  • [SPARK-46949] [SC-155719] [SQL] Obsługa funkcji CHAR/VARCHAR za pomocą funkcji ResolveDefaultColumns
  • [SPARK-46972] [SC-155888] [SQL] Naprawiono asymetryczne zastąpienie char/varchar w pliku V2SessionCatalog.createTable
  • [SPARK-47014] [SC-156778] [PYTHON] [CONNECT] Implementowanie metod dumpPerfProfiles i dumpMemoryProfile platformy SparkSession
  • [SPARK-46689] [SC-156221] [SPARK-46690] [PYTHON] [CONNECT] Obsługa profilowania w wersji 2 w grupie/grupie applyInPandas/applyInArrow
  • [SPARK-47040] [SC-156773] [CONNECT] Zezwalaj skryptowi platformy Spark Połączenie Server na oczekiwanie
  • [SPARK-46688] [SC-156113] [SPARK-46691] [PYTHON] [CONNECT] Obsługa profilowania w wersji 2 w agregacji zdefiniowanych przez użytkownika biblioteki Pandas
  • [SPARK-47004] [SC-156499] [CONNECT] Dodano więcej testów do clientStreamingQuerySuite w celu zwiększenia pokrycia testu klienta Scala
  • [SPARK-46994] [SC-156169] [PYTHON] Refaktoryzacja języka PythonWrite w celu przygotowania do obsługi zapisu strumieniowego źródła danych języka Python
  • [SPARK-46979] [SC-156587] [SS] Dodaj obsługę określania kodera kluczy i wartości oddzielnie, a także dla każdej rodziny kolumn w dostawcy magazynu stanów bazy danych RocksDB
  • [SPARK-46960] [SC-155940] [SS] Testowanie wielu Strumienie wejściowych za pomocą operatora TransformWithState
  • [SPARK-46966] [SC-156112] [Python] Dodawanie interfejsu API UDTF dla metody "analyze" w celu wskazania podzestawu kolumn tabeli wejściowej do wybrania
  • [SPARK-46895] [SC-155950] [CORE] Zastępowanie czasomierza zaplanowaną funkcją wykonawcy z jednym wątkiem
  • [SPARK-46967] [SC-155815] [CORE] [Interfejs użytkownika] Ukrywanie Thread DumpDead funkcji wykonawczych i Heap Histogram w interfejsie Executors użytkownika
  • [SPARK-46512] [SC-155826] [CORE] Zoptymalizuj odczytywanie w przypadku użycia zarówno sortowania, jak i łączenia.
  • [SPARK-46958] [SC-155942] [SQL] Dodawanie brakującej strefy czasowej do wartości domyślnych coerce
  • [SPARK-46754] [SC-153830] [SQL] [AVRO] Naprawianie rozpoznawania kodu kompresji w definicjach tabeli avro i opcjach zapisu
  • [SPARK-46728] [SC-154207] [PYTHON] Sprawdź prawidłową instalację biblioteki Pandas
  • [SPARK-43403] [SC-154216] [Interfejs użytkownika] Upewnij się, że stary interfejs SparkUI na serwerze HistoryServer został odłączony przed załadowaniem nowego
  • [SPARK-39910] [SC-156203] [SQL] Delegowanie kwalifikacji ścieżki do systemu plików podczas tworzenia globbing ścieżki pliku źródła danych
  • [SPARK-47000] [SC-156123] Przywróć "[SC-156123][CORE] Użyj getTotalMemorySize...
  • [SPARK-46819] [SC-154560] [CORE] Przenoszenie kategorii błędów i stanów do formatu JSON
  • [SPARK-46997] [SC-156175] [CORE] Włącz spark.worker.cleanup.enabled domyślnie
  • [SPARK-46865] [SC-156168] [SS] Dodawanie obsługi usługi Batch dla operatora TransformWithState
  • [SPARK-46987] [SC-156040] [CONNECT] ProtoUtils.abbreviate unikaj niepotrzebnej setField operacji
  • [SPARK-46970] [SC-155816] [CORE] Ponowne zapisywanie OpenHashSet#hasher za pomocą polecenia pattern matching
  • [SPARK-46984] [SC-156024] [PYTHON] Usuń pyspark.copy_func
  • [SPARK-47000] [SC-156123] [CORE] Użyj getTotalMemorySize w WorkerArguments
  • [SPARK-46980] [SC-155914] [SQL] [DROBNE] Unikaj używania wewnętrznych interfejsów API w testach kompleksowej ramki danych
  • [SPARK-46931] Przywróć "[SC-155661][PS] Implement {Frame, Series}.to_hdf"
  • [SPARK-46618] [SC-153828] [SQL] Ulepszanie komunikatów o błędach dla błędu DATA_SOURCE_NOT_FOUND
  • [SPARK-46849] [SC-154586] [SQL] Uruchamianie optymalizatora w domyślnych wartościach kolumn CREATE TABLE
  • [SPARK-46911] [SC-155724] [SS] Dodawanie operatora deleteIfExists do elementu StatefulProcessorHandleImpl
  • [SPARK-43273] [SQL] Obsługa lz4raw kodera kompresji dla parquet
  • [SPARK-47002] [SC-156223] [Python] Zwraca lepszy komunikat o błędzie, jeśli pole "analyze" metody "analyze" metody "orderBy" przypadkowo zwraca listę ciągów
  • [SPARK-46890] [SC-155802] [SQL] Naprawiono usterkę analizowania woluminów CSV z wartościami domyślnymi istnienia i oczyszczaniem kolumn
  • [SPARK-46977] [SC-155892] [CORE] Żądanie uzyskania tokenu z jednego węzła NameNode nie powinno pomijać kolejnych żądań tokenu
  • [SPARK-46608] [SC-151806] [SQL] Przywracanie zgodności z poprzednimi wersjami JdbcDialect.classifyException
  • [SPARK-46908] [SC-155702] [SQL] Klauzula gwiazdki obsługi w klauzuli WHERE
  • [SPARK-46908] [SC-155702] [SQL] Klauzula gwiazdki obsługi w klauzuli WHERE
  • [SPARK-46852] [SC-155665] [SS] Usuwanie użycia jawnego kodera kluczy i przekazywanie go niejawnie do operatora transformWithState
  • [SPARK-46864] [SC-155669] [SS] Dołączanie dowolnego stanu 2 do nowej struktury klas błędów
  • [SPARK-45807] [SC-155706] [SQL] Widok powrotny po wywołaniu metody replaceView(.).
  • [SPARK-46899] [SC-154651] [CORE] Usuwanie POST interfejsów API z MasterWebUI kiedy spark.ui.killEnabled jest false
  • [SPARK-46868] [SC-154539] [CORE] Obsługa interfejsu użytkownika dziennika procesu roboczego platformy Spark
  • [SPARK-46931] [SC-155661] [PS] Zaimplementować {Frame, Series}.to_hdf
  • [SPARK-46940] [SC-155667] [CORE] Usuń nieużywane updateSparkConfigFromProperties i isAbsoluteURI w o.a.s.u.Utils
  • [SPARK-46929] [SC-155659] [CORE] [CONNECT] [SS] Zamykanie pul wątków za pomocą narzędzia ThreadUtils.shutdown
  • [SPARK-46400] [SC-155658] [CORE] [SQL] Jeśli w lokalnym repozytorium maven są uszkodzone pliki, pomiń tę pamięć podręczną i spróbuj ponownie
  • [SPARK-46932] [SC-155655] Czyszczenie importu w programie pyspark.pandas.test_*
  • [SPARK-46683] [SC-154120] Pisanie generatora podzapytania, który generuje permutacje podzapytania w celu zwiększenia pokrycia testowania
  • [SPARK-46914] [SC-154776] [Interfejs użytkownika] Skróć nazwę aplikacji w tabeli podsumowania na stronie historia
  • [SPARK-46831] [SC-154699] [SQL] Sortowania — rozszerzanie parametrów StringType i PhysicalStringType za pomocą pola collationId
  • [SPARK-46816] [SC-154415] [SS] Dodano podstawową obsługę nowego dowolnego operatora zarządzania stanem, typu single valueState, wielu zmiennych stanu i podstawowej obsługi rodzin kolumn dla rocksDBStateStoreProvider z/bez punktów kontrolnych dziennika zmian
  • [SPARK-46925] [SC-154890] [PYTHON] [CONNECT] Dodaj ostrzeżenie informujące o zainstalowaniu memory_profiler na potrzeby profilowania pamięci
  • [SPARK-46927] [SC-154904] [PYTHON] Prawidłowe assertDataFrameEqual działanie bez PyArrow
  • [SPARK-46021] [SC-148987] [CORE] Obsługa anulowania przyszłych zadań należących do grupy zadań
  • [SPARK-46747] [SC-154789] [SQL] Unikaj skanowania w getTableExistsQuery dla dialektów JDBC
  • [SPARK-46904] [SC-154704] [Interfejs użytkownika] Rozwiązano problem z wyświetlaniem podsumowania interfejsu użytkownika historii
  • [SPARK-46870] [SC-154541] [CORE] Obsługa interfejsu użytkownika dziennika głównego platformy Spark
  • [SPARK-46893] [SC-154780] [Interfejs użytkownika] Usuwanie wbudowanych skryptów z opisów interfejsu użytkownika
  • [SPARK-46910] [SC-154760] [PYTHON] Eliminowanie wymagania zestawu JDK w instalacji PySpark
  • [SPARK-46907] [SC-154736] [CORE] Pokaż lokalizację dziennika sterowników na serwerze historii platformy Spark
  • [SPARK-46902] [SC-154661] [Interfejs użytkownika] Naprawianie interfejsu użytkownika serwera historii platformy Spark do używania nie wyeksportowanego zestawuAppLimit
  • [SPARK-46687] [SC-154725] [PYTHON] [CONNECT] Podstawowa obsługa profilera pamięci opartego na usłudze SparkSession
  • [SPARK-46623] [SC-153831] [CORE] [MLLIB] [SQL] Zastąp element SimpleDateFormat kontrolką DateTimeFormatter
  • [SPARK-46875] [SC-154627] [SQL] Jeśli parametr mode ma wartość null, NullPointException element powinien not zostać zgłoszony
  • [SPARK-46872] [SC-154543] [CORE] Odzyskiwanie log-view.js w celu braku modułu
  • [SPARK-46883] [SC-154629] [CORE] Interfejs API pomocy technicznej /json/clusterutilization
  • [SPARK-46886] [SC-154630] [CORE] Włącz spark.ui.prometheus.enabled domyślnie
  • [SPARK-46873] [SC-154638] [SS] Nie należy ponownie utworzyć nowego elementu StreamingQueryManager dla tej samej sesji platformy Spark
  • [SPARK-46829] [SC-154419] [CORE] Usuń polecenie createExecutorEnv z platformy SparkEnv
  • [SPARK-46827] [SC-154280] [CORE] Utwórz RocksDBPersistenceEngine , aby obsługiwać łącze symboliczne
  • [SPARK-46903] [SC-154662] [CORE] Obsługa interfejsu użytkownika dziennika serwera historii platformy Spark
  • [SPARK-46874] [SC-154646] [PYTHON] Usuń pyspark.pandas zależność z assertDataFrameEqual
  • [SPARK-46889] [SC-154639] [CORE] Sprawdzanie poprawności spark.master.ui.decommission.allow.mode ustawienia
  • [SPARK-46850] [SC-154443] [SQL] Konwertowanie _LEGACY_ERROR_TEMP_2102 na UNSUPPORTED_DATATYPE
  • [SPARK-46704] [SC-153323] [CORE] [Interfejs użytkownika] Poprawka MasterPage poprawnego sortowania Running Drivers tabeli według Duration kolumny
  • [SPARK-46796] [SC-154279] [SS] Upewnij się, że poprawne pliki zdalne (wymienione w metadata.zip) są używane podczas ładowania wersji bazy danych RocksDB
  • [SPARK-46888] [SC-154636] [CORE] Poprawka Master dotycząca odrzucania /workers/kill/ żądań, jeśli likwiduj jest wyłączona
  • [SPARK-46818] [SC-154422] [SQL] Ulepszanie komunikatów o błędach dla zakresu przy użyciu nieskładanych danych wejściowych
  • [SPARK-46898] [SC-154649] [CONNECT] Uproszczenie przekształcania funkcji protobuf w narzędziu Planner
  • [SPARK-46828] [SC-154413] [SQL] Usuwanie nieprawidłowego potwierdzenia trybu zdalnego dla powłoki sql platformy Spark
  • [SPARK-46733] [SC-154274] [CORE] Uproszczenie elementu BlockManager przez operację zakończenia zależy tylko od wątku przerwania.
  • [SPARK-46777] [SC-154016] [SS] Refaktoryzować StreamingDataSourceV2Relation strukturę katalizatora, aby być bardziej na równi z wersją wsadową
  • [SPARK-46515] [SC-151716] Dodawanie funkcji MONTHNAME
  • [SPARK-46823] [SC-154276] [CONNECT] [PYTHON] LocalDataToArrowConversion powinna sprawdzić wartość null
  • [SPARK-46787] [SC-154404] [CONNECT] bloomFilter funkcja powinna zgłaszać AnalysisException nieprawidłowe dane wejściowe
  • [SPARK-46779] [SC-154045] [SQL] InMemoryRelation wystąpienia tego samego buforowanego planu powinny być semantycznie równoważne
  • [SPARK-45827] [SC-153973] Nie zezwalaj na partycjonowanie w kolumnie Variant
  • [SPARK-46797] [SC-154085] [CORE] Zmień nazwę spark.deploy.spreadOut na spark.deploy.spreadOutApps
  • [SPARK-46094] [SC-153421] Obsługa profilowania funkcji wykonawczej JVM
  • [SPARK-46746] [SC-153557] [SQL] [AVRO] Dołączanie rozszerzenia codec do plików źródła danych avro
  • [SPARK-46698] [SC-153288] [CORE] Zastąp element Timer zaplanowaną funkcją wykonawcą pojedynczego wątku dla elementu ConsoleProgressBar.
  • [SPARK-46629] [SC-153835] Poprawka dotycząca niezbierania wartości null i komentarza typu STRUCT
  • [SPARK-46750] [SC-153772] [CONNECT] [PYTHON] Czyszczenie kodu interfejsów API ramki danych
  • [SPARK-46769] [SC-153979] [SQL] Uściślij wnioskowanie schematu powiązanego ze znacznikiem czasu
  • [SPARK-46765] [SC-153904] [PYTHON] [CONNECT] Określ shuffle typ danych seed
  • [SPARK-46579] [SC-151481] [SQL] Redact JDBC url w błędach i dziennikach
  • [SPARK-46686] [SC-153875] [PYTHON] [CONNECT] Podstawowa obsługa profilera UDF opartego na usłudze SparkSession
  • [SPARK-46748] Przywróć "[SC-153800][CORE] Usuń *slave*.sh scri...
  • [SPARK-46707] [SC-153833] [SQL] Dodano pole dopuszczane do wyrażeń w celu ulepszenia wypychania predykatu
  • [SPARK-46519] [SC-151278] [SQL] Wyczyść nieużywane klasy błędów z error-classes.json pliku
  • [SPARK-46677] [SC-153426] [SQL] [CONNECT] Rozwiązywanie problemów dataframe["*"]
  • [SPARK-46317] [SC-150184] [PYTHON] [CONNECT] Dopasowywanie drobnych dopasowań zachowań w usłudze SparkSession z pełnym pokryciem testu
  • [SPARK-46748] [SC-153800] [CORE] Usuwanie *slave*.sh skryptów
  • [SPARK-46663] [SC-153490] [PYTHON] Wyłączanie profilera pamięci dla funkcji zdefiniowanych przez użytkownika biblioteki pandas za pomocą iteratorów
  • [SPARK-46410] [SC-150776] [SQL] Przypisywanie klas błędów/podklas do klasy JdbcUtils.classifyException
  • [SPARK-46277] [SC-150126] [PYTHON] Weryfikowanie adresów URL uruchamiania przy użyciu ustawianej konfiguracji
  • [SPARK-46612] [SC-153536] [SQL] Nie konwertuj ciągu typu tablicy pobranego ze sterownika jdbc
  • [SPARK-46254] [SC-149788] [PYTHON] Usuwanie nieaktualnego sprawdzania wersji języka Python 3.8/3.7
  • [SPARK-46490] [SC-151335] [SQL] Wymaganie klas błędów w SparkThrowable klasach podrzędnych
  • [SPARK-46383] [SC-153274] [SC-147443] [WARMFIX] Zmniejszanie użycia stert sterowników przez zmniejszenie cyklu życia TaskInfo.accumulables()
  • [SPARK-46541] [SC-153109] [SQL] [CONNECT] Naprawianie niejednoznacznego odwołania do kolumny w samosprzężeniu
  • [SPARK-46381] [SC-150495] [SQL] Migrowanie podrzędnych klas klasy AnalysisException do klas błędów
  • [SPARK-46351] [SC-150335] [SQL] Wymagaj klasy błędów w pliku AnalysisException
  • [SPARK-46220] [SC-149689] [SQL] Ogranicz zestawy znaków w decode()
  • [SPARK-46369] [SC-150340] [CORE] Usuń kill łącze ze RELAUNCHING sterowników w programie MasterPage
  • [SPARK-46052] [SC-153284] [CORE] Remove function TaskScheduler.killAllTaskAttempts
  • [SPARK-46536] [SC-153164] [SQL] Obsługa calendar_interval_type GROUP BY
  • [SPARK-46675] [SC-153209] [SQL] Usuń nieużywane inferTimestampNTZ w parquetReadSupport
  • [SPARK-46717] [SC-153423] [CORE] Uproszczenie ReloadingX509TrustManager operacji zakończenia zależy tylko od wątku przerwania.
  • [SPARK-46722] [SC-153438] [CONNECT] Dodawanie testu dotyczącego sprawdzania zgodności z poprzednimi wersjami dla elementu StreamingQueryListener w usłudze Spark Połączenie (Scala/PySpark)
  • [SPARK-46187] [SC-149580] [SQL] Dopasowywanie implementacji kodu i innej niż codegen StringDecode
  • [SPARK-46258] [SC-149799] [CORE] Dodaj RocksDBPersistenceEngine
  • [SPARK-46216] [SC-149676] [CORE] Ulepszanie FileSystemPersistenceEngine obsługi kompresji
  • [SPARK-46189] [SC-149567] [PS] [SQL] Wykonywanie porównań i arytmetycznych między tymi samymi typami w różnych funkcjach agregujących biblioteki Pandas, aby uniknąć błędów trybu interpretowanego
  • [SPARK-46184] [SC-149563] [CORE] [SQL] [CONNECT] [MLLIB] Zmniejsz głębokość stosu, zastępując element Option.isDefined opcją.isEmpty
  • [SPARK-46700] [SC-153329] [CORE] Zlicz ostatnie rozlanie dla metryki rozlania dysku rozlewającego się bajty
  • [SPARK-45642] [SC-150286] [CORE] [SQL] Naprawić FileSystem.isFile & FileSystem.isDirectory is deprecated
  • [SPARK-46640] [SC-153272] [SQL] Naprawiono element RemoveRedundantAlias, wykluczając atrybuty podzapytania
  • [SPARK-46681] [SC-153287] [CORE] Refaktoryzacja ExecutorFailureTracker#maxNumExecutorFailures w celu uniknięcia obliczania defaultMaxNumExecutorFailures , gdy MAX_EXECUTOR_FAILURES jest skonfigurowana
  • [SPARK-46695] [SC-153289] [SQL] [HIVE] Zawsze ustawiaj parametr hive.execution.engine na mr
  • [SPARK-46325] [SC-150228] [CONNECT] Usuwanie niepotrzebnych funkcji zastępowania podczas konstruowania WrappedCloseableIterator w programie ResponseValidator#wrapIterator
  • [SPARK-46232] [SC-149699] [PYTHON] Przeprowadź migrację wszystkich pozostałych wartości ValueError do struktury błędów PySpark.
  • [SPARK-46547] [SC-153174] [SS] Połykanie wyjątku niekrytycznego w zadaniu konserwacji, aby uniknąć zakleszczenia między wątkiem konserwacji a operatorem agregacji przesyłania strumieniowego
  • [SPARK-46169] [SC-149373] [PS] Przypisz odpowiednie numery JIRA dla brakujących parametrów z interfejsu DataFrame API.
  • [SPARK-45857] [SC-148096] [SQL] Wymuszanie klas błędów w podklasie AnalysisException

Obsługa sterowników ODBC/JDBC usługi Databricks

Usługa Databricks obsługuje sterowniki ODBC/JDBC wydane w ciągu ostatnich 2 lat. Pobierz ostatnio wydane sterowniki i uaktualnij (pobierz plik ODBC, pobierz plik JDBC).

Środowisko systemu

  • System operacyjny: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.1.0

Zainstalowane biblioteki języka Python

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
black (czarny) 23.3.0 migacz 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
kliknięcie 8.0.4 cloudpickle 2.2.1 Comm 0.1.2
konturowy 1.0.5 Kryptografii 41.0.3 Cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 Dekorator 5.1.1 distlib 0.3.8
punkty wejścia 0,4 Wykonywanie 0.8.3 aspekty — omówienie 1.1.1
filelock 3.13.1 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.42 google-api-core 2.17.1 google-auth 2.28.2
google-cloud-core 2.4.1 google-cloud-storage 2.15.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
stan obiektu grpcio 1.60.0 httplib2 0.20.2 Idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
Ipython 8.15.0 ipywidgets 8.0.4 isodate 0.6.1
Jedi 0.18.1 Jeepney 0.7.1 jmespath 0.10.0
joblib 1.2.0 jupyter_client 7.4.9 jupyter_core 5.3.0
jupyterlab-widgets 3.0.5 Brelok 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 biblioteka matplotlib-inline 0.1.6 mlflow-skinny 2.11.1
więcej itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
Numpy 1.23.5 oauthlib 3.2.0 Opakowania 23.2
Pandas 2.0.3 parso 0.8.3 pathspec 0.10.3
Patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Poduszkę 9.4.0 Pip 23.2.1 platformdirs 3.10.0
kreślenie 5.9.0 prompt-toolkit 3.0.36 protobuf 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 14.0.1 pyasn1 0.4.8
pyasn1-modules 0.2.8 pyccolo 0.0.52 pycparser 2.21
pydantic 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.38 pyparsing 3.0.9
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 pytz 2022.7
PyYAML 6.0 pyzmq 23.2.0 żądania 2.31.0
rsa 4.9 s3transfer 0.10.0 scikit-learn 1.3.0
scipy 1.11.1 seaborn 0.12.2 SecretStorage 3.3.1
setuptools 68.0.0 Sześć 1.16.0 smmap 5.0.1
sqlparse 0.4.4 ssh-import-id 5,11 stack-data 0.2.0
statsmodels 0.14.0 Wytrzymałość 8.2.2 threadpoolctl 2.2.0
tokenize-rt 4.2.1 Tornado 6.3.2 traitlety 5.7.1
typing_extensions 4.7.1 tzdata 2022.1 ujson 5.4.0
nienadzorowane uaktualnienia 0.1 urllib3 1.26.16 Virtualenv 20.24.2
wadllib 1.3.6 wcwidth 0.2.5 Koła 0.38.4
widgetsnbextension 4.0.5 zipp 3.11.0

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki CRAN posit Menedżer pakietów 2023-02-10.

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
strzałkę 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
Backports 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bitowe 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 rozruch 1.3-28
Napar 1.0-10 Brio 1.1.4 Miotła 1.0.5
bslib 0.6.1 cachem 1.0.8 obiekt wywołujący 3.7.3
caret 6.0-94 cellranger 1.1.0 chron 2.3-61
class 7.3-22 cli 3.6.2 clipr 0.8.0
zegar 0.7.0 cluster 2.1.4 codetools 0.2-19
Kolorów 2.1-0 commonmark 1.9.1 — kompilator 4.3.2
config 0.3.2 Konflikt 1.2.0 cpp11 0.4.7
Pastel 1.5.2 poświadczenia 2.0.1 Curl 5.2.0
data.table 1.15.0 usługi Power BI 4.3.2 DBI 1.2.1
dbplyr 2.4.0 Desc 1.4.3 devtools 2.4.5
Diagram 1.6.5 diffobj 0.3.5 Szyfrowane 0.6.34
downlit (wyłączony) 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 wielokropek 0.3.2 evaluate 0.23
fani 1.0.6 farver 2.1.1 szybka mapa 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
Zagranicznych 0.8-85 Forge 0.2.0 Fs 1.6.3
Przyszłości 1.33.1 future.apply 1.11.1 Płukać 1.5.2
Generyczne 0.1.3 Gert 2.0.1 ggplot2 3.4.4
Gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 Globals 0.16.2 Kleju 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
grafika 4.3.2 grDevices 4.3.2 Siatki 4.3.2
gridExtra 2.3 gsubfn 0,7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 Haven 2.5.4
wysoki 0.10 Hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 Identyfikatory 1.0.1 Ini 0.3.1
ipred 0.9-14 isoband 0.2.7 Iteratory 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 soicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1.45 Etykietowania 0.4.3
Później 1.3.2 Kraty 0.21-8 Lawy 1.7.3
cykl życia 1.0.4 nasłuchiwanie 0.9.1 lubridate 1.9.3
magrittr 2.0.3 Markdown 1.12 MASSACHUSETTS 7.3-60
Macierz 1.5-4.1 zapamiętywanie 2.0.1 metody 4.3.2
mgcv 1.8-42 Mime 0,12 miniUI 0.1.1.1
mlflow 2.10.0 Metryki modelu 1.2.2.2 modeler 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
równolegle 1.36.0 Filar 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 Pochwały 1.0.0
prettyunits 1.2.0 Proc 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 Postęp 1.2.3
progressr 0.14.0 Obietnice 1.2.1 Proto 1.0.0
Serwera proxy 0.4-27 Ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 Reaktywne 0.4.4
ReactR 0.5.0 readr 2.1.5 readxl 1.4.3
przepisy 1.0.9 Rewanżu 2.0.0 rewanż2 2.1.2
Piloty 2.4.2.1 reprex 2.1.0 zmień kształt2 1.4.4
rlang 1.1.3 rmarkdown 2,25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions (rversions) 2.1.2 rvest 1.0.3 Sass 0.4.8
Skale 1.3.0 selektor 0.4-2 sessioninfo 1.2.2
Kształt 1.4.6 Błyszczące 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 Przestrzennej 7.3-15 Splajnów 4.3.2
sqldf 0.4-11 KWADRAT 2021.1 Statystyki 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
Przetrwanie 3.5-5 swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 zmiana czasu 0.3.0
timeDate 4032.109 tinytex 0,49 tools 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 narzędzia 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
Vroom 1.6.5 Waldo 0.5.2 wąs 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 Yaml 2.3.8
gorliwość 0.1.0 Zip 2.3.1

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)

Identyfikator grupy Identyfikator artefaktu Wersja
Antlr Antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-klej 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-biblioteka-biblioteka 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics strumień 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-cieniowane 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Kolega 1.3.4
com.fasterxml.jackson.core adnotacje jackson 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.kofeina Kofeiny 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava Guawa 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity parsery jednowołciowości 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.0.4
io.dropwizard.metrics adnotacja metryk 4.2.19
io.dropwizard.metrics metryki —rdzeń 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics serwlety metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty transport netto 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Kolektor 0.12.0
jakarta.adnotacja jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktywacja 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine Pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant tat 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow format strzałki 15.0.0
org.apache.arrow strzałka-pamięć-rdzeń 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow wektor strzałki 15.0.0
org.apache.avro Avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator kurator-klient 2.13.0
org.apache.curator struktura kuratora 2.13.0
org.apache.curator przepisy kuratora 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive podkładki hive 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy Bluszcz 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc podkładki orc-shim 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-cieniowane 4.23
org.apache.yetus adnotacje odbiorców 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper jute dozorców 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections kolekcje eclipse 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-kontynuacja 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket —wspólne 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 lokalizator hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator moduł sprawdzania poprawności hibernacji 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Adnotacje 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap Podkładki 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interfejs testowy 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest zgodny ze standardem scalatest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten trzydostępne dodatkowe 1.7.1
org.tukaani Xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1